マガジンのカバー画像

LLM

336
運営しているクリエイター

2024年10月の記事一覧

【論文瞬読】AIの「中立性」は幻想か? - 大規模言語モデルに見る開発元のイデオロギー的影響

【論文瞬読】AIの「中立性」は幻想か? - 大規模言語モデルに見る開発元のイデオロギー的影響

こんにちは!株式会社AI Nestです。最近、AIの研究で非常に興味深い論文を読んだので、今回はその内容についてご紹介したいと思います。「Large Language Models Reflect the Ideology of their Creators」という論文で、LLM(大規模言語モデル)が開発元の価値観やイデオロギーをどのように反映しているのかを分析したものです。

はじめに:なぜこの

もっとみる

LangGraphでユーザーの性格分析+会話記憶を持ったチャットエージェントを試作するメモ


はじめにLangGraphは、大規模言語モデルをエージェントとして使うためのフレームワークです。
前回は、法令関連の専門知識をエージェントが探して読み込んで回答する仕組みを試作しました。

今回は、エージェント的に動くチャットボットを試作してみます。

普通のチャットボットの課題感

人間とチャットボット(例: ChatGPT)の間には大きな違いがいくつもありますが、そのうちの一つが、記憶(存在

もっとみる
bitnet.cpp で Llama3-8B-1.58-100B-tokens を試す

bitnet.cpp で Llama3-8B-1.58-100B-tokens を試す

「bitnet.cpp」で「Llama3-8B-1.58-100B-tokens」試したのでまとめました。

1. bitnet.cpp「bitnet.cpp」は、Microsoftが開発した1bit LLM用の推論フレームワークです。主な特徴は、次のとおりです。

2. Llama3-8B-1.58-100B-tokens「Llama3-8B-1.58-100B-tokens」は、「Llama-

もっとみる
bitnet.cpp を試す

bitnet.cpp を試す

tl;drMicrosoft が 1-bit LLM 推論フレームワーク bitnet.cpp を公開したよ

llama.cpp をベースにした CPU 推論対応フレームワーク

8B パラメータの 1.58-bit 量子化モデルをシングル CPU で実行可能だよ

macOS 環境におけるセットアップと実行手順を書いたよ(uv で実行確認)

英語での推論は良さそうだけど、日本語出力はちょっと

もっとみる
OpenAIの新しいマルチエージェント用フレームワークSwarmを試す

OpenAIの新しいマルチエージェント用フレームワークSwarmを試す

Google ColabでSwarmを試したのでまとめました。

1. SwarmOpenAIが新しくマルチエージェント構築のためのフレームワークを作り始めました。まだ実験的なフレームワークで、本番環境での使用を想定していないようで、今の所かなりシンプルな仕組みに見えます。
エージェントの調整と実行を軽量で、制御性が高く、テストしやすいものにすることに重点を置いているようです。

2. Googl

もっとみる
【3D×LLMメモ2】Blenderの操作をLLMに手伝ってもらう(VRMの修正)

【3D×LLMメモ2】Blenderの操作をLLMに手伝ってもらう(VRMの修正)

以下の記事で、モーションの更新を試したが、モデル自体の更新が可能か挑戦する。

環境構築

VRM修正用のスクリプトの作成

以下のスクリプトをBlender上で実行し、VRMが保持しているオブジェクトの情報を抽出する。

import bpyimport osoutput_folder = r"C:\Users\XXXXX\20241005_blender"output_file = os.pa

もっとみる
ポケモン対戦エージェントを改良してみた

ポケモン対戦エージェントを改良してみた

note初投稿になります。
今回は、2月に発表されたポケモン対戦エージェントの論文を勝手に改良していきたいと思います。

「PokéLLMon」とは、ポケモンバトルにおいてLLM(大規模言語モデル)を利用して人間と同等のパフォーマンスを達成したAIエージェントです。
PokéLLMonについて簡単な説明はしますが、技術的な詳細や対戦ルールなどについては記載していないので気になった方は元の論文または

もっとみる
【3D×LLMメモ1】Blenderの操作をLLMに手伝ってもらう(VRMAの修正)

【3D×LLMメモ1】Blenderの操作をLLMに手伝ってもらう(VRMAの修正)

VRMAをLLMが出力したスクリプトを使って、Blenderで修正することができたので、その手順を紹介する。

今回は指の修正しただけなので、全身の修正などを行う場合は、調整に時間がかかると思われる。

Blenderの環境構築

Blenderをダウンロードする。(できればv4.2.0以上)

アドオンをダウンロードするため、以下のページを表示する。

以下のようなページが表示される。

少し画

もっとみる
Google Colab で Gemma 2 JPN を試す

Google Colab で Gemma 2 JPN を試す

「Google Colab」で「Gemma 2 JPN」を試したのでまとめました。

1. Gemma 2 JPN「Gemma 2 JPN」は、「Gemma 2 2B」を日本語テキストに合わせてファインチューニングしたモデルです。「Gemma 2」での英語のみのクエリと同じレベルのパフォーマンスで日本語をサポートします。

2. Colabでの実行Colabでの実行手順は、次のとおりです。

(1

もっとみる
Google Colab で Gemma 2 Baku 2B を試す

Google Colab で Gemma 2 Baku 2B を試す

「Google Colab」で「Gemma 2 Baku 2B」を試したのでまとめました。

1. Gemma 2 Baku 2B「Gemma 2 Baku 2B」は、「Gemma 2 2B」を「Chat Vector」と「ORPO」(Odds Ratio Preference Optimization) を使用してファインチューニングしたモデルです。「gemma-2 chat形式」に準拠していま

もっとみる
gemma-2-2b-jpn-it を試す

gemma-2-2b-jpn-it を試す

tl;drGemma 2 2B の日本語版が発表されたよ

Google Colab と macOS で試したよ

macOS では transformers と MLX で試したよ

2B にしてはかなり日本語が流暢で、ローカル LLM の進展をすごく感じるよ

Gemma 2 2B JPN とはGemma-2-JPN は日本語に特化した Gemma 2 の事後学習モデル。英語と同様の性能。使用

もっとみる
OpenAI API の Evals の概要

OpenAI API の Evals の概要

以下の記事が面白かったので、簡単にまとめました。

1. EvalsAIモデルで開発する場合、出力が正確で有用であることを確認するために、継続的にテストすることが不可欠です。テストデータを使用してモデル出力に対して評価 (Evalsと呼ばれる) を定期的に実行することで、高品質で信頼性の高いAIアプリケーションを構築および維持するのに役立ちます。

OpenAIは、テストデータセットで評価を作成お

もっとみる