マガジンのカバー画像

LLM

336
運営しているクリエイター

#LLM

わずか1.3GB程度のLlama-3.2-1Bモデルを試して驚いた。

わずか1.3GB程度のLlama-3.2-1Bモデルを試して驚いた。

LMStudioのバージョンアップをしていて、モデルを眺めていたら、Llama-3.2-1Bがありましたので試してみます。

正式名称は、「Llama-3.2-1B-Instruct-Q8_0-GGUF/llama-3.2-1b-instruct-q8_0.gguf」となります。

今回は、LMStudioで試してみました。LMStudioの使い方はこちらをどうぞ。

最初は、英語で自己紹介を依頼

もっとみる
【論文瞬読】AIの「中立性」は幻想か? - 大規模言語モデルに見る開発元のイデオロギー的影響

【論文瞬読】AIの「中立性」は幻想か? - 大規模言語モデルに見る開発元のイデオロギー的影響

こんにちは!株式会社AI Nestです。最近、AIの研究で非常に興味深い論文を読んだので、今回はその内容についてご紹介したいと思います。「Large Language Models Reflect the Ideology of their Creators」という論文で、LLM(大規模言語モデル)が開発元の価値観やイデオロギーをどのように反映しているのかを分析したものです。

はじめに:なぜこの

もっとみる
bitnet.cpp で Llama3-8B-1.58-100B-tokens を試す

bitnet.cpp で Llama3-8B-1.58-100B-tokens を試す

「bitnet.cpp」で「Llama3-8B-1.58-100B-tokens」試したのでまとめました。

1. bitnet.cpp「bitnet.cpp」は、Microsoftが開発した1bit LLM用の推論フレームワークです。主な特徴は、次のとおりです。

2. Llama3-8B-1.58-100B-tokens「Llama3-8B-1.58-100B-tokens」は、「Llama-

もっとみる
bitnet.cpp を試す

bitnet.cpp を試す

tl;drMicrosoft が 1-bit LLM 推論フレームワーク bitnet.cpp を公開したよ

llama.cpp をベースにした CPU 推論対応フレームワーク

8B パラメータの 1.58-bit 量子化モデルをシングル CPU で実行可能だよ

macOS 環境におけるセットアップと実行手順を書いたよ(uv で実行確認)

英語での推論は良さそうだけど、日本語出力はちょっと

もっとみる
【3D×LLMメモ2】Blenderの操作をLLMに手伝ってもらう(VRMの修正)

【3D×LLMメモ2】Blenderの操作をLLMに手伝ってもらう(VRMの修正)

以下の記事で、モーションの更新を試したが、モデル自体の更新が可能か挑戦する。

環境構築

VRM修正用のスクリプトの作成

以下のスクリプトをBlender上で実行し、VRMが保持しているオブジェクトの情報を抽出する。

import bpyimport osoutput_folder = r"C:\Users\XXXXX\20241005_blender"output_file = os.pa

もっとみる
ポケモン対戦エージェントを改良してみた

ポケモン対戦エージェントを改良してみた

note初投稿になります。
今回は、2月に発表されたポケモン対戦エージェントの論文を勝手に改良していきたいと思います。

「PokéLLMon」とは、ポケモンバトルにおいてLLM(大規模言語モデル)を利用して人間と同等のパフォーマンスを達成したAIエージェントです。
PokéLLMonについて簡単な説明はしますが、技術的な詳細や対戦ルールなどについては記載していないので気になった方は元の論文または

もっとみる
【3D×LLMメモ1】Blenderの操作をLLMに手伝ってもらう(VRMAの修正)

【3D×LLMメモ1】Blenderの操作をLLMに手伝ってもらう(VRMAの修正)

VRMAをLLMが出力したスクリプトを使って、Blenderで修正することができたので、その手順を紹介する。

今回は指の修正しただけなので、全身の修正などを行う場合は、調整に時間がかかると思われる。

Blenderの環境構築

Blenderをダウンロードする。(できればv4.2.0以上)

アドオンをダウンロードするため、以下のページを表示する。

以下のようなページが表示される。

少し画

もっとみる
Google Colab で Gemma 2 JPN を試す

Google Colab で Gemma 2 JPN を試す

「Google Colab」で「Gemma 2 JPN」を試したのでまとめました。

1. Gemma 2 JPN「Gemma 2 JPN」は、「Gemma 2 2B」を日本語テキストに合わせてファインチューニングしたモデルです。「Gemma 2」での英語のみのクエリと同じレベルのパフォーマンスで日本語をサポートします。

2. Colabでの実行Colabでの実行手順は、次のとおりです。

(1

もっとみる
Google Colab で Gemma 2 Baku 2B を試す

Google Colab で Gemma 2 Baku 2B を試す

「Google Colab」で「Gemma 2 Baku 2B」を試したのでまとめました。

1. Gemma 2 Baku 2B「Gemma 2 Baku 2B」は、「Gemma 2 2B」を「Chat Vector」と「ORPO」(Odds Ratio Preference Optimization) を使用してファインチューニングしたモデルです。「gemma-2 chat形式」に準拠していま

もっとみる
gemma-2-2b-jpn-it を試す

gemma-2-2b-jpn-it を試す

tl;drGemma 2 2B の日本語版が発表されたよ

Google Colab と macOS で試したよ

macOS では transformers と MLX で試したよ

2B にしてはかなり日本語が流暢で、ローカル LLM の進展をすごく感じるよ

Gemma 2 2B JPN とはGemma-2-JPN は日本語に特化した Gemma 2 の事後学習モデル。英語と同様の性能。使用

もっとみる
OpenAI API の Evals の概要

OpenAI API の Evals の概要

以下の記事が面白かったので、簡単にまとめました。

1. EvalsAIモデルで開発する場合、出力が正確で有用であることを確認するために、継続的にテストすることが不可欠です。テストデータを使用してモデル出力に対して評価 (Evalsと呼ばれる) を定期的に実行することで、高品質で信頼性の高いAIアプリケーションを構築および維持するのに役立ちます。

OpenAIは、テストデータセットで評価を作成お

もっとみる
【論文瞬読】Graph RAG: 大規模テキストデータを賢く理解する革新的アプローチ

【論文瞬読】Graph RAG: 大規模テキストデータを賢く理解する革新的アプローチ

こんにちは!株式会社AI Nestです。今日は、最近話題の「Graph RAG」というテクノロジーについて深掘りしていきたいと思います。大量のテキストデータから必要な情報を引き出すのって、難しいですよね。でも、この新しいアプローチを使えば、まるで魔法のように効率的に情報を抽出できるんです。それじゃあ、さっそく見ていきましょう!

Graph RAGって何?簡単に説明すると...Graph RAGは

もっとみる
WebLLM を使って Qwen2.5-1.5B のブラウザ上でのローカル実行を試す

WebLLM を使って Qwen2.5-1.5B のブラウザ上でのローカル実行を試す

「WebLLM」を使って「Qwen2.5-1.5B」のブラウザ上でのローカル実行を試したのでまとめました。

1. WebLLM「WebLLM」は、「MLC」の技術を活用してWebブラウザ上でLLMを実行できるようにするプロジェクトです。

これにより、ユーザーはローカルのGPUリソースを活用して、プライバシーを保ちながらLLMと対話できるようになりました。

2. WebLLM での実行WebL

もっとみる
Llama 3.2 の概要

Llama 3.2 の概要

以下の記事が面白かったので、簡単にまとめました。

1. Llama 3.2「Llama 3.2 11B・90B」は、チャートやグラフを含むドキュメントレベルの理解、画像キャプション、自然言語の説明に基づいて画像内のオブジェクトの方向を正確に特定するなど、画像推論のユースケースをサポートします。

「Llama 3.2 1B・3B」は、多言語テキスト生成とツール呼び出し機能に非常に優れています。こ

もっとみる