マガジンのカバー画像

LLM

336
本
運営しているクリエイター
thomas

#AI

Masayuki Abe

Masayuki Abe

わずか1.3GB程度のLlama-3.2-1Bモデルを試して驚いた。

わずか1.3GB程度のLlama-3.2-1Bモデルを試して驚いた。

LMStudioのバージョンアップをしていて、モデルを眺めていたら、Llama-3.2-1Bがありましたので試してみます。

正式名称は、「Llama-3.2-1B-Instruct-Q8_0-GGUF/llama-3.2-1b-instruct-q8_0.gguf」となります。

今回は、LMStudioで試してみました。LMStudioの使い方はこちらをどうぞ。

最初は、英語で自己紹介を依頼

もっとみる
npaka

npaka

bitnet.cpp で Llama3-8B-1.58-100B-tokens を試す

bitnet.cpp で Llama3-8B-1.58-100B-tokens を試す

「bitnet.cpp」で「Llama3-8B-1.58-100B-tokens」試したのでまとめました。

1. bitnet.cpp「bitnet.cpp」は、Microsoftが開発した1bit LLM用の推論フレームワークです。主な特徴は、次のとおりです。

2. Llama3-8B-1.58-100B-tokens「Llama3-8B-1.58-100B-tokens」は、「Llama-

もっとみる
GFM

GFM

ポケモン対戦エージェントを改良してみた

ポケモン対戦エージェントを改良してみた

note初投稿になります。
今回は、2月に発表されたポケモン対戦エージェントの論文を勝手に改良していきたいと思います。

「PokéLLMon」とは、ポケモンバトルにおいてLLM(大規模言語モデル)を利用して人間と同等のパフォーマンスを達成したAIエージェントです。
PokéLLMonについて簡単な説明はしますが、技術的な詳細や対戦ルールなどについては記載していないので気になった方は元の論文または

もっとみる
掛谷知秀

掛谷知秀

Contextual Retrievalとは：RAGの精度向上の手法

Contextual Retrievalとは：RAGの精度向上の手法

こんにちは、スクーティーという会社の代表のかけやと申します。
​
弊社は生成AIを強みとするベトナムオフショア開発・ラボ型開発や、生成AIコンサルティングなどのサービスを提供しており、最近はありがたいことに生成AIと連携したシステム開発のご依頼を数多く頂いています。

​Anthropicは、Retrieval-Augmented Generation (RAG) における情報検索の精度を向上させ

もっとみる
npaka

npaka

Google Colab で Gemma 2 JPN を試す

Google Colab で Gemma 2 JPN を試す

「Google Colab」で「Gemma 2 JPN」を試したのでまとめました。

1. Gemma 2 JPN「Gemma 2 JPN」は、「Gemma 2 2B」を日本語テキストに合わせてファインチューニングしたモデルです。「Gemma 2」での英語のみのクエリと同じレベルのパフォーマンスで日本語をサポートします。

2. Colabでの実行Colabでの実行手順は、次のとおりです。

(1

もっとみる
npaka

npaka

Google Colab で Gemma 2 Baku 2B を試す

Google Colab で Gemma 2 Baku 2B を試す

「Google Colab」で「Gemma 2 Baku 2B」を試したのでまとめました。

1. Gemma 2 Baku 2B「Gemma 2 Baku 2B」は、「Gemma 2 2B」を「Chat Vector」と「ORPO」(Odds Ratio Preference Optimization) を使用してファインチューニングしたモデルです。「gemma-2 chat形式」に準拠していま

もっとみる
npaka

npaka

OpenAI API の Evals の概要

OpenAI API の Evals の概要

以下の記事が面白かったので、簡単にまとめました。

1. EvalsAIモデルで開発する場合、出力が正確で有用であることを確認するために、継続的にテストすることが不可欠です。テストデータを使用してモデル出力に対して評価 (Evalsと呼ばれる) を定期的に実行することで、高品質で信頼性の高いAIアプリケーションを構築および維持するのに役立ちます。

OpenAIは、テストデータセットで評価を作成お

もっとみる
npaka

npaka

WebLLM を使って Qwen2.5-1.5B のブラウザ上でのローカル実行を試す

WebLLM を使って Qwen2.5-1.5B のブラウザ上でのローカル実行を試す

「WebLLM」を使って「Qwen2.5-1.5B」のブラウザ上でのローカル実行を試したのでまとめました。

1. WebLLM「WebLLM」は、「MLC」の技術を活用してWebブラウザ上でLLMを実行できるようにするプロジェクトです。

これにより、ユーザーはローカルのGPUリソースを活用して、プライバシーを保ちながらLLMと対話できるようになりました。

2. WebLLM での実行WebL

もっとみる
葦沢かもめ

葦沢かもめ

物語系統樹プロンプトを使ってOpenAI o1で物語の由来を調べてみよう！

物語系統樹プロンプトを使ってOpenAI o1で物語の由来を調べてみよう！

最初にお知らせ。
インプレス様より「小説を書く人のAI活用術 AIとの対話で物語のアイデアが広がる」が10月17日に刊行されることとなりました！
山川健一先生、今井昭彦先生との共著で、私は生成AIを活用した具体的な執筆方法の解説などしております。ぜひぜひご予約ください！

またnoteのマガジン「かもめAI小説塾」ではAIを活用した小説の執筆法を公開しております。私の手法は「作家らしさ」を作品に落

もっとみる
npaka

npaka

Llama 3.2 の概要

Llama 3.2 の概要

以下の記事が面白かったので、簡単にまとめました。

1. Llama 3.2「Llama 3.2 11B・90B」は、チャートやグラフを含むドキュメントレベルの理解、画像キャプション、自然言語の説明に基づいて画像内のオブジェクトの方向を正確に特定するなど、画像推論のユースケースをサポートします。

「Llama 3.2 1B・3B」は、多言語テキスト生成とツール呼び出し機能に非常に優れています。こ

もっとみる
田中侑李

田中侑李

なぜ、生成AIに物語を書かせてはいけないのか

なぜ、生成AIに物語を書かせてはいけないのか

生成AIの進歩が著しい現代において、画像や動画はもちろん、cmや広告すらもAIを使って生成する事例が出てきています。

こうした流れを受けて、「小説やドラマの脚本などの創作に生成AIを活用したい！」と考えている人はたくさんいるのではないでしょうか。

一方で、大学で生成AIと物語論を研究している私個人としては

「現時点では、生成AIに物語を創作させるには懸念点が多く、危険である」

という意見を

もっとみる
npaka

npaka

Google Colab で LLM-jp-3 1.8B を試す

Google Colab で LLM-jp-3 1.8B を試す

「Google Colab」で「LLM-jp-3 1.8B」を試したので、まとめました。

1. LLM-jp-3「LLM-jp-3」は、国立情報学研究所の大規模言語モデル研究開発センターによって開発されたLLMです。「LLM-jp-3 172B」の事前学習に使用しているコーパスで学習したモデルになります。各モデルは日本語・英語・ソースコードを重点的に学習しています。「Apache License

もっとみる
田中侑李

田中侑李

ブルデュー社会学における「美的性向」はChatGPTで再現可能か

ブルデュー社会学における「美的性向」はChatGPTで再現可能か

前回、フランスの社会学者ピエール・ブルデューの社会学について紹介し、ChatGPTとの関連性について考察しました。

今回は、このブルデュー社会学における「文化資本」と「美的性向」についてさらに深掘りしつつ、ChatGPTによって「美的性向と階級の相関関係」が再現可能か？という議題について考察していきたいと思います。

ブルデュー社会学と文化資本前回の記事のおさらいとして、ブルデュー社会学では
「

もっとみる
はち

はち

OpenAI o1はどう作るのか（詳細編）

OpenAI o1はどう作るのか（詳細編）


1. はじめに前回、OpenAI o1をどう作るかについて概要レベルで議論しました。
OpenAI o1が新しい強化学習手法を用いて強化されたモデルであることは確実であり、具体的にどういうロジックで学習されているか考えていきたいと思います。
強化学習について間違った理解があればご指摘ください。（一応学習はしたものの普段使いしているわけではないので忘れているところもあると思います。）

2. 強化

もっとみる