マガジンのカバー画像

LLM

336
運営しているクリエイター

#生成AI

わずか1.3GB程度のLlama-3.2-1Bモデルを試して驚いた。

わずか1.3GB程度のLlama-3.2-1Bモデルを試して驚いた。

LMStudioのバージョンアップをしていて、モデルを眺めていたら、Llama-3.2-1Bがありましたので試してみます。

正式名称は、「Llama-3.2-1B-Instruct-Q8_0-GGUF/llama-3.2-1b-instruct-q8_0.gguf」となります。

今回は、LMStudioで試してみました。LMStudioの使い方はこちらをどうぞ。

最初は、英語で自己紹介を依頼

もっとみる
bitnet.cpp で Llama3-8B-1.58-100B-tokens を試す

bitnet.cpp で Llama3-8B-1.58-100B-tokens を試す

「bitnet.cpp」で「Llama3-8B-1.58-100B-tokens」試したのでまとめました。

1. bitnet.cpp「bitnet.cpp」は、Microsoftが開発した1bit LLM用の推論フレームワークです。主な特徴は、次のとおりです。

2. Llama3-8B-1.58-100B-tokens「Llama3-8B-1.58-100B-tokens」は、「Llama-

もっとみる
Contextual Retrievalとは:RAGの精度向上の手法

Contextual Retrievalとは:RAGの精度向上の手法

こんにちは、スクーティーという会社の代表のかけやと申します。

弊社は生成AIを強みとするベトナムオフショア開発・ラボ型開発や、生成AIコンサルティングなどのサービスを提供しており、最近はありがたいことに生成AIと連携したシステム開発のご依頼を数多く頂いています。

​Anthropicは、Retrieval-Augmented Generation (RAG) における情報検索の精度を向上させ

もっとみる
Google Colab で Gemma 2 JPN を試す

Google Colab で Gemma 2 JPN を試す

「Google Colab」で「Gemma 2 JPN」を試したのでまとめました。

1. Gemma 2 JPN「Gemma 2 JPN」は、「Gemma 2 2B」を日本語テキストに合わせてファインチューニングしたモデルです。「Gemma 2」での英語のみのクエリと同じレベルのパフォーマンスで日本語をサポートします。

2. Colabでの実行Colabでの実行手順は、次のとおりです。

(1

もっとみる
Google Colab で Gemma 2 Baku 2B を試す

Google Colab で Gemma 2 Baku 2B を試す

「Google Colab」で「Gemma 2 Baku 2B」を試したのでまとめました。

1. Gemma 2 Baku 2B「Gemma 2 Baku 2B」は、「Gemma 2 2B」を「Chat Vector」と「ORPO」(Odds Ratio Preference Optimization) を使用してファインチューニングしたモデルです。「gemma-2 chat形式」に準拠していま

もっとみる
OpenAI API の Evals の概要

OpenAI API の Evals の概要

以下の記事が面白かったので、簡単にまとめました。

1. EvalsAIモデルで開発する場合、出力が正確で有用であることを確認するために、継続的にテストすることが不可欠です。テストデータを使用してモデル出力に対して評価 (Evalsと呼ばれる) を定期的に実行することで、高品質で信頼性の高いAIアプリケーションを構築および維持するのに役立ちます。

OpenAIは、テストデータセットで評価を作成お

もっとみる
WebLLM を使って Qwen2.5-1.5B のブラウザ上でのローカル実行を試す

WebLLM を使って Qwen2.5-1.5B のブラウザ上でのローカル実行を試す

「WebLLM」を使って「Qwen2.5-1.5B」のブラウザ上でのローカル実行を試したのでまとめました。

1. WebLLM「WebLLM」は、「MLC」の技術を活用してWebブラウザ上でLLMを実行できるようにするプロジェクトです。

これにより、ユーザーはローカルのGPUリソースを活用して、プライバシーを保ちながらLLMと対話できるようになりました。

2. WebLLM での実行WebL

もっとみる
Llama 3.2 の概要

Llama 3.2 の概要

以下の記事が面白かったので、簡単にまとめました。

1. Llama 3.2「Llama 3.2 11B・90B」は、チャートやグラフを含むドキュメントレベルの理解、画像キャプション、自然言語の説明に基づいて画像内のオブジェクトの方向を正確に特定するなど、画像推論のユースケースをサポートします。

「Llama 3.2 1B・3B」は、多言語テキスト生成とツール呼び出し機能に非常に優れています。こ

もっとみる
Google Colab で LLM-jp-3 1.8B を試す

Google Colab で LLM-jp-3 1.8B を試す

「Google Colab」で「LLM-jp-3 1.8B」を試したので、まとめました。

1. LLM-jp-3「LLM-jp-3」は、国立情報学研究所の大規模言語モデル研究開発センターによって開発されたLLMです。「LLM-jp-3 172B」の事前学習に使用しているコーパスで学習したモデルになります。各モデルは日本語・英語・ソースコードを重点的に学習しています。「Apache License

もっとみる
【初心者向け】最近のローカル日本語LLM【ローカル万歳】

【初心者向け】最近のローカル日本語LLM【ローカル万歳】


はじめにOllama Open WebUIやLM Studioのローカルで簡単に利用できる最近の実用的な日本語対応のLLMを紹介しようと思います。※ Python言語を利用してアクセスするのではなく、「モデルのダウンロードとGUIソフトウェアの設定」で実行できるものです

Open WebUIの詳しい導入方法は下記事で紹介しています。

公式レポジトリはこちら

Qwen 2.5中国アリババ社の

もっとみる
o1-previewの性能はどのくらい向上したのか?ーGPT-4oとの性能比較

o1-previewの性能はどのくらい向上したのか?ーGPT-4oとの性能比較

9月12日、OpenAIが新しい推論モデルのo1-previewとo1-miniを発表し、ChatGPT Plusなどの課金ユーザーは、即日、両モデルを利用できるようになりました。

これらのモデルは、応答前に時間をかけて考えるように設計されており、複雑なタスクを論理的に処理し、従来のモデルよりも科学、コーディング、数学における難しい問題を解決することができるとされています。

そこで、今回、新モ

もっとみる
OpenAI o1 の APIの使い方

OpenAI o1 の APIの使い方

以下の記事が面白かったので、簡単にまとめました。

1. OpenAI o1「OpenAI o1」シリーズは、複雑な推論を行うために強化学習を用いて学習された新しい大規模言語モデルです。回答する前に考える特性があり、ユーザーに応答する前に長い内部思考の過程を生み出すことができます。これにより、科学的な推論に優れ、競技プログラミングの問題 (Codeforces) では89パーセンタイルにランクイン

もっとみる
OpenAI o1 の概要

OpenAI o1 の概要

以下の記事が面白かったので、簡単にまとめました。

1. OpenAI o1「OpenAI o1」は、応答する前により多くの時間をかけて思考するように設計された新しいAIモデルシリーズです。以前のモデルよりも複雑なタスクを推論し、科学、コーディング、数学の分野でより難しい問題を解決することができます。

本日 (2024年9月12日)、このシリーズの最初のモデルをChatGPTおよびAPIでリリー

もっとみる
Google Colab で Tanuki-8x8B を試す

Google Colab で Tanuki-8x8B を試す

「Google Colab」で「Tanuki-8x8B」を試したのでまとめました。

1. Tanuki-8x8B「Tanuki-8x8B」は、経産省及びNEDOが進める日本国内の生成AI基盤モデル開発を推進する「GENIAC」プロジェクトにおいて、松尾・岩澤研究室が開発・公開した日本語LLMです。

フルスクラッチで開発されたモデルで、Apache License 2.0に基づき、研究および商業

もっとみる