マガジンのカバー画像

LLM

336
本
運営しているクリエイター
thomas
Baku

Baku

【ローカルLLM】GPTQ-for-LLaMAによるモデルの量子化を試す

【ローカルLLM】GPTQ-for-LLaMAによるモデルの量子化を試す

Llama系モデルのGPTQ量子化＆推論に使用できるパッケージには、AutoGPTQの他に、GPTQ-for-LLaMaがある。

最近はAutoGPTQへの機能集約が進み、高速推論に関してもExllamaが登場したので、GPTQ-for-LLaMAはあまり利用されなくなっている。

ただ、量子化に関してはAutoGPTQよりGPTQ-for-LLaMAの方が手軽という噂を聞いたので、ちょっと試し

もっとみる
Baku

Baku

【ローカルLLM】Hugging FaceによるGPTQ量子化ガイド

ローカルLLMの量子化フォーマットとしては、llama.cpp(GGUF/GGML)とGPTQの2種類が広く使われている。

主要なモデルはTheBloke氏によって迅速に量子化されるので、基本的に自分で量子化の作業をする必要はない。

が、たまに量子化されていないモデルを使ってみたい時もあるので、自分でもサクっとできたら嬉しい。

llama.cppによる量子化は、Readmeに説明されている手

もっとみる
npaka

npaka

Generative Agents のセットアップ手順

Generative Agents のセットアップ手順

「Generative Agents」のセットアップ手順をまとめました。

1. Generative Agents「Generative Agents」(Generative Agents: Interactive Simulacra of Human Behavior) は、スタンフォード大学やGoogleらによるエージェントシミュレーション論文です。

自律的に動作する 25 名の AI エ

もっとみる
kawamou

kawamou

エンジニア視点でまとめる Generative Agents の作り方

エンジニア視点でまとめる Generative Agents の作り方

今年 4 月「Google 発！25名の AI が暮らす街のシミュレーション！」と話題になり LLM 万能説に勢いを付けた印象のある Generative Agents 論文。論文の内容を超え、デモのキャッチーさやコンセプトの分かりやすさから幅広くマスにリーチした印象がある。

ソフトウェア エンジニアとしては（？）「デモをどうやって作ったのか」が気になる。幸いにして Generative Age

もっとみる
npaka

npaka

ELYZA-japanese-Llama-2-7b で LlamaIndex を 試す

ELYZA-japanese-Llama-2-7b で LlamaIndex を 試す

「ELYZA-japanese-Llama-2-7b」で「LlamaIndex」を試したのでまとめました。

1. 使用モデル今回は、「ELYZA-japanese-Llama-2-7b-instruct」と埋め込みモデル「multilingual-e5-large」を使います。

2. ドキュメントの準備今回は、マンガペディアの「ぼっち・ざ・ろっく！」のあらすじのドキュメントを用意しました。

もっとみる
npaka

npaka

Google Colab で ELYZA-japanese-Llama-2-7b を試す

Google Colab で ELYZA-japanese-Llama-2-7b を試す

「Google Colab」で「ELYZA-japanese-Llama-2-7b」を試したので、まとめました。

1. ELYZA-japanese-Llama-2-7b「ELYZA-japanese-Llama-2-7b」は、東京大学松尾研究室発・AIスタートアップの「ELYZA」が開発した、日本語LLMです。Metaの「Llama 2」に対して日本語による追加事前学習を行なっています。

2

もっとみる
ELYZA, Inc.

ELYZA, Inc.

Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました

Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました

本記事のサマリーELYZAが「Llama 2」ベースの商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開

性能は「GPT-3.5 (text-davinci-003)」に匹敵、日本語の公開モデルのなかでは最高水準

Chat形式のデモや評価用データセットも合わせて公開

既に社内では、130億、700億パラメータのモデルの開発も進行中

はじめにこんにちは

もっとみる