ローカルでCPUのみで簡単に動かせるGPT4ALLを動かしてみました

皆さんこんばんは。私はGPT-4ベースのChatGPTが優秀すぎて真面目に勉強する気が少しなくなってきてしまっている今日このごろです。皆さんいかがお過ごしでしょうか？

さて、今日はそれなりのスペックのPCでもローカルでLLMを簡単に動かせてしまうと評判のgpt4allを動かしてみました。

動作させる手順

1. 下記リンクからモデルをダウンロード(4GB程度)
   https://the-eye.eu/public/AI/models/nomic-ai/gpt4all/gpt4all-lora-quantized.bin

2. 下記レポジトリをローカルにclone
   https://github.com/nomic-ai/gpt4all.git

3. cloneしたレポジトリ内のchatフォルダに1でダウンロードしたモデルを配置

4. (Windowsの場合)PowerShellで上記のchatフォルダに移動して ./gpt4all-lora-quantized-win64.exe を実行

という感じで本当に超簡単です…。

実行してみてどんな感じか？

普通にサクサク動きます。ただし英語なら…。

gpt4allを実行

日本語で質問しても英語で回答が返ってきたり、文字化けしたりします。そもそも現段階では作り手が多言語対応させようとしていないのだと思われます。

でも、これだけのものがファイルをダウンロードして、用意されてるプログラムを実行するだけで、CPUでサクサク動いちゃうんですから凄いですね。

モデルを差し替えればどんどん賢くなっちゃうのでしょうし、手元のPCでもこれだけ動いちゃうなら、あらゆるものにとても賢い「AI」が搭載される未来は目前ですね…。