非ゲーミングPCは27B-LLMの夢を見るか

最近はLLMの小型版のSLM(Small Language Model)が流行っていて、ちょっとしたプログラムコード生成であれば実用に使えるモデルが公開されている。
そこで日常使いの第6世代i5ノートPCで、とりあえず動きそうなOllama+gemmaの2BモデルでPythonコードの生成などをしてみた。結果、回答品質はまずまず、応答時間も待てる程度だった。

そうであれば、もうちょっと性能の高い下記仕様の小型デスクトップPCで動かしてみた。

• CPU: Core i5 11400 (6コア12スレッド)

• メモリ: 32GB

• ディスク: NVMeのSSD

• GPU: 当然ディスクリートGPUなし

ノートPCと比較して性能に余裕があるので、まずはOllama+gemmaの9Bサイズのモデルを動かした。結果十分満足がいく動作結果。

LLM動作中はメモリがかなり余っていて、まだまだ大きなモデルを動かせそうだったので27Bサイズも動かしてみた。

プロンプトをいくつか投げてLLM動作中の使用リソースを目視確認すると、トータルメモリ使用量は27GB程度、CPUは数十秒から数分のあいだフルに回るが、十分実用的な処理性能。
非ゲーミングPCでもモデルサイズを選べば十分実用的に家庭内チャットAIが動くことを確認。

もっともLLM動作中のメモリ使用量は搭載メモリサイズのかなりの割合を使っているので、他に何かをするとページング多発により一気にスローダウンする可能性がある。
PCの仕様では最大64GBまでのメモリを搭載可能なので、ちょうど密林の祭りも始まるしメモリを64GBに交換し、ネットワーク越しにプロンプトを投げられる環境も準備。

今ではググる代わりのちょっとした問い合わせでも使っている。
何となく楽しい。