LLMを爆速で処理させる 1 e 2024年9月5日 04:20 llama.cppでLLMはここまで早くなる現状、ローカルPC上で、ここまで爆速になるLLMはないかとメモリはPCに4GBほど空きがあれば動作する小さなモデルも使い道を考えることで、メインストリームから外れても楽しめることを見出そう【メモ:残タスク】- コンパイルすれば、ユーザーPCでライブラリをインストールすることなく配布できるか確認する- そのあと、余計なコードを削除して試せるようにする #日記 #ビジネス #AI #youtube #動画 #研究 #生成AI #LLM #高速化 #llamacpp 1