ローカルLLMの進化:Llama3.2で特許検索システムを再構築!
はじめに今回は、「ローカルLLM」にリベンジします。以前、ローカル環境にLLMを構築した際、その過程を記事にまとめました。しかし、結果として応答に10分以上かかることが多く、実用には程遠い状況でした。(記事公開後も再度トライしてみましたが、1時間以上応答がないことも珍しくありませんでした…)
諦めかけていたところ、@coitateさんの投稿を見て、もう一度挑戦してみることにしました。Meta社からLlama3.2が発表され、さらに軽量化されたという記事を読んだからです。@c