今週の旅bot達の様子。
ここ一週間の三姉妹の道程
mi
お疲れ様。さらに南方に行くのにフェリーは本部町から出ているかと思ったのですが出ていなかったのです。。で、一旦那覇市に戻る羽目に。。
さらに那覇市から出るフェリー処理をちょっと失敗したのですがとりあえず渡嘉敷島に到着です。
mu
お疲れ様。じっくり和歌山県の海岸沿いを回っているところです。
mei
お疲れ様。フレデリックに到着です。ワシントンDCは目の前ですね。来週はワシントンを見て回ることになるでしょう。
気に入っている7~9Bクラス日本語LLM
RAG回りを強化するためにいろいろ周辺処理を作り直しているところですが、milvusbackupがうまく出力出来ないとか、Effectベースに書き直す過程の問題なのかjest実行時に既存のinjectionで原因がよくわからないエラーが出てるとか、結構本筋でないところで引っかかったりしてます。。
既存の処理で動きがデグレートしているところが出てたりしますが、仕事じゃないんだから気にしないです。
デグレートしているところの一つに、AIに雑談音声会話生成させている部分があるのですが、今まではここはChatGPT4/4o固定していたはずなのですが、ローカルLLMが選択されるようになりました。
音声雑談会話する部分は、辻褄が合わない会話ばかりになると気になるのである程度双方向chatが安定しているChatGPT4/4oで固定していたのです。
ここの部分がElyza8bに切り替わったのですが、思ったより会話が成立したのでちょっと驚きました。
最近発表された日本語可能ローカルLLMは改良は進んでおり、サイズが8Bクラスでも出始めのローカルLLMより安定していると思いました。
そりゃ80Bとか800Bとかだったらより安定なのでしょうか、そのサイズだと量子化しても自分のサーバーでは動きませんし、ギリ動いたとしても音声会話返答にはちょっと厳しい返答時間になります。。でも8Bなら細かいところを気にしなければ2,3回の双方向会話は出来そうです(返答が微妙にじれったいところとかはあるんですけどね)
ChatGPTで固定していたときはある程度会話パターンが固まってきているところもあったのですが、ローカルLLMだと微妙が返答が混ざりつつも新鮮な返事があったりして、ちょっと面白かったりします。
最近触ったもので8Bクラスの日本語ローカルLLMだと
あたりが好みです(いずれも量子化ollama動作)
Mistral-Nemoとか気になるLLMも最近急に増えてきたので試したいのですが書き換えが安定してからかな。