今週の旅bot達の様子。
ここ一週間の三姉妹の道程
mi
お疲れ様。このあたりは観光エリアが多くて見応えがあるエリアでした。来週には沖縄一回りが出来そうな感じです。
mu
お疲れ様。今週は鳥羽パールタウン付近でフェリーに乗るとは想定してなくてちょっと停泊がバグってしまいましたがとりあえずはなんとか直った状態です。そのまま海岸沿いで和歌山予定です。
mei
お疲れ様。ピッツバーグに到着しました。ピッツバーグにロビー(禁断の惑星)が出てくるとは思いませんでした。自分的にはこの系統のロボットだとフライデー(宇宙家族ロビンソン)とかハック(キャプテンウルトラ)とかのほうがイメージが強いです。来週はしばらくピッツバーグ回りかな。
LLM更新とブログの更新
今週は3つのLLMを追加しています。
Llama3ベースのGGUFはollamaではLlama3のパラメータままで取込できそうです。
ただ、Gemma2は07/05に設定、Swallow8bとneoAI8bはちょっと前に設定したばかりなので安定度はまだ未知数です。
ローカルで動作確認した分にはGemma2は十分に安定そうなのですが、Swallow8とneoAI8はやや微妙な出力もあったのでとりあえず評価です。
でも少し前まではもっと微妙なLLM出力でも運用していましたし。ただ最終的には同じLlama3系統はどれかにまとめてしまうかもしれないです。
先週に続きAI処理周りの大幅改修を続けているので、今は簡単にできるollamaで動くLLMの追加は出来るだけ試してみる予定です。ただ旅bot用途では7~9bクラスの量子化版で十分に安定そうなのでそのあたり主体です。
90bクラスのものも動かしてみたいとは思うものの、動くGPUはとてもじゃないけど買えないし、それであればAPIサービスの方で十分試せますし。