見出し画像

[旅するAI bot]旅botだより(10)

まぁ/Masahiro Fukushima

今週の旅bot達の様子


ここ一週間の三姉妹の道程

mi

mi

奄美大島を巡り中です。地図で見ると距離が長いように見えるので、手動目的地の設定が結構想定していた距離より短くてチョコチョコ進みになってます。でもなかなか見ない絵が出るのは面白い感じです。

mu

mu

横浜近辺です。このあたりは若い頃に住んでいたことがあるのでやや土地は分かるのです。ただ住んでいた割にどこにも行ってないのでもったいないとは言われそう。もう少し旅botで回る場所がなくなったらこのあたりを集中的に回ることもあるかもしれない。

mei

mei

ミシガン湖畔沿いに東に抜けるコースです。奄美大島の地図と合わせて見るとこっちもスケール設定を結構ミスってます。
とりあえずこの後はデトロイトに向かう方向です。

llama3とph3の追加

矢継ぎ早にいろいろなタイプの公開LLMが出たので追加しました。

  • Meta llama3

  • Microsoft ph3

最近ローカルLLMをollamaに集約しようとしているので簡単に追加できると思ったのですが、意外に苦戦したのです。。

量子化モデルだと日本語が苦手になる?

llama3もph3も発表後数日でollamaで対応されました。多くの記事でllama3やph3で「日本語通りました」という話しだったのでollamaのcliで試しました。

>>> 寒いときはどうすればよいですか?
During cold weather, it's important to stay warm and safe. Here are several tips:
1. Dress in layers - Wear thermal underwear, a fleece or wool sweater, and a waterproof and wind-resistant outer layer. Layering traps heat effectively.
…

phi3

うん、言ってることは理解してる。でも返答がなんで英語? 文章によっては日本語で返すときもある。でも英語で返されることもある。
うーん、量子化すると日本語が苦手になる? それとも日本語対応がまだなんちゃって? 量子化の桁を大きめにすると日本語で返しやすいけど確実ではない。ollamaの問題? 明示的に「日本語で返答してください」と指示が必要?

結局分からないので、現時点ph3はfp16版、llama3のモデルは70bの量子化版にして「日本語で返答して」と指示を加えています。

ollamaはAPI版は安定しない?

ollamaのcommand-r-plus版を調べていたときにも起きたのですが、コンソールからollama runで操作すると重いけど動くのですが、ollama APIで取得操作をするとレスポンスが固まるという現象が起きていたのです。これがモデルのサイズが大きいllama3-70bでも同様に起きて、cliだと動くけどAPIでは固まってしまうという現象が起きてしまいました。7bくらいの軽量モデルならきちんと返ってくるのです。
ollamaのissueを見てもどうもAPI周りでの報告が結構あるので何かあるのかもしれません。
まぁそれでもRESTで10分レスポンスを待つというのもあまりよい話しではないので、LLMサーバー側ではcliで呼んでRESTでピンポンする形に手直ししました。akkaを使えとか言われそうですが単一実行でそこまで重くしたくないですし。
結果として返事に10分以上かかるローカル実行でもきちんとレスポンスを受けられるようになり、command-r-plusもllama3-70bも将来もっと重めのローカルLLMが出ても時間を気にしない作業であれば実行出来そうなのでまぁよしとしました。
cliよりもAPIのほうがoptionの指定が細かく出来るのでAPIの方が直って欲しいのですが。
llama3とph3はまだちょっと調整がいるかもです。

画像モデルをいくつか試し中

画像モデルをanimazineXL-3.0に切り替えてから結構たつので、そろそろ新しい別モデルへの切替も検討はじめました。

従来使ったモデル(SD版以降。それ以前は3Dモデル)

ConterfeitXL-1.0β

emi

Counterfeit-V3.0

個人的には安定しているアニメ絵モデルであればそれほど絵柄にこだわりはないのですが、とりあえず候補は以下の2つで検討中です。

  • AnimazineXL3.1

  • CounterfeitXL2.5

  • Emi2

実はimage to image時の背景との光の混じり具合でいうとCounterfeitXL_1.0βは割と好きなのです。
どちらにするかまたは変えないかはしばらく使ってみて様子見です。
(追記)
Emi2が一昨日発表されてた。。おそらくMeiはこれに切り替えてみる予定

今はちょっと手作りthin端末のほうの組み込みのほうがメインで、旅botの方は先のローカルLLM向け修正など、リファクタリングでの改良が主体です。
エイヤで書いた部分も多いのでたまにリファクタリングして整理しないと後々しんどいし頭の切替にもいいんですよ。

いいなと思ったら応援しよう！

この記事が参加している募集

#AIとやってみた

48,585件