今週の旅bot達の様子。
ここ一週間の三姉妹の道程
mi
お疲れ様。上甑島から下甑島を巡っているところです。日本で島とか言うと観光開発されまくっているイメージですがわりと地味です。おそらく山が急で開発しにくい感じなのかな。交通の便とかもありそう。
「あの有名なトトロ岩」と出てきて、ハルシネーションしたかなーとか思って見てみると確かに「トトロ岩」。有名どころの「トトロ岩」は石川県らしいのですが、超マイナーだけどトトロ岩らしいです。旅bot的にはGoogle mapにそうだと言われたら反論できないのです。
今回の場所
検索すると最初に出るもの
mu
お疲れ様。小豆島から一旦本州に戻って、瀬戸大橋を通って四国丸亀市から本島などこの辺の島を巡っているところです。このあたりの島だとコンパクトに番所跡とか海水浴場とかいろいろあるようです。やっぱり交通の便の差かな。
mei
お疲れ様。ニューヨークなので細かく見て回るためにあっちこっちに移動しているところです。移動してみると場所によってはただの郊外の生活地区みたいに見える場所もちらほらあります。まぁそうですよね。来週もそのまま細かく見て回る予定です。
OpenAI-o1-previewで1週間旅ログを作ってみる
miの一週間ログで、人でもAIでも間違えそうな「トトロ岩」が出てきたのですが、これをo1-previewで処理させたらどうなるのでしょうか。「ここは有名なトトロ岩ではないです、あまり有名でないほうのトトロ岩です」と言うことは出来るでしょうか。
同じシステムでGPT-4oからo1-previewに切り替えてみます。プロンプトは同じですがo1-previewはsystemプロンプトは受け付けないのでsystemプロンプトは除去しています。ですから厳密には指示はやや異なることになります。
2回実行してみたのですが、トトロ岩を「あの有名な」ということはありませんでした。曖昧な情報から確定的には言わずに「映画のトトロ」という無難な表現でとどめているあたりは賢いのでしょう。
ちなみに「鹿児島市にいる」「京都にいる」みたいな明らかに誤った表現はあるのですが、これは元データ(ローカルLLMを含むLLMで生成した旅ログデータ)に元々含まれている誤りで、o1としては要約を指示されているだけなのでさらっと流しているのでしょう。
別の実行例では「次の日はちょっぴり遠出して京都へ。しかし、その後また薩摩川内市に戻ってきました。」と言っており、辻褄を極力合わせようとしているようでもあります。
期待した「有名でないほうのトトロ岩」とまでは出ませんでしたが、これを有名でないほうといえるのは、私でもGoogle mapやweb検索で調査した結果ようやく言える話しです。o1-previewがcohereのweb search connectorみたいな追加検索機構を持つ訳ではないので、o1が「有名な」という怪しいことを言わなかっただけでも出力が慎重なのだと思います。そういえばfunc callにweb searchみたいな関数を渡すと怪しい点を再調査とかやるのだろうか?
AIはどう回答すればよかったんでしょうね。
「下甑島と京都を半日で往復できるはずはない。この入力に誤りがあります」と処理をボイコットすればよかったのか
「下甑島には京都という隠し村があるんです」「下甑島と京都をプライベートジェットで往復し」とハルシネーションを駆使すればよかったのか。
そう考えればo1は賢い回答ですよね。
ちなみにo1でも「可愛く」という指示は効いてるようなので通常の旅ログにもo1を入れるのを検討してみるかな?