メモ：ChatGPT の しりとり

ひと休みしましょう

こんにちは。みっつです。
金曜日です。みなさん一週間お疲れさまでした。

夕食までの間に、ちょっとしたことのメモ書きです。

TwitterやYouTubeで「ChatGPTはしりとり苦手」という意見をいくつか見かけていたのですが、個人的には「そんなハズはない」と感じたので実験してみました。

結果から言うと、幸運なことに予想通りの方法でうまくいきました。
以下に試したことを書きます。

確認：しりとりが苦手なことを再現

まず、何も考えずにしりとりをしてくれというお題を出してみました。

いいですね、大失敗です。

さて、本題。
「しりとりが苦手」というのを見たときに思ったのは、「それは私たち人類が、しりとりを教えることが苦手なだけなのでは」ということです。
自然言語を入力とするAIにしりとりを教えるために、どういう事をすればいいのかがわからないことが問題なのではないかということです。

もうわかりましたね？（突然の謎の上から目線）
では次に行きましょう。

実験：しりとりの自然言語での定義

今回は以下のことを試しました。
（一発でうまく行っちゃったので細かいことは未検証。とりあえず記事に書くかって感じで書いてます）

要するに、プログラミングで行うような繰り返し処理や条件分岐を、自然言語で記述できれば、それはうまく機能するのではないかという仮説です。

最後の「step by step で考えてください」というのは、とりあえず書いとくといいよ、くらいのおまじないです。（"Zero-shot CoT" でググるといいかも）

回答がこちら。
しかしまあ、人間というのは幼いころからほぼ無意識、直感でこんなに難しいことをやっているんだなとか思いつつ、内容をチェック。

しりとり終了条件が６. の但し書きくらいでいいのかな、と思いつつも、まあ間違っていないのではないでしょうか。

次はこれを用いて、最初と同じことをさせてみます。

コピペしただけです。
よろしくおねがいしまああす。

一回負けてちょっと自暴自棄になって初手で「にんじん」を出すAさんの可愛さも含めて、ばっちりなんじゃないでしょうか。

ということで、うまくいきました。
同じようなルールを明快に自然言語で記述すれば、きっと動作するのではないかと思いますが、まあ書いてもらったほうが早いですよね。

前提として、ChatGPT はじめ最近の対話型のAIは、プログラミングやアルゴリズムの話については比較的正しいことを回答できるというものがあると思います。
なので、解かせたい問題をプログラムを作るような構造で自然言語で表現してあげれば機能するのかなと思ってます。

うまくいってよかった。

ちなみに：GPT-4だとどうなのよ？

SNSなどで見かけたしりとりダメダメ投稿は、無課金で使えるGPT3.5が多かったので、今回は条件をそろえましたが、GPT-4でも試してみました。

ばっちりですね！

というわけで、このようにして簡単に思いつけるようなことは、モデルのアップデートで無に帰すのでした～～。
プロンプトをどうするかを考えるくらいなら、そもそも精度の高い英語を使って入力できるように英語力を鍛えてみたり、音声入力よりも早くブラインドタッチできるようにタイピングの練習をしてみたり、出力された文章を早く読み解く速読力的なものを培ったりした方がタイムパフォーマンスもコストパフォーマンスも向上するのでは、と思ったりします。

とはいえ、こういう実験は楽しいものですね。
小さな仮説検証はどこかで誰かの役に立つかもしれませんし、このようなステップがモデルの裏に隠れてしまう前の段階で色々触って感覚を養うことに意味はあると思います。
（自然科学系の実験装置とかでも、"古き良き"アナログチックな頃の装置で、中の仕組みを理解しているご年配の方々は今どきの装置についても理解が深かったりしますし。）

またなにかやってみたらメモ書きします。

おまけ：GPT-4に、しりとりのルールを書いてもらったらどうなるの？

もちろん初めからうまくいったGPT-4についても、ルールを自然言語で書かせてみました。

（実はこの入力を一番最初に試してみたので、訊き方が少し違って雑ですがご勘弁ください）

いい感じだったので、今回はこのリストも使ってしりとりしてもらいました。

ばっちりですね。

このリストを使って、人間がドライブ中なんかに偶に行う、いままで使った単語をちゃんと覚えないといけない、記憶しりとりをするときに、使った単語を意味記憶でストーリーとして覚えることができるか、試してみました。

自分で既に使った単語のリストを持っているのに、それを使ってわざわざ意味記憶をしようとしてるＡＩ、萌え～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～。

そのあとは、以下に並べるような色々なしりとりの試合を観戦して遊んでました。

以上！

おまけのおまけ１：この世にない単語しりとり

おまけのおまけ２：AIがつくったオモシロしりとり

おまけのおまけ３：AIがつくった もっとオモシロしりとり