タイトル画像は、ume_sendaiさんのnoteからいただきました。
問題があれば、差し替えます。
こんにちはmakokonです。
宝島社の「アレの統計・確率」を見ていると以下のような画像がありました。「人生で遭遇する出来事の確率」だそうです。
個々に残っている数字の信頼性はチェックしていませんが多分確率として議論できるような精度ではないでしょう。適当な報告書で数を数えてみただけに決まっています。数学の本ではないので、そこは突っ込みません。問題はこの中にある「麻雀で天和がでる確率 0.00003%」というところです。これは計算できる数字ですね。
実際に計算してもいいのですが、LLMはこのような問題が理解できるのかどうか聞いてみました。
今回は、ただLLMとの会話を繰り返して、コメントを入れているだけの記事です。LLMの苦手はわかりますが、役に立つ情報は得られません。(そこまで進まなかった)内容が薄く、長いので申し訳ない。LLMの苦手に興味があれば読んでください。
結論としては、LLMは重複した組み合わせを、正確に数えるような問題は問題の認識から間違えやすいし、コンテキストが長くなると混乱しやすくこの種の問題がとても苦手だとわかりました。
今度思考モデルで試してみるべきかもしれませんね。
今回のプレーヤー anthropic.claude-3-5-sonnet-20241022-v2:0
今回相談したのは、anthropic.claude-3-5-sonnet-20241022-v2:0さんにしました。最近はよくお世話になっています。
麻雀で天和を上がる確率を計算したいと思います。どのように考えるべきでしょうか
1/48,000≒0.0000208333≒0.002%だと言っていますね。宝島さんとはだいぶ違う数字ですね。どんな考え方があるのでしょうか(別にLLMがとっさに計算したわけでないことは承知しています。突っ込まないでください)
一応問題は正しく認識しているように見えます。
では、計算方法を相談してみましょう。
計算の基本方針を聞いてい見ましょう。
質問:136枚から14枚を選ぶ方法の計算は容易ですが、それが和了形となっていることをチェックする方法がわかりません。
もちろん14枚を具体的に提示されたときの判定はちょっとしたプログラムの問題ですが、すべての組み合わせをチェックするのは実際的でないと思えます。
まあ、悪くないですね。続きを聞いてみましょう。
進めてください(具体的な数え上げ方法)
いきなり国士無双の
- 1,9牌+字牌(計13種)から12種を2枚ずつ、1種を1枚
あたりで怪しいですね。もちろん12種を1枚ずつ、1種を2枚です。
でも、またはのところが正しいので、気にせず進めます。
こんなことでつまずいていたらLLMとはお友達になれません。
進めてください。(七対子と国士無双)
七対子では、2枚必要と書いているのに式は考慮していません。
国士無双では、パターン1が本気だったんかい?合計が14枚にならないことがわからないのかなあ。(最近の思考モデルだとちゃんと振り返るかもしれませんね)
パターン2の方でも、1枚選ぶときには4枚から選ぶ、2枚目を選ぶときは3枚から選ぶと言った重複の数え方が全然入ってきません。
まあ、かろうじて天和の形にはなっているので、次を聞きます。
進めてください。(4面子1雀頭)
相変わらず重複の概念が出てきませんが、これは後で聞くとして、制約の
- 同じ種類の牌は4枚まで
- 面子同士で牌が重複してはいけない
- 雀頭で使用した牌の考慮
この重複してはいけないというのが気になりますね。なにか勘違いしている気配がプンプンします。
順子4面のパターンを進めてください。
まだ、決定的な破綻はないようです。
進めてください。(具体的に)
流石にこれは見逃すことができませんね。麻雀になっていません。
- 可能な組み合わせ:
- 1234-3456-5678-789
- 123-345-567-789
- このように、重複なく4つの順子が取れるパターンを数え上げ
1234てどんな順子ですか?15枚もありますよ。
重複なくていうけど、同じ牌は4枚あるんだから重複できるじゃん。
流石に指摘して、修正してもらいましょう。
わかりません。
質問:まず、1234-3456-5678-789 は順子ではありません。4枚で構成する順子はありません。
つぎに、
それぞれの牌は4枚ずつあるので、例えば、123−123−123−123といった組み合わせも許されるはずです。
まあ、続きを聞いてみましょう。
進めてください (数えてみてくれ)
かなり胡散臭いですね。
1萬を雀頭に使用した場合、123萬の順子は最大3回まで
雀頭は2枚消費するから2回までですね。計算式の胡散臭さは一旦パスです。
致命的な考え方だけ修正して次に行きます。
1萬を雀頭に使用した場合、123萬の順子は最大2回まで
質問:1萬を雀頭に使用した場合、123萬の順子は最大2回までです。修正して進めてください。
いやあ、基本的な間違いがなかなか抜けられないですね。
例:2萬が雀頭の場合
- 123萬は最大4回 → 最高2回
- 234萬は最大2回
- 345萬は最大4回
123萬も234萬も2萬を使っているから、最高2回ですよね。
しかもこの2つの合計も最高2回です。数字の続きを分解して考えられていないのもLLMらしいけど、ちょっと許せないですね。もうちょっと親切に念押ししましょう。
正しく、考慮できていません
質問:正しく、考慮できていません。
2萬が雀頭の場合
123萬は最大4回 →最大2回
234萬は最大2回
しかも、123,234のパターンは合わせて最大2回です。
三萬が雀頭の場合は、更に制限がつよく
123,234,345のパターンを合わせて最大2回です。
まあいいでしょう。続けてもらいましょう。
進めてください (順子 4面)
まあいいでしょう。
進めてください。 (雀頭が字牌)
進めてください。 (一種類で)
もう、かなり怪しい。計算を確認すると行っているから確認させる。
確認して進めてください。
そろそろ、重複の問題が見逃せなくなってきました。極端な例を提示して修正してもらいましょう。
問題があります。
質問:今までの組み合わせにも共通していますが問題があります。
3-1:2通り(AAABとBAAA)
2-2:1通り
となっていますが、AとBに共通の牌がない場合、A1A2A3A4から3つ選ぶ4通り、B1B2B3B4から一つ選ぶ4通りのような配慮がありません。母数の136C14には、これらのすべてが含まれています。しかもAのパターンは4種類ではありません。
また、A,Bに共通の牌がある場合は、指摘されたように2-2の場合の形は1通りとなり、複雑です。
とうとう、進め方をこちらに聞いてきました。
このあと10ターンほど、細かい指示を入れながら進めましたが、間違いが堂々巡りするようになり、進展しなくなりました。
おそらく、会話履歴に含まれる正しいアプローチと間違ったアプローチを正確に認識できないのでしょう。コンテキストウインドウの制限からするとまだまだ余裕のはずですが、似たような単語に異なった判断(否定とか多いとか足りないとか)がつくと、混乱しやすいですね。
これで会話を中断します。
まとめ
麻雀における天和が出る確率ということでLLMと長々と話をしましたが、LLMの苦手な側面を確認できたような気がします。
まず、問題の認識として、抜けなく、ダブりなく問題の条件を認識することそのものが苦手です。
しかも数字の羅列を文字として独立して思考を進めることができず、数字の中の共通部分を認識できません。(正確にな認識するのですがすぐに忘れて、経験が活きません)
そして、コンテキスト(履歴)が長くなり、同じような言葉がたくさん出るようになると重要な情報を正しくピックアップすることができません。
こういう問題は、今回のような冗談のような会話では問題ありませんが、RAGによる複雑な検索や、複数のロジックを積み重ねる問題、フォーマットに依存して同じ文字列から違う意味を引き出す問題などでは、かなり致命的な動作をすると思われます。
何度も言われることですが、LLMの言うことを鵜呑みにしないことが大切です。
そして、問題を整理して、改めて問いかけるなど、LLMが理解しやすい工夫がリウかもしれませんね。
例えば、会話を整理して有効な情報をJSONで書き出したあと、履歴をクリアして、情報を再読込するとか。
間違いを細かく指摘して思考を調整することが大切そうです。
今回の結果は、残念なものですが、また少しLLMと仲良く慣れた気がします。
ハッシュタグ
#LLM #麻雀 #天和 #確率 #ロングコンテキスト #検索精度
#組み合わせ