麻雀AI(Mortal、NAGA)の解析結果から見る、雀魂の雀聖・魂天到達に必要なレベル

2024年12月26日 23:15

はじめに

「生成AI」が話題となってから久しいですが、
雀魂を始めとした麻雀ゲームにおいても、
牌譜検討にAIツールを活用されている方は多いのではないでしょうか。

それはMリーグに所属するプロ雀士でも例外ではないようで、
KADOKAWAサクラナイツの岡田紗佳選手は、自身の牌譜検討にAIを活用していることを公言しています。

同じくKADOKAWAサクラナイツの渋川難波選手も、
自身のYouTubeチャンネルにて、時折NAGAを使用した配信を行ったりしていますね。

さて、少し私自身の話になりますが、
私は麻雀のルールを覚えたのが2023年7月でして、
この記事を書いた時点では、ルールを覚えてから1年半程度しか経っていません。

そんな北北ペーペーの私ですが、
そこから約1年後の2024年11月には、雀聖へと昇段することができました。

振り返ってみると、「雀魂で段位戦を打つ」⇔「AIで牌譜検討」というサイクルを回すことで、徐々に徐々に打牌に迷いがなくなっていったように思います。（ただ、AIは打牌の意図までは教えてくれないので、そこはプロ雀士の配信を見たりして知識を増やし、AIの意図を理解しようとしていました）

今も魂天を目指し日々雀魂をプレイしてはAIで牌譜検討をしているわけですが、ふと思ったわけです。

そもそもAIの解析結果って順位と相関があるのか？
相関があるとして、雀聖・魂天到達に求められるレベルは？

…少し気になる…！
前置きが長くなりましたが、普段集計している自身のAI解析結果を使って調べてみました。

集計したデータ

まずは、本調査に使用するデータの前提条件を以下にまとめてみます。
今回は普段からお世話になっている、MortalとNAGAを使用しました。
※NAGAは2024年途中からの使用のため、データ量が少なめ
※NAGAで解析した試合はすべて、Mortalでも解析しています

Mortal ( https://mjai.ekyu.moe/ja.html )
・集計試合数 : 523試合
・集計期間 : 2024年4月～2024年12月
・集計対象 : 玉の間(半荘戦)の以下AI解析データ
　・rating
　・一致率
　・悪手率
　　※悪手率はデフォルトでは表示されないため、
　　　こちらのChrome拡張機能を使用させていただいています
・使用モデル : 4.0、4.1b
　※8月31日の4.1b公開以降は、すべて4.1bで解析

NAGA ( https://naga.dmv.nico/naga_report/top/ )
・集計試合数 : 147試合
・集計期間 : 2024年10月～2024年12月
・集計対象 : 玉の間(半荘戦)の以下AI解析データ
　・類似度
　・一致率
　・悪手率
・使用モデル : v2.2 ニシキ

また、Mortal・NAGAの解析結果以外にも、以下の一般的なデータも合わせて集計しています。
　・順位
　・総局数
　・和了回数、総和了打点
　・放銃回数、総放銃打点

集計結果の分析

ここからは、前項で示した集計結果を複数の視点から見てみましょう。

①1試合単位でのAI解析結果と、順位の相関

まずはごく単純に、「1試合単位でも順位との相関があるのか？」をスピアマンの順位相関係数を用いて調べました。（計算にはこちらのサイトを使用させていただいています）

順位とプラスの相関が出そうなところは緑に、
反対にマイナスの相関が出そうなところは赤にしています

順位が良いほどrating(類似度)と一致率は高く、悪手率は低くなることが考えられますが、ほとんどの項目が-0.2～0.2の間に収まっており、
1試合単位の解析結果では順位との相関はなさそうです。（相関の強さの目安に絶対的な基準はありませんが、「相関がある」と言うには-0.3以下、もしくは0.3以上は欲しいところです）

まあ、考えてみれば当たり前の話ではありますね。どれだけ良い打ち方をしても他家がツモりまくってラスになることもあれば、牌効率的に悪手でも運よくツモればトップになることだってあります。~~最近親番に限って跳満倍満ツモられての親かぶりが多い気がする~~

②順位別に集計したAI解析結果の平均値

今度は順位に着目し、順位別でのAI解析結果の平均値を取ってみました。

Mortalは解析結果(rating,一致率,悪手率)が順位の良し悪しと綺麗に比例しており、NAGAも概ね比例しているように見えます。
前項①の結果も踏まえて考えると、「1試合単位のような短い期間では相関は見られないが、100試合単位など長い期間だと順位との相関が出てくる」と考えられそうです。

③AI解析結果を一定の値で区分けした時の、各種データの平均値

②とは逆に、AI解析結果を一定の値ごとに区分けし、そこから各種データの平均値を集計してみました。以下にMortalとNAGAそれぞれの集計結果を示します。

Mortal

上記の集計結果から、概ね以下のことが言えそうです。

解析結果(rating,一致率,悪手率)が良化するほど、平均順位は高くなる
和了率、放銃率も同様、解析結果に伴い良化する
平均和了打点、平均放銃打点と解析結果はあまり相関がない

NAGA

一方、NAGAはMortalほど分かりやすい相関は出ていませんが、傾向としては同様のものが見て取れるかと思います。
これは集計している試合数が少ないことも影響していそうなので、データが増えてきたときに再度集計してみたいですね。

④MortalとNAGAの解析結果の相関

MortalとNAGAの解析結果(rating(類似度),一致率,悪手率)についてどの程度相関が見られるのか、①と同様スピアマンの順位相関係数を用いて調べました。

プラスの相関が出そうなところは緑に、
反対にマイナスの相関が出そうなところは赤にしています

同AIでの解析結果は勿論のこと、異なるAI間でも相関が見られる結果となっています。
AIによって打牌の評価が異なることは珍しくないですが、どちらかのAIで高い評価が得られれば、もう片方のAIで極端に低い評価となることは少なそうですね。

⑤雀聖、魂天昇段に求められる水準

さて、本noteの本題になりそうですが、ここまでの①～④の結果から「AI解析結果と順位に相関はある」と言えたとして、より上の段位を目指す上ではどの程度の数字が必要なのでしょうか？

一旦ここで、雀豪3と雀聖3が玉の間(半荘戦)で得られる順位別のポイントを見てみましょう。

実際には、上記順位別のポイントに終局時の素点が足し引きされますが、雀聖(魂天)に昇段するためにはこのポイント配分をベースとして、トータルプラスにする必要があるわけです。

そこで、③と同様に解析結果(rating(類似度),一致率,悪手率)をある一定の値ごとに区分け、得られた順位別のポイントをそれぞれ区分けごとに合計し、近似値線を引いてみました。
その近似値線と合計ポイントが0を上回る点が、最低でも雀聖(魂天)に昇段するために必要なラインとなりそうです。
以下にそれぞれ、MortalとNAGAで集計したグラフを示します。

Mortal

NAGA

各グラフでの結果を表にまとめてみました。
一つ基準になる数字ではあると思うので、雀聖(魂天)への昇段を目指す方は、以下指標を平均で出せるようになってみましょう。

おわりに

いかかでしたでしょうか？既に先駆者の方が、麻雀AIを用いた似たような記事を書いていたりしますが、実際に自分で集計してみても同じような結果が出るのは非常に興味深かったです。

また、本末転倒な話にはなってしまいますが、「AI一致度が高いから、雀力が高い」のではなく、「雀力が高いから、結果としてAI一致度が高い」というのが順番としては正しいんだろうと思います。
あまりAIの解析結果に一喜一憂しすぎず、あくまでひとつの目安として活用していくのが良いかもですね。（ラスになったときに「運が悪い」のか「打ち方に改善点がある」のか、ある程度AI解析によってはっきりする部分があるので、精神安定剤的に使うのもよいでしょう笑）

時間があれば、今度は解析結果を高めるためのコツや、自分がAI解析から学習したポイントもまとめてみたいです…！
ここまでご覧いただき、ありがとうございました！

※本記事では相関係数など使用していますが、私は統計学に対して造詣が全く深くないため、もし間違っていたらご指摘してくださると嬉しいです