2023春ぷよ学会まとめ8

2023春ぷよ学会まとめ

こんにちは。ぷよ学会主催者あやさです。
これは、5/21(日)に行われた2023春ぷよ学会について振り返るための記事です。
ぷよ学会Youtubeアーカイブ↓

[開幕！]2023春ぷよ学会～～🌸

学会に参加した方、ご覧になった方、見られなかった方、今ぷよ学会について知ったという方。
大歓迎ですのでぜひ質問なり意見なりコメントを置いて行っていただけると嬉しいです。(ツイートしていただいても嬉しいです。笑)
本記事では8人目うどんさんの振り返りをします。(本学会2回目です…!!)
他の発表者もまとめを作るのでぜひご覧ください☆
うどんさんのTwitter ↓

JavaScript is not available.

8. うどん 観戦配信のためのリアルタイム盤面認識

この度観戦配信時にかなり役に立つ「リアルタイム盤面認識」ツールをご紹介していただきます…！未来のぷよ界進展に寄与するのではないでしょうか？！

発表スライド

はじめに、実況開設というのは難易度の高い行為です。盤面を2つ見ながらどちらの盤面が優位かを見なければならないためです。これに対して、もるつさんがキャプチャーボードからswitchの盤面を認識し配ぷよ番号を認識するシステムを構築しておりまして、それを参考に、switchからリアルタイム盤面認識システムを構築しました。
盤面の状況に応じた演出を行うことで、楽しい実況解説の支援が期待できます。
まずどんなものを作ったかを説明していきます。

ただし、注意点があります。
実況解説を行う際は、ぷよぷよeスポーツプレイ動画規約に準拠するようにしてください。また、このシステムを使ってチートするのはやめましょう。

作製したものについて説明します。(ここでは最初の画面が表示されていますが、動画なんです…!!すみません！)
盤面の中に5000点以上の連鎖がある場合に、寿司や星が回るような演出が出るよう作成しております。

他に、得点の大きい2連鎖をテンパイするとアラートが鳴るようになっておりまして、このように2ダブを組むとメガホンマークがつきます。両者2ダブを持つと、両者にアラートがなります。
次に、どのような構成で作成したかについてご説明します。

このような形になっていて、switchの後ろにキャプチャーボード2枚を挟み、ディスプレイに表示します。プレイする時はこのディスプレイを見ます。その上で、1枚目のキャプボから出た信号を盤面認識アプリに取り込み、その結果をテキストで出力します。2枚目のキャプボはOBSに取り込み、配信画面で示されるものになります。
テキストで出力されたものをローカルサーバーにて立ち上げ、JavaScriptで定期的に監視をしています。監視をもとに、結果をウェブブラウザ上に描画してOBSに表示させています。

盤面認識を行っていくときにこんな工夫をしています。
ノイズの削減工夫としては、ネクスト監視により一瞬だけを盤面認識するようにしています。ネクストが変わった瞬間の盤面のみを取り込むことで、ぷよが落ちている間の盤面や連鎖中のアイコン等による認識結果のブレを無くしています。
また、盤面取得の時にまず枠の中のみを切り取ってから認識するようにしています。おじゃまを受けているときなどに枠が左右に揺れ認識が難しくなってしまうためこのようにしています。
こうしてノイズを無くすことで、色の認識をする際に的確に検知できるようになっています。
画像認識はパターンマッチングのような手法は用いず、特定のエリアの色平均から検知する仕組みとなっています。ぷよスポの場合ぷよは大体40×43ピクセルで表されますが、そのうち10×10のみの領域を取りRGB平均からぷよの有無と色を見極めています。

次にOBSでの描画についてですが、表現豊かにすべくブラウザ経由でOBSに出力しています。(これも動画です…！！)OBSは使える文字が限られていて絵文字を使えないので、こうしています。また、ブラウザでプログラミングをすることで寿司を回したり、消したり、現れたり、みたいなことが出来るようになります。

まとめです。観戦配信のためのリアルタイム盤面認識システムを構築しました。このときに、様々に工夫することでより良いものとなりました。
実際に配信してみたときに、画面がうるさすぎて観戦配信向けじゃないなと思ったのでそこを改良していきたいです。また、ネクストが変わったタイミングで認識することで「1手前の結果を表示」していることになるので、よりリアルタイムな盤面認識ができるよう工夫していきたいです。

感想コメント

これTwitterで見たけどめちゃすごかった
すごい工夫
「ツモった瞬間」を「ネクスト変わる時」で観測するの発想がすごい
頑張れば寿司以外の絵文字も回せるのでしょうか？
今後への期待大ですね
枠認識で誤認識起きませんか？ライブラリとか何を使っていますか？
回転寿司
配布版はいつ公開されますか！
しゅごい
ありがとうございます！
なるべく回転寿司を維持した状態で戦うっていう練習ができそうですね
​ｺｯｿﾘ...
全消し！の文字で黄色と間違ったりしませんか？
あーなるほど、そっちでカットしてるんですねー
なんで寿司にしたんだろう
お邪魔送る光も邪魔そうだねぇ
すごかった！

質問コメント

Q. 頑張れば寿司以外の絵文字も回せるのでしょうか？
→A. 回せます。ブラウザ上で打ったものを映し出せます。車を回したり動き方も変えたりできます。
Q. 枠認識で誤認識起きませんか？ライブラリとか何を使っていますか？
→A. 使っていません。上から400ピクセルの行から明るい青の位置を抽出、そこから一番右のコマ、左のコマをピックアップして切り抜くようにしています。
Q. 配布版はいつ公開されますか！
→A. 著作権周りや、チートツールになってしまうのは嫌なので、申し訳ないですが現在の配布は考えていません。
Q. なるべく回転寿司を維持した状態で戦うっていう練習ができそうですね
→A. そうですね。発火点を維持する練習ができると思います。
Q. 背景のキャラがサタンとシグで色が変わってしまいそうですが、大丈夫なのですか？
→A. 最初に「背景かどうか」を認識していて、今のところ認識できているので大丈夫かと思います。
Q. 全消し！の文字で黄色と間違ったりしませんか？
→A. 基本的に間違えて認識しちゃうのですが、「浮いたぷよは消す」という処理をしています。

発表者の感想

回ると嬉しいもの第一位！寿司！を回してみました。

あやさの感想

うどんさん本学会2つ目の発表でした！！✨1つでもかなり大変な学会発表ですが、同時に2つ、しかも素晴らしい内容を発表してくれました。ありがとうございます。
本発表が2023春ぷよ学会の最優秀賞です🌸🌸
近年、ぷよらーによるぷよらーのための配信が増えてきましたが、やはりその技術はさらに追い求めていく必要があると思います。私は連鎖数や点数も予測できず…。このように、データを読み込むことで可視化されると嬉しいです。もちろん、初心者だけでなくうまい人でも欲しい機能かと思います。
また、発表内で「チートなどに使わないよう」という注意をしっかり話してくれたことも印象的でした。良いものを作っても悪用は禁止。素晴らしい発表でした。
またぜひ…..!!!!!!
そして皆様今後の発展を楽しみに!!!!!!!