7月22、23日 ダビメトVer.8 APN（Application Note）まだ正体が解りません？

先週からバージョンアップしましたが、以前のバージョンに比較して、私の中では出力傾向がまったく違っていて大変苦戦しています。
ならばバージョンアップするなよ。と言われる方もいるかと思いますが、進化を止めたら終わりですし、お金の為じゃなくて、自分達の趣味なので苦しくても頑張るしかないんで、、、

まずリリースして判った軽いエラーですが
１，出走取り消し馬のAIスコアを1位にしてしまう。
　　※これはオッズの特徴量が大きいということがバレてしまいますが、
　　　流石に０倍は強烈に特徴量が上がりますよね。これは修正を相棒に
　　　お願いしました。
２，オッズ表示が小数点以下が０表記
　　※これは既に修正しました。

とりあえずAIスコア0.6以上のスコアランク1位に絞って観察してみました。
土曜日の中京、福島6Rは出走取り消し馬がスコア1位と出力されていますので、2位を繰り上げています。

7月22日

7月22日

7月23日

7月23日

ざっと眺めると、土曜は好調、日曜はサッパリという感じですが、2日間だけで出力傾向の全体が見える訳でも無いので気にしていません。
※AIはその評価指標が性能を表しますので、長期的には数値は収束していくものですから、短期的な視点で一喜一憂しても仕方ないという考えですね。
今週ならば、土日の札幌の好調と土曜の福島の好調を読み切って勝負して、日曜日の福島は見送ればいいんですね。
まあ癌の判定をAIにさせるのとは違って、馬券が当たらなくても命には関わらないので、気楽に考えた方がいいですよね。また命に関わるほどの金額は絶対に掛けませんから。

札幌競馬場
通常開幕週は少し苦手な傾向にあったのですが、新バージョンでは2日間を通して好調でした。ただ3連複系で馬券を買おうとすると必ずAIスコア7位以下の馬が絡んで、簡単にAIスコアだけで馬券が当たるという状況は少なかったと思います。
日曜の最終Rはスコアは0.5以下でしたが、ランク1位の馬が単勝7番人気で2着に入り、スコアランク2位、1位、3位の順で入線して3連複3,800円の配当でした。
一見すると、単勝7番人気をスコア1位にしていて凄い！と思われガチですが、実際に馬券に結びつけていくには、まだまだ観察が足りませんね？
しっかり狙い打てる状況はどういった条件なのか？探っていくのが私の仕事です。

中京競馬場
2日間共にAIスコア1位（0.6以上）の3着以内率が44.4%と低調でした。
その前の週は土日メインはスコア1位軸に2位～6位へ流す3連複で的中していたので、何故にバージョンアップ？って感じですが、中京は最終週で芝のインはかなり荒れており（先週から1週間で何故こんなに悪くなるんでしょうかね。）、そういった点が不調の原因かもしれませんね？
このAIは調子が悪いと判断したら、見送れば良いので、あまり深刻には考えていません。

福島競馬場
土曜日はパーフェクト、日曜日は地獄と非常に極端な成績でした。土曜のパーフェクトと日曜の8頭中1頭の差は何だったのでしょうか？
数値的に収束したのでしょうか？おそらく日曜日はほんの少しだけAIがフィットしなかっただけなんでしょう。
まあ福島の最終週はノイズだらけで、土曜日が奇跡的にハマっただけで、日曜日は完全に下振れしてしまったのだと思います。

前バージョンと大きく変わってしまったと思われる件

AI期待値オッズ複勝が７を超えている馬が馬券圏内に入ってしまった。
日曜福島10RでAIスコアは4位でしたが、AI期待値オッズが10.43のセイウンプラチナに勝たれてしまいました。（単勝11番人気5,850円）
日曜日のAI期待値オッズ7以上馬一覧

7月23日AI期待値オッズ7以上馬成績

34頭中4頭が3着以内の11.4%なので微妙な感じなんですが、私的には「こんなに来られちゃうの？」と衝撃でした？
特に札幌3Rでは複勝で万馬券でした。
ここは相棒にAI期待値オッズの分布図の出力を依頼したいと思いますね。
今後はAI期待値オッズよりも、AIスコアランクを優先して、スコアランク6位までは消さないと決めた方が良いと思います。
Ver.8は単勝人気が低い馬でもスコアランクが6位内に入ることが多いので、AI期待値オッズが高めに出てしまう傾向にあるんだと思います。

※日曜中京2RはAIスコア0.7を超えた馬が5頭も出現してしまったレースで一概にAI期待値オッズ云々では無いと思います。※5頭も選んだら１～3着を全て当ててもらいたいと思いますが、実際馬券圏内は2頭だけでした。AIは時として、横着しているんじゃ無いかと思われる選択をする場合もありますので、よく観察し、原因を探って改善していきたいと思います。
前走歴の無い新馬戦や、ほぼ前走新馬戦を走っただけの馬の揃った未勝利戦の扱いは非常に難しく、古馬の条件戦と同じにAIスコアを出力させること自体に無理があるのでしょうね。ただ趣味なのでチャレンジしていきますよ？

AIスコアが高く出すぎている。（イメージ）
前バージョンでも高スコアとされていた0.7以上が大量に出力されていて、しかも簡単に着外に消える場合も多く、「高スコア＝信頼性が高い」とした前バージョンの常識が揺らいでいます。
しきい値0.6以上のうち約4分の３が0.7を超えており、スコア値の上下による判別が難しくなっています。
全体的にスコアが高く出るので、しきい値を0.55から0.6に切り上げたところで、再現率の低下効果は余り無く、一つのレースで買い目が多くなってしまい、馬券の絞り込みや軸馬の選定に迷いが生じてしまいます。
何か他のファクター、例えば単勝人気、オッズ、AI期待値オッズ、AIスコア単勝等でAIスコア複勝の信用度が図れないか？観察していこうと思います。

Ver.8リリース早々に、次期Ver.への課題が多く出ましたが、我々の中でも試してみたいコトが多く在り、このバージョンも続けて半年以下かもしれませんね？
最近相棒と話して意見が一致している点は、「JRAが提供するデータをそのまま学ばせたところで、これ以上のAIの向上は望めないだろう。」で、私達が強い意志を持って（狙いをつけて）データを如何に精査、加工して学ばせることが出来るかがキーになってくると思っています。

以上

こんな内容ではアプリケーションノートではありませんね？これではどんな状況でAIスコアを信用して馬券に結び付けたら良いのか判りませんね。
申し訳ありませんが、もう少し時間を下さい。