AIの話：正解率、適合率、再現率の「メモ」

AIについて、知らないことが多すぎてストレスだったので、ちらほらと勉強している次第であります。

「文系AI人材」という言葉をちらほら耳にしたことがあるかもです。かんたんに言うと、それにはなれるようになっておこうと。AIそのものはつくらないというか、つくれないけれども、その仕組みを理解し、使いこなし、企画・設計ができるような状態ですね。

ほんっとうに初歩の初歩なので、記事を書くのもはばかられますけれども、メモしておくことで知識の定着につながるんでね。たまに触れてます。お付き合いください。読んでためになる方も少数ながらいらっしゃれば嬉しいです。

正解率について。

そのAIの正解率ってどうなんだっけって視点で質を見るような文脈で使います。記事画像は100人のチャレンジャーがいたとして、勝つか負けるかをAIが予想した内、当たったか当たってないかをマトリックスで表したものです。こちらですと、85％が正解し、単にそこそこ正解率が高いという判断ができそうです。しかしながら。

こんな感じだと、正解率は75/100で75％なのですが、勝ち予想を5人しか当てられていないんですよね。

勝ちと予想して実際に勝った人数ってどれくらいなんだっけ？これが適合率。5/25=20％

実際に勝った人の内、予想通りだったのってどれくらいなんだっけ？これが再現率。5/10=50％

この場合、正解率はそこそこ高いけれど、勝ち予想の精度はいまいちだねってことになると。

そもそもこの戦いは負ける人が90人も出るような厳しい戦いだったのですが、AI予想では75人しか負けると判定していなかった。AIがあまかったか、チャレンジャーが思ったより頑張れなかったか。それはもう少し分析のための資料が必要です。

とかね。この視点はそういう話で使えます。

占いとかをイメージしましたよね、こういう例を見ると。

はずれ予想ばかり立まくると、正答率が上がって、さも精度の高い占い師に見えると。

正解率は低いけれど、良く勝つよね、あの人。みたいなのはなんかかっこいい。野球でいうと新庄みたいな。古いか。