予測性能などの評価指標

2025年3月2日 00:42

予測や判別などの機械学習モデルを構築したあと、その性能の評価が必要になる。それら指標に関する情報のまとめ。
なお生成AIに関する評価や、そのためのテストデータについてはどこかの月の生成AI関連の情報まとめで取り上げてているので、そちらを参照されたい。

予測モデルなどの性能を評価する指標ついては、無償の資料としてはGitHub - NannyML/The-Little-Book-of-ML-Metrics: The book every data scientist needs on their desk.が良くまとまっている。hereとなってるところ。

そんな指標も全て見てられないという時のための簡易版というか、比較的使うものについて日本語でザックリと以下で。

と呼ばれる判別問題で活用される手法もある。通常は判別モデルの出力値が0.5より大きいか小さいかで判別するが、0.5が最適な閾値（カットオフ）かというと、モデルによっては閾値をずらした方が判別力が高まる訳で。

でも見なくてはいけないのは忘れられがちですが重要な観点です。ビジネスサイドで知ったかぶりしてる人ほど、予測モデル自体の精度指標による評価に捉われがちで頑ななのが、実はプロジェクト破綻の原因の1つだったりする＿|￣|○

いいなと思ったら応援しよう！