機械学習後の評価 正解率 再現率 適合率について
機械学習とは
「データから規則性や判断基準を学習し、
それに基づき未知のものを予測、判断する技術」
のことです
第32回日本臨床工学会の発表 では 医療機器管理システムから
BPA-43 決定木系の機械学習を利用しました
決定木系の機械学習の種類3つについては
以下のサイトをご参照ください
今回の研究では
医療機器関係のデータから規則性や判断基準を学習し、
それに基づき未知のものを予測、判断する
ここに機械学習を利用し予測しています
予測した後にどのような精度だったか
評価する必要があります
そこで正解率 再現率 適合率 等を確認する必要があります
正解率
正解率(Accuracy)とは、
予測結果全体がどれくらい真の値と一致しているかを表す指標です
注意すべき点は、
正解率が高ければよいモデルというわけではないということです
例えば、真の値が[1, 1, 1, 1, 1, 1, 1, 1, 1, 0]と負事例が1つのものだとします
機械学習をした結果、予測の値が[1, 1, 1, 1, 1, 1, 1, 1, 1, 1]となったとき
正解率は90%と計算され一見よいモデルと思えます
しかし、1個の負事例を予測できていないため
このモデルは意味がない可能性があります
つまり、この機械学習は
医療機器関係のデータから規則性や判断基準を学習後に
全て1と予測した 機械学習モデルとなります
正解率は90％で、精度が一見よさそうに感じますが
実はもともとのデータが不均衡のため正解率が高くなってしまった事例です
このように正事例と負事例が不均衡なデータに対し、
正解率を使って評価するのは難しいため
正解率以外にも適合率や再現率などの
様々な指標をみて評価する必要があります
適合率(precision)
適合率は正と予測したデータのうち，実際に正であるものの割合
「精度」と呼ぶこともあり
妊娠検査の例：妊娠と診断した中で正しかった(本当に妊娠だった)率
例えば医療機器のデータから0か1の2値分類を
行った際に機械学習が1と予想したうち実際に1である確率は
「精度」もしくは「適合率」 であらわされます
適合率の注意点としては
適合率が高い場合 上記事例では
1と予想する件数が多ければ多いほど
適合率は高くなります
極端な話 機械学習が全て１と予想した場合
適合率は1となってしまいます
再現率(Recall)
実際に正であるもののうち，正であると予測されたものの割合です
実際に正であるものをどれだけ回収(予測)できたかの割合になります
妊娠検査の例：妊娠中の人で検査結果が正しかった
(正しく妊娠と診断された)率
こちらの計算式を見ていただけるとわかるのですが
フォールスネガティブが 分母にあります
フォールスネガティブとは、
検査などで不正や異常、有害な事象を誤って
正常であるとみなしてしまうことですが
フォールスネガティブが計算上分母に来るため
機械学習が全て １ と予想しても
実際は０であれば フォールスネガティブとなり
再現率の値が低くなります