【初心者向け】はじめての画像認識AIテキスト：最終回「よいAIのみわけ方」
こんにちは、ヒューマノーム研究所インターンの塩谷です。
この記事は初心者向けのノーコードAI構築ツール「Humanome Eyes」を用いて、物体検知AI（ものを見つけるAI）を作ってみよう、という連載の最終回となります。これまでの記事は以下のリンクからお読みいただけます。
前回は、Humanome Eyesを実際に操作しながらお菓子の種類を判別するAIを作成しました。今回は、AI構築の醍醐味とも言える、精度評価とAIの再構築（下図の後半部分）についてお話します。AIをさらに賢くするためのヒントとしてぜひお読みください！
Humanome Eyes は画像の取り込みから精度評価までプログラミングなしで行うことができる物体検知AI構築ツールです。この連載内容は無料で実施できます。ご登録がお済みでない方は是非こちらからご登録下さい。
1. 精度評価に取り掛かる前に
前回の記事から続けてお読みいただいている方は、学習が完了し、モデル詳細画面に移動したところかと思います。モデル詳細画面では、モデルの精度に関する3つの指標（上からTotal Loss、Precision、Recall）が下図のようにグラフに示されています。
精度評価に取り掛かる前に、この3つの指標の意味とグラフの読み方について理解し、AI再構築の方針を立てられるようにします。
2. 3つの指標の意味とグラフの読み取り方
まずは3つの指標が何を表しているのか、についてお話しします。
2-1. Total Loss
Total Lossは正解と予測のズレの大きさを表します。値が小さいほど精度が良いと言えます。
2-2. PrecisionとRecall
PrecisionとRecallはどちらも、AIがいくつ正解できたかということを割合で表します。1に近いほど精度が良く、0に近いほど精度が悪いと言えます。Precisionは「きのこと予測された物体」のうちの正解であるきのこの割合、Recallは「実際にきのこである物体」のうちの正解であるきのこの割合を示しています。
画面上では、これらの値を縦軸、「epoch」というパラメータを横軸とするグラフが示されています。epochとは学習回数、つまり、ひとつの学習データを何回繰り返して学習させたか、を指します。学習を繰り返すことによりAIの精度がどのよう変化したのか、ということをグラフから読み取ることができます。
3. グラフのどこに注目するか？AI再構築の方針
ここまで3つの指標（Total Loss、Precision、Recall）とepochの意味についてお話ししてきました。ここからは、それらの数字をどのように評価するか、評価結果を踏まえてAI再構築の方針をどのように立てていくか、ということについてお話ししていきます。モデルの精度向上のために欠かせない知識なので、ぜひ読み飛ばさずにお読みください！
はじめに、グラフ上でPrecisionとRecallの値が目標の数字に達しているのか確認します。目標の数字に届いていない場合は、Total Lossを示すグラフに注目しましょう。Total Loss曲線の右端の増減を見ることによって、改善するための方針を立てることができます。減少傾向または増加傾向の場合は学習回数を調整し、収束している場合は学習データの質や量を見直してみましょう。
上記の手順はパラメータ調整の一例で、精度が上がるかどうかはケースバイケースです。学習回数や学習データ以外のパラメータを変えてみるなど、ご自分のAIに合った方法を探りながら目標の精度を目指していきましょう。
4. 実際に精度を評価してみる
ここからは、前回の記事で作成したきのこたけのこ判別AIの精度を評価します。タスク詳細画面で各指標の値を見てみましょう。
4-1. きのこたけのこ判別AIの精度を評価しよう
まずはPrecisionとRecallです。両方とも、学習を繰り返すごとに順調に値が大きくなっています。一方で、すべての学習が完了した100epochでの値を見てみると、Precisionが1割以下、Recallが2割以下しかありません。これでは実用可能な精度であるとは言い難いでしょう。
次にTotal Lossです。はじめは1.7あたりだったTotal Lossが、学習を繰り返すごとに小さくなっています。一方で最後まで減少を続けているため、学習回数が十分ではなかった可能性が考えられます。
4-2. より精度の高いきのこたけのこ判別AIを作る
ここからは評価結果を踏まえて、より精度の高いAIの作成を目指していきます。ここまでで精度を評価した結果、正解率は2割に満たず、その原因として学習回数が足りないのではないかということがわかりました。そこで、学習回数100回から1000回に増やしてAIを作り直してみます。Eyesでの操作は下図をご参照ください。
※ Basic Planをご利用の方へ
Basic Planをご利用の方はモデル数の上限が1個のため、既存のモデルを
モデル詳細画面→操作（画面右上）→削除
の手順で削除してからタスク詳細画面に移動し、モデルを作り直してください。
学習回数を1000回に増やした結果、各指標はどのように変化したのか見てみましょう。
まずはPrecisionとRecallです。どちらも6割あたりまで値が大きくなっています。学習回数100回のモデルと比べるとかなり精度が向上しましたね。
次にTotal Lossです。学習を重ねるごとに減少し、最終的には0.4あたりに収束しています。このことから学習回数は適切だったことがわかります。またモデル詳細画面の下の方に進んでいくと、下図のように実際のラベルと、AIが予測したラベルを比べることができます。
このように並べて比べて見ると、正解率6割というのがどれくらいの精度であるかを体感として理解できるかと思います。このように、精度を評価しパラメータを適切に調節することによって、より賢いAIを作ることができました。
5. あとがき
ここまで全3本の記事にわたって、物体検知AIを構築する手順についてお話ししてきました。画像を用意してからAIが完成するまで簡単な手順で行えること、試行錯誤によってAIがどんどん賢くなっていくことの面白さを感じていただけたら嬉しいです。
またこの連載ではお伝えしきれなかった、物体検知AIについてのより深い内容やEyesの応用的な利用方法など、追ってご紹介できたらと思います。
ここまでお読みいただき、ありがとうございました！
※ 筆者紹介
塩谷 明日香（慶應義塾大学環境情報学部1年）：人間と機械の知能の両方に興味があります。好きなことは模様替え。機械学習やプログラミングは学び始めたばかりの見習いです。
---
私たちは今年度から当社でインターンシップを始め、ワークショップのTAや機械学習ツールの使い方の紹介記事を執筆しています。今後も、AI構築の実際についてご紹介していきますので、お読みいただけると嬉しいです！
この連載は以下のリンクからまとめて読むことができます。
【参考】「表データでAIを作りたい！」という方向けテキスト
ペンギンについて調べた表データを使って、一連のAI構築・データ解析の流れを学べる無料テキストをnoteで公開しています。AI学習の最初の一歩にぜひお役立て下さい。
---
AI・DX・データサイエンスについてのご質問・共同研究等についてはお気軽にお問い合わせ下さい！