人工知能プロジェクトマネージャー試験対策 - ⑤：分野D：モデルの評価/向上能力 編 -
こんにちは。
一般社団法人 新技術応用推進基盤 公式note編集局です。
私たちのnoteでは、AI・DX活用や新規事業の創出をテーマとして、技術と市場の両面について情報発信しています。
今回は、当団体が提供している資格試験「人工知能プロジェクトマネージャー試験」の「分野D：モデルの評価/向上能力」について、解説と対策を行います。
本試験では、合格者像を下記のように定義しています。
AI構築に関する 専門知識の全体像を理解し、自身でもAI構築可能な技術的背景を持ちつつ、“組織に成果をもたらせるAI” の構築のために目標を設定し、責任を持ってチームを牽引して、予算、品質、スケジュールの面で計画通りプロジェクトをマネジメントできる人材
実際にモデルを作り切ったとしても、「一発合格！」ということはまずありません。たたき台のモデルを基に、データや各種パラメータなどを調整し、実用レベルの精度となるよう探索する取り組みが始まります。本試験ではこうした試行錯誤してプロトから製品へ近づいていく力を分野Dとして問うています。
本有料noteでは、分野Dの解説と対策を掲載しています。合格水準の点を取る為に、また該当分野の学習者への情報提供の為に、また「AI（機械学習）に用いる技術的な知見」について学習する参考に、活用して頂ければ幸いです。
なお、人工知能プロジェクトマネージャー試験は分野A～Gまでの全７分野で構成されています。各分野に加え、はじめに・参考資料リストなど全体を書籍としてお読みになる場合は、ぜひ公式の電子書籍版のご購入もご検討ください。
noteから分野別に購入するより、金額的にもお得になっています。
また、全分野共通の前提理解について確認したい方は、ぜひ無料で公開している下記のnoteもご覧ください。また、他の分野についてもnoteでご覧になることもできます。
【ご注意事項 ※ 必ずご購入の前に確認ください】
本有料noteは、人工知能プロジェクトマネージャー試験 公式テキスト「AIを活用する技術を学ぶ」より、第４章部分を抜粋したものです。
公式テキストをご購入済みの方は、同内容ですのでご注意ください。
本書の著作権等の権利は一般社団法人 新技術応用推進基盤および著者にあります。無断で複製、転載、販売、公開等することは、有償・無償に関わらず一切認めておりません。権利が侵害された場合、法律に基づいて処罰される可能性がございます。
第４章：分野D「モデルの評価/向上能力」
モデルを評価/向上するとは
分野A・B・Cを通して、AI開発の企画から、モデルの第１版まで作成していくことができました。しかしAI開発あるいはデータ分析から示唆を探索する過程において、第１版で目標到達というのはレアケースです。第１版モデルを評価し、改善する取り組みを行って、本来到達したい目標に近づいていきます。
分野Dでは、作り上げたモデルをどのように評価するのか、そしてその評価結果に応じてどのように改善をしていくのかについて説明していきます。
本分野の能力である、「分野AからCまでをリンクして評価し、ビジネス的に意味ある水準に成果を引き上げていく」ことは、「マネージャー」と「エンジニア」、あるいは「マネージャー」と「企画者」を区分する大きなポイントの１つでもあります。ビジネス側と技術側の双方に一定の責任を持つマネージャーとして、本分野でモデル評価の知識をしっかり確認していきましょう。
なお、モデルを評価するには様々な指標が存在しますが、評価の根幹となるのは「この結果を使って、何を達成したいのか？そのためにはこのモデルで十分なのか？」をしっかり考えること、つまり目標に立ち返って検証することです。しかし「目標に対して十分か」を一言で表現するのは難しいので、様々な指標を代理的な値として評価していくことになるわけです。したがって代理的な値そのものを目的化して機械的に高める方向とならないよう気を付けましょう。
近年では、Auto ML（オートエムエル：自動機械学習）のように、評価と改善のプロセスをある程度自動化してくれる技術も発展しています。しかしAutoMLの結果を解釈するにも、そのうえにオリジナリティをだすにも、どのようなことが行われているのか中身を理解しておきましょう。
モデル評価の基本的な哲学
ある問題を分析しようとするとき、たった１つのアルゴリズムだけが正解というケースは少ないものです。たいていの場合、様々なアルゴリズムのうちから数個以上の候補をもつことができます。ではこの候補のうち、より良いと考えられるものをどのように選べばよいでしょうか。
ここから先は