新規事業を成功に導くPoCの進め方 Part9. 生成AIの技術検証PoCをやってみた話
[注意事項]
本記事は私個人の見解や知見を文章化したものであり、私の勤務先を含め、特定の企業や組織としての考えや見解は一切含まれておりません。
新規事業のスペシャリストが成功の秘訣を伝授
私、えいるですが普段はITコンサル系企業で、皆さまのビジネスを成功に導くために日々、ITサービスにおける提案・設計・構築などをしております。
また、今の会社に転職する前は、大手IT企業で自ら新規サービスの企画立案・経営戦略策定・営業訪問・サービス構築と０→１の段階で必要なことのほぼすべてを経験してきました。
ITコンサルとしてクライアントの要望を形にしてきた経験
自分でサービス立ち上げた経験
両方の成功体験を知る私の経験から得た「新規事業を成功に導くノウハウ」を皆さんに紹介したく記事を連載しております。
今回のテーマは実践編！！ AIの技術検証PoCをやってみた話
第9回の記事ではPoCの実践編として、私が実際にトライしたAIによる技術検証の実例を紹介していきます。
AIをサービスや日常業務に導入したいけど…
どこから初めたらいいの？
実際に効果はあるの？（費用対効果が釣り合うの？）
そんな不安を持っている方に必見の内容となっています！！
ちょっとご紹介：生成AI系のサービスをリリース＆絶賛PoC受付中です
私が勤務している株式会社モンスターラボでは、旧システムから新システムへの刷新を効率的にサポートする、生成AI技術を活用したCodeRebuild AIというサービスを開発・リリースしております。
これは、業種問わずあらゆる環境で数年〜十数年稼働している老朽化したシステムの刷新について
旧システムが肥大化しており、解析には莫大な時間がかかる
全て人が行うと作業する人の知識に依存して、品質がばらつく
といった「品質と時間のボトルネック」におけるご相談を非常に多く承っており、この悩みに応えるべく開発されたサービスとなっております。
具体的には、現在進行系で稼動しているサービスのソースコード（プログラム言語）だけをAIに渡せば、
解析：ソースコードから処理内容やシーケンス図といった製品仕様を解析
生成：旧ソースコードを元に、刷新後のソースコードを生成
といった開発に必要なアウトプットを生成してくれる仕組みです。
これまで有識者しか対応できず、かつ時間がかかっていた作業を生成AIがサポートすることで一定の品質・時間を担保してくれるのは嬉しいですよね。
AIなど革新的な新技術における信頼性を不安視する声
CodeRebuild AIがリリースされてから、嬉しいことにクライアントの皆様からシステム刷新におけるご相談を非常に多く受けております。
その数と同じくらい寄せられるのが
AIによる新技術が本当に結果をだせるのか？
投資した結果「無理でした」と道半ばで頓挫しないのか？
といった革新的な新技術における信頼性を不安視する声です。
革新的で魅力的な技術であることはわかっていても、まだまだ実績が乏しいのがAIの現状。どうしても不安になるのは当然のことです。
この不安を解消するのが、まさにPoCの存在。
次からは実際にCodeRebuild AIのPoC事例を使って、今回のような新技術の信頼性・実現性の不安をどのように解消し、新規事業の成功を成し得ていくのか、その成功体験を見ていきましょう。
[注意事項]
以降の事例は、守秘義務の観点から一部の数値や記載は実際の結果を抽象化しております。ただし、進め方・結果のまとめ方など、全体のプロセスには嘘、偽りはありませんのでご安心ください。
AIを用いた技術検証PoCの実践例：計画と進行
それでは、ここからは実際に私も携わった生成AIを用いたPoCの進め方を紹介していきます。
まずは、計画立案としてPoCとその先にある新規事業を成功に導くために私が最も重要であると考えている３つのメソッドを元に計画および進行をどのように実施したかを見ていきましょう。
１）定量的な評価指標の作成
まずは、PoCの成功・失敗を判断するために必要な評価指標の策定についてです（このメソッドの詳細は以下にて解説しております）。
今回のようなAI導入における最大の目的は、本来は人が行う予定だった作業をAIが行うことで
どれだけ時間を短縮できるか？
人の結果と同等、もしくはそれ以上の品質が担保されるか？
といった「人力よりも高い効果が得られるか？」に収束されます。
そこで今回のPoCでは、対象となるソースコードの一部を人とAIそれぞれが解析を行い、その時間や精度を比較することでAIの有用性つまりPoCの成功可否を判断することにしました。
「人とAI」の図式で結果を比較できる形にすることで評価を単純化し、実際の正規導入において、どれだけの差異（≒効果）が得られるかが視覚化されるのでよさそうです。
２）適正な検証サイクルの構築
次に実際に行う検証についてです。以下の記事でも推奨していた２回の検証サイクルを今回の事例でも導入。
具体的には先に記載した評価指標の策定と合わせ以下を行いました。
1,2サイクルそれぞれで人とAIが解析を行い結果を比較検証する
2サイクル目は1回目と比較して、どれだけ改善されたかも評価する
この目的は最初のサイクルは、どうしても導入等の初期コストによりAI本来の性能を正しく測定できないと考えたためです。
これまでサービスに携わってきた有識者は、経験を元にソースコードの解析が可能です。しかし、対象のサービスを初めて受け取るAIには、この「経験」が圧倒的に足りていません。
そこで、1サイクル目はいわゆる「下積み」という位置づけで実施。2サイクル目で得られる結果と、その伸び率を踏まえて「正式にAIを導入したら、どれだけの効果が得られるか？」を誤差なく測定できるようにしました。
３）明確な事業継続の判断基準
最後に、PoCの先にある新規事業＝今回の場合は「生成AIサービスの導入」を決定する判断基準の策定です（詳しくは以下で紹介しています）。
ここではPoCの依頼元であるクライアントの意思決定者と最終的に以下のような項目を判断基準として一緒に策定しました。
AIによる精度が人と比較して誤差90%以内であること
この90%精度を達成するための時間が人と比較して1/2で完了すること
この「一緒に策定」という点がポイントで依頼元・先どちかで勝手に基準を定めるのではなく、両者合意のもとで進めることがPoCの先にある新規事業の継続において非常に重要となります。
またPoCの1回目が完了したタイミングで中間報告の時間を設け、結果や改善見込みを検討・共有する時間を作ることでステークホルダーに安心感とAI導入への理解を深めることも徹底しました。
AIを用いた技術検証PoCの実践例：結果と効果測定
ここまで紹介してきた評価指標、検証サイクルを元に実施したPoCですが、その結果は以下のようなイメージで最終的にレポートをまとめました。
１）品質観点での評価
品質においては、やはり当初の想定通り１回目の検証ではAI導入の初期コストが影響して精度は人の誤差25%という結果でした。
しかし、2回目の結果を見ると
AIが対象サービスを学習したこと、
AIを使う人が作業に慣れてきたこと
などが功を奏し、当初目標であった誤差10%未満を達成できました。
２）生産性観点での評価
続いて生産性についてはソースプログラム1000行あたりを解析するのに要する時間を人・AIそれぞれで測定しました。
こちらもやはり1回目は初期コスト等の影響で15時間を要していましたが、2回目では約1/2の8時間まで短縮。
当初の成功基準である「人の1/2」には到達できていませんでしたが、処理の自動化や夜間の無人走行など、さらなる改善ポイントも複数発見できました。
これらの改善見込みをリスト化したものをステークホルダーに提出し、一定の理解を得ることには成功しております。
３）その他の評価
今回のPoCでは「事業継続の判断基準」でも記載したように、新規事業継続の鍵を握る重要ステークホルダーとのコミュニケーション機会を多く作ることを意識しました。
特に１回目の検証が終わったタイミングでの中間報告では、今後の展望・事業継続性について踏み込んだ会話を行い「生成AIが解析するソースプログラムには得意・不得意があるのではないか？」といった会話から描画等の多い画面系のソースプログラムと、決まった処理を定常的に行うバッチプログラムそれぞれについての網羅性検証なども追加で行いました。
このように「新規事業に本当に必要なものは？」をステークホルダーと会話しながら、それに必要なタスクをこなしていけるのもPoCの楽しさであり、重要な要素であると言えます。
まとめ
今回は、生成AIによる品質・生産性を中心としたPoCの事例を使って、私が大切にしている３つの成功ポイントの具体例を紹介させて頂きました。
これまでは座学的な内容が多かったかもしれませんが、今回の記事でより具体例で実践的な内容を知ってもらえたら嬉しく思います。