イケていない生成AIをどう使うか

2024年8月21日 10:03

ChatGPTの衝撃的登場から1年半が経ちました。生成AIの驚くべき能力とともにイケていないところも見えてきました。

生成AIが組織を変革できない理由

昔は生成AIが組織を変革できない理由として、次をあげていました：

マネジメントが生成AIを理解しない
生成AIのリスクが把握しきれない
組織を変革する部署がなく利用が場当たり的である
生成AIの進化速度が速くて直近の変化が見えない

などをあげていました。
これも該当するといえば該当するのですが、そもそも、生成AIがイケていないというのも厳然たる事実です。
企業のカスタム生成AIでも99%とか99.9%とかの精度をあげているものはほとんどありません。これではテストより先に使えないのも無理はありません。

生成AIがイケていない理由

最初に生成AIが出てきたときには次のような理解でした：

学習データが英語に偏っているので日本語の精度が落ちる
学習データが最新でないので正しく答えられない

今でも当てはまるといえば当てはまります。
一方、企業の社内データを読み込ませたカスタム生成AIで入力したデータに書かれていることが答えられないのは、また別の理由です。

大量の曖昧なデータを扱うのが難しい
問題解決のフレームワークを扱うのが難しい

第一の大量データに関しては、企業データをRAG（検索拡張生成）などでやった実験を見ていると、まちがった答えが出るたびにこれでもかこれでもかとたくさんのデータを与えてかえって精度が落ちている例があります。当たり前ですが、似たようなデータをたくさん与えて、その振り分けを行わせれば、それだけ精度は落ちます。
より的確なデータを選別して与える部分の知性を拡大しないと企業が要求するような精度はあがりません。
これはソフトウェア開発の自律エージェントの研究でも出ています。現行のデバッグを自動的に行う自律エージェントではそもそも20%くらいのケースでは直すべきファイルにたどり着かない例があります。たくさんのファイルの中から何が正しいかをよりわけること自体が高度な知的認知処理を伴う処理であり、その部分に高効率な推論機能を働かせないと、そもそも正解の入り口にたどり着きません。正しい答えが出ないからといってやみくもにたくさんのファイルを入力するとかえって精度が落ちます。

第二のフレームワークに関していえば、そもそも大規模言語モデルというのは単語の遷移確率をベースにして答えを作っています。実際の難しい問題解決は仮説をたてて検証し、その結果に基づき、次の仮説をたてて、というように仮説検証をしながら、問題解決の方法を絞っていきます。この部分は、遷移確率や報酬関数で組み立てている現時点の大規模言語モデルの弱いところです。