検証可能なAIの必要性

ChatGPTなどチャット型AIが出現するまでAIの課題として挙がっていた「検証可能(説明可能)なAI」の必要性について書いてみます。

ブラックボックス化が進んでいる

ニューラルネットワークを使用したモデルはある程度推測はつきますし、学習内容での調整は出来るのですが、基本的にブラックボックスとなります。AIの最大の特徴は、過去に人間が取りこぼした関連性などを力技で見つけてくれることですが、この場合、何故その結果が出たのかを明確に説明できない、結果が変化した場合に変化した理由がデータによるものなのか、モデルによるものなのか因果関係を示せないと言う問題が発生します。
原則ニューラルネットワークの重み情報はブラックボックスなのです。

検証が大事だが無駄も増える

これまでも理論の提唱などの後、様々な観点から検証が行われてきましたから、同じことだと思うかもしれません。しかしAIの出した答えには拠り所となる根拠や提唱したひとの成り立ちなど理論を推測する情報が少ないです。また、間違った答えを出してもAIにとっては何も問題ではなく、検証自体が全くの無駄になる可能性も高くなります。嘘をつく事に対して罪悪感もなければ地位の低下と言った社会信用も関係ない立場からの提案や理論ですから、語尾に必ず「知らんけど」がついている状態と思いましょう。

検証可能なモデル(AI)とは？

人間が答えに対して論理的な説明ができる場合は問題ありません。画像認識とか、文字認識などはすぐにわかりますが、生成系AIの作り出す成果物は検証ができない場合が多くなります。現在は色々試してどの分野に使えるかを確認している時期ですが、今後実際に利用するための検証を始めると、クリーンデータでのPoCなどでは問題なかったのに、実業務では欲しい結果を得られないことが増えるでしょう。結果として金をかけたけど人がやった方が早いと言う事になり、幻滅期が訪れる可能性が高いと思います。
この様な問題を減らすためには、命令をするプロンプト自体を論理的に組み立てる必要があります。今後プロンプトをオブジェクト指向などで整理して体系付けるプロンプトエンジニアリングが重要になってくると思います。