AIを意思決定に使うために必要な説明可能性

営業報告などのプレゼンテーションをする場合、売上や顧客数の推移などをプレゼンテーションに含めると思います。
このプレゼンテーションに、伝えたい情報が10個も20個も含まれていたらどうでしょうか。
多くの場合、

「結局、要点はなんですか？」

とプレゼンの聴講者に言われてしまいます。
聴講者からこのような質問が出る原因は、プレゼンテーションに多くの情報を詰め込みすぎているの一言につきます。
人間が認知できる情報量には限界があるため、人に何かを伝えるときは、重要な点を2, 3個ピックアップして伝える必要があります。10個も20個も重要な点を伝えられて、咀嚼できる人はほとんどいません。
特に、プレゼンテーションが意思決定を行うためのものであるときは、聴講者の理解が必須となるため、重要な点をいかに絞って伝えるかが重要となってきます。
今回は人間の意思決定を支援するためにAIを使うときに考えないといけない「AIの説明可能性」について解説します。

AIの説明可能性

データが大量に取れるようになった昨今、多くの企業がAIを使った意思決定ができるようになることを期待しています。
つまり、AIが出してくる答え (プレゼンテーションで言う結論) が、どのように導き出されたか (プレゼンテーション内の説明) を理解することで、意思決定するということです。

しかし多くの場合、AIが出した答えは説明が不可能もしくは説明が複雑過ぎて、人間には理解できません。
もちろん人間が理解する必要がないものもあります。例えば、スパムメールの判定の場合、判定の精度が高ければ、なぜスパムとして振り分けられたかの詳細を気にする人はいないと思います。
しかし、現実世界では、スパムメールの判別のようにAIの判断をそのまま信じることができない分野も多いです。このときに出てくるのが、説明可能性と呼ばれるものです。

予測性能と説明可能性のトレードオフ

一般にAIの予測性能と説明可能性はトレードオフになると言われます。
つまり、予測性能が高い複雑なモデルになるほど説明可能性が低くなるということです。ディープラーニングなどがブラックボックスだと言われている理由はここにあります。
ブラックボックスなモデルを解釈しすくする手法としてSHAPやLIMEという手法などもありますが、それでもなお出力結果から人間が意思決定するための説明するにはハードルがあります。
どんなもの高精度なアルゴリズムだろうと、意思決定者が理解し意思決定できるような説明であることが必要となります。

大量データから生まれる大量の説明変数

大量のデータが取れるようになることで、大量の説明変数を作ることができるようになったことも、説明可能性を難しくしている要因の一つです。
取れるデータが少ない時代であれば、説明する対象となる変数も少なく、説明の手間もそれだけ少なくできました。
しかし、大量にデータが取れることで、説明変数が増えて、説明変数の相互依存が多く発生するようになり、説明することがより難しくなってきます。
似たような説明変数を減らせばいいのではという疑問もあると思います。しかし、AIの世界では相関がある程度高くても残しておくことで精度が上がるという研究結果も出ているので、単純に変数を除くことは精度を悪くすることとなります。
つまり、説明変数の量もまた予測性能と説明可能性のトレードオフの一つとなるということです。

精度よりもシンプルさ

ここまでをまとめると「説明変数が多さ」と「モデルが複雑さ」がAIが出す結果の説明を難しくしています。
人間が意思決定するときには、精度がある程度粗くても意思決定がしやすいシンプルさが重要となってきます。
よくプレゼンテーションで、競合他社との比較のために、二次元マトリックスのようなものが使われているのは、こういった背景もあると思います。

実際は、もっと多くの軸があるが、重要な軸を持ってきて説明しているわけですね。
AIの世界では、プレゼンテーションにある二次元マトリックスのようなシンプルさを実現するために、

・特徴量選択
・次元削減

この2つが主に使われます。
特徴量選択では必要となる軸を選択し、次元削減では複数の軸をまとめて表現する軸を作成します。やることとしては、二次元マトリックスを作るものと似ています (どのように軸を選ぶかなどの話はここでは省略します)。
さらに、ブラックボックスとなりがちな複雑なモデルではなく、決定木のようなシンプルなモデルを利用することで、さらに説明可能性を高めることができます。
要は、説明ができないと意思決定ができないから、精度を下げてでも説明可能性を高める選択肢もありうるということです。

AIの判断を信じるか人間の意思決定が必要か

人間の意思決定をするためには、意思決定のために事象の説明が必要となります。そのため、AIが出した判断に対して説明が必要となってきます。
しかし、スパムメールの例のようにAIが出した判断に対して必ずしも人間が説明する必要がない場合もあります。
AIを使うときに、「AIの判断を盲目に信じることができるもの」なのか、それとも「人間による説明が必要なのか」によって選択肢が変わります。
目的に応じて、AI技術を使い分けてみてください。

最後に

説明可能なAIは現在も研究が盛んです。一方で、無理に説明可能性を高める必要がないという批判的な論文(Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead)も出ていたりします。
これらの分野は今後も注目し続けていく必要があるものだと思います。

解析だけでなく、色んなタスクをする上で私が大事にしている言葉である「KISSの原則」そ紹介してこの記事を締めようと思います。
KISSは、

Keep it simple, stupid

の略で、日本語で「シンプルにしておけ、この間抜け」という意味です。
何事も複雑にすることは簡単です。複雑なものをシンプルにすることこそが、世の中に求められている能力だと思います。