ニューラルネットワークは空を飛べない〜ChatGPT に見る LLM の限界
ChatGPT が世界を席巻しています。この状況を見て「汎用人工知能（AGI）がすぐにでも実現される！」と興奮している人が散見されますが、「そんなわけねぇだろ！！」とというのが私の意見です。
なぜか？
大規模言語モデル（LLM）が基礎とするニューラルネットワークは、所詮「関数近似器」に過ぎないからです。
＊＊＊
「人工知能ブーム」がまだ華やかなりしころ（2016年くらい）、某団体から依頼された講演で、私は次のように述べました。
多層パーセプトロン（古典的なニューラルネットワーク）が「ディープラーニング」に進化し、その性能が劇的に向上した結果、たくさんの分野で工学的応用の成果が現れています。
今後もニューラルネットワークの研究はどんどん進み、より高度なディープラーニングが次々と現れ、華々しい工学的成果が生まれるでしょう。
しかし、車がどれほど速く走れるようになっても「空を飛ぶ」ことはできないのと同じように、ディープラーニングだけで「真の人工知能（汎用人工知能＝AGI）」が生まれることはないでしょう。
「真の人工知能」を実現するためには「離陸」するための新たなブレイクスルーが必要になるに違いありません。それには 10 年くらいかかるのではないでしょうか………。
＊＊＊
さて、「関数近似器」とは何で、「関数を近似する」とはどういうことでしょうか？
それは、入力と出力のペア（下図の青点）が多数与えられたとき、その背後にある入出力関係（下図の赤線）を推定することです。
この入出力関係さえ分かれば、未知の入力に対して妥当な出力（反応）を返すことができます。
あれ？これって「回帰」っていうんじゃないの？
リテラシーの高い人はそう気づいたかもしれません。
そうです、そのとおりです。
「関数近似」とは、要するに「回帰」を実現する関数を得ることです。
ニューラルネットワークがやっていることは、入力データと出力データのペアに基づいて「そのデータが表す入出力関係を、最もうまく説明（近似）できる関数を特定すること」です。
そして、どれだけモデルが複雑かつ大規模になろうとも、その本質は変わりません。
モデルパラメータの数が 1000 億個になろうと、1000 兆個になろうと、ニューラルネットワークである限り、「関数を近似する」という本質は変わらないのです。
技術的な詳細は割愛しますが、LLM は言語空間における関数を近似し、入力に対して「もっともらしい出力パターン」を返すように設計されていて、これが「人間っぽい反応をする」ように見える正体だと思います。
だから、次の TJO さんのツイートに、私は膝を打って納得しました。
散々既出だと思うけど、自己回帰型LLMの成功は「一種の『ああ言えばこう言う』的なパターンを学習しただけの代物でもヒトからは知能を持って見える」という事実を示していると思う。つまりヒトが知的活動と思っているものの多くは何かの文脈に沿ってパターン化された反応をしているだけに過ぎない、と
— TJO (@TJO_datasci) March 29, 2023
LLM は「関数を近似する」という単純なカラクリだけで、「知能っぽい」という印象を人間に与えることに成功しました。これはこれで驚きです。
……なのですが、これだけで「空を飛ぶ」ことはできない、というのが私の意見です。
ちなみに、ここで「空を飛ぶ」というのは、例えば、
・複雑な身体を狙いどおりに制御すること、であったり、
・断片的な情報しか得られない不確実な状況で妥当な判断を下すこと、であったり、
・まったく新しいアイデアを創出すること、であったり……
要するに、単なる「刺激に対する反応」ではなく、人間が持つ高度で柔軟な働きかけを包括する知的な営みをいいます。
関数近似（入力に反応して出力する）で「知能っぽく見せる」のが LLM の限界であり、これがこのまま「汎用人工知能（AGI）」に発展するとはとても思えません。「離陸」するための新たなブレイクスルーが必要です。
＊＊＊
もちろん、私は ChatGPT のような LLM の工学的応用を否定しているわけではありません。むしろ、LLM によって世の中の価値観が大きく変わると思います。
例えば、ソフトウェアエンジニアリングの世界では、GitHub Copilot などの AI 補助ツールを使ったコーディングが一般的になるでしょう。
ということは「ただコードを書くだけ」のエンジニアは、その価値が暴落するはずです。だって、AI でもプログラム書けるんだもん。
つまり、高度な AI（LLM）の出現によって、ソフトウェアエンジニアリングの現場ではこうなると思います。
製造業で「組み立て・製造」の価値が落ちたのと同じように、ソフトウェアエンジニアリングでも「コーディング」の価値の下落は加速するでしょう。
フリーランスのエンジニアは、特にツラいかもしれません。
反対に「本質的な課題を特定して、それを解決するための企画を新しく考案する」とか、「顧客のふわっとした要望から真の意図を汲み取り、それを最短で実現できる方法を検討する」とか、本当に頭を使うことの価値は下がりません。だって「刺激に反応」するだけの AI では無理だから。
本質的には、ソフトウェアエンジニアリングの世界だけでなく、すべての領域でこの傾向は強まるでしょう。そして、どんどん世界は効率化するはずです。それも、えげつないスピードで。
＊＊＊
離陸するための新たなブレイクスルーとは、いったい何なのか？
それはいつできるのか？
というか、本当にできるのか？
……それは誰にもわかりません。
個人的には、ロボット工学などの「物理的な物体を制御する分野」からブレイクスルーが起こってほしいなと考えています。
なぜなら、知能と身体（物体の制御）は、切っても切れない関係にあると思うからです。
つまり、人間は「身体」という重大な制約があったからこそ、「知能」という武器を手に入れるに至った……私はそう考えていて、だからこそ、制御と言語を１つのモデルで実現してほしいと思うのです。
もしかしたら、体操競技で高難度の技をキメたロボットが、インタビュアーからの質問に流暢に答える……みたいな未来があるかもしれません。もしそれが実現されたら、汎用人工知能にまた一歩近づいたと言えるでしょうね。
というわけで、ボストン・ダイナミクスのロボット動画を紹介して締めたいと思います。すごいんだけど、うーん、なんだろう、相変わらず気持ち悪い動きしますねえ……。