AIバブルは幻覚で弾けているのか？

数週間前、私はついにNVIDIAの株を買うことにしました。なぜなら、ねえ、私もAIブームから何かを得たいと思ったからです。それ以来、これらの株は下落しています。なぜでしょうか？ああそうです、私は神を信じていません。はい、だから今のところAIにとって状況は良くありません。投資家がパニックに陥り、株価が暴落しているからです。しかし、この動画では、現在弾けつつあるバブルがAI自体のものではなく、大規模言語モデルと呼ばれる特定のタイプのAIのバブルであることを示したいと思います。AIへの熱狂は、人々がAIにはもっと多くのものがあると理解し始めれば再び高まると確信しています。そして私の株も回復するでしょう。
大規模言語モデルの最もよく知られた問題は、「幻覚」として知られるようになったものです。時々、自信を持って脱線し、ナンセンスを生み出します。2022年にみんなこの教訓を学んだと思うでしょうが、その後、ChatGPTを使って弁護を考え出し、結局存在しない判例を引用してしまった弁護士がいました。おっと。
大規模言語モデルは、いくつかの明らかな落とし穴を避けることがより効果的になりました。例えば、ChatGPTに本のアドバイスを求めると、今では実際に存在する本をリストアップします。しかし、それでもまだ架空の文書や報告書に言及することがよくあります。そしてMidjourneyは今では主に各手に5本の指を付けるので、明示的に6本指の手を求めても、5本指になってしまいます。一部の出力を訓練セットに密接に結びつけることでこれを行うことができます。これにより問題が解決可能に見えるかもしれません。
しかし、そう簡単ではありません。なぜなら、幻覚はより大きな問題の症状に過ぎないからです。つまり、大規模言語モデルにとって、正しい出力が - 定量化可能な意味で - 間違った出力に「近い」ということです。非常に分かりやすい例は、Colin Fraserが使用した幼稚園の謎解きの修正版です。例えば、オオカミ、ヤギ、キャベツの問題です。この謎解きでは、農夫は3つすべてをボートに乗せて川を渡らなければなりません。しかし、ボートは農夫以外に1つのものしか運べません。放っておくと、オオカミはヤギを食べ、ヤギはキャベツを食べてしまいます。解決策は、農夫が1回の旅で1つのものを持っていくことです。
この質問を大規模言語モデルに尋ねる際に、オオカミがヤギを食べ、ヤギがキャベツを食べるという情報を省略しても、同じ答えが返ってきます。これは今では意味をなしません。私はこの例が好きです。なぜなら、何が間違っているかが明らかだからです。言葉の内容に関しては、変更された謎解きはモデルが訓練された元の謎解きに似ています。そのため、彼らは知っていることから外挿し、元の謎解きの答えに近い答えを出します。しかし、幻覚の場合と同様に、これらの答えは私たちが関心を持たない意味で「近い」のです。はい、似たような言葉を使っています。しかし、内容は間違っています。
ある意味で6本指の手が5本指の手に「近い」ようなものです。しかし、それでもやはり間違いです。問題は、私たちがモデルが使用するものとは異なる、良いパフォーマンスを評価するための指標を持っているということです。「私たち」と言うとき、誤解がないように、人間のことを指しています。そして、何が「良い」かについてのこれらの異なる指標は、単にますます多くの入力でモデルを訓練するだけでは解決できない問題です。基本的に、その結果が私たちにとって良いものにする情報が欠けているのです。
解決策は、AIのロジックに、ほとんどの数学ソフトウェアで使用されているような記号的言語を使用するよう教えることです。ニューラルネットワークと組み合わせると、「ニューロシンボリック」と呼ばれます。これにより、大規模言語モデルの多くの問題を解決でき、これらのアプローチの一部はすでに存在します。例えば、1月にはすでに、deepmindが数学的証明にAIを使用することで著しい進歩を遂げたことを言及しました。先月、彼らのAI数学が数学オリンピックの銀メダルレベルに達したと報告しました。問題を解決するだけでなく、人間が理解できる証明も提供します。まあ、多かれ少なかれ。
重要な点は、AIが数学オリンピックの問題を解決できるということではありません。正直に言って、誰がそれを本当に気にするでしょうか。重要な点は、このAIが問題を分析し、人間が理解できる論理的に正しい回答を作成できるということです。この論理的厳密さを言語的議論に適用すれば、大規模言語モデルの多くの問題が消えてしまいます。インターネット上のあらゆる議論に勝てるAIを想像してください。Redditは一夜にして幽霊の町になるでしょう。
私が今お話ししたことは、新しくも特に独創的でもありません。Gary Marcusをはじめとする多くのコンピューターサイエンティストが数十年にわたって指摘してきたことです。ただ言いたいのは、彼らが正しいと思うということです。単に大規模言語モデルをますます多くのテキストや画像で訓練し、何が起こっているかを「理解し始める」ことを期待することはできません。そして、誰もそれを本当に期待していなかったと思います。
とはいえ、既存のモデルに記号的推論を積み重ねるのは、基本的にウィトゲンシュタインが「言語の混乱」と呼んだものによって、より難しくなっています。つまり、2人として同じ言葉を全く同じ意味で使う人はいないのです。そして、何十億人もの異なる人々のテキストを一緒にすると、これらの言葉の間の論理的関係は、そもそもあったとしても消えてしまいます。つまり、人々はそれほど論理的に優れているわけではありません。
したがって、すでに形成された大規模言語モデルは再訓練する必要があると恐れています。結局のところ、大規模言語モデルの問題は、世界が言葉でできているわけではないということです。私たちが知っている最も深いレベルでは、世界は数学です。知的なAIを構築したいのであれば、数学と物理的現実のモデルから始めて、そこに言葉を追加する必要があります。
これはつまり、大規模言語モデルに多額の投資をした企業は、その支出を回収できない可能性があるということです。最終的な勝者は、Deepmindのように論理的推論と現実世界のモデルに基づいてAIを構築する人々になるでしょう。ここで見ているのは最近の例で、実際のマウスの脳をモデルにしたニューラルネットワークを持つ仮想マウスを仮想環境で作成しました。これが、本当に知的なAIに到達する方法だと思います。次は、重要なZoom通話中にコンピューター画面上で仮想マウスを追いかける仮想猫です。
Deepmindは2014年にGoogleに買収されたので、私のGoogle株への信頼はまだ失っていません。要するに、AIに取り組むすべての人々は、言葉について考えるのを少なくし、物理学について考えるのを増やす必要があります。人々がAIを使って自分の株を管理し始めるのを待っているだけです。素晴らしいでしょう。
AIは今日本当にどこにでもあります。ニューラルネットワークや大規模言語モデルがどのように機能するかについてもっと知りたい場合は、Brilliant.orgのコースをチェックすることをお勧めします。Brilliantのすべてのコースにはインタラクティブな視覚化があり、フォローアップの質問が付いています。新しいことを学ぶのにとても効果的だと感じました。何が起こっているのかを本当に理解させてくれ、一般的な問題解決能力を養うのに役立ちます。
科学、コンピューターサイエンス、数学の幅広いトピックをカバーしています。一般的な科学的思考から、微分方程式や大規模言語モデルに関する専門コースまであります。そして毎月新しいコースを追加しています。学ぶ簡単で早い方法で、時間と場所を選ばず行えます。
良さそうですか？そう願っています！私のリンクbrilliant.org/sabineを使えば、Brilliantを無料で試すことができます。そうすれば、Brilliantが提供するすべてのものを30日間丸々試すことができ、年間プレミアム会員費が20%割引になります。だから行って試してみてください。後悔しないと確信しています。視聴してくれてありがとうございます。また明日。