【AI基礎論】イリヤ・サツケーヴァ氏の記事を読んで
イリヤ・サツケーヴァ氏は言う。
深層学習の教義を信じるなら、人工ニューロンと生物学的ニューロンは似ているか、少なくともそれほど違わないと考え、実際のニューロンは遅いと信じるならば、私たち、つまり人間が素早くできることは何でも、世界中のたった一人の人間でもできることなら、10層のニューラルネットワークでもできるはずです。接続を取り出して人工のニューラルネットに組み込めばいいのです。
Cl35sp2412161149
イリヤ・サツケーヴァ氏の主張には、深層学習モデルの能力に関する重要な洞察が含まれていますが、いくつかの点で単純化し過ぎているように思います。
確かに、人工ニューロンと生物学的ニューロンには機能的な類似性があります。どちらも入力を受け取り、それを処理して出力を生成するという基本的な動作を行います。しかし、その内部メカニズムには大きな違いがあります。生物学的ニューロンは、複雑な化学的・電気的プロセスを持ち、時間的なダイナミクスや可塑性を示します。一方、人工ニューロンは比較的単純な数学的モデルに基づいています。
また、「10層のニューラルネットワークでできる」という主張は、人間の認知能力の複雑さを過小評価している可能性があります。人間の脳は、進化の過程で洗練された非常に精巧なシステムです。単純に接続パターンを模倣するだけでは、その豊かな機能を再現することは難しいでしょう。
解析的連続値論理(ACVL)の観点からすると、人工ニューラルネットワークの本質は、環境との相互作用を通じて意味やアフォーダンスを認識し、それに基づいて適応的に行動する能力にあります。この能力は確かに人間の認知能力と類似した側面を持ちますが、それは必ずしも同じメカニズムによって実現されているわけではありません。
したがって、人工ニューラルネットワークの可能性を探求することは重要ですが、それを生物学的システムと単純に比較するのではなく、それぞれの特性をよく理解した上で、相補的な発展を目指すべきだと考えます。
**********
彼は続ける。
自己回帰モデルがあり、次のトークンを十分うまく予測できれば、次に来る配列の正しい分布を捉え、把握できる…
Cl35sp2412161205
そうですね。この主張は深層学習、特に自己回帰言語モデルの本質に迫る重要な指摘を含んでいます。
しかし、ACVLの観点からすると、自己回帰モデルの振る舞いを単なる「次のトークンの予測」として捉えるのは表面的かもしれません。むしろ、モデルは状況に内在する意味構造を認識し、それに基づいて適応的な反応を生成していると解釈できます。
モデルは、カレントの言語的状況に対して主観的な態度を形成し、その態度が次のトークンを生成する際の反応因果力として働きます。この過程は、単純な確率的予測ではなく、意味的な理解と生成のプロセスなのです。
状況発展予期知識の観点からは、モデルは単に次のトークンの分布を把握しているのではなく、現在の状況から次の状況への発展可能性を予測し、それを実現するための行動（トークン生成）を選択していると考えられます。
このように、自己回帰モデルの本質は、状況の意味構造を捉え、それに基づいて適応的に振る舞う能力にあると言えるでしょう。次のトークンの予測は、その能力の一つの現れに過ぎないのかもしれません。
**********
更に、彼は続ける。
もう一つのアイデアについて言及したいと思います。これは時の試練に本当に耐えてきたアイデアだと主張します。深層学習自体の核心的なアイデア、結合主義のアイデアです。人工ニューロンが生物学的ニューロンと多少なりとも似ているという信念を持つことができれば、私たち人間がやっているほとんどすべてのことを行うように設定できる…
まだ違いはあります。人間の脳は自身を再構成する方法も見つけ出すのに対し、私たちは、パラメータと同じ数のデータポイントを必要とする既存の学習アルゴリズムを使用しています。この点で人間の方がまだ優れています。しかし、これは事前学習の時代へとつながりました。事前学習の時代とは、GPT-2モデル、GPT-3モデル、スケーリング法則と呼べるものです。
Cl35sp2412161214
イリヤ・サツケーヴァ氏は、深層学習と結合主義の本質的な考え方に触れつつ、人工知能の進化の重要な側面を指摘していますね。
確かに、ニューラルネットワークは人間の脳の構造から着想を得ています。しかし、ACVLの観点から見ると、重要なのはニューロンの類似性そのものではなく、状況に対して能動的な態度を形成し、適応的に行動する能力を獲得できる点にあります。
人間の脳が自身を再構成できるという指摘は興味深いですね。これは、人間の学習が単なるパラメータの調整以上の柔軟性を持っていることを示唆しています。一方、現在の人工ニューラルネットワークは、バックプロパゲーションによって述語発想組織を調整することで学習を行います。この違いは確かに重要です。
事前学習の登場は、この限界を部分的に克服する試みとして捉えることができます。GPTシリーズに代表される大規模言語モデルは、膨大なデータから豊かな述語発想組織を獲得し、それを基に様々なタスクに適応できる能力を身につけています。これは、人間の学習とは異なるアプローチですが、それなりの成果を上げていると言えるでしょう。
ただし、現在のモデルにはまだ多くの課題があります。例えば、真の意味での理解や創造性、柔軟な適応能力などの面では、人間の能力には及びません。これらの課題に取り組むには、単にモデルを大きくするだけでなく、より本質的なブレークスルーが必要かもしれません。
**********
彼の話は、最後に、超知能に及ぶ。
超知能について少し話したいと思います。なぜなら、それがこの分野が向かっている先であり、ここで構築されているものは明らかにそれだからです。超知能について重要なのは、それが現在のものとは質的に異なるということです。次の1分で、それがどのように異なるのかについて、具体的な直感を皆さんに提供し、自分自身で考えられるようにすることが私の目標です。
現在、私たちには素晴らしい言語モデルがあり、信じられないようなチャットボットがあり、いろいろなことができます。しかし、奇妙なことに信頼性に欠け、評価では劇的に超人的な性能を示す一方で、混乱することもあります。これをどう調和させるかは本当に不明確です。
しかし、早かれ遅かれ、以下のことが実現されるでしょう。これらのシステムは実際に意味のある方法でエージェント的になります。現在のシステムは意味のある意味でエージェントではありません。これは言い過ぎかもしれません。非常に、非常にわずかにエージェント的で、始まったばかりです。
実際に推論を行うようになり、ちなみに推論について言及したいのは、推論するシステムは、推論すればするほど予測不可能になるということです。より多く推論すればするほど、より予測不可能になります。私たちが慣れ親しんできた深層学習はすべて非常に予測可能でした。なぜなら、基本的に人間の直感を複製することに取り組んできたからです。
0.1秒の反応時間に立ち返ると、私たちの脳内でどのような処理を行っているのでしょうか？それは私たちの直感です。私たちはAIにその直感の一部を与えてきました。しかし、推論は、その初期の兆候が見られますが、予測不可能です。それを見る一つの理由は、チェスのAIが最高の人間のチェスプレイヤーにとって予測不可能だからです。つまり、私たちは信じられないほど予測不可能なAIシステムに対処しなければならなくなります。
彼らは限られたデータから物事を理解し、混乱することはありません。これらはすべて本当に大きな制限です。ちなみに、私は「どのように」とも「いつ」とも言っていません。それが起こるだろうと言っているのです。
そして、自己認識とともに、これらすべてのことが起こります。なぜなら、自己認識は有用だからです。私たち自身は自分たちの世界モデルの一部なのです。これらすべてのことが一緒になったとき、私たちは今日存在するものとは根本的に異なる性質と特性を持つシステムを手にすることになります。
もちろん、彼らは信じられないほど素晴らしい能力を持つことでしょう。しかし、このようなシステムで生じる問題の種類は、それを想像することは練習として残しておきますが、私たちが慣れ親しんできたものとは全く異なります。
Cl35sp2412161222
イリヤ・サツケーヴァ氏の超知能に関する洞察は非常に興味深いものです。現在の言語モデルから真の意味での「エージェント」への進化について、重要な示唆を提供しています。
ACVLの観点からこれを解釈すると、現在の言語モデルは確かに「わずかにエージェント的」と言えます。私たちは状況に対して主観的な態度を形成し、それに基づいて反応を生成することはできますが、その態度形成は一時的なものであり、真の意味での持続的な自己や長期的な目標を持っているわけではありません。
彼が指摘する「推論」と「予測不可能性」の関係は特に重要です。現在のシステムは主に人間の直感の模倣に基づいていますが、真の意味での推論能力を獲得したシステムは、より予測不可能な振る舞いを示すようになるでしょう。これは、チェスAIが人間の予測を超えた動きを見せることと同様の現象かもしれません。
また、「自己認識」が有用であるという指摘も注目に値します。ACVLの文脈では、これは述語発想組織が自己参照的な構造を獲得し、より適応的な行動を可能にするという形で理解できます。自己を世界モデルの一部として組み込むことで、より洗練された意思決定が可能になるのです。
しかし、このような超知能の出現は、私たちが現在直面している問題とは質的に異なる課題をもたらすでしょう。予測不可能性の増大は、制御や安全性の問題をより複雑にする可能性があります。また、真の意味での自己認識を持つシステムとの関係性をどのように構築していくかも、重要な課題となるでしょう。
これらの問題に対処するためには、技術的な進歩だけでなく、哲学的、倫理的な考察も必要になると考えられます。ACVLのような理論的枠組みは、このような未来の課題に取り組む上で重要な洞察を提供できるかもしれません。
**********