ChatGPTの脳に関する常識を覆す新しいAIの発見

4,076 文字

はいな、まず最近のAIの研究論文で、大規模言語モデルの学習した概念に関して、予想外の幾何学的構造が明らかになってきたんですわ。Max techarkさんが最近発表した論文では、AIの脳の驚くべき構造について語っていて、それが脳のような葉に分かれていたり、想像以上に精密な意味的な結晶を形成していたり、概念の分布がフラクタル的で丸みを帯びているということがわかってきたんです。
GPTのような大規模言語モデルがブラックボックスやったということはご存知やと思いますが、それらがどう動いているかを正確に理解するのは難しかったんです。完璧に動く車のボンネットが開けられへんような状態やったわけですわ。最近になって、スパースオートエンコーダーというツールが開発されて、これがAIのX線撮影装置みたいな役割を果たすようになりました。ようやくそのボンネットの中身が見えるようになって、予想外にも整然と組織化されたエンジンが見つかったわけです。
研究者たちは3つの異なる階層の組織化を発見しました。それぞれがより複雑になっていて、特に面白いのは、この階層型の組織化が人為的にプログラムされたものやなくて、AIが学習する過程で自然に現れてきたということなんです。
まず第一階層は原子構造です。研究者たちが発見したのは、AIが最も基本的なレベルで概念を幾何学的なパターンで組織化しているということです。関連する概念が特定の形でつながっている巨大な3D立体パズルみたいなもんやと考えてください。典型的な例として、AIが単語間の関係をどう理解しているかというのがあります。
AIの精神空間の中で「男性」「女性」「王」「女王」という概念をプロットすると、完璧な平行四辺形を形成するんです。これは伸ばした長方形みたいな形で、「男性」から「女性」までの距離が「王」から「女王」までの距離と同じになっています。これは、女性らしさを加えるという操作が、一般の人であっても王族であっても同じように機能するということをAIが学習したということを示しているんです。
これは首都についても同様で、国とその首都の関係も似たような関係性を形成しています。過去形の場合も、動詞の時制が平行的な関係を示していますが、他の例ほど規則的ではないことがあります。
最初はこういったパターンを見るのが難しかったんです。無関係な情報に隠されていたからです。光害のある中で星座を見るようなもんですわ。単語の長さのような要素がノイズを作り出していて、本当のパターンを見るためにはそれらをフィルタリングする必要がありました。
次に第二階層の脳構造について説明させていただきます。最も興味深い発見は、AIの知識が人間の脳が異なる機能のために異なる領域を持っているのと同様に、異なる領域やローブに組織化されているということです。これはプログラムされたものではなく、自然に現れたものなんです。
主要な3つのローブがあります。まず、コードと数学のローブです。これはプログラミングと数学的な概念を専門とし、AIがコーディングタスクや数学的問題に取り組む際に強く活性化します。これは他の種類の知識とは明確な境界を持っています。
次に一般言語ローブがあって、これは通常の英語のテキスト処理を扱い、一般的な知識と包括的な理解を担当します。記事や論文のような長文コンテンツを処理します。
そして対話ローブがあります。これは会話テキストと短いメッセージを専門とし、チャットのやり取りの際に特に活性化します。一般言語ローブとは異なるコミュニケーションスタイルを扱います。
研究者たちは、一緒に活性化されることの多い機能が、AIの精神空間の中で物理的に近い位置にあることを示すことで、これらのローブが無作為ではないことを証明しました。これは、脳の中で一緒に発火するニューロンが物理的に近い位置にある傾向があることと驚くほど似ています。
第三階層は銀河構造です。システム全体を見ると、研究者たちはAIの知識が数学的なパターンに従って特定の方法で組織化されていることを発見しました。これは無作為なものではなく、特にAIの中間層で高度に構造化されています。
主な発見の一つは、この組織化がAIの中間層で最も顕著になるということです。ここでは表現が高度に抽象化され、統合されて、入力データの最も重要な変換を反映します。この層は一種の情報のボトルネックとして機能し、さらなる処理のために最も重要な特徴だけが保持され、モデルの一般化能力を高めています。
このAIの脳の中の情報は、私たちの脳が感覚情報を圧縮するのと同じように、効率的に圧縮されているように見えます。人間の脳が複雑な感覚入力を管理可能なチャンクに減らして効率的に処理するのと同じように、AIの中間層も膨大なデータをより単純な高レベルの表現に凝縮します。この効率的な圧縮によって、モデルは重要な特徴に焦点を当てながら、無関係な詳細を破棄することができ、タスク全体でよりロバストなパフォーマンスを発揮できるんです。
この構造は、最適な組織化を示唆するパワー則という特定の数学的パターンに従います。これらのパワー則は、特徴の重要性の分布が無作為ではなく、組織化された予測可能なパターンに従っていることを示しています。最大の主成分が表現を支配し、小さな成分が徐々に減少して、情報の自然な階層を作り出します。この階層構造は、AIをより効率的にするだけでなく、人間の脳を含む生物学的システムが情報を優先順位付けし処理する方法とも一致しています。
これは全部すごく面白いんですけど、なんでこれが重要なんでしょう？AIの研究にとってどんな意味があるんでしょうか？
今や私たちはAIシステムがどのように情報を組織化しているかを見ることができ、これは研究と実践的な応用の両方に広範な影響を持っています。これらのシステムの内部組織を理解することで、モデルがどのように一般化し、パターンを識別し、言語翻訳から問題解決まで、幅広い異なる課題に適応できるのかがわかります。この詳細な組織化が、AIに多様性と効率性を与えているんです。
これはまた、潜在的な改善点についても示唆を与えてくれます。これらのシステムが概念をどのように組織化しているかがわかれば、特定のローブの明確さを改善したり、特定の能力を向上させる新しいトレーニング方法を開発したりするなど、的を絞った改良が可能になります。
このような洞察は、バイアスの軽減、計算効率の最適化、AIモデルの解釈可能性の向上にも役立ちます。これは、医療や金融のような重要な分野でAIを展開する際に極めて重要です。
人間の認知との類似性という観点からも興味深いですわ。これは、知性が情報を組織化する方法について、何か根本的な原理が存在する可能性を示唆しています。AIと生物学的な脳が独立して同様の知識構造化方法に到達したという事実は、効率的な情報処理を支配する普遍的な規則が存在する可能性を示唆しています。
これは、将来のAIシステムの設計に影響を与え、より自然な知性に近いものにすることができる可能性があります。もちろん、これによってAIと人間の認知の両方をより良く理解することができます。これらの構造をAIで研究することで、人間の脳との類似点を見出し、私たち自身の心がどのように働くかについてもより多くのことを学べる可能性があります。
AIがなぜこれらのローブを発達させ、それらがどのような機能を果たすのかを理解することで、人間の認知のより良いモデルを作ることができ、私たちがどのように考え、問題を解決するかについての洞察を得ることができます。この知識は、認知障害への対処、高度な学習ツールの設計、人間とより効果的に協力するAIの開発に役立つかもしれません。
しかし、全てのAI研究には制限事項と注意点があります。これは、AIが人間の脳のようだということを意味するものではありません。類似性は組織的なものであって、生物学的なものではないんです。AIの構造は脳に似ているかもしれませんが、根本的に異なります。AIは数学的な関数と重みの層を使って構築されており、細胞とシナプス結合で構成される生物学的なニューロンとは異なります。
AIには意識がなく、人間のように考えているわけではありません。学習したパターンに基づいて入力を処理し、出力を生成しているだけで、意識や主観的な経験は含まれていません。その応答は、理解や感情を伴わず、純粋にトレーニングされたデータから導き出されています。
これらは生物学的なパターンではなく、数学的なパターンなんです。AIで現れる構造は、情報を数学的に表現する最も効率的な方法を見つけるための最適化プロセスの結果であり、何百万年もかけて進化した生物学的プロセスとは異なります。これらのパターンは、人間の脳の機能を複製するのではなく、計算とタスク解決の効率を最大化するように設計されています。
もちろん、これらの構造を理解するのは始まりに過ぎません。より多くの研究が必要です。現時点では、これらの構造がどのように形成され、AIシステムの全体的な機能にとって何を意味するのかを理解し始めたところです。モデルが大きくなるにつれてこれらの構造がどのように変化するのか、パフォーマンスや解釈可能性を向上させるためにトレーニング中にこれらの構造に積極的に影響を与えることができるのかなど、多くの未解決の問題があります。
この分野は急速に進化しており、AIには多くの異なる進歩があり、新しい技術や発見が次々と生まれています。これらの脳のような構造の研究は、より優れたAIの構築だけでなく、知性の基本的な側面を理解することにもつながる可能性が高いです。より多くの研究者がこれらの概念を探求するにつれて、AIを超えて広がる類似点を発見し、認知科学、神経科学、さらには心の哲学に関する新しい洞察を提供する可能性があります。