考察ノート：LLMの限界と未来、パターン認識を超えて、"It's Not About Scale, It's About Abstraction"(by François Chollet)
はじめに
これは、Kerasの作者として知られるGoogleのフランソワ・ショレ(François Chollet)氏のAGI-24での講演、"It's Not About Scale, It's About Abstraction"のYouTube動画をGoogleNoteLMを使って、読解したものである。
課題設定
OpenAI o1の登場により、思考の連鎖(CoT)を強化した大規模言語モデルが、様々な汎用の能力を発揮し、数学分野や特定の大学院の学生レベルの性能を示していると評価がされている(2024.10.14)。一方、Appleの"GSM-Symbolic"論文のように、LLMは真の推論はできなくて、高度なパターンマッチングをしているだけだっていう評価もある。
それでは、真の推論とは何か、それは本当に現在のLLMにかけているのか、欠けているならば、それはどの様な能力なのか。そしてその能力をLLMは身に着けることができるのか。すなわちAGIへの道はあるのか？を明らかにしたい。また認知言語学的な人間の認知能力の基づき言語が生まれたようなそのような過程と、その、「欠けているもの」の関係性を明らかにすることにより、人間の知性と、（ショレ氏のいうところの）ＡＧＩの知性は同じなのか違うのかがしりたい。
YouTubeには、（自動生成された）shownoteが公開されている。これに対する、NotebookLMによる読解は以下になる。
NotebookLMによる読解
この文章は、フランスのAI研究者であるフランソワ・チョレ氏が2024年10月に開催されたAGI-24会議で行った基調講演の内容をまとめたものです。講演では、チョレ氏は現在の巨大言語モデル（LLM）の限界を指摘し、真の汎用人工知能（AGI）への道筋として抽象化と推論能力の向上を提唱しています。
具体的には、チョレ氏はLLMが特定のタスクでは高い性能を発揮するものの、新しい状況への適応力や汎化能力は乏しいと主張しています。その理由として、LLMはデータにパターンを当てはめること（カーブフィッティング）に長けている一方で、抽象的な概念を理解したり、新しいプログラムを合成したりする能力に欠けていることを挙げ、LLMは道路網を持っているようなもので、あらかじめ決められた道しか通れないと説明しています。
チョレ氏は、真の知能は、新しい道を作る能力にこそ宿ると考え、抽象化と推論能力を測るための新しいベンチマーク「ARC-AGI」を開発しました。ARC-AGIは、人間が生まれながらに持っている基本的な知識（コア知識）に基づいたタスクで構成されており、LLMが得意とするパターン認識や暗記では解けません。チョレ氏は、LLMはARC-AGIで人間に比べてはるかに低いスコアしか得られないと述べ、その限界を改めて示しています。
そこでチョレ氏は、深層学習（システム1思考）とプログラム合成（システム2思考）を組み合わせることで、抽象化能力と推論能力を向上させることを提案しています。深層学習はパターン認識に優れており、プログラム合成は論理的な推論に優れています。チョレ氏は、深層学習で得られた情報をプログラム合成に利用することで、プログラム合成における組み合わせ爆発問題を解決し、LLMの限界を超えることが可能になると考えています。
講演の最後には、チョレ氏はARC-AGIチャレンジへの参加を呼びかけ、新しいアイデアと突破口を期待しています。チョレ氏の講演は、現在のAI研究における課題と展望を明らかにし、深層学習とプログラム合成の融合がAGI実現への重要な鍵となることを示唆しています。
NotebookLMとのやり取り1:ショレー氏の講演で登場した新しい概念
Chollet氏の講演ででてきた、新しい概念を列挙してほしい
ショレー氏の講演では、AI、特に大規模言語モデル（LLM）の現状と限界、そして真の汎用人工知能（AGI）への道筋について、いくつかの新しい概念が提示されました。以下に、それらを列挙します。
万華鏡仮説: ショレー氏が提唱するこの仮説は、宇宙は本質的に少数の意味の原子の繰り返しと組み合わせで構成されており、知能とはこれらの反復パターンを認識し抽象化する能力であると述べています。 表面上は無限の複雑さと新規性を持つように見える世界も、実際には限られた要素の組み合わせで成り立っているという考え方です。
抽象化スペクトル: 抽象化能力は、単なる事実の記憶からAGIに至るまでのスペクトルとして捉えることができます。 ショレー氏は、このスペクトル上で、LLMは体系的な知識と汎用モデルの中間に位置すると指摘しています。LLMは、過去の経験からある程度の距離まで一般化できる構造化された知識を持っていますが、真のモデル段階には達しておらず、数値の加算やリストのソートなどの基本的なタスクにも苦労しています。
価値中心抽象化とプログラム中心抽象化:
価値中心抽象化: 連続的な距離関数（例：LLMにおけるドット積やL2距離）を用いて事物 を比較し、重要でない詳細を消去することで共通の抽象概念を形成します。人間の知覚、直感、パターン認識を支えるものです。
プログラム中心抽象化: 離散的なプログラム（グラフ）を比較し、厳密なサブグラフ同型やサブグラフマッチングを探します。ソフトウェアエンジニアが抽象化について話すとき、通常はこのプログラム中心抽象化を指します。
タイプ1思考とタイプ2思考:
タイプ1思考: カーンマンの提唱する、高速で直感的、パターンに基づく認知プロセスであり、AIにおける深層学習に関連付けられます。 ショレー氏によれば、Transformerはこのタイプ1思考、すなわち価値中心抽象化に優れています。
タイプ2思考: 同じくカーンマンの提唱する、低速で熟慮的、論理的な認知プロセスであり、AIにおけるプログラム合成に関連付けられます。 Transformerはタイプ2思考、すなわちプログラム中心抽象化には適していません。
深層学習とプログラム合成の融合: ショレー氏は、現在のAIの限界を克服し、AGIに近づくためには、深層学習（タイプ1思考）とプログラム合成（タイプ2思考）を組み合わせる必要があると主張しています。 これは、人間の知能が知覚や直感と明示的な段階的推論を組み合わせていることに基づく考え方です。
具体的な方法としては、深層学習を知覚層としてプログラム合成に利用する、深層学習システムに記号的なアドオンを追加する、深層学習を用いて離散的なプログラム検索をガイドする、などが挙げられます。
これらの新しい概念は、AI研究、特にAGIを目指す上で重要な視点を提供するものです。ショレー氏の講演は、単なるLLMの大規模化ではなく、抽象化能力の向上こそがAGIへの鍵であることを示唆しています。
NotebookLMとのやり取り2:課題設定への回答
真の推論とは何か：ショレー氏の講演から考察する
以下の課題設定に対して、この講演の内容から回答を考察してみて。
OpenAIのo1が登場し、思考の連鎖(CoT)を強化した大規模言語モデル(LLM)が様々な分野で高い能力を示す一方で、LLMは真の推論能力を欠き、高度なパターンマッチングを行っているだけだという批判も存在します。
ショレー氏の講演を踏まえ、真の推論とは何か、LLMに何が欠けているのか、そしてAGIへの道筋はあるのかについて考察していきます。
真の推論とLLMの限界
ショレー氏は講演の中で、「スキルは知能ではない」と強調しています。LLMは大量のデータからパターンを学習し、特定のタスクにおいて高いスキルを示すことができます。 しかし、ショレー氏によれば、真の知能とは、新しい状況に適応し、未知の問題を解決する能力、すなわち汎用性こそが重要であると述べています。
ショレー氏は、抽象化こそが汎用性を生み出すエンジンだと説明しています。 抽象化とは、経験から繰り返し現れる要素を特定し、それらを再利用可能な「抽象概念」として抽出するプロセスです。 高度な抽象化能力を持つシステムは、少ない経験から強力な抽象概念を抽出し、それらを組み合わせて新しい状況に対応することができます。
LLMは大量のデータからパターンを学習することで、ある程度の抽象化能力を獲得していると言えるでしょう。 しかし、ショレー氏は、LLMは価値中心抽象化には優れているものの、 プログラム中心抽象化が不足していると指摘しています。
価値中心抽象化: 連続的な距離関数に基づいて事物 を比較し、類似性に基づいて抽象概念を形成します。これは、人間の知覚、直感、パターン認識を支えるものであり、LLMもこの能力に長けています。
プログラム中心抽象化: 離散的なプログラム（グラフ）を比較し、厳密な論理に基づいて抽象概念を形成します。これは、明示的な推論や計画、問題解決などを可能にするものであり、LLMはこの能力が不足しています。
LLMが真の推論能力を欠くとすれば、それはプログラム中心抽象化の不足、すなわち明示的な記号操作や論理に基づく推論能力の欠如が原因と考えられます。
AGIへの道筋
ショレー氏は、AGIを実現するためには、深層学習（タイプ1思考）とプログラム合成（タイプ2思考）を組み合わせる必要があると主張しています。
深層学習: 大量のデータからパターンを学習することに優れており、価値中心抽象化を可能にします。
プログラム合成: 記号操作や論理に基づく推論を可能にするため、プログラム中心抽象化を実現する鍵となります。
人間の知能は、タイプ1思考とタイプ2思考を柔軟に組み合わせることで、複雑な問題を効率的に解決しています。 AGIも同様に、深層学習とプログラム合成を統合することで、真の推論能力を獲得し、人間のような汎用性を達成できる可能性があります。
認知言語学との関連
前述したように、価値中心抽象化は認知言語学におけるプロトタイプやカテゴリー形成と関連付けられます。 一方、プログラム中心抽象化は、メタ言語的意識やフレーム、生成文法などの概念と関連付けることができるでしょう。
LLMが欠くとされる「プログラム中心抽象化」は、言語の構造や規則を意識的に操作する能力、すなわちメタ言語的意識と深く関わっていると考えられます。 人間の言語獲得は、単なるパターンの学習だけでなく、言語規則を抽象化し、それを用いて新しい文を生成する能力を獲得するプロセスと言えます。
もしLLMが真の推論能力、すなわちプログラム中心抽象化を獲得できれば、それは人間のメタ言語的意識に類似した能力を獲得することを意味する可能性があります。
結論
真の推論とは、単なるパターンマッチングではなく、抽象化された論理や規則に基づいて新しい知識や解決策を生み出す能力と言えるでしょう。 LLMは価値中心抽象化に優れているものの、プログラム中心抽象化が不足しており、これが真の推論能力の欠如につながっていると考えられます。
深層学習とプログラム合成を組み合わせることで、LLMはプログラム中心抽象化を獲得し、真の推論能力、ひいてはAGIへと至る道が開ける可能性があります。 また、この過程は、人間におけるメタ言語的意識の発達と類似する側面を持つ可能性があり、人間の知能とAGIの知能の共通点を探るヒントになるかもしれません。
注記
上記の考察は、提供された資料と会話履歴に基づいていますが、認知言語学やAGI研究に関する専門家の意見を反映したものではありません。 より深い理解を得るためには、関連分野の専門家の論文や書籍を参考にすることをお勧めします。
NotebookLMとのやり取り3:認知言語学との対比
価値中心抽象化をprototpye-baseと説明があって、これは認知言語学のカテゴリーやプロトタイプと関連しているように見える。ということは、プログラム中心抽象化は、認知言語学では何に相当することになるのか？
プログラム中心抽象化と認知言語学
価値中心抽象化がプロトタイプベースで説明され、認知言語学のカテゴリーやプロトタイプと関連付けられるというのは興味深い視点ですね。この考え方を発展させると、プログラム中心抽象化は認知言語学において、メタ言語的意識やフレームといった概念に対応する可能性があります。
メタ言語的意識: プログラム中心抽象化は、離散的なプログラム（グラフ）を比較し、厳密なサブグラフの同型性を分析します。これは、言語の構造や規則について意識的に考えるメタ言語的意識と類似しています。 メタ言語的意識は、私たちが文法規則を理解し、新しい文を生成することを可能にする高次認知機能です。 プログラム中心抽象化も同様に、抽象的なレベルでプログラムを分析し、新しいプログラムを生成することを可能にする抽象化能力と言えます。
フレーム: フレームとは、特定の概念や状況に関する知識を体系的に組織化したものです。 プログラム中心抽象化において、プログラムは特定のタスクやドメインにおける知識を表現していると解釈できます。 フレームは、特定の状況において関連する情報を活性化し、理解や推論を促進します。 プログラムも同様に、特定の入力に対して適切な処理を実行するための知識をカプセル化しており、フレームと類似した役割を果たしていると考えられます。
ただし、プログラム中心抽象化とメタ言語的意識やフレームの対応関係は、あくまで一つの解釈です。認知言語学におけるこれらの概念とプログラム中心抽象化の間には、明確な一対一の対応関係があるわけではありません。
さらなる考察
プログラム中心抽象化は、明示的な記号操作やルールベースの推論を重視する点で、認知言語学における 生成文法 の考え方とも関連付けることができます。
一方、価値中心抽象化は、経験的なデータに基づくパターン認識を重視する点で、 認知意味論 や 用法基盤モデル といった考え方とより密接に関連していると言えるでしょう。
結論
価値中心抽象化とプログラム中心抽象化は、それぞれ異なる認知プロセスを反映しており、認知言語学においても異なる概念に対応付けられる可能性があります。 しかし、これらの対応関係はあくまで仮説であり、さらなる研究が必要です。
注記: 上記の考察は、提供された資料と会話履歴に基づいていますが、認知言語学の専門的な知識に基づいたものではありません。 より正確な情報を得るためには、認知言語学の専門家による意見を参考にすることをお勧めします。
final note:考察
やっぱNotebookLMはすごいわ。でも、課題設定を事前に立てるとか、そいいう工夫は、より活用できるヒントになるわね。
認知言語学では、人の特性である認知能力に基づき、言語が構成されるメカニズムとして、メタファーなどが説明された。これはショレ氏によると価値中心抽象化であるとし、「類似性に基づいて抽象概念を形成します。これは、人間の知覚、直感、パターン認識を支えるもの」としている。
一方、新たに導入された、プログラム中心抽象化は、さらに、「離散的なプログラム（グラフ）を比較し、厳密な論理に基づいて抽象概念を形成します。これは、明示的な推論や計画、問題解決などを可能にするもの」であるとし、価値中心抽象化とプログラム中心抽象化を、それぞれ、カーネマンの、Sytem1思考、Sytem2思考に対応付けている。
o1シリーズは、CoTを強化することによりsytem2的な思考ができるようになったと言われるが、数理最適化を解かせた事例などからも、むつかしいあるいは少しひねった問題に対する間違えなど、Sytem2思考を模擬しているという段階なのかもしれない。
ではどうすればよいのか？「深層学習を知覚層としてプログラム合成に利用する、深層学習システムに記号的なアドオンを追加する」とされとり、また人間の認知の観点からは、「人間におけるメタ言語的意識の発達と類似する」ともしている。メタ言語的意識とは、「私たちが文法規則を理解し、新しい文を生成することを可能にする高次認知機能」とされており、つまり、言語の基盤を構成するところは、認知的な能力でそれができたけども、そこから先の理解や新しい文の生成では、むしろメタ言語的意識ってのが効いていて、それは、プログラム合成と似た性質を持っているということか。
プログラム合成側の観点からは、「深層学習で得られた情報をプログラム合成に利用することで、プログラム合成における組み合わせ爆発問題を解決できる」ということで、このアドオンは、双方Win/winという話だった。
いや、型推論とかプログラム合成とか形式的意味論とか、古き、計算機科学のプログラム意味論とかそういう世界が、じつは次に重要になるってことね。いや計算機科学者でもある、ショレ氏だから、そうなったのか？それともそこに本質があるのか。なんか圏論の匂いがして、なんかいやだな。