【論文紹介】生成AI、潜在空間での反復推論でコンテクスト長が少なくても「深い思考」ができるかも
今回は、メリーランド大学、ローレンスリバモア国立研究所、テュービンゲン大学などの研究チームが発表した「Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach」を紹介します。
近年、AIの分野では、大規模言語モデル（LLM）の性能向上が目覚ましいです。これらのモデルは、人間が書いた文章と区別がつかないほど自然な文章を生成したり、質問に答えたり、翻訳したりと、様々なタスクをこなすことができます。しかし、その性能向上は、主にモデルのパラメータ数を増やすこと、つまり巨大化と、それに伴う大量のデータを用いた学習に依存してきました。
本論文では、メリーランド大学、ローレンスリバモア国立研究所、テュービンゲン大学などの研究チームが、全く新しいアプローチで言語モデルの推論能力を向上させる手法を提案しています。それは、**「潜在空間での反復推論」**と呼ばれる革新的な手法です。
人間の思考プロセスを模倣：潜在空間での反復推論
人間は、難しい問題を解くとき、すぐに答えを出すのではなく、頭の中で何度も思考を繰り返します。例えば、複雑な数学の問題を解くとき、私たちは一度に答えを導き出すのではなく、段階的に計算を進め、時には前のステップに戻って考え直したりします。また、言葉で説明するのが難しい問題、例えば、空間的な配置を考えるパズルや、直感的に判断するような状況では、言葉を使わずに、頭の中でイメージを操作したり、感覚を頼りに考えたりします。
この論文で提案されている新しい言語モデルは、まさにこの人間の思考プロセスを模倣しています。具体的には、モデル内部にリカレント（再帰的）な構造を導入し、テスト時にこの構造を繰り返し展開することで、あたかも人間が頭の中で思考を巡らせるように、潜在空間内で情報を処理し、推論を深めていきます。
従来手法の限界と新手法の優位性
これまで、言語モデルの推論能力を向上させるための主な手法として、「Chain-of-Thought（思考の連鎖）」と呼ばれるものがありました。これは、モデルに推論の過程を明示的に言語化させることで、より複雑な問題を解けるようにする手法です。例えば、「AはBより大きく、BはCより大きい。したがって、AはCより大きい」といった推論のステップを、モデルに文章として出力させることで、論理的な思考を促します。
しかし、Chain-of-Thoughtには、いくつかの課題がありました。
特別な学習データの必要性: Chain-of-Thoughtを実現するためには、推論の過程を詳細に記述した特別な学習データを用意する必要があります。これは、人間が手作業で作成する必要があるため、非常に手間とコストがかかります。
メモリ消費量の増加: Chain-of-Thoughtでは、モデルが推論の過程を文章として出力するため、非常に長い文章を処理する必要があります。これにより、モデルのメモリ消費量が大幅に増加し、大規模な計算リソースが必要になります。
言語化できない推論の限界: Chain-of-Thoughtは、推論の過程を言語化することを前提としているため、言葉で表現しにくい推論、例えば、空間的な配置を考えるパズルや、直感的に判断するような状況には適用できません。
一方、本論文で提案する「潜在空間での反復推論」は、これらの課題を克服し、以下のような利点を持っています。
特別な学習データは不要: 潜在空間での反復推論は、モデルが内部で自動的に推論を行うため、特別な学習データは必要ありません。通常の文章データを用いて学習することができます。
小さなメモリで効率的に学習・推論が可能: 推論の過程を言語化しないため、メモリ消費量を抑えることができます。これにより、より小さな計算リソースで、効率的に学習と推論を行うことができます。
言葉で表現しにくい推論も可能: 潜在空間での反復推論は、言語化を前提としないため、言葉で表現しにくい推論、例えば、空間認識や直感など、人間の多様な思考プロセスを模倣することができます。
実験結果：35億パラメータで500億パラメータ相当の性能
研究チームは、この新しいアーキテクチャを持つ言語モデルを、35億パラメータという比較的小規模なモデルで学習させました。そして、推論を必要とする様々なベンチマークテストにおいて、その性能を評価しました。
その結果、驚くべきことに、このモデルは、最大で500億パラメータ相当の計算量まで性能を向上させることに成功しました。これは、従来の手法をはるかに凌駕する結果であり、潜在空間での反復推論の有効性を示すものです。
具体的には、数学的な推論能力を測るGSM8Kや、コード生成能力を測るHumanEvalといったベンチマークテストにおいて、従来のモデルを大きく上回る性能を示しました。特に、GSM8Kでは、従来の35億パラメータモデルと比較して、5倍以上の性能向上を達成しました。
モデルの内部構造と学習方法
この新しい言語モデルは、Transformerと呼ばれる既存のアーキテクチャをベースに、リカレントな構造を組み込んだものです。具体的には、モデルは以下の3つの部分から構成されています。
Prelude（前奏）: 入力された文章を、潜在空間と呼ばれる高次元のベクトル空間に埋め込みます。
Core Recurrent Block（中核再帰ブロック）: この部分が、潜在空間での反復推論の核となります。同じ構造のブロックを繰り返し適用することで、情報を多角的に処理し、推論を深めます。
Coda（終奏）: 潜在空間での推論結果を、最終的な出力（文章）に変換します。
学習時には、Core Recurrent Blockを何回繰り返すかをランダムに決定します。これにより、モデルは様々な深さの推論を学習し、テスト時に柔軟に計算量を調整できるようになります。
さらなる機能：適応的計算、KVキャッシュ共有、自己生成的思考連鎖
このモデルは、性能向上だけでなく、従来モデルでは実現困難だった、いくつかの興味深い機能も備えています。
ゼロショット適応的計算: 質問の難易度に応じて、必要な計算量を自動的に調整します。簡単な質問には少ない計算量で答え、難しい質問にはより多くの計算量を割り当てます。
ゼロショットKVキャッシュ共有: 推論の過程で生成される中間的な情報を、複数のステップ間で共有することで、メモリ使用量を削減します。
ゼロショット自己生成的思考連鎖: 追加の学習を必要とせずに、潜在空間内で自動的に思考の連鎖を生成し、推論を行います。これは、Chain-of-Thoughtを潜在空間内で実現するものであり、より効率的かつ柔軟な推論を可能にします。
AIの未来を拓く：潜在空間での推論の可能性
この研究は、言語モデルの新たな可能性を示すものです。潜在空間での反復推論は、AIがより人間らしく、柔軟に思考するための重要な一歩となるでしょう。
従来の言語モデルは、大量のデータを記憶し、それをパターン認識的に処理することで、高い性能を達成してきました。しかし、このアプローチでは、人間のような創造的な思考や、未知の状況への対応は困難です。
一方、潜在空間での反復推論は、AIがより抽象的なレベルで情報を処理し、自ら考え、推論することを可能にします。これにより、AIはより複雑な問題を解決し、人間との協調や、新しい知識の発見など、より高度なタスクをこなすことができるようになるでしょう。
今後の研究の進展により、AIはさらに高度な推論能力を獲得し、私たちの生活や社会に革新をもたらすことが期待されます。
研究チームと関連情報
本研究は、メリーランド大学、ローレンスリバモア国立研究所、テュービンゲン大学などの研究者による共同研究です。
モデル: huggingface.co/tomg-group-umd/huginn0125
コードとデータ: github.com/seal-rg/recurrentpretraining
元論文はこちら