論理的推論を強化する「Logic-of-Thought」～「不忠実な推論」問題の解決に向けて

中国科学技術大学などから成る研究者グループが2024年9月26日、「Logic-of-Thought（LoT）」という新たな技術を発表しました。

LoTは、既存の大規模言語モデル（LLM）の論理推論能力を飛躍的に向上させる技術で、特にChain-of-Thought（思考の連鎖）などの手法で見られる「不忠実な推論」問題の解決を目指しているものです。従来の手法では、思考の途中の過程が正しいにもかかわらず、最終的な結論が不正確になることがありますが、LoTはその問題を克服し、より精密な論理的推論を可能にするといわれています。この技術は、人間のような論理的思考をAIに実装する、その大きな一歩といえます。この技術は、私たちの問題解決能力を大幅に向上させ、新しい知識の創出を加速させる可能性を秘めています。

LoTは以下の3つのステップで構成されています。

1. 論理抽出
   LLMが文章から条件付き推論に基づく命題を抽出し、形式的な論理式を生成します。
   　
   　すでに実装されている「LINC（Language model and INferential Computing）」という手法は、自然言語を形式論理式に変換し、外部の定理証明システム（Prover9など）を使って推論を行う、いわゆるニューロシンボリックアプローチです。LLMがセマンティックパーサーとして機能し、自然言語の文を論理式に変換する役割を果たすが、この過程で重要な情報が失われるリスクがあるといわれています。LoTとLINCを比較すると、LINCは情報損失が発生しやすい点が弱点で、LoTはその欠点を補う形で論理推論の精度を高めることが狙いとされています。

2. 論理拡張
   抽出された論理式に基づき、推論法則（例: 推移律、対偶律）を適用して式を拡張し、新たな論理表現を引き出します。

3. 論理翻訳
   拡張された論理式を自然語に翻訳し、元のプロンプトに統合することで、情報の欠落を防ぎつつ、LLMの推論を強化します。

LoTの重要なポイントは、既存の手法（CoTやSelf-Consistency、Tree-of-Thoughtsなど）と併用できることだといわれています。これにより、従来の手法では到達できなかった高度な推論を実現することが期待されています。

研究チームは、LoTを複数のデータセットで検証しました。LoTは、法学適性試験（LSAT）などからの推論問題を含むReClorデータセットにおいて、Chain-of-Thought手法の性能を+4.35%、LogiQAではSelf-Consistencyと組み合わせることで+5%、さらにProofWriterデータセットではTree-of-Thoughtsと組み合わせて+8%の性能向上を実現しました。この技術の応用性は高く、GPT-3.5やGPT-4といった異なるモデルでも一貫した性能向上が確認されています。特に、GPT-4を用いた実験では、LoTがさまざまなタスクにおいて従来の手法を大幅に上回る結果を示したそうです。

これら数値は少ないようにも思えますが、実際に利用してみるとその違いは誰でも体感できると思うほどの差です。高度な推論は学術的なものへの利用を想像しがちですが、日常生活のあらゆる場面で推論は使われています。「受信メールにスパム判定をする」「会話を書き起こす」「報告書を要約する」「走ったことのない道でも一時停止の標識を認識する自動車の自動運転」「プロスポーツ選手の過去の成績を学習した機械学習モデルが、あるスポーツ選手の将来の成績を予測する」など、これらはすでに実用化されており、すべてAIの推論になります。推論という言葉のイメージの問題だと思いますが、決して学術的なものではなく、日常的に利用されているものなのです。推論の精度が上がり、高度な推論が実現するということは、数多の科学技術の中で最も一般の人が恩恵を受けやすい分野かもしれません。AI開発となると膨大な情報を高速で処理する性能重視の開発が続いていますが、実用性を高める研究も非常に重要であり、LoTはその点が評価できるのではないでしょうか。

実用性の高いLoTは、多岐に渡る分野に応用可能だといわれています。例えば、法律文書の解析や医療診断支援、ビジネス戦略の立案など、複雑な推論を要するタスクでの活用が期待されています。一方、LoTには改善の余地も残されており、今後はより複雑な論理体系（構造論理や時相論理など）をサポートすることで、さらなる性能向上が期待されるともいわれています。

AIの仕組みを知らなくても、誰もが利用できる時代になりました。しかしながら、ハルシネーションを含め、まだ人間の目によるチェックが必要なレベルであることも事実です。誰でも手軽に使えるということは、誰もが間違えた結果を受け取るリスクがあります。そのリスクを回避するためには、使い手である人間が真偽を判断できる知識や専門性が必要になっているのが今のAIだと思います。もちろん、日進月歩でAIは進歩し、少しずつ課題を解決してきているのも事実です。

技術革新の初期段階は速度向上なのはどの分野も同じです。自動車、新幹線といった乗り物では最高速度、コンピュータではベンチマークなどによる処理速度を競い合うのが開発競争の初期段階ですが、人間が体感できるレベルを超えているのも現状です。技術を成熟させるには単なる速度ではなく、精度の高さが必要だと思います。

LoTの研究は、AI開発でも速度競争に一段落し、精度の向上に移行したことを表すものだと感じました。それだけAI開発が成熟し始めているということです。世界中のAI研究がこれからどのような視点からAIを成熟させ、我々の社会にどのような恩恵をもたらしてくれるのか楽しみでなりません。2024年も終盤に差し掛かり、日本、アメリカなど政権交代が注目の的になっています。政治も社会を明るく照らすためのものですから、科学技術だけでなく、政治の力、政治家の人間力を発揮して生きやすい社会をつくってほしいと思います。そのためにも、すべての有権者が国民の代表を選ぶ権利を行使することが何より大切なことです。この権利は、先人たちが多大なる犠牲のもと勝ち得た、すべての民に平等で貴重で、何より強大な力を持つものだということを今一度認識したいものです。