浅学が語るLLM今後の展望
結論
現在のLLMはシステム1（直感）タイプ
次世代LLMはシステム2（論理）タイプへ
その足がかりとしてGNNに期待している
LLMの進化
ChatGPTの台頭により注目を集めたLLM(大規模言語モデル)は、目まぐるしいスピードで進化を続けています。
数年前までは幼稚園児レベルだった出力が、今では専門家顔負けと言われることもあるほどです。
しかしここまで賢くなったLLMも、実はまだできることは知識の出力止まりです。さらなる人間らしさへステップを進めるためには、知恵創出レベルの実力が必要になるでしょう。
ブレイクスルーのためにはシステム１な思考からシステム２へ昇華することが鍵だと仮説を立て、LLMの展望を素人目線で考察していこうと思います。
システム１、システム２とは
そもそもシステム１、システム２とは何のことでしょうか？
これは行動心理学の、「何かを考える際、私たちは二つの思考モードを使い分けている」という考え方です。
システム１は直感を使いすばやく思考を行い、システム2は論理で考えじっくり思考を行います。
例えば真夏の猛暑日、目の前にキンキンに冷えた自販機がある。
そんなとき、これらシステムのどちらかが発動し行動します。
システム１（直感）
あち～ → 冷えたおいしい水がある → ヨシ！ → ｶﾞｺﾝ…
システム２（論理）
あち～ → 冷えたおいしい水がある → 成田空港で所持金200円 → 買う余裕なさそう → ここで買わず帰宅後に飲むか → ヨシ！ → ｶﾞｺﾝ…
システム１は ”暑いときに飲むおいしい水は最高にうまい" という過去の経験則から直感的に購入に踏み切っています。
システム２はそこから一歩踏み込み、現在の財務状況や代替案という別角度からのアプローチを経て、論理的に答えを出そうと試みています。一般的に”理性”と呼ばれるものがシステム２にあたります。
私たち人間はこれら２つのシステムを無意識的に使い分け、日常生活を送っているのです。
LLMとシステム
今のフェーズ: システム１
LLMを代表し、GPTの仕組みをおさらいしてみましょう。
GPTは入力文を考慮し、後述文を予測し生成する仕組みです。予測の際、学習済み知識を参考にマッチ確率の高い文章を算出していきます。
これは人間でいう、過去の経験則から直感で思考するシステム１に近い考え方になります。
GPTは質の高い情報を膨大に学習することで、直感だけで専門家レベルの知識を披露できるようになりました。ただ、そこにあるのは確率論だけで、生成される出力はあくまで統計的な相関関係に基づいています。
GPTが提供する情報は「それっぽさ」を持っていますが、必ずしも因果関係を反映しているわけではありません。
次のフェーズ: システム2への進化
直感だけでなく論理で思考できるようなったら、より賢くなると思いませんか？そのカギとなるのがグラフニューラルネットワーク(GNN)です。
グラフニューラルネットワークとは、シンプルにニューラルネットワークにグラフの理論を反映させることを目指した分野です。
例えば下記のように、言葉言葉に関係する要素を繋げることで、複雑な関係性や因果関係を構造的に表現することができます。
このようにLLMとGNNをうまく融合させることができれば、直感の次ステップ、論理へ一歩近づけそうです。
システム２は知恵になる？
知恵は、知識を応用し新しい価値を創造するクリエイティブな行為です。ある程度型破りな発想が必要になります。
ただし、0から1を創り出すだけが知恵を絞り出す方法ではありません。
あるジャンルで成功を収めた構造を他ジャンルへ応用することでも一定の成果が見込めます。そしてグラフはこの“構造” を扱うのが得意です。
現在のLLMは、最もらしさを扱う確率論をバックボーンに動作します。いわば世界常識に依存しているため、新創出には限度があります。
よって、GNNにて構造を扱うことが知恵の創出に一歩近づく鍵であると期待しています。
RAGはどうなの？
RAG（Retrieval-Augmented Generation）は、現在LLMを賢くするための最もホットな技術です。簡単に説明すると、LLMにカンニングさせる技術です。
RAGはLLMに外部の最新情報やドメイン情報を提供することに特化しており、LLM単体での思考プロセスとは異なります。
人間に例えると、システム１は地頭勝負でRAGはインターネット検索です。いくらインターネットから良い情報を得ることができても、それをうまく処理して噛み砕く地頭がなければアウトプットに活かせません。
RAG単体では知識の拡張はできても、知恵への昇華は難しと考えています。
おわり
LLMの今後の展望として、GNNの可能性を考察しました。
ただし、上記は全て浅学から出る理想論に過ぎません。LLMにしろGNNにしろ、概念を少し知っている程度の知識感で語っていますので全体的に解像度が低いです。あくまで素人意見を吐き出していることをご容赦ください。
個人的にGNNは非常におもしろいと感じた技術でしたので、下記書物を購入してみました。ゆっくり勉強していこうと思っています。
おしょうしな
参考にさせていただきました。ありがとうございました。