見出し画像

うみゆき氏「LLMが人間を越えることはない」

榊正宗＠Blender＆ComfyUI

AIはいずれ人間を超える～みたいな風潮だけど、LLMって万能のランプの魔人とちゃいまっせ、という話をカルパシー氏までもが言い出す。LLMに何かを質問するというのは、そのLLMの学習データにラベル付けの仕事をしたごくフツーの人達に質問するのと実質的に同じとの事。何故なら彼らの価値観でラベル付けされたデータでトレーニングしてるんだから。そんなんで人間より大幅に賢い超知能に辿り着くわけないだろ～という話か。「ちょっと待って！でも強化学習ならラベル付けの人と関係なく、AIが自力で学習して成長するでしょう？」という意見もあるかもしれんけど、RLHFだって所詮フツーの人間がフィードバックしてるだけだし、それにちゃんと強化学習できるのは数学みたいな定量的に報酬が与えられる限られた分野だけで、それ以外の「東京のオススメの観光名所は？」みたいな大抵の質問は強化学習しようが無い…との事　→RT

こんにちは、榊正宗です。

うみゆきさんのネガティヴなツイートは思考実験だと思いますが、念の為に解説しますね。

AIやLLM（大規模言語モデル）について議論するとき、よく限界や課題が取り上げられます。でも一方で、現状の技術でもAIが「超知能」に近づく可能性は十分あるんですよね。ただ、ここで問題になるのがコストとエネルギー消費の壁です。もし膨大な電力を惜しまず投入できるなら、今の技術でもAIをかなりのレベルまで引き上げることはできるでしょう。でも現実には、この電力消費が天文学的な規模になり、それに伴うコストも非常に厳しいものがあります。

たとえば、今の大規模言語モデルを支える裏側では、何百、何千という高性能なGPUやTPUがフル稼働していて、その冷却に使われるエネルギーも膨大です。これをさらにスケールアップしようとすれば、技術的には可能でも、経済的に成り立たなくなる場面が多いんですよ。だから、「AIが超知能ではない」という指摘の背景には、技術の限界だけじゃなく、こうしたエネルギー消費やコストの現実があることも理解する必要があります。

次に、「LLMはラベル付けされたデータで訓練されているだけ」という主張についてですが、これも正確とは言えません。たしかに、学習データには人間の価値観やバイアスが含まれており、それがモデルの出力に影響を与えるのは事実です。でも、「ラベル付けされたデータだけで学習している」という説明は簡略化しすぎなんですよね。実際には、膨大な未ラベルのテキストデータから文脈やパターンを学び取っており、ラベル付けや人間のフィードバックは出力の調整を目的とした補助的なプロセスに過ぎません。

そして、「LLMは超知能にはならない」という意見についても、現状を過小評価しすぎているように思います。確かに、今の技術ではAIが意識や自律的な創造性を持つ段階には達していません。でも、たとえば囲碁やチェスのように特定の分野ではすでに人間を超える成果を出している例もあります。「超知能」の定義が曖昧である以上、これを断定的に否定するのは適切ではありません。

さらに、RLHF（人間のフィードバックを使った強化学習）についても、「人間の価値観だけに依存している」と言われがちですが、それも誤解を生みやすい見方です。RLHFは確かに人間の価値観を取り入れていますが、その目的はAIの出力を「安全で」「倫理的」にすることです。単にバイアスをそのままコピーしているわけではありません。

一方、強化学習が「定量的な評価基準がある分野にしか役立たない」という主張もありますが、それだけでは強化学習の適用範囲を狭く見すぎです。たしかに、定量的なタスクでは非常に効果を発揮しますが、曖昧なタスクでも人間のフィードバックや他の技術を組み合わせることで一定の成果を上げているんです。

そして、これらの限界や課題を踏まえた上でも、未来への希望は十分にあると思います。特に、核融合のようなエネルギー問題を解決するためにAIを活用するケースを考えると、話は変わってきます。こういった人類にとって重大な課題に挑むAIには、たとえ莫大な電力を投入しても、それを回収するだけのリターンが見込めるんじゃないでしょうか。エネルギー問題が解決できれば、AIの成長にも新たな道が開けるはずです。

AI技術を議論する際には、限界だけでなく可能性についても正しく評価し、現実的な視点を持ちながら未来を見据えることが必要だと思います。この先、技術的な進歩や新たなエネルギー開発が進むことで、AIがより広範な課題に取り組み、さらなる可能性を切り拓いてくれることを期待したいですね。

いいなと思ったら応援しよう！