AI・LLMS(大規模言語処理モデル)の行方

Economist誌がAIの大特集をしているせいで、すっかりAIの行方に興味津々だ。LLMSと呼ばれる大規模言語処理モデルが世間の脚光を浴びていて毎日AIにこう出力させたと面白い反応を報告してくれる。

Economist誌の説明によると、LLMSは単語をトークンにして統計的な繋がりを見つけているそうで、これは言語を文法的にではなく統計的に解釈し、自然な文章を創作しているそうだ。これはチョムスキーがいう人類には共通の文法があるという理論を否定するものだ。

また、LLMSが自然な文章を統計的に作るだけでなく、ある種の推論もしているという。これは人類には脅威だ。

ただ、現状のLLMSは人間で言うと短期記憶に頼って文章を作り出しているそうで、これからは計算量を数倍にして短期記憶による推論からより深い推論へブレイクスルーする方向でもあるらしい。

いやはやもはや手におえない。

専門家には現状のLLMSに悲観的な意見もあるそうで、それを紹介する。Economist誌からの引用である。

"Amid the excitement Yann LeCun, one of the leading lights of modern ai, has sounded a sceptical note. In a recent debate at New York University, he argued that llms in their current form are “doomed” and that efforts to control their output, or prevent them making factual errors, will fail. “It’s not a popular opinion among my colleagues, but I don’t think it’s fixable,” he said. The field, he fears, has taken the wrong turn; llms are “an off-ramp” away from the road towards more powerful ai."

DeepL翻訳"このような盛り上がりの中、現代aiの第一人者であるYann LeCun氏は、懐疑的な見方を示している。最近ニューヨーク大学で行われた討論会で、彼は、現在の形のllmは「運命的」であり、その出力を制御したり、事実誤認を防ごうとする努力は失敗すると主張しました。「同業者の間では人気のない意見だが、修正不可能だと思う」と彼は言った。この分野は間違った方向に進んでしまった。llmsは、より強力なaiに向かう道から外れる「オフランプ」なのだ。"

さてどうなるやら。