期待外れだったAIの読み
期待したほどの進化実現せず投資リターン低下に直面
2024年11月14日 14:31 JST
The ChatGPT virtual assistant logo on a smartphone Photographer: Andrey Rudakov/Bloomberg
対話型人工知能（ＡＩ）「ChatGPT（チャットＧＰＴ）」を開発したオープンＡＩは、画期的な成果を目前に控えていた。チャットＧＰＴのテクノロジーを超えた新しいＡＩモデルの初期段階のトレーニングを９月に完了し、人間を超える強力なＡＩという目標に近づくはずだった。
しかし、事情に詳しい関係者２人によると、社内で「Orion（オリオン）」として知られるこのモデルは、同社の期待するパフォーマンスには達しなかった。社内の情報だとして関係者が匿名を条件に明らかにした。例えば、オリオンは訓練されていないコーディング問題の回答を試みた際に、期待通りの結果を出せなかったという。全体的に見てオリオンは既存モデルとの比較で、GPT-4がGPT-3.5から進化したほど飛躍的な進歩を遂げたとはまだ考えられていないと関係者は語った。
最近、障害にぶつかっているのはオープンＡＩだけではない。ここ数年、より洗練されたＡＩ製品を次々と発表してきた業界大手のオープンＡＩ、グーグル、アンスロピックの３社では、新しいモデルを構築するための多大な努力から得られる利益が減少している。
アルファベット傘下のグーグルでは、ＡＩモデル「Gemin（ジェミニ）」の次期バージョンが社内の期待に応えていないと、事情に詳しい関係者３人が述べている。アンスロピックは「Claude（クロード）」の待望のモデル「3.5 Opus（オーパス）」のリリース予定が遅れている。
各社はいくつかの課題に直面している。より高度なＡＩシステムを構築するために使用できる、人間による高品質なトレーニングデータの新規かつ未開拓のソースを見つけることがますます難しくなっている。オリオンの満足のいかないパフォーマンスは、トレーニング用のコーディングデータが十分でないことが原因の一つだと、２人の関係者が述べた。
同時に、そこそこの改善では新しいモデルの構築や運用にかかる莫大なコストを正当化するには不十分であり、画期的なアップグレードとしてブランド化した場合のユーザーの期待に応えるのにも不十分だ。
ＡＩモデルを改善する余地は十分にある。ある関係者によると、オープンＡＩは「ポストトレーニング」と呼ばれる数カ月のプロセスをオリオンで実施している。この手順は、開発各社が新しいＡＩソフトウエアを一般公開する前に通常行うもので、人間のフィードバックを取り入れて応答を改善したり、モデルがユーザーとやり取りする方法を洗練させたりなど、さまざまなことが含まれる。
しかし、オリオンはまだオープンＡＩがユーザーに公開したいと思うレベルには達しておらず、来年初めまでは同社がオリオンを展開する可能性は低いとある関係者は述べた。ハイテク関連ニュースサイト、ザ・インフォメーションは以前、コーディングタスクなど、オープンＡＩが新モデル開発で直面している課題について詳細の一部を報じた。
これらの問題は、近年、特にオープンＡＩが２年前にチャットＧＰＴをリリースして以来、シリコンバレーで定着した「神話」に疑問を投げかけている。テクノロジー業界の大部分は、より強力なコンピューティング能力、データ、より大きなモデルがＡＩの能力の飛躍的な進歩を必然的に導くという、いわゆるスケーリング則に賭けてきた。
最近の挫折は、ＡＩへの多額の投資や、これらの企業が積極的に追求している包括的な目標、すなわち汎用人工知能（ＡＧＩ）の実現可能性にも疑問を投げかける。この用語は一般に、多くの知的作業において人間と同等またはそれ以上の能力を持つ仮説上のＡＩシステムを指す。オープンＡＩとアンスロピックの最高経営責任者（ＣＥＯ）は以前、ＡＧＩはあと数年で実現する可能性があると述べていた。
ＡＩスタートアップ企業ハギング・フェースの最高倫理科学者、マーガレット・ミッチェル氏は「ＡＧＩバブルは少しはじけつつある」と話す。ＡＩモデルをさまざまなタスクで本当にうまく機能させるには「異なるトレーニングアプローチ」が必要になる可能性があることが明らかになったという。多くの人工知能の専門家がブルームバーグ・ニュースに、ミッチェル氏と同じ考えを語っている。
Google Turmoil Exposes Cracks Long In Making For Top AI Watchdog
ＡＩスタートアップ企業ハギング・フェースの最高倫理科学者、マーガレット・ミッチェル氏bursting.”Photographer: Chona Kasinger/Bloomberg
アルファベットのＡＩ開発子会社、グーグル・ディープマインドの広報担当者は「ジェミニの進歩に満足している。準備が整い次第、さらに詳しい情報を共有する」と説明。オープンＡＩはコメントを控えた。アンスロピックはコメントを控えたが、11日に公開されたダリオ・アモデイＣＥＯが出演する５時間のポッドキャストをブルームバーグ・ニュースに紹介した。
「人々はこれをスケーリング則と呼ぶが、それは間違った名前だ。これは宇宙の法則ではなく経験則上の規則だ。私はこの傾向が今後も続くことを期待しているが、確信はない」と同氏はポッドキャストで語っている。
アモデイ氏は、今後数年間でより強力なＡＩが開発されるプロセスを「脱線」させる可能性のある「多くの要因」があると述べた。要因には「データが不足する可能性」が含まれる。しかし、どのような障害でもＡＩ企業は乗り越える方法を見つけると楽観しているとアモデイ氏は述べた。
頭打ちのパフォーマンス
チャットＧＰＴや競合するＡＩチャットボットを支えるテクノロジーは、ソーシャルメディアへの投稿、オンラインコメント、書籍、ウェブから自由に収集したその他のデータなど、データの宝庫を基に構築される。 これによって優れたエッセイや詩を生成する製品を開発することは可能だが、一部の企業が期待しているようなノーベル賞受賞者よりも賢いＡＩシステムを構築するには、ウィキペディアの投稿やユーチューブのキャプション以外のデータソースが必要だろう。
特にオープンＡＩは、出版社と契約を結び高品質なデータへのニーズの一部を満たすとともに、生成型ＡＩ製品の構築に使用されるデータに対する出版社やアーティストからの法的圧力の高まりにも対応している。一部のテクノロジー企業は数学やコーディングなどそれぞれの専門分野に関連するデータのラベル付けができる学位取得者を採用している。ＡＩシステムが特定のトピックに関する問いに的確に回答できるようにすることが目的だ。
これらの取り組みは、単純にウェブをスクレイピング（不要な部分を削ったり必要な部分を抽出したりしてデータを汎用的な形式に整形すること）するよりも時間もコストもかかる。 テクノロジー企業は、コンピューター生成画像や、実際の人間が作成したコンテンツを模倣したテキストなどの合成データにも目を向けているが、ここにも限界がある。
ニュー・エンタープライズ・アソシエーツのＡＩ戦略責任者で、元マイクロソフト副最高技術責任者（ＣＴＯ）のライラ・トレティコフ氏は「重要なのはデータの量ではなく、質と多様性だ」と述べ、「合成によって大量のデータを生成することはできるが、特に言語に関しては、人間の指導なしにユニークで質の高いデータセットを得ることは困難だ」と解説した。
それでも、ＡＩ企業は「多いほど良い」という戦略を追求し続けている。人間の知能レベルに近づく製品を開発しようと、テクノロジー企業は新しいモデルのトレーニングに使用するコンピューティングパワー、データ、時間を増やしており、その過程でコストも上昇している。アモデイ氏は、各社が最先端のモデルのトレーニングに今年１億ドル（約156億円）を費やすだろうとし、今後数年間では1000億ドルに達するだろうと述べている。
コストが上昇するにつれ、開発中の各新モデルに対する期待も高まる。マサチューセッツ州ウォルサムにあるベントレー大学で数学の准教授を務めるノア・ジャニシラクーサ氏は、ＡＩモデルは今後も改善が続くだろうが、その速度については疑問が残ると言う。
「われわれは非常に短期間での急速な進歩にとても興奮したが、それは持続可能なものではなかった」と同氏は語った。
シリコンバレーの難題
この難題はここ数カ月にシリコンバレーで注目されるようになった。アンスロピックは３月に３つの新しいモデルをリリースし、最も強力な「Claude Opus（クロード・オーパス）」は、大学院レベルの推論やコーディングなどの主要なベンチマークにおいて、オープンＡＩのGPT-4やグーグルのジェミニを上回る性能を発揮したと発表した。
その後、数カ月にアンスロピックは他の２つのクロードモデルのアップデートをリリースしたが、オーパスは対象外だった。独立系ＡＩ研究者のサイモン・ウィリソン氏はによれば、「誰もが期待を寄せていたのはオーパスだった」が、ウィリソン氏や他の業界ウォッチャーは10月までに、3.5 オーパスに関して「年内に」や「近く」を含む文言が、アンスロピックのウェブサイトのいくつかのページから削除されていることに気付いた。
事情に詳しい関係者２人によると、同業他社と同様にアンスロピックも水面下で3.5 オーパスの開発に苦労しているという。ある人物によると、アンスロピックは3.5 オーパスをトレーニングしたところ、旧バージョンよりも評価では良い結果が出たものの、モデルの規模や構築および運用コストを考慮すると、期待するほどの結果ではなかったという。
アンスロピックの広報担当者は、ウェブサイトからオーパスに関する記述が削除されたのは、利用可能なモデルとベンチマーク済みのモデルのみを表示するというマーケティング上の決定によるものだと説明。3.5 オーパス が今年中にリリースされるかとの問いには、アモデイＣＥＯのポッドキャストでの発言を引用した。インタビューの中で同ＣＥＯは、アンスロピックが依然として同モデルのリリースを計画していると述べているが、スケジュールについては繰り返し確約を避けている。
テクノロジー企業も、恐らくいくつかの追加の改善を加えた上で、旧型のＡＩモデルを提供し続けるべきか、あるいは、それほど性能が向上しない可能性もある非常に高価な新バージョンのサポートコストを負担すべきか、という問題に直面し始めている。
グーグルは、主力ＡＩモデルであるジェミニのアップデートをリリースし、より有用なものにするために人物の画像生成機能の復元などを行ったが、基本モデルの品質面では大きな進歩はほとんどなかった。オープンＡＩは今年、比較的段階的なアップデートを数多く実施しており、その中にはユーザーがチャットＧＰＴとよりスムーズな会話ができる音声アシスタント機能の新バージョンも含まれている。
テクノロジー企業は、大幅な改善が見込めない可能性がある大規模なモデルの開発と実行に、貴重なコンピューティングリソースを過度に割くことによる重大なトレードオフにも直面している。
オープンＡＩのサム・アルトマンＣＥＯはレディットの「Ask Me Anything」セッションでの質問に対する回答で、同社は利用可能なコンピューティングパワーをどのように活用するかについて「多くの制限と難しい決断」に直面していると明らかにしている。
アルトマン氏によると、オープンＡＩは今年後半にいくつかの「非常に良いリリース」を行う予定だが、そのリストにはGPT-4に続く大きなリリースとみられているGPT-5は含まれない。
グーグルやアンスロピックと同様にオープンＡＩの注目も現在、モデルの規模から、ユーザーに代わってフライト予約やメール送信を行うエージェントと呼ばれるＡＩツールなど新しい使い方に移りつつある。「われわれはより優れたモデルを手に入れるだろうが、次の大きな飛躍のように感じられるのはエージェントだと思う」とアルトマン氏はレディットでコメントした。
原題：OpenAI, Google and Anthropic Struggle to Build More Advanced AI（抜粋）
部分引用
■後出しコメント 11/15AM
その、ChatGPTに一般ネットユーザーは、なにを期待したのでしょうか？ とんでもない新しい世界がやってくる、とでもおもったのでしょうか。しかしね、初期では、自分以外の構成文だったし、新鮮でもあったし、おおこれはいける、と早合点しましたが、やっぱりね、それっ一回二回と重ねると、人間はね、復誦感覚で記憶に残って、やがてそれがマンネリすると、今度は飽きるという飽和化が進行するでしょう。そうなるとAI構成文でも、まったく同じセンテンスと勘違いして、ペンは止まってしまいます。
そうした現象は書くリテラシーに限らず、配信ニュース記事にも及んで、ある決めたサイトの記事を読んでいるとマンネリ化して、特別興味が希薄になってくる。その文内容のことではなく、文字間隔とか、行数空白の取り方とか、一番気になるのが、書き出し文頭の、空マスにするか、並列横並びにするかでも、案外、読み方感覚も異なります。
日本語の場合、原稿用紙筆記に倣って、大正大作家がそうしていたように、一文字空、で始まります。
洋書書きの場合、そんな決めは存在しませんので、全文並列書きです。確かに、それの方がペーストするときに間違いがないし、文節は行で分ければいですから、判り易い利点があります。
それと意味不明の記号またアンダーライン多用を入れる編集者もいますが、これも人の癖で、読み手としては、甚だ゛灰汁の強いタイプ゛と理解また誤解を招きます。
毎朝、ネタ探しして、各サイト、いろいろな編集者と素材を読んでいると、そのライターの癖を知ることになります。
と、最後の一言ですが、そうしたニュースは日本語表記文で、その日の事件事故を各紙毎に推敲を重ねた結果、社会に流布されますが、出処進退はどこか、といったら警察署内スポークスマンということです。もちろん、自前取材の場合もありますが、昨今、それが殆どないと云われます。
先日の５日、アメリカ大統領選挙にしても、まったく同じで、既存大手ネットワークの決めで、一定の枠が決められて、「フリーランス」記者の出る幕はない、という話しでした。
その結果、大方予想「どちらが勝っても僅差票差」、というアメリカメティアの広報でした。日本も、その原稿、そのままにテレビ報道ニュースで流しました。
「いや実際とはまるで反対だったじゃないか？」、それで判ったのは、大手メディアが、足しげく通わない取材現地リポート、そのままをネタにしていた、と暴露されました。
また穿った諭評するなら、敵対する候補票を意図的に操作出来た、という算段です。それについては、結果論で、片付けられるような解釈ですから、考証の余地もありません。
まあそのネタ話は、アメリカの話であって、直接日本には及びませんが、そのネタ元が、指摘されるような印象操作だったとすれば、アメリカ市民と同様に、日本国民も一連托生という枠内で、リアル社会であっても影響を受ける訳です。
もっと報道は、もともと「国威発揚プロパガンダ」のためのあざむき仮想現実映像だったのですがら、今更「公序良俗的」と表記するまでもないのでしょう。