『AIテクノロジーの最前線』グーグルの新技法、LLMに無限の文脈を与える

2024年4月15日 20:48

グーグルの新技術がLLMに無限の文脈を与える

グーグルの研究者は、大規模言語モデル（LLM）のコンテキストウィンドウを、メモリコストを追加することなく無限の長さに拡張するために設計された「Infini-attention」と呼ばれる新しい手法を開発した。このブレークスルーは、メモリと計算の必要性が入力サイズに応じて指数関数的に増加するという、従来の変換器の2次的複雑性に対処するものである。圧縮メモリ・モジュールを古典的なアテンション・メカニズムに統合することで、インフィニ・アテンションは拡張入力を効率的に扱うことを可能にし、メモリ要件を大幅に削減しながら、非常に長いシーケンスでも高い性能を維持する。

Infini-attentionは様々なベンチマークでテストされ、他のモデルと比較して低いプレプレキシティスコアを維持し、メモリ使用量を最大114分の1に削減することで、ロングコンテキストのタスク管理における優位性を実証している。この技術は100万トークンもの長いシーケンスを扱うことを可能にし、パスキー検索やテキスト要約などのテストにおいて有望な結果を示し、既存のロングコンテキストモデルを大幅に凌駕している。

無限のコンテキストを処理できるLLMの導入は、カスタム・アプリケーションの新たな可能性を開き、微調整や検索補強生成のような複雑なエンジニアリング・ソリューションの必要性を減らす。これにより、AIアプリケーションの開発が簡素化され、広範なデータをプロンプトに直接、より簡単に組み込むことができるようになり、それによって、テーラーメードの応答の作成が容易になり、大規模な追加トレーニングを行わなくてもモデルの適応性が高まる可能性がある。

ディープマインドの新しいAIは15,000,000,000のチェス盤を見た！

グーグル・ディープマインドの科学者たちは、グランドマスターが使用するようなチェス対局システムの作成に使用されてきた従来の手法に挑戦する画期的なAIを開発した。自己対局や複雑な探索アルゴリズムに頼っていた従来のものとは異なり、この新しいAIは、主要なチェスエンジンであるストックフィッシュから直接学習することで、根本的に簡素化されたアプローチを採用している。このAIは、最初から最後まで対局することなく、150億の盤面の状態と、それに対応するストックフィッシュの指し手を研究し、対局全体ではなく、単手にのみ焦点を当てた。印象的なことに、GPT-4のような巨大なものに比べてシンプルで比較的小さいサイズにもかかわらず、グランドマスターレベルのプレイを達成し、低コストのハードウェアでもかなりのスピードで手を処理することができる。

このプロジェクトは、優れたチェスエンジンを作るという目的からは外れている。その代わり、トランスフォーマー型ニューラルネットワークが、観察のみによってチェスの名人の専門知識を効果的に学習し、再現できることを実証することに重点を置いている。このAIは模倣するだけでなく、戦略を理解し、新たな状況に一般化することで、AIが複雑なタスクを学習する方法に大きな変化をもたらしている。この学習方法は、深い戦略計算を避け、専門家の手から直接パターン認識するもので、AIに複雑な意思決定を教える新しい方法を示唆している。

この研究の意味は、チェスの領域をはるかに超える。観察を通じてアルゴリズムを学習することで、この技術は自律走行や高度なコンピューティング・アルゴリズムなど、さまざまな分野の進歩に道を開く。このような能力は、AIがタスクの観察から複雑なアルゴリズムを解読し、再現できる未来を暗示し、実用的で革新的なアプリケーションのためにAIを活用する、より直感的で利用しやすい方法を提供する。これは、AIシステムを開発する方法に革命をもたらし、より効率的で多様な領域に適応できるようになるかもしれない。

アドビの "倫理的 "Firefly AIは旅の途中の画像で訓練された

アドビ社は、AI画像生成ソフト「Firefly」を発表した。このソフトは、数億枚のライセンス画像を誇るアドビストック画像を中心に学習させることをアピールしていた。この動きは、FireflyをAI画像生成市場において商業的に安全な代替品とし、インターネットスクレイプ画像を使用するMidjourneyのような競合他社と差別化することを意図していた。しかしその後、アドビはファイアフライの学習データの一部として、こうした競合他社のAI生成画像も使用していたことが明らかになった。

AIが生成したコンテンツの利用が拡大していることを受け、アドビはクリエイターがAIによって生成された画像をAdobe Stockマーケットプレイスに投稿することを許可し、Fireflyのトレーニングデータセットに貢献した。Fireflyのトレーニングに使用された画像の約5%は他のAIプラットフォームから提供されたもので、アドビはすべてのコンテンツに知的財産や認識可能なロゴが含まれないように厳格なモデレーションを行うと保証している。FireflyのトレーニングセットにAIが生成したコンテンツが含まれていたことで、アドビ社内ではこうしたデータの倫理や今後の利用について議論が交わされた。

管理され、合法的に入手されたデータを使用することでFireflyを差別化しようとするアドビの戦略は、しばしば安価で容易に入手できるAI生成コンテンツに依存することで損なわれている。このやり方は、オープンにスクレイピングされたデータを使用する他のAIツールと比較して、透明性やファイアフライの真の独自性に関する倫理的な懸念を引き起こしている。アドビはこのアプローチを批判されているが、同社はFireflyを、画像を生成するための倫理的かつ商業的に安全な選択肢として宣伝し続けている。

グーグル、Google Cloud Nextで生成AIに本格参入

先日ラスベガスで開催されたGoogle Cloudのイベントでは、生成AIに大きな焦点が当てられ、ビジネスやテクノロジーの様々な側面に革命をもたらす可能性が強調された。グーグルは、Gemini大規模言語モデル（LLM）の機能強化を紹介し、生産性の向上を目指すとともに、さまざまなデモを通じてモデルの能力を実証した。しかし、プレゼンテーションは時に単純化されすぎており、主にグーグルのエコシステム内に限定されているように見えた。
批評家たちは、デモは印象的だったが、手作業で完了する可能性のある電子商取引など、必ずしもAIを必要とするものではなかったと主張する。さらに、このイベントは、このような高度な技術を大規模な組織で導入する際の大きな課題や複雑さを軽視しているように思えた。ジェネレーティブAIの可能性にもかかわらず、特にデジタル化がそれほど進んでいない企業にとっては、実社会への適用は依然として大きなハードルとなっている。
効果的なAIモデルをトレーニングするための基本要素であるデータをめぐる議論では、"garbage in, garbage out "の原則が浮き彫りになった。多くの企業にとって、整理されたクリーンなデータを持つという前提条件は、依然として大きな障壁となっている。したがって、グーグルのツールはデータ統合とエンジニアリングを簡素化することを目的としているが、デジタルトランスフォーメーションで遅れをとっている組織は、これらのツールのメリットをあまり感じないかもしれない。
さらに、ガバナンス、セキュリティ、AIの倫理的使用に関する懸念は引き続き大きく、新しいAI機能の最初の興奮を超えた慎重な検討の必要性を強調している。