世界初、完全にAIで生成されたゲームが登場（Oasis AI Minecraft解説）
6,033 文字
今ご覧いただいてるゲームプレイは100％AIで生成されてるんです。つまり、これは事前に録画されたもんちゃうねんて。キーボードで入力したんに対してリアルタイムで生成されてるんです。
最近、この会社が成し遂げた画期的なことについてお話ししたいと思います。フレームごと、インタラクションごと、ゲーム環境のすべてがAIによってリアルタイムで生成され、プレイヤーの動きに即座に反応する世界を想像できますか？その世界がここにあるんです。それがOasisです。
OasisはTransformer技術を使って、Minecraftの中で、フレームごとにゲーム全体を生成する世界初のリアルタイムオープンワールドAIモデルゲームなんです。これは単なるゲームやないんです。物理法則からゲームルール、グラフィックスまで、プレイしながら全てが生き生きと動く対話型の体験なんです。
Oasisで特筆すべきは、キーボードとマウスの入力が全てをリアルタイムで動かしてることです。移動したり、ジャンプしたり、アイテムを拾ったり、ブロックを壊したりできるんですが、これ全部、ゲームプレイを見て学習したAIモデルが動かしてるんです。
これはゲーム業界にとって大きな飛躍であるだけでなく、複雑な対話型世界をシミュレートできるAIモデルへの一歩でもあり、従来型のゲームエンジンをより適応的で、流動的で、ダイナミックなものに置き換える可能性を秘めてるんです。
面白いことに、この会社は実際にコードとモデルの重みをローカルで使えるように公開してて、もちろんライブデモも公開してます。今ご覧になってるのが私のゲームプレイです。そない面白くないかもしれませんが。
この革新的な技術を開発したのは誰やと思いますか？実は2つの会社が関わってるんです。1つはdecartという会社です。decart AIは、最大規模の生成モデルのトレーニングと推論の両方で、桁違いの改善を実現する効率的なAIプラットフォームを提供してます。
このdecartの高度な機能を活用することで、基礎的な生成的対話モデルを訓練し、リアルタイムで誰でも使えるようにすることができるんです。この会社はsequa capitalやZ Venturesなどの著名な投資家から2100万ドルのシード資金を調達して、生成AIの限界に挑み続けることを目指してます。
この会社は、もう1つの会社であるetched.aiと協力してるんです。ここからが本当にとんでもない話になります。etched.aiは2022年にハーバード大学を中退したGavin UbertiとChris Zooによって設立されました。
この会社は、汎用GPUではなく専用チップに焦点を当てることで、AI Hardware分野でNVIDIAに挑戦する存在として位置づけられてます。彼らは「soo」チップの開発のために1億2000万ドルの資金を調達しました。このチップは、Transformerモデルに関してはNVIDIAのGPUを大幅に上回る性能を発揮できると主張してるんです。
「sooチップって何やねん？」って思われるかもしれません。sooチップは、テキスト生成や画像生成、動画生成などの多くの生成AIアプリケーションの基盤となるTransformerモデル専用に設計されたASICなんです。
幅広いアーキテクチャをサポートする必要がある汎用GPUと違って、sooはTransformerだけに完全に最適化されてます。この専門化によって、汎用チップが必要とする不要なコンポーネントや制御フローロジックを排除し、はるかに高い性能と効率を実現できるんです。
つまり、現在のAI技術に特化したチップを作り、そこに未来があると考えてるわけです。CEOが自社のチップに大きく賭けている理由について語った短い動画を見てみましょう。
「sooは非常に特定の1つのことしかできないAIチップです。NVIDIAやGoogleのアクセラレータは柔軟で、畳み込みネットワーク、LSTM、Transformerなど、さまざまなAIモデルを実行できるように設計されてます。我々のチップは違います。Transformerと呼ばれる非常に狭いクラスのモデルしか実行できません。
しかし、これらのモデルを実行する際には、はるかに高い性能を発揮します。スループットは20倍以上高くなります。Transformerのアルゴリズムをチップに焼き付けることができ、独自のシリコンと独自のサーバーを構築してます。これにより、ChatGPTやllamaのようなモデルの出力ワード/秒で20倍以上の高いスループットを実現できます。
また、最初のトークンまでの時間を測定した場合のレイテンシーも20分の1に削減できます。市場の他のどの企業とも違う賭けをしてます。我々のチップはTransformerしか実行できません。もしTransformerが劇的に変化するか、消えてしまえば、我々は苦しい立場に追い込まれるでしょう。
でも、もし我々が正しくて、Transformerがこれからもずっとメインなら、我々のチップは市場で圧倒的に優れた性能を発揮することができるんです。」
「これいったいどないして動いてんの？」って思われるかもしれません。Oasisの背後にある考え方は、AIがゲームのあらゆる部分をリアルタイムで生成するというものです。白紙のキャンバスがあって、ボタンを押すたびにAIがプレイに応じてゲームの次の部分をフレームごとに描いていくようなイメージです。
Oasisの技術には主に2つのアプローチがあります。1つ目は拡散モデルです。これは基本的にノイズ除去の逆プロセスです。ランダムなノイズでいっぱいのぼやけた画像から始めて、AIが徐々にクリアな画像になるまでクリーンアップしていきます。
Oasisでは、このプロセスは単に画像を作るだけやなくて、ビデオフレームを生成してゲームプレイをスムーズで対話的なものにするために使われてます。
そして、もちろんTransformerとアテンションがあります。Transformerは、あなたがしたことを全て覚えてる注意深い友達みたいなもんです。OasisのTransformer AIは、過去に起こったことと今あなたがしていることの両方に注目します。
これにより、実際のゲームの文脈に沿った現実的なビデオフレームを生成できるんです。例えば、ジャンプした時、着地した場所を覚えていて、それを使って次に何が起こるかを生成します。
もちろん、すべてのフレームをフル品質で生成するには膨大な計算能力が必要になるので、Oasisはvitvaeというものを使用します。これは基本的にデータ圧縮方法の fancy な名前です。
これを使ってAIが一度に処理するデータ量を減らし、全てのピクセルを気にするんじゃなくて、重要な部分に集中できるようにしてます。Oasisの大きなブレークスルーは、これらの技術を全て組み合わせて、プログラムされたグラフィックスやルールに頼ることなく、あなたの行動だけに基づいて、インタラクティブなゲーム世界全体をリアルタイムで生み出すという、全く新しい方法を作り出したことなんです。
彼らの努力のおかげで、現在では約47ミリ秒で各フレームを作成できるようになり、リアルタイムゲームが可能になりました。現在のハードウェアにはかなり負荷がかかりますが、本当のゲームチェンジャーは、このようなAIモデルをより高速かつ低コストで実行するために特別に開発されている「soo」という新しいタイプのハードウェアです。
Oasisは現在のGPUでは360pで実行できますが、sooハードウェアを使えば完全な4Kでの実行が可能になり、はるかに良い体験ができるようになります。さらに、Oasisの実行コストを下げることができ、高いコストを気にすることなく、より多くの人が使えるようになります。
これは、リアルタイム生成AIゲームで我々が見始めているものの始まりに過ぎないように思えます。面白いことに、この会社が初めてこれを行った会社ではありません。皆さんご存知のGoogleという会社が実は先にやってたんです。
みんな大好きなDoomというゲームでやったんです。GameEnGenと呼ばれてて、Googleの研究者たちが作った革新的なゲームエンジンで、かなり似たような技術を使用してます。
基本的にGameEnGenは、今日我々が持ってるものと非常によく似てて、画像や動画を生成するけど、インタラクティブなゲームプレイ用に適応させたものです。GameEnGenでは、その能力を実証するためにDoomを使用しました。
Doomが選ばれたのは、象徴的なゲームであり、多くの人がDoomで様々なクレイジーなことをしてきたからです。もちろん、研究者たちが使えるオープンソース版もありました。
面白いことに、今画面で見てるゲームプレイも完全にAI生成されてて、1秒間に20フレームという、リアルタイムゲームプレイに十分な速さでゲームシーンを生成してました。AIはDoomのグラフィックスを再現しただけでなく、プレイヤーの体力や弾薬、ドアを開けたり敵と戦ったりするような世界とのインタラクションまで管理できたんです。これは本当にクレイジーです。
彼らはこれを少し違う方法で訓練しました。実際にはゲームをプレイするように訓練されたAIエージェントを使用し、プレイ中のアクションと結果として生じるゲームの状態を記録しました。その記録が次のステージのトレーニングデータとなりました。
2番目のステージは基本的に、先ほど話した拡散モデルを使用し、それを使ってインタラクティブなゲームプレイを作り出すというものです。これは本当にすごいことです。リアルタイムゲームを可能にしますが、これから私のゲームプレイでお見せするように、これらのモデルには1つ問題があります。
これが最初のエリアで、探索したい場所を見て決めることができます。Village output、dense forest、rugged Coastline、desert expanまあ、正直どれを選んでもいいんです。このゲームはAI生成なので、簡単に移動できるんです。これからお見せします。
すぐにMinecraftの世界のような場所にワープします。前にも言ったように、これは完全にAI生成です。最初に気づくのは、カーソルを左右に動かすとかなり遅いということです。これはもちろん、このゲームが入力に応じてフレームを生成してるからです。そんなに速くはならないと思います。
もちろん、解像度がかなり低いのが分かります。これはAI生成であることを考えると理解できます。超高品質の出力を得るのは非常に難しいですからね。
もちろん、今はラフな出力が出てるってことを彼らも言及してて、それがここで見えてるんです。このモデルで私が本当に好きなのは、地面を見て、また上を見るだけで違う場所にテレポートできることです。
例えば、今この雪のバイオームにいますが、違うバイオームにテレポートしたい場合は、地面を見て、また上を見ると、環境が変わってるのが分かります。うーん、これはあんまり好きじゃないな。もう一度地面を見て、上を見ると、近くに木があって、建物が建てられそうです。今度は砂のバイオームの真下にいます。
これは基本的に、前のフレームに基づいて次のフレームを生成するゲームなんです。だから地面を見て、また上を見ると、環境全体が変わってるんです。このゲームがより多くのメモリを持てるようになって、最後の1フレームや2フレームだけでなく、最後の20フレームや30フレーム、あるいは最後の2〜3分のゲームを取り込めるようになれば、キャラクターの一貫性がもっと良くなるでしょう。
驚くべきことに、実際にブロックとインタラクトしたり、石のツルハシを拾ったり、異なるブロックに入ったりすることもできます。面白いことに、Minecraftの砂の物理法則が存在しないのが分かります。これは興味深いですね。
通常、Minecraftの砂は、ブロックの1つが壊されると落下するはずなんです。このエンジンがそれを実装できてないのは驚きです。おそらく、トレーニングデータにそれが記録されてなかったんやと思います。
全てのAIモデルはトレーニングデータに基づいてますからね。まあ、Minecraftのプロの人から見たら、これは基本的に砂岩なんで、そういう理由かもしれません。
つまり、このゲームプレイはAIが生成したデータに依存してるってことです。超高品質のデータや、特定のバイオームに関する非常に具体的なデータがあれば、そのデータがゲームプレイに反映されるわけです。
例えば、今から下のブロックを壊して、上のブロックが落ちてくるはずなんですが、先ほど言ったように、データにそれが含まれてなかったんやと思います。ブロックが...ほら、今みたいに突然また出現しちゃうんです。
でも不気味なのは、ホットバーメニューを変更できたり...食べ物を食べようとしてるんですが、空腹ゲージがないんで...たぶんそれが理由で動きがあんまり取れないんです。でもブロックを設置することはできて、それがすごく面白いんです。
例えば、下に降りてブロックを置いたり...一部は消えたり、砂に変わったりするのが見えますね...で、今はブロックがなくなってしまいました。AIが生成する過程で値が変わってしまったんやと思います。
これを続けると、色んな場所にスポーンされると思います。どこまで高く上れるか試してみたいですね。面白いのは、バーを見るとサバイバルモードにいるように見えますが、実際にはサバイバルモードじゃないんです。
ちょっと面白いというか、奇妙というか...まるでMinecraftの夢を見てるみたいな感じです。でもこれらとインタラクトできるし、上を見れば場所も変えられます。ランダムな場所に行けて...あ、ここにクラフティングテーブルがあるんですね。気づきませんでした。
クラフティングテーブルとインタラクトできるか試してみたいです...できるかな...お、いろんなアイテムがありますね。すごく奇妙です。あ、ゲームを終了することもできますね。残り36秒しかないので...
出る方法を忘れちゃいました...フェンスがあります。これは食べ物かな？いや、フェンスですね。物を建てたり壊したりすると、物が混ざり合ったりするんです。ちょっと変ですけど、これはゲームプレイのちょっとした部分で、みなさんにこの全体の奇妙さをお見せしたかっただけです。
でも将来的には、もっと理にかなった形でこういうものが増えていくと思います。