Meta Connect 2024の開発者向けキーノートを見てみる

こちらです。

開幕にRya-Ban Metaで写真撮るのいいなぁ。欲しい。

PCの周辺機器から、スタンドアローン、そしてMRへ。
MRになった事で出来ることがふえ、ソフトウェア的にも安定してきた。イノベーションがたくさん起こってもベースは安定しているので、長く使うことができる。

AIも様々なところで使われている。もちろんMR分野でも。より簡単にAIが使えるようなLamaのエコシステムを構築する。

Horizon OS

2Dアプリと3Dアプリの融合について。いろんなものが使えるようになっていく。
Quest3と3Sは同じようにMRをサポートして、パフォーマンスも同じ（チップセットが同じなので）。安定した開発が出来る。
ストアも充実してきた。ゴリラタグの売り上げが$100M越え。めっちゃ売れてるなぁ。アプリ増えてきたけどまだ足りない。もっと開発しやすくしている。

モバイルアプリ対応！そしてストアの統合も完了。

全てのアプリを同じストアで見ることが出来るようになった。

Meta Spatial SDKが出る。3Dパノラマや3Dビデオを簡単に追加できるように。これはアツい。

2Dアプリでもコントローラーの入力はサポートされる？Facebookやインスタグラムもスクラッチで作成できた。

Amazonのプライムビデオも出る。

Webも色々なことが出来るように。ペイメントやバックグラウンドオーディオなども対応しそう。

開発環境

パフォーマンスも向上して、Unity6にも対応。ビルド時間が最大90%減で、ビルディングブロックスも30用意されている。

UEも。

XRシミュレーターのサポートも増える。

SDKについて

最近深度APIが追加されてオクルージョンが簡単に取れるできるようになった。2000フィートの領域、15部屋で対応。

手でコントロールできることが増える～！

待望のカメラのパススルーAPIが来年初頭に登場！！映像がとれるようになりそう。

見にくかったドキュメントも刷新！散らばってたのが統合されて見やすそうになった。

HorizonWorld

日本だとさっぱりだけど発表の様子見てると海外だと結構受け入れられてるのかな。
ワールド内アイテムの購入などが出来るように。
AI使ってワールド構築。アニメーション付きのモデル精製や、色の変更などができる。音声周りも。

アバターも改良され続けている。めちゃくちゃモダンな感じになる。カスタマイズも。モーションや表情なども。

2025年の後半には、AI使ってアバターのカスタマイズもできるように。これは凄そう。「スーパーヒーローっぽく」ってやったらその通りになるみたいなイメージ。

と思ったらキャプテンアメリカのカスタムアバターが出るらしい。

対話やゲームできるAIのNPCも増える。

HorizonOSのUI

UIが新しくなる。ボタン一つでゲームやワールドに入れる。動画見ながらビートセイバーやるとか。OSディベロッパーがこれやるのは強い。

Llama3.2

最近出たAIモデルのSAM2、画像の判別やラベル付けが容易に。気象予報や細胞の判別とか。

LlamaはZOOMの議事録とかSpotifyの要約機能とかにも使われている。

低コストで早く、そしてローカルでも動くものが出る。1Bと3B。スマホとかに向けたモデル。

マルチモーダルの物も。11Bや90B。画像の読み込みなども出来るようになる。自然界や一人称視点が得意。

AIの安全性にも。Llama Guardといったものが出る。入出力やポリシーの調整用？

今回は以上です。SDK触って見なきゃ。