SIGGRAPH ASIA 2024 TOKYO
こんにちは。山崎です。みなさんお元気ですか？
去る2024.12.6 SIGGRAPH ASIA2024 TOKYOに参加しました。
予々行きたいと思っていたのですが、なかなか参加する機会もなく。
今回は学部３年生の小林くんと、慶應義塾大学大学院KMD吉田貴寿さんの計らいで実現しました！（感謝！）
吉田 貴寿 Takatoshi Yoshida
特任助教
専門分野：
空間体験デザイン、身体情報学、ヒューマンコンピュータインタラクション経歴：
2023年 東京大学大学院情報理工学系研究科博士課程修了、博士(情報理工学)。2019年に米MIT MediaLab修士課程にて Program of Media Arts and Sciencesを修了後、日本科学未来館事業部にて展示空間の体験デザインに従事。現在、KMD Embodied Media Project にて、知能化された生活空間における体験デザインに取り組む。日本VR学会論文賞、孫正義育英財団アラムナイ、総務省異能ベーションジェネレーションアワード受賞、IPA未踏アドバンスト事業採択。
会場は有楽町の国際フォーラムです。パスは事前に購入。私は移動中に急いで購入しました。
受付ではQRコードでIDが発行されます。とてもスムーズ。ストラップやトートバック、ピンバッチをもらえて上機嫌です。
いざ会場内へ。今回は吉田貴寿さんが主に見所をアテンドしてくれます。
要所とトレンド、我々の出自を考慮していただたアテンドはとても贅沢。おかげさまで高速＆濃厚にシーグラフを堪能できました。
会場内には様々なブースがありました。急ぎ足だったので写真をとりきれていなかったのが心残り。
そんななか、吉田さんのSonyブースの立体ディスプレイをみてのコメントが印象的でした。
『2007年くらいのSIGGRAPHでの研究成果に同様の提案(https://vgl.ict.usc.edu/Research/3DDisplay/)がありましたが、民生化するのには20年くらいかかるのですね』（的なコメント）
一般人としては、製品化されてはじめて目新しさを感じるものの、研究者の眼差しははるか彼方なのだなぁと。
VRアバターの身体化のための肌感覚変化技術
メタバース社会の発展に伴い、ゲームやコミュニケーションサービスにおいてアバターが自己表現の手段としてますます利用されています。しかし、アバターの視覚的な没入感は、しばしば身体がアバターそのものに変化したと感じられない点で限界があり、これが体験の質を損なう要因となっています。
そこで、私たちは新たな「テクスチャ交換」の錯覚を提案します。この技術により、自分の肌の質感が風船や毛皮、葉っぱなどに変化したように感じることができます。この錯覚は非常に強力で、多くの人が鏡の前で体験してもその効果を感じることができます。
「Transformed Skin」技術は、アバターへの身体化を強化する手段として、この錯覚を活用します。この技術により、アバターの肌質感への変身感覚が著しく向上し、身体所有感が増すことで、アバターを通じた新しい形のコミュニケーションや変身体験が可能になります。
こちら体験いたしました。「私が触られているのではなく、テクスチャが触られているという体験」。文面だと意味不明かもしれませんが、まさに文意通りの印象を受けました。
映像学科でもVRを用いた作品制作はまだまだ未開拓。それは鑑賞体験としての文化的コンセンサスがまだ形成されていないとも。文化形成にいたるその道程にも、美術大学における映像学科として貢献しうる社会的意義を見出せるのではないでしょうか。（ぼそり）
(GOKI MURAMOTO)
これは、一種のメガネであり、それを通して景色は一度1行の文章になり、再度景色化される。参加者は、カメラとHMDを備えたオリジナルのゴーグルを装着する。まず、AIによってカメラからの1枚の画像が1行のテキストに変換される。次に、同じくAIによってその1行のテキストから1枚の画像が生成される。この画像を両目のディスプレイに表示する。これらの処理はリアルタイムで行われるため、ユーザーはこの描き直された景色を通して、現実の物理世界を知覚し、行動することができる。この経験は、感覚情報（広義の景色）を言語のもとで媒介する社会に潜在する「文章になった時に同じ現実は等価である」という一種のラディカルなバーチャルリアリティを、身体的かつ文字通りに突きつける。それは今日の人工知能をめぐる議論のエネルギーの一部を、「知能は意味の下にしか世界を見ることができない」ことについての古典的な探究へと流用する試みでもある。
こちらの『Semantic See-through Goggles』も体験させていただきました。シーグラフはもっと学術的な場かとおもいきや、バリバリ作品発表もあるんですね。無知を恥じます。
イメージA→言語A’→イメージA”
そのイメージA”が断続的に眼前に提示されていきます。体感フレームレートは数秒に１枚切り替わるくらいです。目前の現実を、言語を介しつつイメージへと再変換されます。“りんご”があれば、そこには“りんご”がありますし、“椅子”があれば“椅子”のイメージが眼前に現れるのでした。
Projection Mapping onto Hands
Casper DPM: 手への階層型知覚動的プロジェクションマッピング
私たちは、人間の手に3Dコンテンツを動的に投影する技術を紹介します。この技術は、知覚される動作から光の出射までの遅延（モーション・トゥ・フォトン遅延）を短くすることを特徴としています。人間の手は関節が多く変形しやすいため、正確かつ高速にその形状や姿勢を計算するのは難しい課題です。そこで、私たちは以下のアプローチを採用しました。手の3Dの粗い姿勢推定を行い、その後に高速な2D補正ステップを組み合わせる。
これにより、投影と手の位置の整合性が向上し、投影面積が増加し、知覚される遅延が減少します。この方法は手の完全な3D再構築を活用するため、従来は不可能だった任意のテクスチャや効率的な視覚効果を適用することが可能になります。
利用者調査とその結果
私たちは、この手法の利点を評価するために2つの利用者調査を実施しました。その結果、以下が明らかになりました。
1. 被験者は遅延アーティファクトに対して感度が低下する。
2. 3D姿勢推定から直接レンダリングされたフレームを投影する従来の単純なアプローチと比較して、与えられたタスクをより迅速かつ容易に遂行できる。
応用と可能性
本研究では、いくつかの新しい使用例と応用を実演しました。この技術は、手を使ったインタラクションの新たな可能性を切り開き、より没入感のあるユーザー体験を提供します。
この方法は手の完全な3D再構築を活用するため、従来は不可能だった任意のテクスチャや効率的な視覚効果を適用することが可能になります。
早速、山崎も体験させていただきました。
自分の肌に映像がリアルタイムでマッピングされ、その映像が追従します。肌が着彩されている感覚になりました。ほぼズレもなく、角度や形状にも即応しています。これはコンピューターの処理性能の向上が寄与しているとのこと。（技術的には以前からあったが、技術環境が整ったことで実現された）
パネルによる出展も多数ありました。
その中でも、 慶應義塾大学大学院KMD所属の方のパネルです。
Pole Actuators for Guiding People
元々都市計画を専攻し、空港などの設計に従事されていた方が、現在KMD修士課程にて研究をすすめられているそうです。
吉田さんに口頭で解説いただきました。
以下、その解説を踏まえて、山崎の解釈が入ってます（スイマセン）
空港などの公共空間において、サインなどの情報はすでにノンバーバルな記号によるコミュニケーションとして存在している。そのコミュニケーションを「動き」のよるデバイスでも実現できないか？という研究。
以下、山崎解釈。
公共空間におけるサインとは
言語→図像→（動き）という図式。
そもそも言語は、動きの痕跡（ graph）だった。【身ぶりと言葉 アンドレ•ルロワ=グーラン ちくま学芸文庫 2012】
そうするとこの研究は、テクノロジーにより、プリミティブな状態（図像や言語以前の"動き"）へ、逆回転させているような試み。（だと思ったのでした）
これが、美大における作品ならば、その主観的に立ち上げた図式をもとに制作すればよいのですが、シーグラフは客観的な学術的世界。敬服です。
美大は美大である前に、大学である。その大学たるや、学問的でなければならない。学問とは？！。ある種の美大の宿痾へ真摯に向き合う轍がここにはありました。（最敬礼）
余談
会場をあとに、吉田さんと小林くん、山崎で昼食をとりました。雑談が盛り上がりすぎて、ついつい色んな話題に。話を引き出す吉田さんの知性に魅了されたのでした。今後ともよろしくお願いします！
次編では小林くんがSIGGRAPH 2024 Denverレポートを披露予定。（今回のASIA版ではなく、Denver版！）とても楽しみです〜
（山崎連基）