見出し画像

SIGGRAPH2023で発表する自分の研究を解説します

しらいはかせ(AI研究/Hacker作家)

いつも他人の研究解説ばかりではあれなんで、来週からロサンゼルスで開催されるCG・インタラクティブ技術のトップカンファレンス「ACM SIGGRAPH2023」に採択されたPostersの研究を紹介しますね。

AI-Assisted Avatar Fashion Show
Word-to-Clothing Texture Exploration and Motion Synthesis for Metaverse UGC
Authors: Kai Kohyama, Alexandre Berthault, Takuma Kato, Akihiko Shirai

カテゴリーは「Augmented & Virtual Reality」です。


https://s2023.siggraph.org/?post_type=page&p=1842&id=pos_165&sess=sess368


タイトルを直訳すると
メタバースUGCのためのAI支援アバターファッションショーWord-to-Clothingテクスチャ探索とモーション合成

プロジェクトとしては「mmm」の進化系です

服のテクスチャのWordToTextileによる生成と、QueTra＆MuscleCompressorによるモーションのUGC化です。HMDを被らないとできない、しかも生成AI技術を使わないとできない新しいUXになっています。しかもフランスで一般公開して数百人のデータを取って評価しています。

HMDを装着すると、歩行モーションを収録することは大変難しいのですが、ランウェイを自動で歩かせるというモーションUGCを成立させています。また服のテクスチャ生成も、2Dではなく、立体的な縫製の状態で評価できます。

モーション自体についてもフーリエ変換を使って評価をしており、左右の安定性、リズム、オリジナリティといった視点で数値評価を可能にしています。また一般公開展示を行うことで、中央値などを取得して、今後の研究に生かすことができます。

英語解説動画についてはこちらで公開します
（SIGGRAPH公開日に合わせています）


後日SpeakerDeckにてスライドも共有予定です。


…という発表練習をAITuber相手に行っておりました

ダミボちゃんチャット、連続耐久配信テストを行っています。
SIGGRAPH渡航中に話し相手になってもらう予定です。

絶賛連続配信記録に挑戦中です

GitHubで研究成果の一部を公開しております

https://github.com/gree/MuscleCompressor

ご紹介ありがとうございます

公式解説記事がでました


現在米国ロサンゼルスで開催中の #SIGGRAPH2023 Postersで発表の研究成果をオープンソースおよび日本語ブログで細かくコード解説いたしました。

皆様のUnityでのメタバース開発にお役立てください！

香山さんやはぎさん、REALITYの皆さんありがとう

BibTex Infomation

研究者の方へ:本件の論文引用はこちらでお願いします

@inproceedings{10.1145/3588028.3603660,
author = {Kohyama, Kai and Berthault, Alexandre and Kato, Takuma and Shirai, Akihiko},
title = {AI-Assisted Avatar Fashion Show: Word-to-Clothing Texture Exploration and Motion Synthesis for Metaverse UGC},
year = {2023},
isbn = {9798400701528},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3588028.3603660},
doi = {10.1145/3588028.3603660},
booktitle = {ACM SIGGRAPH 2023 Posters},
articleno = {14},
numpages = {2},
location = {Los Angeles, CA, USA},
series = {SIGGRAPH '23}
}

いいなと思ったら応援しよう！