見出し画像

#SIGGRAPH2023 キャラクターアニメーション：人間の手で何をすべきなのかを探る

しらいはかせ(AI研究/Hacker作家)

今年の論文セッションで個人的に一番興味があったセッションの聴講メモです。

Technical Paper: Character Animation: Knowing What To Do With Your Hands

テクニカルペーパー:
キャラクターアニメーション：「自分の手で何をすべきかを知る」


Session Chair: Michael Neff
University of California Davis/Meta

セッション座長:マイケル・ネフ
カリフォルニア大学デービス校/Meta

Michael Neff

GestureDiffuCLIP: Gesture Diffusion Model With CLIP Latents

Authors: Tenglong Ao, Zeyi Zhang, Libin Liu

GestureDiffuCLIP: CLIP潜在によるジェスチャー拡散モデル

ベストペーパーだそうな

https://arxiv.org/abs/2303.14613

https://twitter.com/_akhaliq/status/1640543753709428736?s=46&t=jgQwk-8DSR4rWrfqK70Ylw

動画をプロンプトとして与える。鷹の画像を与えるとそういう格好する。
ヨガを与える
モーションをプロンプトとして与える


2:11pm - 2:22pm PDT

Bodyformer: Semantics-guided 3D Body Gesture Synthesis With Transformer

Authors: Kunkun Pang, Dafei Qin, Yingruo Fan, Julian Habekost, Takaaki Shiratori, Junichi Yamagishi, Taku Komura

https://dl.acm.org/doi/abs/10.1145/3592456

東北大なのね




本研究では、人間のポーズを生成するために、長期的な文脈情報を取り込むための変換器ベースの手法を提案
- ジェスチャパターンの長尾分布を扱うために、モード位置埋め込みを導入
- そして、変換器を小規模なデータセットで学習するために、モード内事前学習を導入
- 本アプローチは、音声のリズムや文脈に応じた高品質な動きを生成することができる。


2:22pm - 2:33pm PDT

Listen, Denoise, Action! Audio-Driven Motion Synthesis with Diffusion Models

Authors:
Simon AlexandersonRajmund NagyJonas BeskowGustav Eje Henter

BioによるとEAで働いているらしい


データセットはこちら


Motoricaダンスデータセットの特徴


https://youtube.com/watch?v=Qfd2EpzWgok&feature=sharec

https://www.speech.kth.se/research/listen-denoise-action/


2:33pm - 2:44pm PDT

How Important Are Detailed Hand Motions for Communication for a Virtual Character Through the Lens of Charades?


Authors: Alex Adkins, Aline Normoyle, Lorraine Lin, Yu Sun, Yuting Ye, Massimiliano Di Luca, Sophie Jörg

Cahrade(シャレード)を使う

https://dl.acm.org/doi/full/10.1145/3578575

https://research.facebook.com/publications/how-important-are-detailed-hand-motions-for-communication-for-a-virtual-character-through-the-lens-of-charades/

https://people.computing.clemson.edu/~sjoerg/communication/Adkins23_CommunicationPaper.pdf

2:44pm - 2:55pm PDT

Contact Edit: Artist Tools for Intuitive Modeling of Hand-object Interactions

Authors:
Arjun Lakshmipathy, Nicole Feng, Yu Xi Lee, Moshe Mahler, Nancy Pollard

カーネギーメロンETCだ
物を握らせるプロダクションツール

ボールを握らせたい

https://youtube.com/watch?v=Qnpmfa0iBGI&feature=sharec


実際のコンタクトエリアにマッチさせるために回転と移動を処理する




ここまでガチな位置合わせしただけあって結果がすごい


2:55pm - 3:05pm PDT

Synthesizing Dexterous Nonprehensile Pregrasp for Ungraspable Objects


Authors: Sirui Chen, Albert WuC. Karen Liu

把持不可能な物体に対する器用な非包括的前把持の合成

把持できない物体の例


優れたプレグラスプ(pre-grasp: 把持できるかどうか)の見極めは難しい
- 明確な定量的指標がない
- 把持を成功に導く必要がある
-計算コストの高いクエリ
- データ駆動型アプローチ
- 事前把握の計算にはコストがかかる
良い把持のための豊富な要件
- 把持可能な形状を露出させる
- 障害物を避ける
- 物理的な妥当性
- 観察：少なくとも1回の環境接触

結果の例:筆箱の中のペンをとる

3:05pm - 3:30pm PDT

Character Animation: Knowing What To Do With Your Hands - Q&A and Interactive Discussion

質疑応答は会場質問なのかなと思ったら、チェアの質問に答えていく感じになった。


GestureDiffuCLIPの著者Ao(アオ)さんに質問した。CLIPの動画への応用について。頭の中にアルゴリズムはあるらしい。逆にこっちにもいろいろ質問された。PhD学生なのか…将来楽しみだな

Tenglong Ao and Akihiko Shirai
Qixuan Zhang and Akihiko Shirai

そこでDeemos(@DeemosTech)のQixuan Zhangにも会った、
というか彼は私のことよく知っていていつも研究をウォッチしてくれているらしいです。

いやDeemosの方がすごいでしょ…
今回はペーパー数本と、Real-Time-Liveの発表もあるんだってさ！これは期待。

そんなわけで収穫多かったセッションでした。

追記。
DeemosのQixuan Zhangから発表情報もらった

そうよ、RealTimeLiveはココじゃなきゃ見れないやつよね！

いいなと思ったら応援しよう！