GestureGPT: Zero-shot Interactive Gesture Understanding and Grounding with Large Language Model Agents

GestureGPT: Zero-shot Interactive Gesture Understanding and Grounding with Large Language Model Agents

1. 本研究の学術的背景、研究課題の核心をなす学術的「問い」は、従来のジェスチャー認識システムが、あらかじめ定義されたジェスチャーの中からジェスチャーを特定することに主眼を置いており、それらのジェスチャーをインタラクティブなGUI要素やシステム機能に結びつけるという課題が残っていることです。

2. 本研究の目的は、大規模な言語モデル（LLM）を活用した新しいゼロショットのジェスチャー理解と結びつけのフレームワークであるGestureGPTを紹介することです。従来のジェスチャー認識システムの制約や課題を解決し、より自然で直感的なジェスチャーインターフェースを実現するために、LLMの事前知識を活用してジェスチャーとコンテキスト情報を解釈し、インタラクティブな機能に結びつけることが可能です。

3. 本研究は、ジェスチャーとコンテキスト情報の重要性を認識し、従来のジェスチャーインターフェースの自然さの課題を解決するためにGestureGPTを提案しています。関連する研究動向としては、ジェスチャー認識技術の進歩や、インタラクションコンテキストの重要性についての研究が挙げられます。GestureGPTはこれらの研究の位置づけを踏まえ、新しいパラダイムのジェスチャー理解方法として位置づけられます。

4. 本研究では、ジェスチャーの説明モジュール、ジェスチャーエージェント、コンテキストエージェントなどのモジュールを提案しています。ジェスチャーの説明モジュールでは、画像や動画から抽出された手のランドマーク座標を基に、ジェスチャーの説明を自然言語で表現します。ジェスチャーエージェントはこれらの説明を入力として受け取り、コンテキストエージェントに対してコンテキスト情報を問い合わせ、ユーザーの意図やインタラクティブな機能を予測します。そして、ジェスチャーとコンテキスト情報を総合して、ジェスチャーをインタラクティブな機能に結びつけます。

5. 本研究では、公開されたジェスチャーのデータセットを使用して、ジェスチャーの説明モジュールの効果を評価しました。また、実際の環境でのビデオストリーミングとスマートホームIoTの制御という2つのシナリオで、デュアルエージェントの対話システムをテストしました。IoT制御のタスクでは90.78％、ビデオストリーミングでは80.11％のゼロショットのジェスチャー結びつけの正解率を達成しました。これらの結果は、本研究のジェスチャー理解パラダイムの潜在能力を示しており、他の自然な入力モダリティの理解・結びつけにも応用できる可能性を示しています。