【論文瞬読】Code-as-Monitor: VLMで実現するロボットの失敗予防・検出システム
こんにちは！株式会社AI Nestです。ロボットが人間の代わりに様々なタスクを実行する時代が近づいていますが、その実現には大きな課題があります。それは「失敗」への対応です。例えば、お皿を運ぶロボットが、お皿が傾いていることに気づかずに落としてしまったり、対象物を掴もうとしたときに対象が動いてしまい空振りしてしまったり...。このような失敗をいかに防ぎ、また失敗が起きた際にいかに適切に対応するかは、ロボット工学における重要な研究課題となっています。
今回紹介する論文は、この課題に対して革新的なアプローチを提案しています。
タイトル：Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection
URL：https://arxiv.org/abs/2412.04455
所属：Beihang University, Peking University, Beijing Academy of Artificial Intelligence, Galbot
著者：Enshen Zhou, Qi Su, Cheng Chi, et al.
図1に示すように、ロボットの失敗検出には2つのアプローチがあります。一つはリアクティブ（事後的）検出で、これは失敗が発生した後にそれを検知して対応する方法です。もう一つはプロアクティブ（予防的）検出で、失敗が起きる前にそれを予測して防止する方法です。
従来の研究の多くは、このどちらか一方にのみ焦点を当てていました。しかし実際のロボット制御では、両方のアプローチが必要不可欠です。例えば、料理を運ぶロボットを考えてみましょう。皿が傾いていることを検知して事前に姿勢を修正する（プロアクティブ）とともに、予期せぬ外乱で食材が落ちてしまった場合にそれを検知して対応する（リアクティブ）能力が求められます。
本論文で提案されている「Code-as-Monitor (CaM)」フレームワークは、これら2つのアプローチを統合的に扱う画期的な手法です。
CaMフレームワークの仕組み
CaMの最大の特徴は、ロボットの失敗検出を「制約満足問題」として定式化し、Vision-Language Model (VLM)を使ってモニタリングコードを生成する点です。これは非常に賢明なアプローチです。なぜなら、多くのロボットタスクは「〜の状態を維持しながら」「〜の条件を満たすように」といった制約として自然に表現できるからです。
例えば「コップを傾けずに運ぶ」というタスクは、「コップの上面の法線ベクトルが常に鉛直上向きである」という制約として表現できます。このように制約として表現することで、様々なタスクに対して統一的な方法で失敗検出を行うことが可能になります。
制約要素による抽象化
CaMのもう一つの重要な特徴は、監視すべき対象を「制約要素」として抽象化する点です。従来の手法では、画像全体をVLMで解析していたため、処理が重く、細かな状態変化を捉えきれないという問題がありました。
CaMでは、監視すべき対象を点、線、面といった単純な幾何学的要素に抽象化します。例えば、物体の把持位置は点として、物体の向きは線として、物体の姿勢は面として表現されます。このような抽象化により、複雑な3次元シーンを効率的にモニタリングすることが可能になります。
さらに、この抽象化は汎化性能の向上にも寄与します。例えば「物体を垂直に保つ」という制約は、物体の種類に関係なく「その物体の主軸が鉛直方向を向いている」という幾何学的な条件として表現できます。
リアルタイムモニタリング
CaMは、VLMを使って制約チェック用のPythonコードを生成します。このコードは、制約要素の3D位置を入力として受け取り、算術演算を実行して制約違反をチェックします。制約違反を検出した場合は、その理由と共に報告を行います。
生成されたコードは軽量で、リアルタイムでの実行が可能です。これは、VLMへの問い合わせを最小限に抑え、主に幾何学的な計算で制約チェックを行うためです。また、制約違反の原因を具体的に特定できるため、適切な回復行動の選択も容易になります。
実験結果と評価
本研究では、3つのシミュレータ（CLIPort, Omnigibson, RLBench）と実環境での検証を行いました。実験は、ピック&プレース、関節物体の操作、道具の使用など、様々なタスクを対象としています。
結果として、既存手法と比較して成功率が28.7%向上し、実行時間が31.8%短縮されました。特筆すべきは、この改善がシミュレータと実環境の両方で達成されたことです。これは、CaMのアプローチが理論的な正しさだけでなく、実用性も備えていることを示しています。
実環境での応用例
実環境での実験では、様々な状況でCaMの有効性が確認されました。例えば、変形する物体（布など）の把持では、物体の形状が変化しても制約要素による表現が有効に機能しました。また、透明な物体の認識では、物体の視覚的特徴に頼らない幾何学的な制約が有効でした。
さらに、複数の物体が存在する環境や、人間による妨害がある状況でも、システムは適切に対応できました。これは、制約ベースのアプローチが環境の変化に対してロバストであることを示しています。
まとめと今後の展望
CaMフレームワークは、ロボットの失敗検出という重要な課題に対して、新しい解決策を提示しています。リアクティブとプロアクティブな検出を統合し、効率的な制約要素表現を導入することで、実用的な性能を達成しています。
特に注目すべきは、このアプローチがVLMの利点（柔軟な言語理解）と従来の幾何学的手法の利点（効率的な計算）を組み合わせている点です。これにより、「人間にとって自然な指示」と「ロボットにとって実行可能な制約」のギャップを埋めることに成功しています。
一方で、いくつかの課題も残されています。VLMの幻覚（ハルシネーション）の影響を完全には排除できていない点や、力学的な制約の考慮が不十分である点などです。また、視覚以外のモダリティ（触覚、聴覚など）の活用も今後の課題として挙げられます。
これらの課題に対する解決が進めば、よりロバストで汎用的なロボットシステムの実現に近づくことでしょう。CaMは、その方向性を示す重要な一歩として位置づけられます。