[創作論954] ロボットの学習
生成AIを使って多目的ロボットの学習能力を向上させる技術が開発されました。
ロボットにツールの使い方を理解させるには、ツールの使用方法を示す膨大な量のデータが必要です。
しかし、ロボット向けのデータセットには、色や触覚といった幅広いモダリティや、シミュレーションか人間のデモかといったドメインなど、多様なソースがあります。
このようなたくさんのソースから得たデータを1つの機械学習モデルに効率的に組み込むことは難しいとされています。
そのため、1種類のデータのみを使用してロボットをトレーニングした場合に、未知の環境での新しいタスクをしばしば実行できないという問題があります。
研究チームは、拡散モデル（生成AIの一種）を使用して、ドメイン、モダリティ、タスクにまたがる多様なデータソースを組み合わせ、ロボットがさまざまなタスクを実行できるようにする技術「PoCo」を開発しました。まず、複数の拡散モデルを別々に訓練します。
それぞれの拡散モデルは、多様なデータソースのうち、ある特定の小規模なデータセットを使って、1つのタスクを完了させるための戦略（ポリシー）を学習します。
画像生成AIと同様に、訓練用データセットにノイズを加えることで、これらの拡散モデルは徐々にノイズを除去し、出力を洗練させます。
ただし、生成するのは画像ではなく、ロボットの軌道です。
次に、個々の拡散モデルが学習した複数のポリシーを組み合わせて、ロボットがさまざまな環境で多様なタスクを実行できる一般的なポリシーを作り出します。
研究チームは、シミュレーションと実世界の実験でPoCoの有効性を検証しました。
その結果、ロボットはハンマーで釘を打ったり、ヘラで物体をひっくり返したりといった、複数のツールを使用するタスクを実行でき、訓練中に見ることのなかった新しいタスクにも適応できました。
これはベースライン技術と比較して20％の性能向上となりました。
驚きの技術ですね。
創作活動にも応用できるかもしれませんね。