D-Robotics RDK X3 入門 (10) - TogetheROS.Bot の概要
「RDK X3」の「TogetheROS.Bot」の概要についてまとめました。
前回
1. TogetheROS.Bot
「TogetheROS.Bot」は、D-Robotics がロボットメーカーや開発者向けに立ち上げたロボットOSです。開発者がインテリジェントロボットを効率的に開発できることを目的としています。
RDKプラットフォームでの実行をサポートしています。青いセクションは、D-Roboticsによって最適化および追加されたモジュールになります。
「TogetheROS.Bot」のコードは、以下でホストされています。
2. Communication
「Communication」は、ROS2 Foxy/Humbleで D-Robotics が最適化および拡張した通信コンポーネントです。
主な機能は、次のとおりです。
・一般的に使用されるロボットセンサーに適応する「hobot_sensor」を提供し、開発時間を節約し、コア競争力に集中。
・オンボードアルゴリズム モデルの推論と展開を簡素化し、BPUのコンピューティング能力を解放して、インテリジェントアルゴリズムの使用のしきい値を下げる「hobot_dnn」を提供。
・ソフトウェアとハードウェアの組み合わせによりビデオのエンコードとデコードを高速化し、CPU リソースを節約し、並列処理機能を向上させる「hobot_codec」を提供。
・ソフトウェアとハードウェアの組み合わせにより一般的なコンピュータビジョン オペレータのパフォーマンスを強化し、CPUリソースを節約し、実行時効率を向上させる「hobot_cv」を提供。
・Webベースおよび HDMI の動的視覚化、アルゴリズム結果のリアルタイムレンダリング (Web ベースに限定)、表示とデバッグの容易化を実現する「hobot Render」を提供。
・プロセス間 zero-copy 通信メカニズムを追加し、データ転送の待ち時間とシステムリソースの消費を削減。
・ミドルウェアソフトウェアのデバッグとパフォーマンスチューニング ツールを強化し、問題の特定効率を向上させ、容易なシステムパフォーマンスの最適化を実現。
・「ROS2 Foxy/Humble」と完全に互換性があり、ROS2 ツールキットの再利用を容易にし、プロトタイプの検証を高速化。
・最小限のモジュール式のプルーニングをサポートし、必要に応じてリソースが制限された組み込み製品への容易な展開を実現。
3. Boxs
「Boxs」は、D-Roboticsが開発した「TogetheROS.Bot」ベースのインテリジェントアルゴリズムパッケージです。D-RoboticsのロボットOSを活用し、ロボットのインテリジェントアルゴリズムの実装効率を向上させることを目的としています。
・画像検出
FCOS、YOLO、FasterRCNN、Efficedet、Mobilenet_ssd など
・画像分類
Mobilenet など
・セマンティックセグメンテーション
Unetなど
・アプリケーションアルゴリズム
人間の検出と追跡、ジェスチャー認識、人間の手のキーポイント検出、単眼の高さネットワーク、単眼3D検出、音声処理、VIOなど
4. Apps
「Apps」は、D-RoboticsロボットOSの「Communication」と「Boxs」に基づいて開発されたアルゴリズムアプリケーションの例です。画像入力、認識、戦略などの完全なチェーンを確立し、アプリケーションの効果を実証し、顧客デモの開発効率を加速することを目的としています。
5. 一般用語の定義
・zero-copy : プロセス間zero-copy通信方式
・BPU : ニューラルネットワーク アルゴリズム処理ユニット
・hobot dnn : BPUベースのモデル推論機能のカプセル化
・SLAM : 同時位置推定とマッピング
・DOA : 到着方向
・ASR : 自動音声認識
・TogetheROS.Bot : Together Robot Operating System for robot
・tros.b : TogetheROS.Bot の略語
・RDK : Robotics Development Kit
・BEV : Birds Eye View