ロボット学習データ

概要

ロボット学習データは、ロボットの動作を決めるモデル（方策）を機械学習で作るために集める記録である。カメラ画像、関節角、力覚などのセンサー情報と、そのときロボットや人がとった動作を時刻ごとに対応づけたものが基本になる。集め方には、人がロボットを遠隔操作して実演する方法、センサー付きの手袋や手持ちのグリッパーで人の作業を記録する方法、シミュレーションで生成する方法などがある。

言語モデルがウェブ上の文章を大量に使えるのに対し、ロボットの動作データは実機や実演から一つずつ集める必要があり、量の確保が長く課題とされてきた。2023年に公開された Open X-Embodiment は、21機関が22種類のロボットで集めたデータを一つにまとめ、機種をまたいだ学習を試みた。

HuRoC の記事から

• 手持ちグリッパー「YUBI」で人が集めた1万6000時間。AIRoAが基盤モデル「AIRoA-0」を公開：人が手持ちグリッパーで記録した16,151時間の操作データから、ロボット基盤モデルを事前学習した事例を扱った。
• タイミーとジールス、フィジカルAI向け「データ収集スポットワーク」で提携。案内や受け渡しの現場業務を学習データに：現場業務そのものをデータ収集の仕事として募る構想を扱った。
• Mobile ALOHAの研究者らのReward AI、手袋で集めた人間データだけで学ぶロボット方策「OM-1」を公開：遠隔操作も実機データも使わず、人の手の記録だけで学ぶ方法を比べた。
• EXL、AIデータ企業iMeritを最大3.1億ドルで買収完了。フィジカルAIのラベリングが企業買収の対象になった：データへの注釈付け（アノテーション）が企業買収の対象になった経緯を扱った。