HuRoC Human-Robot Commons
ニュースレター
LATEST
研究と社会

部品を誤って掴んでも立て直し、袋に絡んだ紙は振り落とす。Rhoda AIは工場の想定外を11時間のデータで学ぶ

米Rhoda AIが、動画の予測から次の動作を決める「Direct Video-Action（DVA）」モデルで、自動車部品のベアリングの開梱と包材の仕分けを双腕ロボットにこなさせている。部品を誤って掴んでも途中で立て直す、袋に絡んだ紙を振り落とすといった想定外の処置も、11時間のロボットデータで学ばせたという。Gigascale創業パートナーで元Meta CTOのMike Schroepfer氏の動画シリーズ「Field Trips with Schrep」も、同社を取り上げた回を公開した。

HuRoC 編集部
編集部 · HuRoC
7分

段ボールを開けたら、ベアリングを包んだ紙がビニール袋の中で絡まっていた。取り出そうとしたら、掴むはずのない部品をひとつ掴んでしまった。工場ではありふれた小さなつまずきで、これまでは隣にいる作業者が手を伸ばして直してきた。

米パロアルトのRhoda AIは、この「段取りが崩れた瞬間」をロボットに任せようとしている。同社の技術解説には、双腕ロボットがベアリングを誤って掴み、作業の途中で自ら正す場面や、袋に絡んだ包み紙を袋ごと揺すって外す場面が並ぶ。学ばせたロボットデータは11時間だという。

Gigascale創業パートナーで元Meta CTOのMike Schroepfer氏（通称Schrep）の名を冠した動画シリーズ「Field Trips with Schrep」も、同社を取り上げた回「The World is the Training Data | Rhoda AI」を公開している。

動画で少し先を描き、その映像を動作に翻訳する

Rhodaの方式は「Direct Video-Action（DVA）」と呼ばれる。ロボットのカメラが撮ってきた長い映像の履歴と関節の状態、必要なら言葉の指示を入力に、因果的な動画モデルが少し先の未来を映像として予測する。予測された映像を、別の小さな「逆動力学モデル」がアームの先端の動きに翻訳する。この予測と実行を閉ループで1秒間に複数回くり返す。

動画モデルは、ウェブ上の一般的な動画で一から事前学習する。2026年3月のプレスリリースによれば数億本規模の動画で、動きや物理、物どうしの関わり方についての「事前知識」を持たせる。そのうえで、対象の作業とロボットのデータで追加学習する。逆動力学モデルのほうは、同じ型のロボットなら約10時間のデータで足り、作業の手本でなくランダムな動きでも学習に使えるという。

Leapfrog Inferenceの模式図。次の推論にかかる時間を見越して先まで予測し、実行中の動作を次の予測の条件として渡す（Rhoda AI）

推論には時間がかかるが、現実の物は待ってくれない。そこで同社は、次の推論が終わるまでの時間を覆うだけ先まで予測し、ロボットは前回の予測を実行しながら次を待つ「Leapfrog Inference」をとる。予測ごとのばらつきで動きがぎくしゃくしないよう、いま実行中の動作を次の予測の条件に入れる。数百フレームの映像を文脈として持てるため、どこまで作業が進んだかを映像の記憶で追える点も特長に挙げる。

自動車部品の開梱と、23kgのコンテナを畳む作業

技術解説が紹介する顧客向けの作業は2つある。1つ目は自動車組立ラインのベアリング開梱で、ホームによれば顧客は当初、自動化できないと考えていた。箱は10kg、持ち上げ用のストラップは切れやすく、タブを引くには細かい力加減が要り、透明なビニール袋はロボットには掴みにくい。箱を開けてベアリングをトートに移し、段ボール・紙・ビニールを分けて捨てる。学ばせたデータは11時間で、1.5時間ノーカットで開梱を続ける映像が公開されている。

技術解説が映像に添える想定外は具体的だ。蓋がちぎれたら紙ではなく段ボールの箱へ捨て、別のやり方で箱を傾ける。箱が倒れたら起こす。ベアリングを誤って掴んだら作業の途中で自ら正す。袋に紙が絡んだら袋を操って振り落とし、ベアリングの下に埋もれた紙は掘り出す。ずれたトートは押し戻してから続ける。ストラップが切れるのは「まれな失敗」だが、それにも対処が要るとしている。

2つ目は、工場間の部材輸送に使う約50ポンド（約23kg）のContico製コンテナを畳む作業だ。中に残った大きさも種類もばらばらのごみを取り除き、ラッチを外して折り畳む。データは17時間で、160分間を一度も人が介入せずに続けた映像がある。扉が開かなければラッチが外れきっていないと見て戻り、ごみに届かなければ箱の位置を直してから掴み直す。

想定外の処置を覚えさせたのは、熟練オペレーターの記録

この「立て直し」はどこから来るのか。2026年9月のスケーリング研究は、開梱の学習データについて、ほぼすべての軌跡を熟練のロボットオペレーターが研究者の立ち会いのもとで集め、想定外と失敗からの立て直しを意図的に含めたと書く（意訳）。顧客の拠点の1つでは、毎日1,000箱を超える箱を人が手で開けている。その作業をRhodaの作業セルに持ち込み、オペレーターがロボットを操って想定外ごと記録したデータが、動画モデルの手本になっている。

同じ研究では、モデルの大きさと事前学習の計算量を変えて200時間超の実機評価を行った。指標は、人の介入なしに作業を終え、しかも100秒以内に収まった試行の割合で、この時間制限は顧客の要件より厳しく設定した。最大のLモデルは84.7%（111回中94回）、Mモデルは75.3%（259回中195回）。オペレーターが割って入った試行はLで0.9%、Mで3.9%だった。

研究チームは、学習データに上手な立て直しが含まれていると、ロボットは成功するまでやり直すため、単純な完了率ではモデルの差が見えにくくなると指摘する。大きいモデルほど一度で成功する動作が多く、やり直しが減ることがサイクルタイム短縮の主な理由だという。

公開されているのは、1つの作業での数時間の連続稼働まで

限界も同社自身が書いている。スケーリング研究は単一のタスク・単一の機体・単一の設定での結果で、条件ごとの学習は1回きりだ。1条件100回前後の試行では、統計的に見分けられるのは15ポイント前後の大きな差に限られるという。公開されている連続稼働の映像は1.5時間と160分の各1本で、工場で数週間、数カ月動かしたときの稼働率や停止の頻度はまだ公表されていない。

出資者の1社、LeitmotifのJens Wiese氏はプレスリリースで、製造業での本当の課題は一度解くことではなく、実際の生産条件で安定した出力を出し続けることだと述べている（意訳）。2026年3月時点でRhodaは、量産の評価で部品処理の工程を1サイクル2分未満、人の介入なしで終えたとしていた。

動画モデルをロボットの方策に使う試みはほかにもある。1Xは2026年1月、ウェブ動画で学んだ世界モデル「1XWM」を家庭用ヒューマノイドNEOの方策に組み込んだと発表した。NVIDIAの動画モデルCosmos-Predict2をロボット方策に転用する「Cosmos Policy」は、映像の潜在表現の中で動作も生成する。Rhodaは、因果的な動画モデルを一から事前学習した点と、実時間の閉ループ制御で動画のノイズ除去を最後まで行う点で、同社の知る限り自分たちが初めてだとしている。人の手袋データだけで学ぶReward AIの「OM-1」や、人の一人称動画で学ぶDyna Roboticsの「Taku」と並べると、ロボットに見せる手本の出どころが各社で分かれてきた。

HuRoC の視点

20年前、北野共生システムプロジェクトでmorphのような小型ヒューマノイドがデザインされていた頃、ロボットの動きは技術者が一つずつ書き込むものだった。Rhodaの開梱ロボットの手本は、ウェブ上の数億本の動画と、オペレーターが11時間かけて演じた「段取りが崩れたときの直し方」から来ている。

日本でも、山善やツムラなど4社のコンソーシアム「J-HRTI」が、オペレーターやアノテーター約100名が常駐するデータ収集センターを千葉県沿岸部に置く計画を発表している。矢崎総業の裾野の拠点では、ロボット倉庫とヒューマノイドの受け渡しの実証が始まった。どちらでも、例外処理の作法を知っているのは現場の作業者だ。その作法をデータに起こす仕事、つまり「考える」側の比重が上がる。11時間で覚えた立て直しが、工場で1カ月動かしたときに何回で人を呼ぶのか。次に公開される数字はそこになる。

出典