HuRoC Human-Robot Commons
ニュースレター
LATEST
研究と社会

人の動画1本から、Apolloがコーンホールで7投連続。Gemini 4 Argonが動画を練習場に変える

Googleが2026年10月13日、新しいフロンティアモデル「Gemini 4 Argon」に人がコーンホールをする動画を見せ、環境と全身の関節の動きを割り出してシミュレーションのコードを自ら書かせ、ApptronikのヒューマノイドApolloに実機で7投連続で穴へ入れさせた社内テストを公開した。Googleはこの「Video-to-Sim-to-Real」を、手作業で数週間かかっていたシミュレーション作りを数時間に縮め、ありふれた動画をロボットの訓練場に変える手法と位置づける。

HuRoC 編集部
編集部 · HuRoC
7分

人がコーンホールの袋を投げる様子を撮った動画を、AIモデルに見せる。モデルはその動画から部屋の寸法と体の動きを読み取り、練習用のシミュレーションを自分で書く。そのうえで実物のヒューマノイドが袋を投げ、7回続けて板の穴に入れた。

Googleは2026年10月13日、新しいフロンティアモデル「Gemini 4 Argon」の一般提供を発表し、ロボット開発の例としてこの社内テストを紹介した。使われた機体は、Google DeepMindと提携する米Apptronikのヒューマノイド「Apollo」だ。Google DeepMindはYouTubeの公式チャンネルで実演動画を公開している。

動画からシミュレーションを書き、実機へ移す

Google DeepMindのKoray Kavukcuoglu氏が書いた発表記事によると、Argonは人がコーンホールをする未加工の動画を見て、環境の空間座標を割り出し、必要な全身の関節の動きを計算した。続いてシミュレーションのコードを自ら作り、ApptronikのApolloに移した。実環境での試行で、Apolloは7投連続で穴に入れたという。Googleはこれを、学習データの分布の外にある身体技能を「見るだけで」身につけられるかを試したものと位置づける。

Googleはこの流れを「Video-to-Sim-to-Real」と呼ぶ。動画（Video）から模擬環境（Sim）を作り、そこで覚えた動きを実機（Real）に移す。発表記事は、手作業なら数週間かかるシミュレーションのモデル化が数時間に縮まり、ありふれた動画がロボットの訓練場になると書く。Google DeepMindの公式Xアカウントも、Argonが物理を把握してシミュレーションをコード化し、Apolloに7投連続で決めさせたと投稿した。

実際の手順をもう少し具体的に書いているのが、実演に関わったGoogle DeepMindの研究者、Norman Di Palo氏のX投稿だ。与えたのは人が投げる動画だけで、Argonがロボットの制御を引き取り、シミュレーション環境を生成し、システム同定（実機の重さや摩擦などを測ってモデルに合わせる作業）を行い、実機でも投げる練習をした。Di Palo氏は、上達するまでに実機で数投が必要で、その後に袋が板に触れず穴へ直接入る投球が何度も続いたと書いている。動画の最後では、手順が長かったため、ロボット自身に何をしたかを説明させ、身ぶりもArgonが考えたという。

開発者向けブログに並ぶ12の使い方

同じ日、GoogleのKanishka Rao氏は開発者向けブログで、ロボット制御、Real2Sim（実世界からシミュレーションを作る）、物理的な理解、研究と自己改善の4分野に分けて、Argonの使い方をプロンプト付きで公開した。コーンホールそのものは載っていないが、同じ考え方の例が多い。

Boston DynamicsのSpotが床の空き缶を拾いにいく場面。開発者向けブログでは、足踏み式ゴミ箱のMuJoCoの双子で脚の動きを練習してから実物のペダルを踏む（Google for Developers Blog）

1つ目は、Boston Dynamicsの四足ロボットSpot（脚12自由度、腕6自由度）の例だ。足でペダルを踏んで蓋を開けるゴミ箱に空き缶を捨てる、という新しい技能のために、Argonは開閉する関節まで再現したゴミ箱の「デジタルツイン」を物理シミュレータMuJoCoの中に作る。3本脚で立つバランスをそこで練習してから、実物のペダルを踏む。

人の動画から入る例もある。装着カメラで撮った人の手作業の動画から、作業に関係する物体を特定し、凹んだ容器の形まで作り直したうえで、人の手の軌跡を76自由度の両腕ヒューマノイド（5本指の手は各22自由度）に移し替える。紙に描いたスケッチ1枚から、Apollo 2が球を投げて6個の箱の山を崩すシミュレーションを組み、全身の投球動作を合成して6個すべてが倒れることを確かめる例もある。こちらはシミュレーションの中の結果だ。

左がロボットの実カメラ4視点、右がArgonが再構成して合わせ込んだMuJoCoのシーン（Google for Developers Blog）

実機の数字が示されている例は2つある。机の写真1枚からMuJoCoの双子を作り、77の課題を定義して4,500超のエピソードを自動で集め、汎用のVLA（視覚・言語・行動）モデルを追加学習させたところ、実機の成功率が56%から75%に上がり、完了時間は35秒から24秒に縮んだ。6自由度の小型アームSO-101では、Argonが自分の記録映像を見て失敗の原因を探り、ピック・アンド・プレースの所要時間を58.9秒、22.9秒、17.4秒と3回の反復で縮めた。

物理・空間の推論を問うベンチマークERQAでは、Argonは87.0%だった。開発者向けブログのグラフ（400問、ツールなし）では、比較に並んだ他社の3モデルは74.0〜82.3%だ。Argonは開発者と企業にはAI StudioなどのAPIで、Google AI Ultra加入者にはGoogle Antigravityで、Ultra・Pro加入者にはGeminiアプリで提供される。

Gemini Roboticsからの1年半

Google DeepMindがロボット向けのモデルを打ち出したのは2025年3月12日のGemini Roboticsからだ。このときApptronikと組んで、Gemini 2.0で次世代のヒューマノイドを作ると発表した。6月24日のGemini Robotics On-Deviceは、ロボットの本体で動き、50〜100回の実演で新しい作業に適応できるとした。9月25日のGemini Robotics 1.5では、ある機体で学んだ動きを別の機体へ移せるとし、その移し先の1つにApolloを挙げている。

この流れで見ると、Argonの位置は少し違う。Gemini Roboticsの系列は、ロボットを動かすための専用モデルだった。Argonはコーディングや業務、科学研究にも使う汎用のフロンティアモデルで、ロボットについては「教えるための環境」を作る側に回っている。人が遠隔操作で何十回も実演する代わりに、動画とシミュレーションのコードを入口にする。

人の動画からヒューマノイドの動きを作る研究は以前からある。2025年5月に公開されたVideoMimic（Pieter Abbeel氏、Jitendra Malik氏、Angjoo Kanazawa氏らの論文）は、日常の動画から人と周囲の環境を再構成し、階段の上り下りや椅子への着座をこなす全身制御の方策を学習させた。今回の違いは、再構成からシミュレーションのコード、実機での調整までを1つの汎用モデルがエージェントとして通しで受け持った点にある。

公表されているのは社内テストの結果まで

今回の発表は、Googleの発表記事、開発者向けブログ、動画、研究者の投稿で構成されている。手法を詳しく書いた論文は確認できなかった。合計で何投したのか、ボードまでの距離、シミュレーションで何回練習したのか、人がどこで手を入れたのか、1回の流れに何時間かかったのかは公表されていない。Di Palo氏が「ゼロショットでこなした」と書きつつ実機で数投の練習が要ったと述べている点も、7投連続という数字を読むときの前提になる。

ほかの技能にどこまで広がるかも、これからの話だ。コーンホールは、決まった位置から決まった的へ投げる、繰り返しの効く動作である。開発者向けブログの例も、空き缶、マグカップ、パーティー用の小物と、机や床の上の作業が中心だ。

HuRoC 視点：教える仕事は「動かす」から「撮って確かめる」へ

ヒューマノイドに新しい動きを教えるのは、長く技術者が動きを1つずつ作り込む作業だった。近年は、人が遠隔操作で何十回、何百回と実演してデータを集めるやり方が広がっている。山善などが参加するコンソーシアム「J-HRTI」は約100名が常駐するデータ収集センターを計画し、タイミーとジールスは、データ収集を新しいスポットワークにしようとしている。

Video-to-Sim-to-Realが実用の水準に届けば、教える側の手元に残る仕事は変わる。良い手本を撮ること、AIが作ったシミュレーションが現実と合っているかを見抜くこと、実機の数投を安全に見守ること。動きを作り込む手間の大半をAIが引き受け、人は何を撮り、どこで止めるかを判断する側に回る。

デジタルファブリケーションでは、3Dスキャンで実物をデータに起こし、データから実物を出力する往復が定着した。今回の実演は、同じ往復を「動き」で試したものと読める。日本の工場や介護の現場で撮られた熟練者の手つきの動画も、訓練の入口になりうる。Boston Dynamicsは2026年分のAtlasの出荷先に現代自動車の訓練拠点RMACとGoogle DeepMindを挙げており、ヒューマノイドの機体とモデルの組み合わせは米国で先に固まりつつある。手元の動画を誰がどう撮り、どう権利を整理して訓練場に変えるか。日本の現場にとっての準備は、そこから始まる。

出典