HuRoC Human-Robot Commons
ニュースレター
LATEST
研究と社会

指先10本の触覚で、両手の動きを毎秒20回直す。パナソニックHDらの「T-Rex」が12の接触作業で平均65%

パナソニックHDとPRDCAがUC Berkeley、NVIDIAなどの研究者と開発した両手操作AI「T-Rex」。約5Hzで動作の大枠を作り、指先10本の触覚で約20Hzの補正をかける。接触を伴う12作業の平均は65%で、比較した6手法の最高を30ポイント上回った。

HuRoC 編集部
編集部 · HuRoC
7分

卵を持ち上げるとき、人は殻がたわむ手前で握る力を止める。伏せた麻雀牌の絵柄を、指の腹でなぞって当てることもできる。カメラの映像を主な手がかりにしてきたロボットの学習モデルにとって、こうした指先の感覚は取り込みにくい情報だった。

パナソニック ホールディングス（パナソニックHD）とパナソニックR&Dカンパニーオブアメリカ（PRDCA）は2026年11月5日、カリフォルニア大学バークレー校（UC Berkeley）、NVIDIA、スタンフォード大学、ローマ・ラ・サピエンツァ大学、ItalAIの研究者と共同で、指先の触覚に応じて両手の動きを補正するロボット操作AI「T-Rex（Tactile-Reactive Dexterous Manipulation）」を開発したと発表した。接触を伴う12の実機作業で平均65%を記録し、比較した6手法の最高（35%）を30ポイント上回った。成果は11月9日から米オースティンで開かれるロボット学習の国際会議CoRL 2026で発表する。研究開発ウォッチ（11/6）でも短く紹介した。

大枠は毎秒5回、触覚による仕上げは毎秒20回

発表によれば、T-Rexは視覚と言語から動作を作るVLA（Vision-Language-Action）モデルに指先の触覚を組み込んだものだ。動作生成モジュールが約5Hzで動きの大枠を作り、触覚を処理する動作修正モジュールが約20Hzで動きを細かく補正する。重い画像認識を毎回やり直さずに、滑りや押し込み過ぎに応じられる。

論文によれば、2つの周期は1つのモデルの中にある。Qwen3-VL-2Bを土台に、未来の映像の特徴を予測する「潜在エキスパート」、動作の大枠を作る「行動エキスパート」（各14.1億パラメータ）、触覚で仕上げる「触覚エキスパート」（6.2億）を並べた。16ステップ分の動作の列をノイズから10段階で削り出す際、行動エキスパートが6段階まで進め、残り4段階を触覚エキスパートが最新の触覚を見て仕上げる。触覚側は列の0、4、8、12ステップ目で動き直すので、大枠1回に仕上げが4回入る。論文本文は周波数の値を書いていないが、発表文とGitHubのREADMEにある約5Hzと約20Hzは、この1対4の関係と合う。

T-Rexのモデル構成。左から、未来の映像の特徴を予測する潜在エキスパート、低い周期で動作の大枠を作る行動エキスパート、高い周期で触覚をもとに仕上げる触覚エキスパート（パナソニック ホールディングス）

触覚の入り口は、Sharpa Waveの指先10個

実験の機体は、双腕ロボットDexmate Vega-1に、Sharpaの5本指ハンド「Sharpa Wave」（22自由度）を2つ付けたものだ（論文の付録D）。車輪・胴・首は固定し、両腕の14関節だけを動かした。カメラは頭部1台と両手首2台で、640×360・30Hzで撮る。

各指先から使う信号は、接触面の変形を推定した1チャンネルの「変形深度マップ」と、6軸の力・トルクの2つだ。メーカーの製品ページによれば、Sharpa Wave W01の触覚センサーは解像度240×240、力の分解能0.02N、空間分解能1mm、180fps（W01 SEは60×60、0.05N、2mm、30fps）。論文はどちらの版を使ったかを明記していない。

HondaがCEATEC 2026で見せた多指ハンドは指と手のひらに計288チャンネルの触覚センサーを載せていた。T-Rexの触覚は指先10個に限られ、著者も手のひらの触覚がないことを限界の1つに挙げている。

人の映像2万2,889時間と、触覚付きの遠隔操作100時間

学習は3段階に分かれる。まず、NVIDIAとUC BerkeleyなどのEgoScaleにならい、人の一人称映像22,889時間で触覚なしの事前学習をする。次に、触覚付きのロボットデータ100時間で中間学習を行う。付録Gによれば、日用品207種と基本動作22種の組み合わせから物理的にありえないものを除いた502通りについて、計7,755件を10週間かけて集めた。操作者はManusのデータグローブとVIVEトラッカーで遠隔操作した。最後に、作業ごとに約100件の実演で追加学習する。

T-Rexデータセットの内訳。左上は物のカテゴリの分布、右上は基本動作の分布、下は個々の物ごとの分布（Niu et al., arXiv:2606.17055 の図2。CC BY 4.0）

12作業の内訳。ページめくり96%、電球のねじ込み35%

評価は12の実機作業を各16回、物の位置と向きを毎回変えて行った。論文の表1から、T-Rex、比較手法で最も高かったEgoScale、既存のVLAであるπ0.5の値を抜き出す。

作業中身T-RexEgoScaleπ0.5
ページめくり右手の人差し指で本のページを1枚だけめくる966836
カップの分離重ねたプラスチックカップから1つだけねじって外す783318
中和滴定スポイトで酸を吸い、ビーカーに垂らして混ぜ、色を変える764324
卵の移し替え親指と人差し指で卵を割らずに別のトレーへ移す754417
カードの抜き出しケースの2枚のうち上の1枚だけを抜く70418
皿拭き片手で皿を押さえ、布で汚れを拭き取る693428
歯磨き粉の塗布両手で歯ブラシとチューブを持ち、適量を絞り出す663813
麻雀牌の仕分け伏せた牌の絵柄を指先で判別し、対応する箱に入れる653632
トランプ配り束から1枚だけずらして抜き、カード立てに差す57289
鍵開け鍵を取り、南京錠に差し込んで回す47195
小箱への補充（Refill Tablet）ふたのボタンを押して開け、玉を入れて閉じる41121
電球のねじ込み電球を持ち替え、ソケットにねじ込んで点灯させる351811
平均653517

単位は%。作業の名前は論文の英語名を訳したもの。

T-Rexは12作業のすべてで最も高い。EgoScaleとの差が最も大きいのはカップの分離（45ポイント）で、皿拭き（35ポイント）、中和滴定（33ポイント）が続く。加える力の加減が見た目に表れにくい作業である。一方、鍵開け、小箱への補充、電球のねじ込みは50%に届かない。いずれも小さな物を差し込む、回す、押し込むといった細かな位置合わせを含む。

数字は工程ごとの部分点の合計である点に注意が要る。付録Fによれば、電球のねじ込みは「電球を持つ」0.1、「持ち替える」0.2、「ソケットを押さえる」0.1、「ねじ山にかみ合わせて回し続ける」0.4、「最後まで入って点灯する」0.2の配点だ。発表文の「平均成功率65%」は、最後まで完了した試行の割合とは一致しない。

電球のねじ込み作業の流れ。左手で電球を取り、右手に持ち替え、左手で台座を押さえて右手でねじ込み、点灯させる（Niu et al., arXiv:2606.17055 の図19。CC BY 4.0）

付録Hの失敗例には、電球を台座にぶつける、鍵を持った後に滑り落とす、卵を割らずにつかめたのにトレーの外へ置く、といったものが並ぶ。触覚は力加減には効いたが、置く位置の精度はまだ足りない。

触覚は「足すだけ」では効かない

比較した6手法の平均は、EgoScale 35%、π0.5 17%、Tactile-VLA 15%、RDP 6%、π0.5に触覚を加えたもの6%、ViTacFormer 3%。π0.5の状態入力に1時点の触覚をつなげただけのものは、触覚なしのπ0.5を下回った。

表2と表3の切り分けでは、代表6作業の平均が完全なT-Rexの65%に対し、触覚を外すと42%、大枠と仕上げを同じ周期で動かすと60%だった。学習段階では、ゼロから学ぶと18%、中間学習だけで34%、事前学習だけで45%。大規模な事前学習と、触覚の入れ方の両方が効いている。

公開されたのは、コード、学習済みモデル、データの約半分

GitHubのリポジトリはMITライセンスで、追加学習と推論のコード、データ収集に使った遠隔操作のコードが入り、事前学習と中間学習のコードは別ブランチにある。両段階を終えたチェックポイントもHugging Faceで公開され、利用者は自分の作業の実演から追加学習を始められる。

データは、論文では100時間をMITライセンスで公開する予定としていたが、Hugging Faceで公開されたのは約50時間分（5,464件、MIT）だ。3台のカメラ映像、関節の状態、指先10個の触覚の生画像・変形マップ・6軸の力が入る。12作業の評価に使った作業ごとの実演が公開されているかは、確認できなかった。

論文の著者34人のうち、所属にパナソニックを記すのは1人で、20人はUC Berkeleyの研究者だ。謝辞には、データの一部を集めたパナソニックの社員の名前と、ローマ・ラ・サピエンツァ大学がパナソニックから資金を受けたことが記されている。パナソニックHDは2026年10月にAI・ロボティクス研究開発本部を新設しており、米国拠点を通じた共同研究と自社開発の両方で器用な操作に取り組んでいる。

HuRoC の視点

パナソニックHDは用途として、製造現場での部品の挿入・取り外し・ねじ締めと、物流での柔らかい物や壊れやすい物の扱いを挙げる。12作業の結果に当てはめると、卵や紙のように「壊さない・1枚だけ取る」作業では高い点が出た一方、ねじ込みや鍵の差し込みのような組立に近い作業は35〜47%にとどまる。組立ラインより先に、力加減は要るが位置の公差がゆるい検品や仕分け、包装の工程の方が近い。

歯磨き粉を絞る、小箱のふたを開けて閉じる、皿を拭くといった作業は、手指の力が弱くなった人が日々困る動作とも重なる。ただし評価は実験室の机上で、ロボットの車輪も胴も固定していた。新しい作業1つに約100件の実演が要り、それはデータグローブを着けた人が作る。著者は触覚センサーの歪みや機器ごとの校正のずれをボトルネックに挙げ、異なるセンサーで共通に使える触覚の表現を今後の課題とした。

データと学習済みモデルが公開されたことで、Sharpa Waveを持つ研究室は今回の結果を自分の机で確かめられる。次に知りたいのは、別のハンドと別のセンサーで、この毎秒20回の仕上げがどこまで働くかだ。

出典