← キーワード 用語
VLA（Vision-Language-Action）
VLA / Vision-Language-Action / VLAモデル
カメラ画像と言語による指示を入力として受け取り、ロボットの動作を出力する機械学習モデル。視覚言語モデルを土台にして作ることが多い。
概要
VLA（Vision-Language-Action）モデルは、視覚（Vision）と言語（Language）の入力から、ロボットの行動（Action）を直接出力するモデルである。「赤いカップを棚に置いて」のような指示と現在のカメラ画像を受け取り、アームの関節の動きや手先の移動量を逐次出力する。
この呼び名は、Google DeepMind などの研究者が2023年に発表した RT-2 の論文で使われた。RT-2 は、ウェブ規模の画像と文章で学んだ視覚言語モデルを、ロボットの動作軌跡のデータとあわせて追加学習し、ロボットの動作を文字列のトークンとして出力させた。ウェブから得た知識を、学習データに含まれない物や指示への対応に生かせる点が特徴とされる。
以後、この枠組みをとるロボット基盤モデルが各社・各研究機関から発表されている。触覚や力覚を入力に加える派生形も提案されている。
HuRoC の記事から
- つかむ瞬間はVLA、置くのはティーチング。Forcesteedの「Agentic Robotics」はAIが工程ごとに手段を選んで組む：VLA を工程の一部に使い、ティーチングやルールベースと組み合わせる設計を扱った。
- 走りながら土砂をまくダンプを1つのAIで。パーソルクロステクノロジーと松尾研発UnseedがVLAを共同研究：建設機械の走行と作業を VLA で一体的に制御する共同研究を扱った。
- 240億円のロボット基盤モデル公募に13件。ugoは自社工場の組立作業で30万エピソードを集める：触覚を加えた VTLA モデルの開発を含む、国の公募の採択結果を扱った。