マルチモーダル

概要

マルチモーダルは、画像、音声、文章、センサーの数値など、種類の異なる複数のデータを組み合わせて扱うことを指す。カーネギーメロン大学の研究者らが2017年にまとめたサーベイは、何かが起きたり感じられたりする「様式」をモダリティと呼び、複数のモダリティを含む研究課題をマルチモーダルな問題としている。

ロボットは、カメラの画像、関節の角度、力や触覚の値、人からの言葉の指示を同時に受け取るため、もともとマルチモーダルな情報を扱う機械である。2023年に Google などが発表した PaLM-E は、画像とロボットの状態の推定値を言語モデルの入力に織り込み、ロボットの操作の計画に使った。現在の視覚言語モデルや VLA も、マルチモーダルなモデルの一種である。

HuRoC の記事から

• EXL、AIデータ企業iMeritを最大3.1億ドルで買収完了。フィジカルAIのラベリングが企業買収の対象になった：LiDAR の点群、動画、力覚のログといったマルチモーダルなデータのラベリングを扱った。
• 240億円のロボット基盤モデル公募に13件。ugoは自社工場の組立作業で30万エピソードを集める：マルチモーダル基盤モデルの開発事業と結び付いた公募を扱った。
• BYD、自動車工場を触覚センサーのPaXiniに訓練場として開放と報道。2025年の出資から戦略提携へ：触覚を含むマルチモーダルな身体性データの収集を扱った。

補足

「マルチモーダル」は物流の分野でも、鉄道・船・トラックなど複数の輸送手段を組み合わせる意味で使われる。紛らわしいため、本文からの自動リンクはしていない。