在目前的 AI 視覺領域中，我們已經擁有非常強大的感知能力。給模型可以精準地追蹤影片中物體的移動軌跡，但這本質上是一種「回溯式」的觀察，也就是在事情發生後才告訴我們發生了什麼。然而，對於機器人手臂抓取杯子，或 AI 生成符合物理邏輯的影片來說，真正關鍵的能力是「預測」：在動作發生前，就提前知道物體在 3D 空間中將如何移動。
這正是 MolmoMotion 想要解決的問題。它是一個語言驅動的 3D 運動預測模型，能夠根據一張圖片、物體上的幾個 3D 標記點以及一段文字指令（例如：移動並旋轉桌上的果盤），預測這些點在未來幾秒內的 3D 軌跡。
為什麼選擇 3D 點軌跡作為表示法
在開發預測模型時，選擇如何定義運動（Representation）至關重要。MolmoMotion 捨棄了傳統的骨架模型或全影片渲染，而選擇使用「附著在物體上的 3D 點」。這種做法有三個核心優勢：
第一是類別無關性（Class-agnostic）。它不需要為人類、手部或特定工業零件建立複雜的模板，無論是什麼形狀的物體，只要能定義幾個表面點，就能描述其剛體或部分可變形的運動。
第二是視角穩定性（View-stable）。因為點位是在世界座標系（World Space）中定義的，即便相機在移動或視角改變，物體的物理運動路徑依然保持一致。
第三是直接可用性。這種精簡的 3D 軌跡數據可以直接餵給機器人的路徑規劃器（Robot Policy）或影片生成模型，不需要經過複雜的轉換。
模型架構與兩種預測路徑
MolmoMotion 以 Molmo 2 為骨幹網路，將視覺特徵、文字指令與 2D 查詢點結合。為了應對不同類型的運動預測，研究團隊設計了兩種變體：
自回歸變體（MolmoMotion-AR）將 3D 座標視為結構化文字，像寫文章一樣按時間順序一個接一個地預測座標。這種方式在運動路徑明確時表現最準確，且生成的軌跡非常平滑。
流匹配變體（MolmoMotion-FM）則是在連續的 3D 空間中，將隨機噪聲轉換為運動軌跡。這種方法更擅長處理不確定性，當一個指令可能對應多種合理的未來路徑時，FM 變體能提供更好的表現。
突破數據瓶頸：MolmoMotion-1M
訓練這種模型最大的挑戰在於缺乏數據。網路上的影片雖然多，但幾乎沒有對應的 3D 軌跡標記。為了克服這個問題，團隊建立了一套自動化管線，從海量影片中提取 3D 軌跡，並經過濾除雜訊、平滑處理以及運動區段切割，最終構建出包含 116 萬個影片、涵蓋 736 種運動類型與 5600 種物體的 MolmoMotion-1M 數據集。
同時，他們推出了 PointMotionBench 基準測試集，由人工驗證 2700 個片段，讓模型預測的軌跡能與真實物理路徑進行量化對比，而非僅僅是「看起來像」。
實務應用：機器人規劃與影片生成
MolmoMotion 的能力不僅止於預測，它在下游任務中展現了強大的通用性。
在機器人規劃方面，雖然人類拿杯子和機器人夾杯子的動作不同，但杯子在空間中的移動路徑是相似的。經過微調後，基於 MolmoMotion 的控制策略在模擬環境中的抓取與放置任務成功率從 56% 提升至 76.3%，且學習速度大幅加快。
在影片生成方面，傳統的圖生影模型僅靠文字指令來猜測運動，往往缺乏精準度。若將 MolmoMotion 預測的 3D 軌跡作為引導，生成的影片能更精確地執行複雜動作，例如「紅鶴在行走時將喙浸入水中」這種細微的物理互動。
目前的限制與未來方向
雖然 MolmoMotion 表現強勁，但目前每個物體僅使用 8 個查詢點，這足以預測整體軌跡，但不足以精確描述複雜的表面形變（Deformable motion）。
總結來說，MolmoMotion 將 AI 的能力從單純的視覺感知提升到了對物理世界的預測。這種能跨類別、無需模板且能從普通影片中學習的 3D 運動預測能力，將為下一代具身智能（Embodied AI）與可控內容生成提供關鍵的技術支撐。
來源：huggingface.co / Allen Institute for AI (AI2)
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。