2026/10/30 · Weekly Radar
Latent Space 專訪 Dyna Robotics 首席科學家 Jason Ma:用百萬小時人類影片預訓練的 world-action model Dyna-2,45 分鐘示範就能學新任務,在鼎泰豐連續 24 小時摺餐巾成功率 99.4%。
這是 Latent Space 的 podcast 單集,swyx 與 Vibhu 到 Dyna Robotics 辦公室現場訪問共同創辦人暨首席科學家 Jason Ma。Dyna 上個月發表 Dyna-2,一個用超過一百萬小時人類影片預訓練的 world-action model,宣稱在四個數量級上找到人類資料的多條 scaling law;隨後又推出實體機器人 agent Dyna-2.1。Jason 在 AIE 演講中指出,真實世界機器人的核心挑戰是可靠的長時程自主,Dyna 的模型能連續 24 小時摺餐廳餐巾、成功率 99.4%,連整疊被拉倒都能自行恢復,目前已在鼎泰豐每天摺數千條餐巾。
world-action model 能預測未來影片,也就是世界接下來的狀態,同時利用這個預測產生機器人可執行的動作。Jason 的類比是:人在物理世界行動時,腦中會隱含地想像世界將如何隨自己的動作演變;讓模型先在視覺與物理空間「推理」再輸出動作,就像思考鏈,使模型更靈巧、更穩健,也更能泛化到沒見過的環境。輸入包括相機拍到的過去數秒影像、關節角度等本體感測資料,以及語言指令;輸出是動作,外加未來影片或其表徵。
Dyna-2 底層是 diffusion transformer,採 encoder-only 架構並結合 flow matching,以產生平滑、即時的控制動作。訪談談到機器人沒有相當於網際網路的資料來源,資料是最大的擴展瓶頸,因此依賴第一人稱人類影片、機器人示範與跨形體轉移,並探討合成環境、模擬與能自行生成訓練資料的模型。新任務最少只需約 45 分鐘示範就能學會。
Jason 解釋為何需要裝置端推論與模型蒸餾、為何自己做硬體而非採用現成人形機器人,以及為何選擇輪式半人形而非雙足;靈巧手仍會過熱、部分感測資料缺失是主要硬體瓶頸。他以 Best Western 與鼎泰豐為例,區分機器人試點與規模化部署的差別,並談到許多機器人新創之所以失敗。
包括機器人版的 bitter lesson(擴大資料而非打造專門解法)、讓機器人執行多步驟、長達一小時實體工作流程的 agentic harness、GPT-6 與 coding agent 如何用來生成機器人研究的模擬環境、world-action model 與 vision-language-action model 的比較(以及為何只靠視覺可能不夠),還有 Jason 從 AlphaGo、Penn、NVIDIA、Google DeepMind 的 Eureka 專案到創辦 Dyna 的經歷,與 Dyna 以部署為先的研究文化和數百萬台機器人的願景。
機器人圈終於有一個不是在發表會上摺衣服的 benchmark——鼎泰豐的餐巾。Demo 拍得再炫,真正的 KPI 是能不能撐過午餐尖峰不翻車。