2026/10/30 · Weekly Radar
DeepMind 發布 Genie 4 世界模型：可用自然語言即時改寫場景、原生生成音訊與角色對話，並由 Gemini 3.8 Flash 當規劃 agent 拆步驟、逐格驗收；目前僅開放 trusted tester 研究預覽。
這篇是 Google DeepMind（作者 Raia Hadsell、Diego Rivas、Hang Qi）發布新一代世界模型 Genie 4 的公告。主要進步在更高的真實感與更好的即時互動模擬，並能隨畫面一起生成音訊，包括音樂、環境音與角色對白。模型借力 Gemini 家族：Gemini Omni 讓模擬貼近真實世界的外觀與行為，其他 Gemini 模型負責維持連貫性所需的推理。
即時塑造世界：使用者可用自然語言操控正在運行的模擬，例如改天氣、移動鏡頭、加入人或物件。Gemini 會把每個 prompt 調適到周遭場景，並在輸入之間讓世界持續推進。文中示範了湖畔浮台上的薩克斯風場景、草地上的粉色緞面河流、南極熱氣球視角等例子。
物理與人物動作：Genie 4 能模擬空氣動力與碰撞等情境，角色動作自然、會對環境反應，且可即時操控。例子包括西瓜砸到底座、楓樹種子飄落、1980 年代的日本車站。
原生音訊與對話：Genie 4 被描述為第一個原生生成音訊的即時世界模型。世界自帶環境音，角色能進行會因應使用者輸入與世界內事件而調整的互動對話。
以 Gemini 模擬複雜事件：生成過程中由 Gemini 3.8 Flash 擔任引導 agent，觀察場景、把目標拆成步驟、檢查畫面確認每步成功，並在世界改變或使用者介入時修正計畫。文中的機器人例子是 UR5 機械臂把液體注入實驗盤。
團隊正在實驗讓 Gemini 4 Argon 與 Genie 4 合作：Argon 把使用者任務拆成步驟，Genie 4 即時把步驟渲染成文字字幕。示範是 Apptronik 的 Apollo 人形機器人下跳棋。
來自創意產業、新聞、教育、遊戲與工程的測試者回報這些用途：電影工作者把 Genie 4 當前期視覺化的「草稿模式」並拍多個 take；攝影記者把歷史照片轉成模擬，團隊也用它模擬洪水、野火等事件；遊戲開發者在寫引擎程式碼前用 prompt 先做概念原型；企業夥伴評估用它快速生成情境並找出待補的缺口。
文章提出混合式世界模型：結合語言模型的結構化推理與像素層級的模擬——由 Gemini 規劃敘事與結構，Genie 負責渲染世界的外觀、聲音與反應。
Genie 4 內建與 Google 其他模型政策一致的安全防護；預覽前已進行內部安全評估以防止有害或惡意內容；先交給 trusted tester 取得回饋再擴大釋出；所有生成的影片與音訊都帶 SynthID 浮水印，以利辨識 AI 生成內容。
Genie 4 被定位為早期、實驗性的模型。短時段內能保持連貫，但在較長的執行、多次編輯後或在場景中移動時，視覺細節與物件恆存性會漂移。複雜物理互動、即時音訊準確度、可讀文字渲染、空間準確度與長期一致性仍是開放的研究問題。
Genie 4 目前是給 trusted tester 的研究預覽，之後會在 Project Genie 開放給 Google AI Ultra 訂閱者，並在 Gemini API 與 Google AI Studio 開放給早期合作夥伴，但未給確切日期；Project Genie 的候補名單已開放。相關文章包括 Genie 3（2025 年 8 月）、Genie 的 prompt 指南與 Genie 4 模型頁。
示範影片裡西瓜摔得很物理，侷限段卻老實寫著物件恆存性會在長時段漂移——一個記不住剛才桌上放了什麼的「世界」，離模擬器還差一段短期記憶。