世界模型究竟是什麼?李飛飛、朱軍等人如何解讀?

通用世界模型AI 架構機器人學習Motus具身智能Vidu
1 小時前來源: blockweeks.com
世界模型究竟是什麼?李飛飛、朱軍等人如何解讀?

2026 年,「世界模型」是 AI 圈最沒有共識的詞之一。

一段能夠連續生成的影片,被叫作世界模型;一個隨鍵鼠操作即時變化的數位環境,也被叫作世界模型;在潛空間預測未來狀態的系統,以及直接輸出機器人動作的策略,同樣使用這個名字。

這些模型都在處理世界的資訊,能力邊界卻相去甚遠。生成影片裡的畫面可以足夠逼真,卻違背真實的物理規律;機器人能夠完成一次抓取,也可能只熟悉實驗室裡的物體、機位和動作軌跡。一個系統究竟學到了視覺相關性、物理結構,還是行動與結果之間的關係,僅靠 Demo 很難回答。

概念混亂增加了技術判斷的難度。畫質、幾何精度、預測能力和任務成功率被混在一起比較,不同團隊看似爭奪同一賽道,實際回答的可能是不同問題。

因此,世界模型研究開始回到一個基本問題,模型需要具備哪些能力,才能從生成內容走向理解並改變世界?

李飛飛和 World Labs 按功能將世界模型分為渲染器、模擬器和規劃器,分別輸出像素、世界狀態與動作。

世界模型

連結:https://www.worldlabs.ai/blog/taxonomy-of-world-models

LeCun 則主張在抽象潛空間中學習可預測的世界結構,讓模型保留對理解、推理和規劃有用的資訊。

世界模型

連結:https://ai.meta.com/research/vjepa/

清華大學朱軍給出了第三個角度。早在去年 12 月 Motus 發布時,他就公開闡述「通用世界模型」整體構想,今年 3 月,他又將其定位為連接數位世界與物理世界的基礎。幾個月後,朱軍及團隊在論文《General World Models from First-Principles》中進一步完善這套框架,從第一性原理定義核心能力,並給出一張五級進化路線圖

世界模型

論文連結:https://www.shengshu.com/assets/gwm-principles-and-roadmap.pdf

技術報告:https://www.shengshu.com/zh/general-world-model/

論文將通用世界模型的核心能力歸納為理解、想像和行動。模型需要從歷史觀測中形成對當前世界的判斷,推演不同選擇可能產生的未來,採取行動,再用新觀測修正自身。

沿著這一框架,影片生成、即時互動、潛空間預測和機器人控制可被視為同一條能力路線上的不同階段。

世界模型距離通用智能還有多遠,也被轉化成更具體的問題:它能否維持一個連貫的世界?能否預測干預帶來的後果?能否從真實回饋中學習?又能否逐漸形成目標並組織更複雜的行動?

世界模型的第一性原理

很多人都有過學自行車的經驗。

剛開始時,身體總會搖搖晃晃。看到車把偏向一側,感覺身體重心開始下沉,人會隨即調整方向,再根據新的回饋繼續修正。隨著練習增加,大腦逐漸學會預判某個動作將帶來什麼結果。

這正是世界模型最樸素的含義。

1943 年,Kenneth Craik 提出,人類會在頭腦中形成關於現實的「小尺度模型」,藉此推演不同行動可能帶來的結果。強化學習中的 POMDP 進一步描述了這個過程,智能體接收局部觀測,估計世界狀態,採取動作,再根據新觀測更新判斷。

朱軍團隊將這一邏輯概括為通用世界模型的三項核心能力,它們相互銜接,構成持續更新的閉環:

理解(Understanding):把視覺、語言、聲音、觸覺或機器人感測器等資訊,整合成對當前世界的內部判斷;

想像(Imagination):從當前狀態推演多個可能未來,尤其是「如果我採取動作 A,而不是動作 B,結果會怎樣」;

行動(Action):把預測變成對數位或物理環境的干預,並讓行動後的新觀察反過來檢驗、修正模型。

世界模型

通用世界模型的三項核心能力形成一個閉環:理解負責推斷當前狀態,想像負責預測可能的未來,行動則改變世界,並為下一輪理解提供新的證據。

這也是為什麼,影片生成不等於世界模型的全部。

視頻模型可以回答接下

來畫
面可能是什麼樣,但要走向通用世界模型,它還需要回答「如果我改變這個條件、移動這個物體、施加這個動作,世界會如何不同?」 這類帶有行動條件的預測,才觸及了因果、反事實和可執行決策。

理解、想像、行動,如何形成閉環?

為描述世界模型如何演進,朱軍團隊進一步提出五級路線,即從 L1 生成世界、L2 交互世界和 L3 在世界中行動,逐步走向 L4 自主世界智能體與 L5 世界組織者。

世界模型

用一隻被推到桌邊的玻璃杯來理解,會更直觀。

L1 的模型可以生成杯子滑落、撞擊、碎裂的連續畫面;L2 的模型可以在用戶改了視角、改變推動方向後繼續演化這個世界;到了 L3,模型需要判斷杯子是否要掉落、預測伸手是否來得及,並輸出機器人真正可以執行的抓取動作。只有行動後,它才會知道自己對杯子的重量、摩擦和抓取時機判斷得是否正確。

再往上,L4 不再只等人給指令,它要能發現風險、主動觀察、補充信息,並在失敗後修正策略。L5 則進一步面對多主體協作,比如誰去抓杯子、誰去避障、誰來調配工具,如何在環境變化後重排任務。

這條路線的意義在於,它把「世界模型」從一個名詞,變成了一組可以逐級檢驗的問題。

L1 看生成軌跡是否連貫,L2 看世界能否持續響應,L3 看模型能否改變物理環境,L4 看系統能否主動探索和持續學習,L5 看它能否組織開放環境中的多主體協作。

世界模型

通用世界模型(GWM)五級路線圖的形式化建模目標與習得能力。

按照論文給出的判斷,現有系統已經觸及前三個層級,L4 和 L5 仍是開放問題,主要缺口包括因果與物理接地、持久記憶、在線學習、高效部署和安全控制。評測也要比較預測與真實結果,考察模型在陌生任務、環境和本體上的遷移能力。

從視頻到具身,同一個假設的兩次驗證

世界模型的難處,並不只在算法。

互聯網視頻規模巨大,記錄了廣泛的物體、人物、場景和運動,模型可以從中學習空間結構、物體持續性、人類行為以及事件通常如何發展,但視頻很少同步記錄造成變化的動作、力量和意圖。機器人軌跡能夠連接觀測、動作和結果,採集成本卻更高,也容易綁定具體硬件和任務。

朱軍團隊提出的路徑,是把這兩類數據放入一座由觀察走向行動的數據金字塔。

世界模型

通用世界模型(GWM)的數據金字塔及其與五級能力路線圖的關係。

底層是互聯網規模的視頻,用來獲得世界知識和動態先驗,向上依次是領域視頻、第一視角人類視頻、帶有動作記錄的人類示範,頂層是真實機器人交互數據。越往上,數據越稀缺、成本越高,但動作、任務與機器人本體的對應關係也越清楚。

這就解釋了為什麼生數科技會同時推進視頻生成與具身智能:視頻提供世界知識的廣度,機器人數據完成行動接地

在數字世界一側,

Vidu
系列持續探索對視覺世界的生成與交互。視頻不是世界模型的終點,卻是重要的起點,它讓模型在大規模時空變化中學習對象、場景、運動與事件如何演化。

Vidu
S1 則進一步把一次性生成推進到實時響應,讓用戶輸入可以持續改變後續內容,測試模型是否能在交互過程中保持狀態連續。

在物理世界一側,Motus 與 Motubrain 將環境理解、狀態預測與機器人動作接入同一條鏈路。模型需要看清環境,預測干預的後果,再將判斷轉化為能夠執行的動作,並接受真實結果的檢驗。

世界模型

實現 L1 至 L3 的現有代表性系統。

兩條產品線由此形成對同一個世界模型假設的兩次驗證。數字環境檢驗模型能否理解並想像世界,物理環境檢驗這些知識能否支持行動,並在反饋中得到修正。

要讓兩類驗證共享底層能力,圖像、影片、語言和機器人動作需要圍繞同一個世界狀態協同計算,傳統模組化系統逐級傳遞資訊,容易在介面處損失幾何、時間和不確定性資訊。所有模態完全共享參數,也可能造成訓練衝突,讓海量影片資料壓制稀缺的機器人訊號。

朱軍團隊提出的MoT(Mixture-of-Transformers)架構,嘗試在兩者之間取得平衡。不同模態保留各自的專家參數,再透過共享注意力機制交換上下文。視覺告訴模型環境中發生了什麼,語言提供目標和約束,動作帶來對環境的干預,三類資訊共同更新模型對世界的判斷。

MoT 提供了統一計算的基礎,物理規律、跨本體遷移、即時推理和安全控制仍需依靠資料、訓練與系統工程解決。其指向的目標十分明確,通用世界模型需要一個能被不同模態共同讀寫、持續更新的世界狀態。

Motus2:

讓機器人在動手之前

先在自己的世界裡試一遍

如果說 Motus 與 Motubrain 將生數的世界模型探索推進到 L3,使機器人能夠根據環境理解和未來預測生成動作,那麼近期提出的 Motus2 則進一步加入結果評估與策略回饋,嘗試讓行動閉環具備自我改進能力。

Motus2 沒有把動作生成、未來模擬和結果評估做成三套彼此獨立的系統。相反,它以一套共享參數的影片 — 動作模型,暴露出三種控制介面:

策略(Policy / World-Action Model):提出可以執行的候選動作;

模擬器(Simulator / Action-Conditioned World Model):預測這些動作在視覺世界中可能造成的後果;

評估器(Evaluator / Value Model):判斷哪一種結果更接近任務目標,並把這一判斷用於選擇和改進。

可以把它想成一次真正的「先心靈,再手巧」。

機器人不再只是看到物體後直接給出一個動作,而是先提出幾種候選方案,在模型中預演各自會帶來的畫面和任務進度,再選擇更好的那一步。執行以後,成功、失敗和不那麼理想的結果也不再只是資料廢料,而會成為下一輪動力學建模與價值學習的證據。

動作、預測、評估、回饋和再行動由此進入同一個決策與學習迴路,這也是 Motus2 所強調的閉環自進化。

在資料側,Motus2 採用分層訓練路徑,從單目第一視角影片擴展到同步雙目第一視角資料,再透過機器人資料完成本體適配。其訓練使用約 13 萬小時的人類第一視角記錄,以及超過 100 小時的機器人軌跡和人機對齊資料。

這一條路徑是先讓模型累積一份關於人如何與世界互動的共同經驗,再讓它透過機器人資料學習這具身體如何把理解變成動作。

世界模型

在執行側,Motus2 還透過獨立的輕量觸覺專家,對即將執行的短動作進行細化,並預測接觸後的力回饋。視覺擅長看清物體在哪裡、世界大致如何變化,觸覺則補上接觸發生時最難的「最後一厘米」,讓模型在「看得見」之外,對壓、碰、抓、旋等細膩操作多一層即時校正。

Motus2 仍處於從 L3 向 L4 延伸的階段。當前驗證主要集中在特定機器和操作任務,自主目標形成、持久記憶、開放環境泛化、長期線上學習與安全控制仍有待探索。

它的主要進展,是將策略生成、未來模擬、價值評估和觸覺回饋放入同一套系統,讓機器人能夠在行動前預演後果,在行動後利用結果改進策略,為走向 L4 自主世界智能體提供一條可檢驗的路徑。

從機率學習到世界智能

一條中國技術路徑

通用世界模型的框架,也延續了朱軍及清華 TSAIL 長期積累的研究方向。

朱軍教授長期研究貝氏方法、機率機器學習、生成模型與強化學習,分別處理不確定性、資料分布、未來生成和行動決策。

TSAIL 也培養和影響了一批進入全球前沿團隊的研究者。宋颺本科階段曾與朱軍合作貝氏學習研究,宋佳銘本科期間也參與相關工作,後來分別在得分生成模型和 DDIM 方向產生重要影響。

從機率建模到生成與決策,這條學術脈絡也映照出AGI 發展的兩類入口。一類從語言出發,逐步增強推理、工具調用和任務執行能力;另一類從視覺與動態世界出發,繼續走向即時互動和具身行動。

放在中國 AGI 產業版圖中,智譜與生數可以視兩條路徑的代表。智譜從語言模型出發,持續增強推理、Coding 和 Agent 能力;生數則從影片生成出發,進一步進入即時互動、具身行動與策略優化。

兩條路線正在相互滲透。語言 Agent 需要視覺回饋和環境模型,世界模型也需要語言表達目標、規則與計劃,不同入口最終都指向對語言、世界狀態和行動的共同建模。

結語

世界模型的競爭,最終會從 Demo 的震撼程度,轉向系統經受回饋的能力。

畫面可以製造可信的第一印象,幾何和物理決定這個世界能否被反覆使用,行動則把模型的判斷帶進現實。一次預測是否成立,要等干預發生後才能確認;一次任務是否成功,也要放到陌生場景、長期運行和持續變化中檢驗。

朱軍團隊的論文沒有替世界模型之爭寫下最後答案,卻提供了一組可以繼續檢驗的問題:模型理解了什麼,能夠想像多遠,行動之後能否修正自己

過去十年,AI 最重要的進展來自學習語言和資料中的規律。下一階段,模型還要面對持續變化的環境。當模型能夠在這樣的環境中不斷形成判斷、承擔行動後果並持續學習,世界模型才會從一個擁擠的技術名詞,逐漸成為通向通用智能的基礎。

本文來自微信公眾號「機器之心」(ID:almosthuman2014),作者:楊文