Im Jahr 2026 ist „Weltmodell“ einer der am wenigsten einheitlich definierten Begriffe in der KI-Welt.
Ein Video, das kontinuierlich generiert werden kann, wird als Weltmodell bezeichnet; eine digitale Umgebung, die sich in Echtzeit mit Tastatur- und Mausoperationen verändert, wird ebenfalls als Weltmodell bezeichnet; Systeme, die zukünftige Zustände im latenten Raum vorhersagen, sowie Richtlinien, die direkt Roboteraktionen ausgeben, verwenden ebenfalls diesen Namen.
Diese Modelle verarbeiten alle Informationen über die Welt, doch ihre Fähigkeitsgrenzen liegen weit auseinander. Die Bilder in generierten Videos können realistisch genug sein, verletzen jedoch reale physikalische Gesetze; ein Roboter kann einen Griff abschließen, aber er kennt möglicherweise nur die Objekte, Kamerapositionen und Bewegungsbahnen im Labor. Ob ein System visuelle Korrelationen, physikalische Struktur oder die Beziehung zwischen Aktionen und Ergebnissen gelernt hat, ist allein anhand einer Demo schwer zu beantworten.
Konzeptuelle Verwirrung erhöht die Schwierigkeit der technischen Beurteilung. Bildqualität, geometrische Präzision, Vorhersagefähigkeit und Aufgaben-Erfolgsraten werden miteinander vermischt und verglichen; verschiedene Teams scheinen auf derselben Strecke zu konkurrieren, beantworten aber möglicherweise tatsächlich unterschiedliche Fragen.
Daher beginnt die Weltmodell-Forschung, zu einer grundlegenden Frage zurückzukehren: Welche Fähigkeiten muss ein Modell haben, um von der Generierung von Inhalten zum Verständnis und zur Veränderung der Welt überzugehen?
Li Feifei und World Labs unterteilen Weltmodelle nach Funktion in Renderer, Simulatoren und Planer, die jeweils Pixel, Weltzustände und Aktionen ausgeben.
Link: https://www.worldlabs.ai/blog/taxonomy-of-world-models
LeCun hingegen befürwortet das Erlernen vorhersagbarer Weltstrukturen in einem abstrakten latenten Raum, wodurch das Modell Informationen behält, die für Verständnis, Schlussfolgerung und Planung nützlich sind.
Link: https://ai.meta.com/research/vjepa/
Zhu Jun von der Tsinghua-Universität bietet einen dritten Blickwinkel. Bereits im letzten Dezember, als Motus veröffentlicht wurde, legte er öffentlich die Gesamtvision eines „allgemeinen Weltmodells“ dar; im März dieses Jahres positionierte er es als die Grundlage, die die digitale Welt und die physische Welt verbindet. Einige Monate später verfeinerten Zhu Jun und sein Team dieses Framework in dem Paper „General World Models from First-Principles“ weiter, definierten Kernfähigkeiten aus ersten Prinzipien und lieferten eine fünfstufige Evolutions-Roadmap.
Paper-Link: https://www.shengshu.com/assets/gwm-principles-and-roadmap.pdf
Technischer Bericht: https://www.shengshu.com/zh/general-world-model/
Das Paper fasst die Kernfähigkeiten eines allgemeinen Weltmodells als Verständnis, Vorstellungskraft und Handlung zusammen. Ein Modell muss aus historischen Beobachtungen ein Urteil über die aktuelle Welt bilden, die möglichen Zukünfte verschiedener Entscheidungen simulieren, handeln und dann mithilfe neuer Beobachtungen sich selbst korrigieren.
Entlang dieses Frameworks können Videogenerierung, Echtzeit-Interaktion, latente Raumvorhersage und Robotersteuerung als unterschiedliche Stufen auf demselben Fähigkeitspfad betrachtet werden.
Wie weit Weltmodelle von allgemeiner Intelligenz entfernt sind, wird ebenfalls in spezifischere Fragen übersetzt: Kann es eine kohärente Welt aufrechterhalten? Kann es die Konsequenzen von Interventionen vorhersagen? Kann es aus echtem Feedback lernen? Und kann es allmählich Ziele bilden und komplexere Handlungen organisieren?
Die ersten Prinzipien der Weltmodelle
Viele Menschen haben die Erfahrung gemacht, Fahrradfahren zu lernen.
Zuerst wackelt der Körper immer. Wenn man sieht, wie der Lenker zur Seite kippt und spürt, wie der Schwerpunkt des Körpers zu sinken beginnt, passt die Person sofort die Richtung an und korrigiert dann weiter basierend auf neuem Feedback. Mit mehr Übung lernt das Gehirn allmählich, vorherzusagen, welches Ergebnis eine bestimmte Handlung bringen wird.
Genau das ist die grundlegendste Bedeutung eines Weltmodells.
Im Jahr 1943 schlug Kenneth Craik vor, dass Menschen „kleinmaßstäbliche Modelle“ der Realität in ihrem Geist bilden und sie nutzen, um die möglichen Ergebnisse verschiedener Handlungen zu simulieren. POMDP im Reinforcement Learning beschreibt diesen Prozess weiter: Der Agent erhält partielle Beobachtungen, schätzt den Weltzustand, führt Aktionen aus und aktualisiert dann sein Urteil basierend auf neuen Beobachtungen.
Das Team von Zhu Jun fasst diese Logik als die drei Kernfähigkeiten eines allgemeinen Weltmodells zusammen, die miteinander verbunden sind und einen sich kontinuierlich aktualisierenden geschlossenen Kreislauf bilden:
Verstehen: Integration von Informationen wie Vision, Sprache, Klang, Berührung oder Robotersensoren in ein internes Urteil über die aktuelle Welt;
Vorstellungskraft: Simulation mehrerer möglicher Zukünfte aus dem aktuellen Zustand, insbesondere „was würde passieren, wenn ich Aktion A statt Aktion B ausführen würde“;
Handeln: Umwandlung von Vorhersagen in Interventionen in der digitalen oder physischen Umgebung und die neuen Beobachtungen nach der Handlung wiederum zur Prüfung und Korrektur des Modells nutzen.
Die drei Kernfähigkeiten eines allgemeinen Weltmodells bilden einen geschlossenen Kreislauf: Verstehen ist für die Ableitung des aktuellen Zustands verantwortlich, Vorstellungskraft ist für die Vorhersage möglicher Zukünfte verantwortlich, und Handeln verändert die Welt und liefert neue Belege für die nächste Runde des Verstehens.
Das ist auch der Grund, warum Videogenerierung nicht das Ganze eines Weltmodells ist.
Videomodelle können beantworten, wie die nächste
Laihua
Szene aussehen könnte, aber um sich in Richtung eines allgemeinen Weltmodells zu bewegen, muss es auch Fragen beantworten wie „Wenn ich diese Bedingung ändere, dieses Objekt bewege oder diese Aktion anwende, wie würde die Welt anders sein?“ Nur Vorhersagen mit Handlungsbedingungen wie diesen berühren Kausalität, Kontrafaktizität und ausführbare Entscheidungsfindung.
Verstehen, Vorstellen, Handeln – wie bilden sie einen geschlossenen Kreislauf?
Um zu beschreiben, wie sich Weltmodelle entwickeln, schlug das Team von Zhu Jun weiter eine fünfstufige Roadmap vor, nämlich von L1, das die Welt erzeugt, über L2, das mit der Welt interagiert, und L3, das in der Welt handelt, allmählich in Richtung L4 autonome Weltagenten und L5 Weltorganisatoren.
Es ist intuitiver, dies mit einem Glasbecher zu verstehen, der an den Rand eines Tisches geschoben wird.
Ein L1-Modell kann eine kontinuierliche Sequenz erzeugen, in der die Tasse vom Rand rutscht, aufprallt und zerbricht; ein L2-Modell kann diese Welt weiterentwickeln, nachdem der Benutzer den Blickwinkel oder die Schubrichtung ändert; bei L3 muss das Modell beurteilen, ob die Tasse fallen wird, vorhersagen, ob ein Ausstrecken rechtzeitig erfolgen wird, und eine Greifaktion ausgeben, die ein Roboter tatsächlich ausführen kann. Erst nach dem Handeln wird es wissen, ob seine Beurteilungen über das Gewicht der Tasse, die Reibung und den Greifzeitpunkt korrekt waren.
Weiter oben wartet L4 nicht mehr nur auf Anweisungen von Menschen; es muss in der Lage sein, Risiken zu entdecken, aktiv zu beobachten, Informationen zu ergänzen und Strategien nach Fehlern zu überarbeiten. L5 steht schließlich vor der Zusammenarbeit mehrerer Agenten, etwa wer die Tasse greift, wer Hindernissen ausweicht, wer Werkzeuge zuweist und wie Aufgaben nach einer Änderung der Umgebung neu angeordnet werden.
Die Bedeutung dieser Roadmap liegt darin, dass sie „Weltmodell“ von einem Substantiv in eine Reihe von Fragen verwandelt, die Ebene für Ebene getestet werden können.
L1 betrachtet, ob generierte Trajektorien kohärent sind, L2 betrachtet, ob die Welt kontinuierlich reagieren kann, L3 betrachtet, ob das Modell die physische Umgebung verändern kann, L4 betrachtet, ob das System aktiv erkunden und kontinuierlich lernen kann, und L5 betrachtet, ob es die Zusammenarbeit mehrerer Agenten in offenen Umgebungen organisieren kann.
Die formalen Modellierungsziele und erworbenen Fähigkeiten der fünfstufigen Roadmap für allgemeine Weltmodelle (GWM).
Der in der Arbeit gegebenen Einschätzung zufolge haben bestehende Systeme bereits die ersten drei Stufen erreicht, während L4 und L5 offene Probleme bleiben. Zu den wichtigsten Lücken gehören kausale und physikalische Fundierung, persistenter Speicher, Online-Lernen, effiziente Bereitstellung und Sicherheitskontrolle. Die Evaluierung muss auch Vorhersagen mit realen Ergebnissen vergleichen und die Übertragbarkeit des Modells auf unbekannte Aufgaben, Umgebungen und Verkörperungen untersuchen.
Vom Video zur Verkörperung, zwei Validierungen derselben Hypothese
Die Schwierigkeit von Weltmodellen liegt nicht nur in den Algorithmen.
Internetvideos sind enorm umfangreich und zeichnen eine breite Palette von Objekten, Personen, Szenen und Bewegungen auf. Modelle können daraus räumliche Struktur, Objektpermanenz, menschliches Verhalten und die übliche Entwicklung von Ereignissen lernen, aber Videos zeichnen selten gleichzeitig die Handlungen, Kräfte und Absichten auf, die Veränderungen verursachen. Roboter-Trajektorien können Beobachtungen, Aktionen und Ergebnisse verbinden, aber die Erfassungskosten sind höher, und sie sind leicht an spezifische Hardware und Aufgaben gebunden.
Der von Zhu Juns Team vorgeschlagene Weg besteht darin, diese beiden Datenarten in eine Datenpyramide einzuordnen, die von der Beobachtung zur Aktion führt.
Die Datenpyramide allgemeiner Weltmodelle (GWM) und ihre Beziehung zur fünfstufigen Fähigkeits-Roadmap.
An der Basis stehen internetgroße Videos, die zum Erwerb von Weltwissen und dynamischen Priors verwendet werden. Darüber folgen der Reihe nach Domänenvideos, Ich-Perspektive-Menschenvideos, menschliche Demonstrationen mit Aktionsaufzeichnungen und an der Spitze echte Roboter-Interaktionsdaten. Je weiter oben man sich befindet, desto knapper und kostspieliger sind die Daten, aber desto klarer ist die Entsprechung zwischen Aktionen, Aufgaben und Roboter-Verkörperungen.
Dies erklärt, warum Shengshu Technology sowohl die Videogenerierung als auch die verkörperte Intelligenz vorantreibt: Video liefert die Breite des Weltwissens, während Roboter-Daten die Aktionsfundierung vervollständigen.
Auf der Seite der digitalen Welt setzt die
Vidu
-Serie ihre Erkundung der Generierung und Interaktion mit der visuellen Welt fort. Video ist nicht der Endpunkt von Weltmodellen, aber es ist ein wichtiger Ausgangspunkt, der es Modellen ermöglicht zu lernen, wie sich Objekte, Szenen, Bewegungen und Ereignisse im Rahmen großflächiger raumzeitlicher Veränderungen entwickeln.
Vidu
S1 treibt die One-Shot-Generierung weiter zur Echtzeitreaktion voran, sodass Benutzereingaben nachfolgende Inhalte kontinuierlich verändern können, und testet, ob das Modell während der Interaktion die Zustandskontinuität aufrechterhalten kann.
Auf der Seite der physischen Welt verbinden Motus und Motubrain Umgebungsverständnis, Zustandsvorhersage und Roboteraktionen zu derselben Pipeline. Das Modell muss die Umgebung klar sehen, die Konsequenzen einer Intervention vorhersagen und dann Urteile in ausführbare Aktionen übersetzen und sie durch reale Ergebnisse validieren lassen.
Bestehende repräsentative Systeme, die L1 bis L3 realisieren.
Die beiden Produktlinien bilden somit zwei Validierungen derselben Weltmodell-Hypothese. Die digitale Umgebung testet, ob das Modell die Welt verstehen und sich vorstellen kann, während die physische Umgebung testet, ob dieses Wissen Handlungen unterstützen und durch Feedback überarbeitet werden kann.
Damit die beiden Arten der Verifikation gemeinsame zugrunde liegende Fähigkeiten nutzen können, müssen Bilder, Video, Sprache und Roboteraktionen rund um denselben Weltzustand gemeinsam berechnet werden. Traditionelle modulare Systeme geben Informationen Ebene für Ebene weiter, wodurch an den Schnittstellen leicht geometrische, zeitliche und Unsicherheitsinformationen verloren gehen. Eine vollständige gemeinsame Nutzung von Parametern über alle Modalitäten hinweg kann ebenfalls Trainingskonflikte verursachen und dazu führen, dass massive Videodaten knappe Robotersignale unterdrücken.
Die von Zhu Juns Team vorgeschlagene MoT-Architektur (Mixture-of-Transformers) versucht, ein Gleichgewicht zwischen beiden zu finden. Verschiedene Modalitäten behalten ihre eigenen Expertenparameter bei und tauschen dann Kontext über einen gemeinsamen Aufmerksamkeitsmechanismus aus. Vision teilt dem Modell mit, was in der Umgebung geschieht, Sprache liefert Ziele und Einschränkungen, und Aktion bringt Intervention in die Umgebung; die drei Arten von Informationen aktualisieren gemeinsam das Urteil des Modells über die Welt.
MoT bietet die Grundlage für eine einheitliche Berechnung, aber physikalische Gesetze, Cross-Embodiment-Transfer, Echtzeit-Inferenz und Sicherheitskontrolle müssen noch durch Daten, Training und Systemtechnik gelöst werden. Das Ziel, auf das es hinweist, ist sehr klar: Ein allgemeines Weltmodell benötigt einen Weltzustand, der von verschiedenen Modalitäten gemeinsam gelesen und geschrieben und kontinuierlich aktualisiert werden kann.
Motus2:
Lassen wir Roboter, bevor sie handeln,
zuerst in ihrer eigenen Welt ausprobieren
Wenn Motus und Motubrain Shengshus Weltmodell-Erkundung auf L3 vorangetrieben haben, sodass Roboter Aktionen basierend auf Umgebungsverständnis und Zukunftsprognose generieren können, dann fügt das kürzlich vorgeschlagene Motus2 zusätzlich Ergebnisbewertung und Policy-Feedback hinzu und versucht, dem Aktionskreislauf Selbstverbesserungsfähigkeit zu verleihen.
Motus2 macht Aktionsgenerierung, Zukunftssimulation und Ergebnisbewertung nicht zu drei voneinander unabhängigen Systemen. Stattdessen verwendet es ein einziges Video-Aktions-Modell mit gemeinsam genutzten Parametern, um drei Steuerungsschnittstellen bereitzustellen:
Policy (Policy / World-Action Model): schlägt ausführbare Kandidatenaktionen vor;
Simulator (Simulator / Action-Conditioned World Model): sagt die möglichen Konsequenzen dieser Aktionen in der visuellen Welt voraus;
Evaluator (Evaluator / Value Model): beurteilt, welches Ergebnis dem Aufgabenziel näher kommt, und nutzt dieses Urteil zur Auswahl und Verbesserung.
Man kann es sich als einen echten Fall von „zuerst der Geist, dann die Hände“ vorstellen.
Der Roboter gibt nicht mehr einfach direkt eine Aktion aus, nachdem er ein Objekt gesehen hat. Stattdessen schlägt er zunächst mehrere Kandidatenpläne vor, probt im Modell die Bilder und den Aufgabenfortschritt, die jeder mit sich bringen würde, und wählt dann den besseren Schritt. Nach der Ausführung sind Erfolg, Misserfolg und weniger als ideale Ergebnisse kein bloßer Datenmüll mehr, sondern werden zu Belegen für die nächste Runde der Dynamikmodellierung und des Wertlernens.
Aktion, Vorhersage, Bewertung, Rückmeldung und erneute Aktion treten somit in denselben Entscheidungs- und Lernkreislauf ein, der auch die von Motus2 betonte geschlossene Selbstentwicklung ist.
Auf der Datenseite verfolgt Motus2 einen hierarchischen Trainingspfad, der sich von monokularem First-Person-Video zu synchronisierten binokularen First-Person-Daten erweitert und dann durch Roboterdaten die Verkörperungsanpassung abschließt. Für sein Training verwendet es etwa 130.000 Stunden menschlicher First-Person-Aufzeichnungen sowie mehr als 100 Stunden Roboter-Trajektorien und Mensch-Roboter-Ausrichtungsdaten.
Dieser Pfad lässt das Modell zunächst eine gemeinsame Erfahrung darüber ansammeln, wie Menschen mit der Welt interagieren, und dann durch Roboterdaten lernen, wie dieser Körper Verständnis in Handlung umsetzt.
Auf der Ausführungsseite verwendet Motus2 außerdem einen unabhängigen, leichten taktilen Experten, um die kurz vor der Ausführung stehenden kurzen Aktionen zu verfeinern und die Kraftrückmeldung nach dem Kontakt vorherzusagen. Das Sehen ist gut darin, zu erkennen, wo sich Objekte befinden und wie sich die Welt ungefähr verändert, während der Tastsinn den schwierigsten "letzten Zentimeter" beim Kontakt ausfüllt und dem Modell eine zusätzliche Ebene der Echtzeitkorrektur für feinfühlige Operationen wie Drücken, Berühren, Greifen und Drehen über das "Sehen-Können" hinaus verleiht.
Motus2 befindet sich noch in der Phase der Erweiterung von L3 auf L4. Die derzeitige Validierung konzentriert sich hauptsächlich auf bestimmte Roboter und Manipulationsaufgaben, und autonome Zielbildung, persistenter Speicher, Generalisierung in offenen Umgebungen, langfristiges Online-Lernen und Sicherheitskontrolle müssen noch erforscht werden.
Sein Hauptfortschritt besteht darin, Richtlinien-Generierung, Zukunftssimulation, Wertbewertung und taktile Rückmeldung in dasselbe System zu integrieren, sodass Roboter Konsequenzen vor dem Handeln proben und Ergebnisse nach dem Handeln zur Verbesserung von Strategien nutzen können, was einen testbaren Weg hin zu autonomen Weltagenten der Stufe L4 bietet.
Vom probabilistischen Lernen zur Weltintelligenz
Ein chinesischer technologischer Weg
Der Rahmen allgemeiner Weltmodelle führt auch die langfristige Forschungsrichtung fort, die von Zhu Jun und Tsinghua TSAIL aufgebaut wurde.
Professor Zhu Jun hat lange Zeit Bayes-Methoden, probabilistisches maschinelles Lernen, generative Modelle und Reinforcement Learning untersucht und sich dabei jeweils mit Unsicherheit, Datenverteilung, Zukunftserzeugung und Handlungsentscheidung befasst.
TSAIL hat außerdem eine Gruppe von Forschern ausgebildet und beeinflusst, die in die weltweit führenden Teams eingetreten sind. Song Yang arbeitete während seines Bachelorstudiums mit Zhu Jun an Forschung zum Bayes'schen Lernen, und Song Jiaming war während seines Bachelorstudiums ebenfalls an verwandten Arbeiten beteiligt und erzielte später wichtige Wirkung in den Bereichen score-basierte generative Modelle bzw. DDIM.
Von der probabilistischen Modellierung über die Generierung bis zur Entscheidungsfindung spiegelt diese akademische Linie auch zwei Arten von Einstiegspunkten für die AGI-Entwicklung wider. Eine beginnt bei der Sprache und verbessert schrittweise Fähigkeiten zu Reasoning, Tool-Aufrufen und Aufgabenausführung; die andere beginnt bei der Vision und der dynamischen Welt und geht weiter in Richtung Echtzeitinteraktion und verkörperte Handlung.
Innerhalb der AGI-Industrielandschaft Chinas können Zhipu und Shengshu als Vertreter der beiden Wege angesehen werden. Zhipu beginnt bei Sprachmodellen und verbessert kontinuierlich Reasoning-, Coding- und Agent-Fähigkeiten; Shengshu beginnt bei der Videogenerierung und dringt weiter in Echtzeitinteraktion, verkörperte Handlung und Richtlinienoptimierung vor.
Die beiden Routen durchdringen einander. Sprach-Agenten benötigen visuelles Feedback und Umgebungsmodelle, und Weltmodelle benötigen auch Sprache, um Ziele, Regeln und Pläne auszudrücken. Unterschiedliche Einstiegspunkte weisen letztlich alle auf die gemeinsame Modellierung von Sprache, Weltzustand und Handlung hin.
Fazit
Der Wettbewerb bei Weltmodellen wird sich letztlich vom Schockeffekt von Demos zur Fähigkeit von Systemen verlagern, Rückmeldungen standzuhalten.
Bilder können einen glaubwürdigen ersten Eindruck erzeugen, Geometrie und Physik bestimmen, ob diese Welt wiederholt genutzt werden kann, und Handlung bringt das Urteil des Modells in die Realität. Ob eine Vorhersage zutrifft, muss abgewartet werden, bis nach dem Eingriff bestätigt wird; ob eine Aufgabe erfolgreich ist, muss ebenfalls in unbekannten Szenarien, im Langzeitbetrieb und bei kontinuierlicher Veränderung getestet werden.
Die Arbeit von Zhu Juns Team schreibt nicht die endgültige Antwort auf die Debatte über Weltmodelle, aber sie liefert eine Reihe von Fragen, die weiter getestet werden können: was das Modell versteht, wie weit es sich etwas vorstellen kann und ob es sich nach dem Handeln selbst korrigieren kann.
Im vergangenen Jahrzehnt kam der wichtigste Fortschritt in der KI aus dem Erlernen von Mustern in Sprache und Daten. Im nächsten Stadium müssen sich Modelle auch mit sich kontinuierlich verändernden Umgebungen auseinandersetzen. Wenn Modelle kontinuierlich Urteile bilden, die Konsequenzen von Handlungen tragen und in solchen Umgebungen weiterlernen können, werden Weltmodelle allmählich von einem überlaufenen technischen Begriff zu einer Grundlage auf dem Weg zur allgemeinen Intelligenz.
Dieser Artikel stammt aus dem WeChat-öffentlichen Account „机器之心“ (ID: almosthuman2014), Autor: Yang Wen
