En 2026, « modèle du monde » est l'un des termes les moins consensuels dans le monde de l'IA.
Une vidéo pouvant être générée en continu est appelée modèle du monde ; un environnement numérique qui change en temps réel avec les opérations du clavier et de la souris est également appelé modèle du monde ; les systèmes qui prédisent les états futurs dans l'espace latent, ainsi que les politiques qui produisent directement les actions d'un robot, utilisent aussi ce nom.
Ces modèles traitent tous des informations sur le monde, mais leurs limites de capacités sont très éloignées. Les images des vidéos générées peuvent être suffisamment réalistes, mais violer les lois physiques réelles ; un robot peut accomplir une saisie, mais il se peut aussi qu'il ne connaisse que les objets, les positions de caméra et les trajectoires de mouvement du laboratoire. Savoir si un système a appris des corrélations visuelles, une structure physique, ou la relation entre actions et résultats est difficile à répondre à partir d'une simple démo.
La confusion conceptuelle accroît la difficulté du jugement technique. La qualité d'image, la précision géométrique, la capacité de prédiction et les taux de réussite des tâches sont mélangés pour être comparés ; différentes équipes semblent concourir sur la même piste, mais répondent peut-être en réalité à des questions différentes.
Par conséquent, la recherche sur les modèles du monde commence à revenir à une question fondamentale : quelles capacités un modèle doit-il posséder pour passer de la génération de contenu à la compréhension et à la transformation du monde ?
Li Feifei et World Labs divisent les modèles du monde par fonction en moteurs de rendu, simulateurs et planificateurs, qui produisent respectivement des pixels, des états du monde et des actions.
Lien : https://www.worldlabs.ai/blog/taxonomy-of-world-models
LeCun, en revanche, préconise d'apprendre des structures du monde prévisibles dans un espace latent abstrait, permettant au modèle de conserver les informations utiles à la compréhension, au raisonnement et à la planification.
Lien : https://ai.meta.com/research/vjepa/
Zhu Jun de l'Université Tsinghua propose un troisième angle. Dès décembre dernier, lors de la sortie de Motus, il a publiquement exposé la vision globale d'un « modèle du monde général » ; en mars de cette année, il l'a positionné comme la fondation reliant le monde numérique et le monde physique. Quelques mois plus tard, Zhu Jun et son équipe ont encore affiné ce cadre dans l'article « General World Models from First-Principles », définissant les capacités fondamentales à partir des premiers principes et fournissant une feuille de route évolutive à cinq niveaux.
Lien de l'article : https://www.shengshu.com/assets/gwm-principles-and-roadmap.pdf
Rapport technique : https://www.shengshu.com/zh/general-world-model/
L'article résume les capacités fondamentales d'un modèle du monde général comme la compréhension, l'imagination et l'action. Un modèle doit former un jugement sur le monde actuel à partir d'observations historiques, simuler les futurs possibles de différents choix, prendre des actions, puis utiliser de nouvelles observations pour se corriger.
Selon ce cadre, la génération vidéo, l'interaction en temps réel, la prédiction dans l'espace latent et le contrôle robotique peuvent être considérés comme différentes étapes sur un même chemin de capacités.
Dans quelle mesure les modèles du monde sont loin de l’intelligence générale est également transformé en questions plus spécifiques : Peut-il maintenir un monde cohérent ? Peut-il prédire les conséquences des interventions ? Peut-il apprendre à partir de retours réels ? Et peut-il progressivement former des objectifs et organiser des actions plus complexes ?
Les principes premiers des modèles du monde
Beaucoup de personnes ont fait l’expérience d’apprendre à faire du vélo.
Au début, le corps vacille toujours. En voyant le guidon s’incliner d’un côté et en sentant le centre de gravité du corps commencer à s’enfoncer, la personne ajuste immédiatement la direction, puis continue à corriger en fonction des nouveaux retours. Avec plus de pratique, le cerveau apprend progressivement à anticiper quel résultat une certaine action apportera.
C’est précisément la signification la plus fondamentale d’un modèle du monde.
En 1943, Kenneth Craik a proposé que les humains forment des « modèles à petite échelle » de la réalité dans leur esprit, les utilisant pour simuler les résultats possibles de différentes actions. Le POMDP en apprentissage par renforcement décrit davantage ce processus : l’agent reçoit des observations partielles, estime l’état du monde, prend des actions, puis met à jour son jugement en fonction des nouvelles observations.
L’équipe de Zhu Jun résume cette logique comme les trois capacités fondamentales d’un modèle du monde général, qui se connectent les unes aux autres et forment une boucle fermée en mise à jour continue :
Compréhension : intégrer des informations telles que la vision, le langage, le son, le toucher ou les capteurs robotiques dans un jugement interne sur le monde actuel ;
Imagination : simuler plusieurs futurs possibles à partir de l’état actuel, en particulier « que se passerait-il si je prenais l’action A au lieu de l’action B » ;
Action : transformer les prédictions en interventions dans l’environnement numérique ou physique, et laisser les nouvelles observations après l’action tester et corriger à leur tour le modèle.
Les trois capacités fondamentales d’un modèle du monde général forment une boucle fermée : la compréhension est responsable de l’inférence de l’état actuel, l’imagination est responsable de la prédiction des futurs possibles, et l’action modifie le monde et fournit de nouvelles preuves pour la prochaine ronde de compréhension.
C’est aussi pourquoi la génération vidéo n’est pas la totalité d’un modèle du monde.
Les modèles vidéo peuvent répondre à quoi pourrait ressembler la prochaine
Laihua
scène, mais pour évoluer vers un modèle du monde général, il doit aussi répondre à des questions comme « Si je change cette condition, déplace cet objet ou applique cette action, en quoi le monde serait-il différent ? » Seules les prédictions avec des conditions d’action comme celles-ci touchent à la causalité, aux contrefactuels et à la prise de décision exécutable.
Comprendre, imaginer, agir — comment forment-ils une boucle fermée ?
Pour décrire comment les modèles du monde évoluent, l’équipe de Zhu Jun a en outre proposé une feuille de route en cinq niveaux, à savoir de L1 générant le monde, L2 interagissant avec le monde, et L3 agissant dans le monde, progressant graduellement vers L4 agents autonomes du monde et L5 organisateurs du monde.
Il est plus intuitif de comprendre cela avec un verre poussé au bord d’une table.
Un modèle L1 peut générer une séquence continue de la tasse glissant, heurtant et se brisant ; un modèle L2 peut continuer à faire évoluer ce monde après que l'utilisateur a changé le point de vue ou la direction de la poussée ; au niveau L3, le modèle doit juger si la tasse va tomber, prédire si tendre la main sera à temps, et produire une action de saisie qu'un robot peut réellement exécuter. Ce n'est qu'après avoir agi qu'il saura si ses jugements sur le poids de la tasse, la friction et le timing de saisie étaient corrects.
En montant encore d'un niveau, L4 n'attend plus simplement les instructions des personnes ; il doit être capable de découvrir les risques, d'observer activement, de compléter les informations et de réviser les stratégies après les échecs. L5 fait face en outre à la collaboration multi-agents, comme qui saisit la tasse, qui évite les obstacles, qui alloue les outils, et comment réorganiser les tâches après que l'environnement a changé.
La signification de cette feuille de route est qu'elle transforme le « modèle du monde » d'un nom en un ensemble de questions qui peuvent être testées niveau par niveau.
L1 examine si les trajectoires générées sont cohérentes, L2 examine si le monde peut répondre en continu, L3 examine si le modèle peut modifier l'environnement physique, L4 examine si le système peut explorer activement et apprendre en continu, et L5 examine s'il peut organiser une collaboration multi-agents dans des environnements ouverts.
Les objectifs de modélisation formels et les capacités acquises de la feuille de route à cinq niveaux pour les modèles du monde généraux (GWM).
Selon le jugement donné dans l'article, les systèmes existants ont déjà atteint les trois premiers niveaux, tandis que L4 et L5 restent des problèmes ouverts. Les principales lacunes comprennent l'ancrage causal et physique, la mémoire persistante, l'apprentissage en ligne, le déploiement efficace et le contrôle de sécurité. L'évaluation doit également comparer les prédictions avec les résultats réels et examiner la transférabilité du modèle à des tâches, des environnements et des incarnations non familiers.
De la vidéo à l'incarnation, deux validations de la même hypothèse
La difficulté des modèles du monde ne réside pas seulement dans les algorithmes.
La vidéo sur Internet est d'une échelle massive et enregistre une large gamme d'objets, de personnes, de scènes et de mouvements. Les modèles peuvent en apprendre la structure spatiale, la permanence des objets, le comportement humain et la manière dont les événements se déroulent habituellement, mais la vidéo enregistre rarement simultanément les actions, les forces et les intentions qui causent les changements. Les trajectoires de robots peuvent relier les observations, les actions et les résultats, mais les coûts de collecte sont plus élevés, et elles sont facilement liées à un matériel et à des tâches spécifiques.
La voie proposée par l'équipe de Zhu Jun consiste à placer ces deux types de données dans une pyramide de données qui va de l'observation à l'action.
La pyramide de données des modèles du monde généraux (GWM) et sa relation avec la feuille de route des capacités à cinq niveaux.
À la base se trouve la vidéo à l'échelle d'Internet, utilisée pour acquérir des connaissances sur le monde et des a priori dynamiques. Au-dessus, dans l'ordre, se trouvent la vidéo de domaine, la vidéo humaine à la première personne, les démonstrations humaines avec enregistrements d'actions, et au sommet, les données d'interaction réelles de robots. Plus on monte, plus les données sont rares et coûteuses, mais plus la correspondance entre les actions, les tâches et les incarnations robotiques est claire.
Cela explique pourquoi Shengshu Technology fait progresser à la fois la génération vidéo et l'intelligence incarnée : la vidéo fournit l'étendue des connaissances sur le monde, tandis que les données robotiques complètent l'ancrage des actions.
Du côté du monde numérique,
Vidu
la série continue d'explorer la génération et l'interaction avec le monde visuel. La vidéo n'est pas le point d'aboutissement des modèles du monde, mais elle constitue un point de départ important, permettant aux modèles d'apprendre comment les objets, les scènes, les mouvements et les événements évoluent au milieu de changements spatio-temporels à grande échelle.
Vidu
S1 fait progresser la génération en un seul coup vers une réponse en temps réel, permettant à l'entrée de l'utilisateur de modifier continuellement le contenu ultérieur et testant si le modèle peut maintenir la continuité de l'état pendant l'interaction.
Du côté du monde physique, Motus et Motubrain relient la compréhension de l'environnement, la prédiction d'état et les actions du robot dans un même pipeline. Le modèle doit voir clairement l'environnement, prédire les conséquences d'une intervention, puis traduire les jugements en actions exécutables et les soumettre à la validation par des résultats réels.
Systèmes représentatifs existants qui réalisent L1 à L3.
Les deux lignes de produits forment ainsi deux validations de la même hypothèse de modèle du monde. L'environnement numérique teste si le modèle peut comprendre et imaginer le monde, tandis que l'environnement physique teste si cette connaissance peut soutenir l'action et être révisée par le retour d'information.
Pour permettre aux deux types de vérification de partager des capacités sous-jacentes, les images, la vidéo, le langage et les actions du robot doivent calculer en collaboration autour du même état du monde. Les systèmes modulaires traditionnels transmettent l'information niveau par niveau, ce qui perd facilement les informations géométriques, temporelles et d'incertitude aux interfaces. Le partage complet des paramètres entre toutes les modalités peut également provoquer des conflits d'entraînement, laissant d'énormes données vidéo supprimer les signaux robotiques rares.
L'architecture MoT (Mixture-of-Transformers) proposée par l'équipe de Zhu Jun tente de trouver un équilibre entre les deux. Différentes modalités conservent leurs propres paramètres experts, puis échangent le contexte via un mécanisme d'attention partagé. La vision indique au modèle ce qui se passe dans l'environnement, le langage fournit les objectifs et les contraintes, et l'action apporte l'intervention dans l'environnement ; les trois types d'informations mettent à jour conjointement le jugement du modèle sur le monde.
MoT fournit la base d'un calcul unifié, mais les lois physiques, le transfert entre embodiments, l'inférence en temps réel et le contrôle de sécurité doivent encore être résolus par les données, l'entraînement et l'ingénierie des systèmes. L'objectif qu'il vise est très clair : un modèle général du monde a besoin d'un état du monde qui peut être lu et écrit conjointement par différentes modalités et continuellement mis à jour.
Motus2 :
Laisser les robots, avant d'agir,
d'abord l'essayer dans leur propre monde
Si Motus et Motubrain ont fait progresser l'exploration du modèle du monde de Shengshu jusqu'à L3, permettant aux robots de générer des actions basées sur la compréhension de l'environnement et la prédiction de l'avenir, alors le Motus2 récemment proposé ajoute davantage l'évaluation des résultats et le retour de politique, tentant de donner à la boucle d'action une capacité d'auto-amélioration.
Motus2 ne fait pas de la génération d'actions, de la simulation future et de l'évaluation des résultats trois systèmes mutuellement indépendants. Au lieu de cela, il utilise un seul modèle vidéo-action avec des paramètres partagés pour exposer trois interfaces de contrôle :
Politique (Policy / World-Action Model) : propose des actions candidates exécutables ;
Simulateur (Simulator / Action-Conditioned World Model) : prédit les conséquences possibles de ces actions dans le monde visuel ;
Évaluateur (Evaluator / Value Model) : juge quel résultat est le plus proche de l'objectif de la tâche, et utilise ce jugement pour la sélection et l'amélioration.
Vous pouvez le considérer comme un véritable cas de « d'abord l'esprit, puis les mains ».
Le robot ne se contente plus de donner directement une action après avoir vu un objet. Au lieu de cela, il propose d'abord plusieurs plans candidats, répète dans le modèle les images et la progression des tâches que chacun apporterait, puis choisit la meilleure étape. Après l'exécution, le succès, l'échec et les résultats moins qu'idéaux ne sont plus de simples déchets de données, mais deviennent des preuves pour le prochain cycle de modélisation dynamique et d'apprentissage de la valeur.
Action, prédiction, évaluation, retour d'information et nouvelle action entrent ainsi dans la même boucle de décision et d'apprentissage, qui est aussi l'auto-évolution en boucle fermée mise en avant par Motus2.
Du côté des données, Motus2 adopte un parcours d'entraînement hiérarchique, s'étendant de la vidéo monoculaire à la première personne à des données binoculaires synchronisées à la première personne, puis complétant l'adaptation à l'incarnation grâce aux données robotiques. Son entraînement utilise environ 130 000 heures d'enregistrements humains à la première personne, ainsi que plus de 100 heures de trajectoires robotiques et de données d'alignement homme-robot.
Ce parcours permet d'abord au modèle d'accumuler une expérience partagée de la façon dont les humains interagissent avec le monde, puis de lui faire apprendre grâce aux données robotiques comment ce corps transforme la compréhension en action.
Du côté de l'exécution, Motus2 utilise également un expert tactile léger indépendant pour affiner les actions courtes sur le point d'être exécutées et prédire le retour de force après contact. La vision est bonne pour voir où se trouvent les objets et comment le monde change approximativement, tandis que le toucher comble le « dernier centimètre » le plus difficile lors du contact, donnant au modèle une couche supplémentaire de correction en temps réel pour les opérations délicates telles que presser, toucher, saisir et faire tourner au-delà de « pouvoir voir ».
Motus2 est encore au stade de l'extension de L3 à L4. La validation actuelle se concentre principalement sur des robots et des tâches de manipulation spécifiques, et la formation autonome d'objectifs, la mémoire persistante, la généralisation en environnement ouvert, l'apprentissage en ligne à long terme et le contrôle de sécurité restent à explorer.
Son principal progrès consiste à placer la génération de politiques, la simulation future, l'évaluation de la valeur et le retour tactile dans le même système, permettant aux robots de répéter les conséquences avant d'agir et d'utiliser les résultats pour améliorer les stratégies après avoir agi, offrant ainsi une voie testable vers des agents mondiaux autonomes de niveau L4.
De l'apprentissage probabiliste à l'intelligence du monde
Une voie technologique chinoise
Le cadre des modèles mondiaux généraux poursuit également la direction de recherche à long terme accumulée par Zhu Jun et Tsinghua TSAIL.
Le professeur Zhu Jun a longtemps étudié les méthodes bayésiennes, l'apprentissage automatique probabiliste, les modèles génératifs et l'apprentissage par renforcement, traitant respectivement de l'incertitude, de la distribution des données, de la génération future et de la prise de décision d'action.
TSAIL a également formé et influencé un groupe de chercheurs qui ont rejoint les meilleures équipes mondiales. Song Yang a collaboré avec Zhu Jun sur la recherche en apprentissage bayésien pendant ses années de licence, et Song Jiaming a également participé à des travaux connexes pendant sa période de licence, produisant plus tard des impacts importants respectivement dans les modèles génératifs basés sur le score et les directions DDIM.
De la modélisation probabiliste à la génération et à la prise de décision, cette lignée académique reflète également deux types de points d'entrée pour le développement de l'AGI. L'un part du langage et améliore progressivement les capacités de raisonnement, d'appel d'outils et d'exécution de tâches ; l'autre part de la vision et du monde dynamique et continue vers l'interaction en temps réel et l'action incarnée.
Dans le paysage industriel chinois de l'AGI, Zhipu et Shengshu peuvent être considérés comme des représentants des deux voies. Zhipu part des modèles linguistiques et améliore continuellement les capacités de raisonnement, de codage et d'agent ; Shengshu part de la génération vidéo et entre plus avant dans l'interaction en temps réel, l'action incarnée et l'optimisation des politiques.
Les deux routes se pénètrent mutuellement. Les agents linguistiques ont besoin de retours visuels et de modèles d'environnement, et les modèles mondiaux ont également besoin du langage pour exprimer des objectifs, des règles et des plans. Différents points d'entrée mènent finalement tous à la modélisation conjointe du langage, de l'état du monde et de l'action.
Conclusion
La compétition dans les modèles mondiaux passera finalement de l'effet de choc des démos à la capacité des systèmes à résister au retour d'information.
Les images peuvent créer une première impression crédible, la géométrie et la physique déterminent si ce monde peut être utilisé de manière répétée, et l'action traduit le jugement du modèle dans la réalité. Qu'une prédiction tienne doit attendre qu'une intervention se produise pour être confirmée ; qu'une tâche réussisse doit également être testée dans des scénarios inconnus, un fonctionnement à long terme et un changement continu.
L'article de l'équipe de Zhu Jun n'écrit pas la réponse finale au débat sur les modèles du monde, mais il fournit un ensemble de questions qui peuvent continuer à être testées : ce que le modèle comprend, jusqu'où il peut imaginer, et s'il peut se corriger après avoir agi.
Au cours de la dernière décennie, les progrès les plus importants de l'IA sont venus de l'apprentissage des schémas dans le langage et les données. À l'étape suivante, les modèles devront également faire face à des environnements en évolution continue. Lorsque les modèles pourront continuellement former des jugements, assumer les conséquences de leurs actions et continuer à apprendre dans de tels environnements, les modèles du monde passeront progressivement d'un terme technique encombré à une fondation sur le chemin de l'intelligence générale.
Cet article provient du compte public WeChat « 机器之心 » (ID : almosthuman2014), auteur : Yang Wen
