W 2026 roku „model świata” to jeden z najmniej uzgodnionych terminów w świecie AI.
Film wideo, który można generować w sposób ciągły, nazywany jest modelem świata; cyfrowe środowisko, które zmienia się w czasie rzeczywistym wraz z operacjami klawiatury i myszy, również nazywane jest modelem świata; systemy przewidujące przyszłe stany w przestrzeni ukrytej, a także polityki bezpośrednio wyprowadzające działania robota, również używają tej nazwy.
Wszystkie te modele przetwarzają informacje o świecie, jednak ich granice możliwości są bardzo odległe. Obrazy w generowanych filmach mogą być wystarczająco realistyczne, a jednak naruszać rzeczywiste prawa fizyki; robot może wykonać chwyt, ale może też znać tylko obiekty, pozycje kamery i trajektorie ruchu w laboratorium. To, czy system nauczył się korelacji wizualnych, struktury fizycznej, czy związku między działaniami a wynikami, trudno jest stwierdzić na podstawie samego demo.
Zamieszanie pojęciowe zwiększa trudność oceny technicznej. Jakość obrazu, precyzja geometryczna, zdolność przewidywania i wskaźniki sukcesu zadań są mieszane razem w celu porównania; różne zespoły wydają się rywalizować na tym samym torze, ale w rzeczywistości mogą odpowiadać na różne pytania.
Dlatego badania nad modelami świata zaczynają wracać do podstawowego pytania: jakie zdolności musi mieć model, aby przejść od generowania treści do rozumienia i zmieniania świata?
Li Feifei i World Labs dzielą modele świata według funkcji na renderery, symulatory i planery, które wyprowadzają odpowiednio piksele, stany świata i działania.
Link: https://www.worldlabs.ai/blog/taxonomy-of-world-models
LeCun natomiast opowiada się za uczeniem się przewidywalnych struktur świata w abstrakcyjnej przestrzeni ukrytej, co pozwala modelowi zachować informacje przydatne do rozumienia, rozumowania i planowania.
Link: https://ai.meta.com/research/vjepa/
Zhu Jun z Uniwersytetu Tsinghua oferuje trzeci kąt widzenia. Już w grudniu zeszłego roku, gdy wydano Motus, publicznie przedstawił ogólną wizję „ogólnego modelu świata”; w marcu tego roku określił go jako fundament łączący świat cyfrowy i świat fizyczny. Kilka miesięcy później Zhu Jun i jego zespół jeszcze bardziej dopracowali te ramy w artykule „General World Models from First-Principles”, definiując kluczowe zdolności od pierwszych zasad i dostarczając pięciopoziomową mapę drogową ewolucji.
Link do artykułu: https://www.shengshu.com/assets/gwm-principles-and-roadmap.pdf
Raport techniczny: https://www.shengshu.com/zh/general-world-model/
Artykuł podsumowuje kluczowe zdolności ogólnego modelu świata jako rozumienie, wyobraźnię i działanie. Model musi sformułować osąd o obecnym świecie na podstawie obserwacji historycznych, symulować możliwe przyszłości różnych wyborów, podejmować działania, a następnie wykorzystywać nowe obserwacje do korygowania się.
Zgodnie z tymi ramami generowanie wideo, interakcja w czasie rzeczywistym, przewidywanie w przestrzeni ukrytej i sterowanie robotem można uznać za różne etapy na tej samej ścieżce zdolności.
Jak daleko modele świata są od ogólnej inteligencji, również przekłada się na bardziej konkretne pytania: Czy potrafi utrzymać spójny świat? Czy potrafi przewidzieć konsekwencje interwencji? Czy potrafi uczyć się z rzeczywistego sprzężenia zwrotnego? I czy potrafi stopniowo formułować cele i organizować bardziej złożone działania?
Pierwsze zasady modeli świata
Wiele osób doświadczyło nauki jazdy na rowerze.
Na początku ciało zawsze się chwieje. Widząc, że kierownica przechyla się na jedną stronę, i czując, że środek ciężkości ciała zaczyna opadać, osoba natychmiast koryguje kierunek, a następnie kontynuuje korektę na podstawie nowego sprzężenia zwrotnego. Wraz z większą praktyką mózg stopniowo uczy się przewidywać, jaki rezultat przyniesie dane działanie.
To jest właśnie najbardziej podstawowe znaczenie modelu świata.
W 1943 roku Kenneth Craik zaproponował, że ludzie tworzą w swoich umysłach „modele w małej skali” rzeczywistości, używając ich do symulowania możliwych wyników różnych działań. POMDP w uczeniu ze wzmocnieniem dodatkowo opisuje ten proces: agent otrzymuje częściowe obserwacje, szacuje stan świata, podejmuje działania, a następnie aktualizuje swój osąd na podstawie nowych obserwacji.
Zespół Zhu Juna podsumowuje tę logikę jako trzy podstawowe zdolności ogólnego modelu świata, które łączą się ze sobą i tworzą stale aktualizującą się zamkniętą pętlę:
Rozumienie: integrowanie informacji, takich jak wzrok, język, dźwięk, dotyk lub czujniki robota, w wewnętrzny osąd dotyczący obecnego świata;
Wyobraźnia: symulowanie wielu możliwych przyszłości na podstawie obecnego stanu, zwłaszcza „co by się stało, gdybym podjął działanie A zamiast działania B”;
Działanie: przekształcanie przewidywań w interwencje w środowisku cyfrowym lub fizycznym oraz pozwalanie, aby nowe obserwacje po działaniu z kolei testowały i korygowały model.
Trzy podstawowe zdolności ogólnego modelu świata tworzą zamkniętą pętlę: rozumienie odpowiada za wnioskowanie o obecnym stanie, wyobraźnia odpowiada za przewidywanie możliwych przyszłości, a działanie zmienia świat i dostarcza nowych dowodów dla następnej rundy rozumienia.
To także dlatego generowanie wideo nie jest całością modelu świata.
Modele wideo mogą odpowiedzieć, jak może wyglądać następna
Laihua
scena, ale aby zmierzać w stronę ogólnego modelu świata, musi również odpowiadać na pytania typu „Jeśli zmienię ten warunek, przesunę ten obiekt lub zastosuję to działanie, czym świat by się różnił?” Tylko przewidywania z takimi warunkami działania dotykają przyczynowości, kontrfaktyczności i wykonalnego podejmowania decyzji.
Rozumieć, wyobrażać sobie, działać — jak tworzą zamkniętą pętlę?
Aby opisać, jak ewoluują modele świata, zespół Zhu Juna zaproponował dalej pięciopoziomową mapę drogową, mianowicie od L1 generowania świata, L2 interakcji ze światem i L3 działania w świecie, stopniowo przechodząc w stronę L4 autonomicznych agentów świata i L5 organizatorów świata.
Łatwiej to zrozumieć na przykładzie szklanej filiżanki popychanej do krawędzi stołu.
Model L1 może generować ciągłą sekwencję kubka zsuwającego się, uderzającego i rozbijającego się; model L2 może kontynuować ewolucję tego świata po zmianie punktu widzenia lub kierunku pchania przez użytkownika; na poziomie L3 model musi ocenić, czy kubek spadnie, przewidzieć, czy wyciągnięcie ręki nastąpi na czas, i wygenerować akcję chwytania, którą robot może faktycznie wykonać. Dopiero po działaniu dowie się, czy jego oceny dotyczące wagi kubka, tarcia i czasu chwytania były prawidłowe.
Przechodząc wyżej, L4 nie czeka już tylko na instrukcje od ludzi; musi umieć odkrywać ryzyka, aktywnie obserwować, uzupełniać informacje i rewidować strategie po niepowodzeniach. L5 staje dodatkowo wobec współpracy wielu agentów, na przykład kto chwyta kubek, kto omija przeszkody, kto przydziela narzędzia i jak przeorganizować zadania po zmianie środowiska.
Znaczenie tego planu polega na tym, że zamienia „model świata” z rzeczownika w zestaw pytań, które można testować poziom po poziomie.
L1 sprawdza, czy generowane trajektorie są spójne, L2 sprawdza, czy świat może reagować w sposób ciągły, L3 sprawdza, czy model może zmieniać fizyczne środowisko, L4 sprawdza, czy system może aktywnie eksplorować i stale się uczyć, a L5 sprawdza, czy potrafi organizować współpracę wielu agentów w otwartych środowiskach.
Formalne cele modelowania i nabyte zdolności pięciopoziomowego planu dla ogólnych modeli świata (GWM).
Zgodnie z oceną przedstawioną w artykule, istniejące systemy osiągnęły już pierwsze trzy poziomy, podczas gdy L4 i L5 pozostają otwartymi problemami. Główne luki obejmują ugruntowanie przyczynowe i fizyczne, trwałą pamięć, uczenie online, wydajne wdrażanie i kontrolę bezpieczeństwa. Ewaluacja musi również porównywać przewidywania z rzeczywistymi wynikami i badać przenoszalność modelu na nieznane zadania, środowiska i ucieleśnienia.
Od wideo do ucieleśnienia, dwie walidacje tej samej hipotezy
Trudność modeli świata nie tkwi tylko w algorytmach.
Wideo internetowe ma ogromną skalę i rejestruje szeroki zakres obiektów, ludzi, scen i ruchów. Modele mogą uczyć się z niego struktury przestrzennej, trwałości obiektów, ludzkich zachowań i tego, jak zwykle rozwijają się zdarzenia, ale wideo rzadko jednocześnie rejestruje działania, siły i intencje powodujące zmiany. Trajektorie robotów mogą łączyć obserwacje, działania i wyniki, ale koszty zbierania są wyższe i łatwo je powiązać z konkretnym sprzętem i zadaniami.
Ścieżka zaproponowana przez zespół Zhu Juna polega na umieszczeniu tych dwóch typów danych w piramidzie danych przechodzącej od obserwacji do działania.
Piramida danych ogólnych modeli świata (GWM) i jej związek z pięciopoziomowym planem zdolności.
Na dole znajduje się wideo w skali internetowej, używane do zdobywania wiedzy o świecie i dynamicznych priorów. Powyżej, w kolejności, znajdują się wideo dziedzinowe, wideo pierwszoosobowe ludzi, demonstracje ludzi z zapisami działań, a na szczycie rzeczywiste dane interakcji robotów. Im wyżej, tym rzadsze i kosztowniejsze dane, ale tym wyraźniejsza korespondencja między działaniami, zadaniami i ucieleśnieniami robotów.
To wyjaśnia, dlaczego Shengshu Technology rozwija zarówno generowanie wideo, jak i inteligencję ucieleśnioną: wideo zapewnia szerokość wiedzy o świecie, podczas gdy dane robotów dopełniają ugruntowanie działań.
Po stronie świata cyfrowego,
Vidu
seria kontynuuje eksplorację generowania i interakcji ze światem wizualnym. Wideo nie jest punktem końcowym modeli świata, ale jest ważnym punktem wyjścia, pozwalającym modelom uczyć się, jak obiekty, sceny, ruchy i zdarzenia ewoluują w obliczu zmian czasoprzestrzennych na dużą skalę.
Vidu
S1 dodatkowo posuwa generowanie jednorazowe do reakcji w czasie rzeczywistym, pozwalając danym wejściowym użytkownika na ciągłą zmianę kolejnych treści i testując, czy model może utrzymać ciągłość stanu podczas interakcji.
Po stronie świata fizycznego, Motus i Motubrain łączą rozumienie środowiska, przewidywanie stanu i działania robota w ten sam potok. Model musi wyraźnie widzieć środowisko, przewidywać konsekwencje interwencji, a następnie przekładać osądy na wykonalne działania i poddawać je walidacji przez rzeczywiste wyniki.
Istniejące reprezentatywne systemy, które realizują L1 do L3.
Dwie linie produktowe tworzą zatem dwie walidacje tej samej hipotezy modelu świata. Środowisko cyfrowe testuje, czy model może zrozumieć i wyobrazić sobie świat, podczas gdy środowisko fizyczne testuje, czy ta wiedza może wspierać działanie i być korygowana poprzez informację zwrotną.
Aby umożliwić obu typom weryfikacji współdzielenie podstawowych zdolności, obrazy, wideo, język i działania robota muszą obliczać się wspólnie wokół tego samego stanu świata. Tradycyjne systemy modułowe przekazują informacje poziom po poziomie, co łatwo traci informacje geometryczne, czasowe i niepewności na interfejsach. Pełne współdzielenie parametrów we wszystkich modalnościach może również powodować konflikty treningowe, pozwalając ogromnym danym wideo tłumić rzadkie sygnały robota.
Architektura MoT (Mixture-of-Transformers) zaproponowana przez zespół Zhu Juna próbuje znaleźć równowagę między tymi dwoma. Różne modalności zachowują własne parametry eksperckie, a następnie wymieniają kontekst poprzez wspólny mechanizm uwagi. Wizja mówi modelowi, co dzieje się w środowisku, język dostarcza cele i ograniczenia, a działanie wprowadza interwencję do środowiska; trzy typy informacji wspólnie aktualizują osąd modelu o świecie.
MoT zapewnia podstawę dla ujednoliconych obliczeń, ale prawa fizyczne, transfer między różnymi embodimentami, wnioskowanie w czasie rzeczywistym i kontrola bezpieczeństwa nadal muszą być rozwiązane poprzez dane, trening i inżynierię systemów. Cel, do którego zmierza, jest bardzo jasny: ogólny model świata potrzebuje stanu świata, który może być wspólnie odczytywany i zapisywany przez różne modalności i stale aktualizowany.
Motus2:
Pozwól robotom, zanim zaczną działać,
najpierw wypróbować to we własnym świecie
Jeśli Motus i Motubrain posunęły eksplorację modelu świata Shengshu do L3, umożliwiając robotom generowanie działań na podstawie rozumienia środowiska i przewidywania przyszłości, to niedawno zaproponowany Motus2 dodatkowo dodaje ocenę wyników i informację zwrotną dotyczącą polityki, próbując nadać pętli działania zdolność samodoskonalenia.
Motus2 nie czyni generowania działań, symulacji przyszłości i oceny wyników trzema wzajemnie niezależnymi systemami. Zamiast tego używa pojedynczego modelu wideo-działanie ze współdzielonymi parametrami, aby wyeksponować trzy interfejsy sterowania:
Polityka (Policy / World-Action Model): proponuje wykonalne działania kandydujące;
Symulator (Simulator / Action-Conditioned World Model): przewiduje możliwe konsekwencje tych działań w świecie wizualnym;
Ewaluator (Evaluator / Value Model): ocenia, który wynik jest bliższy celowi zadania, i wykorzystuje ten osąd do selekcji i poprawy.
Możesz to sobie wyobrazić jako prawdziwy przypadek „najpierw umysł, potem ręce”.
Robot nie tylko bezpośrednio wykonuje akcję po zobaczeniu obiektu. Zamiast tego najpierw proponuje kilka kandydackich planów, w modelu odgrywa obrazy i postęp zadania, jakie każdy z nich przyniesie, a następnie wybiera lepszy krok. Po wykonaniu sukces, porażka i wyniki mniej niż idealne nie są już tylko marnowanymi danymi, lecz stają się dowodami dla następnej rundy modelowania dynamiki i uczenia się wartości.
Akcja, przewidywanie, ocena, informacja zwrotna i ponowna akcja wchodzą tym samym w tę samą pętlę decyzyjną i uczenia się, co jest również zamkniętą pętlą samorozwoju podkreślaną przez Motus2.
Po stronie danych Motus2 przyjmuje hierarchiczną ścieżkę treningu, rozszerzając się od monokularowego wideo z pierwszej osoby do zsynchronizowanych danych binokularnych z pierwszej osoby, a następnie uzupełniając adaptację ucieleśnienia poprzez dane robotyczne. W treningu wykorzystuje około 130 000 godzin ludzkich nagrań z pierwszej osoby, a także ponad 100 godzin trajektorii robotów i danych dopasowania człowiek-robot.
Ta ścieżka najpierw pozwala modelowi zgromadzić wspólne doświadczenie tego, jak ludzie wchodzą w interakcję ze światem, a następnie uczy się on poprzez dane robotyczne, jak to ciało zamienia zrozumienie w działanie.
Po stronie wykonania Motus2 wykorzystuje również niezależnego lekkiego eksperta dotykowego do dopracowania krótkich akcji, które mają zostać wykonane, i przewidywania informacji zwrotnej o sile po kontakcie. Wzrok dobrze radzi sobie z widzeniem, gdzie znajdują się obiekty i mniej więcej jak zmienia się świat, natomiast dotyk wypełnia najtrudniejszy „ostatni centymetr” w momencie kontaktu, dając modelowi dodatkową warstwę korekty w czasie rzeczywistym dla delikatnych operacji, takich jak naciskanie, dotykanie, chwytanie i obracanie, wykraczającą poza „możliwość zobaczenia”.
Motus2 jest wciąż na etapie rozszerzania z L3 do L4. Obecna walidacja koncentruje się głównie na konkretnych robotach i zadaniach manipulacyjnych, a autonomiczne formułowanie celów, trwała pamięć, generalizacja w otwartym środowisku, długoterminowe uczenie się online i kontrola bezpieczeństwa pozostają do zbadania.
Jego głównym postępem jest umieszczenie generowania polityki, symulacji przyszłości, oceny wartości i informacji zwrotnej dotykowej w tym samym systemie, umożliwiając robotom odgrywanie konsekwencji przed działaniem i wykorzystywanie wyników do ulepszania strategii po działaniu, co zapewnia testowalną ścieżkę w kierunku autonomicznych agentów świata L4.
Od uczenia probabilistycznego do inteligencji świata
Chińska ścieżka technologiczna
Ramy ogólnych modeli świata kontynuują również długoterminowy kierunek badań gromadzony przez Zhu Juna i Tsinghua TSAIL.
Profesor Zhu Jun od dawna bada metody bayesowskie, probabilistyczne uczenie maszynowe, modele generatywne i uczenie ze wzmocnieniem, zajmując się odpowiednio niepewnością, rozkładem danych, generowaniem przyszłości i podejmowaniem decyzji o działaniach.
TSAIL wykształcił i wpłynął również na grupę badaczy, którzy weszli do wiodących zespołów na świecie. Song Yang współpracował z Zhu Junem nad badaniami nad uczeniem bayesowskim w czasie studiów licencjackich, a Song Jiaming również uczestniczył w powiązanych pracach w okresie studiów licencjackich, później wywierając ważny wpływ odpowiednio w kierunkach modeli generatywnych opartych na score i DDIM.
Od modelowania probabilistycznego do generowania i podejmowania decyzji, ta akademicka linia odzwierciedla również dwa typy punktów wejścia dla rozwoju AGI. Jeden zaczyna od języka i stopniowo wzmacnia zdolności rozumowania, wywoływania narzędzi i wykonywania zadań; drugi zaczyna od wzroku i dynamicznego świata i kontynuuje w kierunku interakcji w czasie rzeczywistym i ucieleśnionego działania.
W chińskim krajobrazie przemysłu AGI Zhipu i Shengshu można postrzegać jako przedstawicieli dwóch ścieżek. Zhipu zaczyna od modeli językowych i stale wzmacnia rozumowanie, Coding i zdolności Agent; Shengshu zaczyna od generowania wideo i dalej wchodzi w interakcję w czasie rzeczywistym, ucieleśnione działanie i optymalizację polityki.
Obie trasy przenikają się wzajemnie. Agenci językowi potrzebują wizualnej informacji zwrotnej i modeli środowiska, a modele świata potrzebują również języka do wyrażania celów, reguł i planów. Różne punkty wejścia ostatecznie prowadzą do wspólnego modelowania języka, stanu świata i działania.
Wnioski
Konkurencja w modelach świata ostatecznie przesunie się od efektu szokującego Demos do zdolności systemów do wytrzymywania informacji zwrotnej.
Obrazy mogą tworzyć wiarygodne pierwsze wrażenie, geometria i fizyka decydują o tym, czy ten świat można wykorzystywać wielokrotnie, a działanie wprowadza osąd modelu w rzeczywistość. To, czy przewidywanie się utrzyma, musi poczekać do momentu wystąpienia interwencji, aby zostać potwierdzone; to, czy zadanie się powiedzie, również musi zostać sprawdzone w nieznanych scenariuszach, długoterminowym działaniu i ciągłej zmianie.
Artykuł zespołu Zhu Juna nie zapisuje ostatecznej odpowiedzi na debatę o modelach świata, ale dostarcza zestaw pytań, które można dalej testować: co model rozumie, jak daleko potrafi sobie wyobrazić i czy potrafi się poprawić po działaniu.
W ciągu ostatniej dekady najważniejszy postęp w AI pochodził z uczenia się wzorców w języku i danych. W następnym etapie modele będą musiały również stawić czoła stale zmieniającym się środowiskom. Kiedy modele będą mogły nieustannie formułować osądy, ponosić konsekwencje działań i wciąż uczyć się w takich środowiskach, modele świata stopniowo przejdą od zatłoczonego terminu technicznego do fundamentu na drodze do ogólnej inteligencji.
Ten artykuł pochodzi z publicznego konta WeChat „机器之心” (ID: almosthuman2014), autor: Yang Wen
