У 2026 році «світова модель» — один із найменш узгоджених термінів у світі ШІ.
Відео, яке можна генерувати безперервно, називають світовою моделлю; цифрове середовище, яке змінюється в реальному часі за допомогою клавіатури та миші, також називають світовою моделлю; системи, що передбачають майбутні стани в латентному просторі, а також політики, які безпосередньо видають дії робота, так само використовують цю назву.
Ці моделі обробляють інформацію про світ, але їхні межі можливостей дуже різняться. Зображення у згенерованих відео можуть бути достатньо реалістичними, але порушувати реальні фізичні закони; робот може виконати захоплення, але він також може бути знайомий лише з об'єктами, положеннями камери та траєкторіями руху в лабораторії. Чи система вивчила візуальні кореляції, фізичну структуру або зв'язок між діями та результатами, важко відповісти лише за демонстрацією.
Концептуальна плутанина підвищує складність технічного судження. Якість зображення, геометрична точність, здатність до передбачення та показники успішності завдань змішуються для порівняння; різні команди, здається, змагаються на одній трасі, але насправді можуть відповідати на різні питання.
Тому дослідження світових моделей починає повертатися до базового питання: які здібності повинна мати модель, щоб перейти від генерації контенту до розуміння та зміни світу?
Лі Фейфей та World Labs поділяють світові моделі за функцією на рендерери, симулятори та планувальники, які видають пікселі, стани світу та дії відповідно.
Посилання: https://www.worldlabs.ai/blog/taxonomy-of-world-models
ЛеКун, навпаки, виступає за вивчення передбачуваних структур світу в абстрактному латентному просторі, що дозволяє моделі зберігати інформацію, корисну для розуміння, міркування та планування.
Посилання: https://ai.meta.com/research/vjepa/
Чжу Цзюнь з Університету Цінхуа пропонує третій кут зору. Ще минулого грудня, коли було випущено Motus, він публічно виклав загальне бачення «загальної світової моделі»; у березні цього року він позиціонував її як основу, що з'єднує цифровий світ і фізичний світ. Кілька місяців потому Чжу Цзюнь та його команда додатково уточнили цю структуру в статті «Загальні світові моделі з перших принципів», визначивши ключові здібності з перших принципів і надавши п'ятирівневу дорожню карту еволюції.
Посилання на статтю: https://www.shengshu.com/assets/gwm-principles-and-roadmap.pdf
Технічний звіт: https://www.shengshu.com/zh/general-world-model/
У статті узагальнено ключові здібності загальної світової моделі як розуміння, уява та дія. Модель повинна сформувати судження про поточний світ із історичних спостережень, симулювати можливі майбутні варіанти різних виборів, виконувати дії, а потім використовувати нові спостереження для самокорекції.
Відповідно до цієї структури, генерація відео, взаємодія в реальному часі, передбачення в латентному просторі та керування роботом можна розглядати як різні етапи на одному шляху розвитку здібностей.
Наскільки світові моделі далекі від загального інтелекту, також перетворюється на більш конкретні питання: Чи може вона підтримувати цілісний світ? Чи може вона передбачати наслідки втручань? Чи може вона вчитися на реальному зворотному зв'язку? І чи може вона поступово формувати цілі та організовувати складніші дії?
Перші принципи світових моделей
Багато людей мали досвід навчання їзди на велосипеді.
Спочатку тіло завжди хитається. Побачивши, що керма нахиляється в один бік, і відчувши, що центр ваги тіла починає опускатися, людина негайно коригує напрямок, а потім продовжує виправляти на основі нового зворотного зв'язку. З більшою практикою мозок поступово вчиться передбачати, який результат принесе певна дія.
Саме це і є найбільш базовим значенням світової моделі.
У 1943 році Кеннет Крейк припустив, що люди формують у своїй свідомості «моделі невеликого масштабу» реальності, використовуючи їх для симуляції можливих результатів різних дій. POMDP у навчанні з підкріпленням додатково описує цей процес: агент отримує часткові спостереження, оцінює стан світу, виконує дії, а потім оновлює своє судження на основі нових спостережень.
Команда Чжу Цзюня узагальнює цю логіку як три основні здатності загальної світової моделі, які з'єднуються одна з одною та утворюють безперервно оновлюваний замкнений цикл:
Розуміння: інтеграція такої інформації, як зір, мова, звук, дотик або сенсори робота, у внутрішнє судження про поточний світ;
Уява: симуляція кількох можливих майбутніх станів з поточного стану, особливо «що сталося б, якби я виконав дію A замість дії B»;
Дія: перетворення прогнозів на втручання в цифрове або фізичне середовище, і дозволяє новим спостереженням після дії, у свою чергу, перевіряти та виправляти модель.
Три основні здатності загальної світової моделі утворюють замкнений цикл: розуміння відповідає за виведення поточного стану, уява відповідає за передбачення можливих майбутніх станів, а дія змінює світ і надає нові докази для наступного раунду розуміння.
Це також причина, чому генерація відео не є всією світовою моделлю.
Відеомоделі можуть відповісти, як може виглядати наступна
Laihua
сцена, але щоб рухатися до загальної світової моделі, вона також повинна відповідати на питання на кшталт «Якби я змінив цю умову, перемістив цей об'єкт або застосував цю дію, чим світ відрізнявся б?» Лише прогнози з такими умовами дії торкаються причинності, контрфактичних міркувань і виконуваного прийняття рішень.
Розуміння, уява, дія — як вони утворюють замкнений цикл?
Щоб описати, як еволюціонують світові моделі, команда Чжу Цзюня додатково запропонувала п'ятирівневу дорожню карту, а саме від L1 генерації світу, L2 взаємодії зі світом і L3 дії у світі, поступово рухаючись до L4 автономних світових агентів і L5 світових організаторів.
Це більш інтуїтивно зрозуміти на прикладі скляної чашки, підштовхнутої до краю столу.
Модель L1 може генерувати безперервну послідовність того, як чашка зісковзує, падає та розбивається; модель L2 може продовжувати розвивати цей світ після того, як користувач змінить точку зору або напрямок поштовху; на рівні L3 модель повинна визначати, чи впаде чашка, передбачати, чи встигне вона простягнути руку, і видавати дію захоплення, яку робот справді може виконати. Лише після виконання дії вона дізнається, чи були її судження про вагу чашки, тертя та час захоплення правильними.
Рухаючись далі вгору, L4 більше не просто чекає на вказівки від людей; вона повинна вміти виявляти ризики, активно спостерігати, доповнювати інформацію та переглядати стратегії після невдач. L5 далі стикається з багатоагентною співпрацею, наприклад, хто хапає чашку, хто уникає перешкод, хто розподіляє інструменти та як перерозподілити завдання після зміни середовища.
Значення цієї дорожньої карти полягає в тому, що вона перетворює «світову модель» з іменника на набір питань, які можна перевіряти рівень за рівнем.
L1 дивиться, чи є згенеровані траєкторії узгодженими, L2 дивиться, чи може світ безперервно реагувати, L3 дивиться, чи може модель змінювати фізичне середовище, L4 дивиться, чи може система активно досліджувати та безперервно навчатися, а L5 дивиться, чи може вона організовувати багатоагентну співпрацю у відкритих середовищах.
Формальні цілі моделювання та набуті можливості п'ятирівневої дорожньої карти для загальних світових моделей (GWM).
Згідно з висновком, наведеним у статті, існуючі системи вже досягли перших трьох рівнів, тоді як L4 і L5 залишаються відкритими проблемами. Основні прогалини включають причинно-наслідкове та фізичне обґрунтування, постійну пам'ять, онлайн-навчання, ефективне розгортання та контроль безпеки. Оцінювання також повинно порівнювати прогнози з реальними результатами та досліджувати здатність моделі до перенесення на незнайомі завдання, середовища та втілення.
Від відео до втілення: дві перевірки однієї й тієї самої гіпотези
Складність світових моделей полягає не лише в алгоритмах.
Інтернет-відео має величезний масштаб і фіксує широкий спектр об'єктів, людей, сцен і рухів. Моделі можуть навчатися з нього просторовій структурі, постійності об'єктів, поведінці людей і тому, як зазвичай розгортаються події, але відео рідко одночасно фіксує дії, сили та наміри, що спричиняють зміни. Траєкторії роботів можуть пов'язувати спостереження, дії та результати, але витрати на збір вищі, і вони легко прив'язуються до конкретного обладнання та завдань.
Шлях, запропонований командою Чжу Цзюня, полягає в тому, щоб помістити ці два типи даних у піраміду даних, яка рухається від спостереження до дії.
Піраміда даних загальних світових моделей (GWM) та її зв'язок із п'ятирівневою дорожньою картою можливостей.
Внизу — відео інтернет-масштабу, яке використовується для набуття знань про світ і динамічних пріорів. Вище, за порядком, розташовані доменне відео, відео від першої особи людини, демонстрації людини із записами дій, а вгорі — дані реальної взаємодії роботів. Чим вище, тим рідкісніші та дорожчі дані, але тим чіткіша відповідність між діями, завданнями та втіленнями роботів.
Це пояснює, чому Shengshu Technology просуває як генерацію відео, так і втілений інтелект: відео забезпечує широту знань про світ, тоді як дані роботів завершують прив'язку дій.
У цифровому світі,
Vidu
серія продовжує досліджувати генерацію та взаємодію з візуальним світом. Відео не є кінцевою точкою моделей світу, але воно є важливою відправною точкою, що дозволяє моделям вивчати, як об'єкти, сцени, рухи та події еволюціонують у масштабних просторово-часових змінах.
Vidu
S1 додатково просуває одноразову генерацію до відповіді в реальному часі, дозволяючи введенню користувача безперервно змінювати подальший вміст і перевіряючи, чи може модель підтримувати безперервність стану під час взаємодії.
У фізичному світі Motus і Motubrain з'єднують розуміння середовища, прогнозування стану та дії робота в один конвеєр. Модель повинна чітко бачити середовище, передбачати наслідки втручання, потім перетворювати судження на виконувані дії та піддавати їх перевірці реальними результатами.
Існуючі репрезентативні системи, які реалізують L1 до L3.
Дві продуктові лінії таким чином формують дві перевірки однієї й тієї ж гіпотези моделі світу. Цифрове середовище перевіряє, чи може модель розуміти та уявляти світ, тоді як фізичне середовище перевіряє, чи може це знання підтримувати дію та коригуватися через зворотний зв'язок.
Щоб дозволити двом типам перевірки спільно використовувати базові можливості, зображення, відео, мова та дії робота повинні обчислюватися спільно навколо одного й того ж стану світу. Традиційні модульні системи передають інформацію рівень за рівнем, що легко втрачає геометричну, часову та інформацію про невизначеність на інтерфейсах. Повне спільне використання параметрів між усіма модальностями також може спричинити конфлікти навчання, дозволяючи масивним відеоданим придушувати рідкісні сигнали робота.
Архітектура MoT (Mixture-of-Transformers), запропонована командою Чжу Цзюня, намагається знайти баланс між цими двома підходами. Різні модальності зберігають власні експертні параметри, а потім обмінюються контекстом через спільний механізм уваги. Зір повідомляє моделі, що відбувається в середовищі, мова надає цілі та обмеження, а дія вносить втручання в середовище; три типи інформації спільно оновлюють судження моделі про світ.
MoT забезпечує основу для уніфікованих обчислень, але фізичні закони, перенесення між різними втіленнями, інференс у реальному часі та контроль безпеки все ще потребують вирішення через дані, навчання та системну інженерію. Мета, на яку він вказує, дуже чітка: загальна модель світу потребує стану світу, який може спільно читатися та записуватися різними модальностями та безперервно оновлюватися.
Motus2:
Дозвольте роботам, перш ніж діяти,
спочатку спробувати це у своєму власному світі
Якщо Motus і Motubrain просунули дослідження моделі світу Shengshu до L3, дозволяючи роботам генерувати дії на основі розуміння середовища та прогнозування майбутнього, то нещодавно запропонований Motus2 додатково додає оцінку результатів і зворотний зв'язок політики, намагаючись надати циклу дій здатність до самовдосконалення.
Motus2 не робить генерацію дій, симуляцію майбутнього та оцінку результатів трьома взаємно незалежними системами. Замість цього він використовує єдину відео-дієву модель зі спільними параметрами, щоб надати три інтерфейси керування:
Політика (Policy / World-Action Model): пропонує виконувані кандидатні дії;
Симулятор (Simulator / Action-Conditioned World Model): прогнозує можливі наслідки цих дій у візуальному світі;
Оцінювач (Evaluator / Value Model): визначає, який результат ближчий до мети завдання, і використовує це судження для вибору та покращення.
Можна уявити це як справжній випадок «спочатку розум, потім руки».
Робот більше не просто видає дію безпосередньо після побаченого об'єкта. Натомість він спочатку пропонує кілька кандидатних планів, програє в моделі зображення та прогрес завдання, які принесе кожен із них, а потім обирає кращий крок. Після виконання успіх, невдача та неідеальні результати більше не є просто марною тратою даних, а стають доказами для наступного раунду моделювання динаміки та навчання цінності.
Дія, прогнозування, оцінювання, зворотний зв'язок і повторна дія таким чином потрапляють в один і той самий цикл прийняття рішень і навчання, що також є замкненою самоеволюцією, яку підкреслює Motus2.
З боку даних Motus2 використовує ієрархічний шлях навчання, розширюючись від монокулярного відео від першої особи до синхронізованих бінокулярних даних від першої особи, а потім завершуючи адаптацію втілення через дані робота. Його навчання використовує близько 130 000 годин записів від першої особи людини, а також понад 100 годин траєкторій робота та даних вирівнювання людина-робот.
Цей шлях спочатку дозволяє моделі накопичити спільний досвід того, як люди взаємодіють зі світом, а потім дає їй змогу навчитися через дані робота, як це тіло перетворює розуміння на дію.
З боку виконання Motus2 також використовує незалежного легкого тактильного експерта, щоб уточнювати короткі дії, які ось-ось будуть виконані, і прогнозувати силовий зворотний зв'язок після контакту. Зір добре бачить, де знаходяться об'єкти і приблизно як змінюється світ, тоді як дотик заповнює найскладніший "останній сантиметр" під час контакту, даючи моделі додатковий шар корекції в реальному часі для делікатних операцій, таких як натискання, торкання, захоплення та обертання, поза межами "здатності бачити".
Motus2 все ще перебуває на етапі розширення від L3 до L4. Поточна валідація зосереджена переважно на конкретних роботах і завданнях маніпуляції, а автономне формування цілей, постійна пам'ять, узагальнення у відкритому середовищі, довгострокове онлайн-навчання та контроль безпеки ще потребують дослідження.
Його головний прогрес полягає у розміщенні генерації політики, симуляції майбутнього, оцінювання цінності та тактильного зворотного зв'язку в одну систему, що дає роботам змогу програвати наслідки перед дією та використовувати результати для покращення стратегій після дії, забезпечуючи перевірюваний шлях до автономних світових агентів рівня L4.
Від ймовірнісного навчання до світового інтелекту
Китайський технологічний шлях
Рамка загальних світових моделей також продовжує довгостроковий напрям досліджень, накопичений Чжу Цзюнем і Tsinghua TSAIL.
Професор Чжу Цзюнь давно досліджує байєсівські методи, ймовірнісне машинне навчання, генеративні моделі та навчання з підкріпленням, відповідно працюючи з невизначеністю, розподілом даних, генерацією майбутнього та прийняттям рішень щодо дій.
TSAIL також підготував і вплинув на групу дослідників, які увійшли до провідних світових команд. Сун Ян співпрацював із Чжу Цзюнем над дослідженням байєсівського навчання під час навчання на бакалавраті, а Сун Цзямін також брав участь у пов'язаній роботі в бакалаврський період, згодом зробивши важливий вплив відповідно в напрямах генеративних моделей на основі оцінки та DDIM.
Від ймовірнісного моделювання до генерації та прийняття рішень ця академічна лінія також відображає два типи точок входу для розвитку AGI. Один починається з мови й поступово посилює можливості міркування, виклику інструментів і виконання завдань; інший починається з зору та динамічного світу й продовжується до взаємодії в реальному часі та втіленої дії.
У межах ландшафту китайської індустрії AGI Zhipu та Shengshu можна розглядати як представників двох шляхів. Zhipu починається з мовних моделей і безперервно посилює можливості міркування, Coding та Agent; Shengshu починається з генерації відео й далі входить у взаємодію в реальному часі, втілену дію та оптимізацію політики.
Ці два маршрути проникають один в одного. Мовні агенти потребують візуального зворотного зв'язку та моделей середовища, а світові моделі також потребують мови для вираження цілей, правил і планів. Різні точки входу зрештою вказують на спільне моделювання мови, стану світу та дії.
Висновок
Конкуренція у світових моделях зрештою зміститься від шокового ефекту демо до здатності систем витримувати зворотний зв'язок.
Зображення можуть створити переконливе перше враження, геометрія та фізика визначають, чи можна цей світ використовувати багаторазово, а дія втілює судження моделі в реальність. Чи підтвердиться передбачення, має чекати на підтвердження після втручання; чи буде успішним завдання, також має бути перевірено в незнайомих сценаріях, довготривалій роботі та безперервних змінах.
Стаття команди Чжу Цзюня не дає остаточної відповіді на дебати про світові моделі, але вона пропонує набір питань, які можна продовжувати перевіряти: що модель розуміє, наскільки далеко вона може уявити та чи може вона виправити себе після дії.
За останнє десятиліття найважливіший прогрес у ШІ походить від вивчення закономірностей у мові та даних. На наступному етапі моделі також матимуть справу з середовищами, що безперервно змінюються. Коли моделі зможуть безперервно формувати судження, нести наслідки дій і продовжувати навчатися в таких середовищах, світові моделі поступово перейдуть від переповненого технічного терміна до фундаменту на шляху до загального інтелекту.
Ця стаття походить з облікового запису WeChat "机器之心" (ID: almosthuman2014), автор: Ян Вень
