StressDream: Управление видеомоделями мира для надежной оценки и улучшения стратегий

Аннотация

Видео world models (WMs) продемонстрировали потенциал для оценки и улучшения policy путем моделирования реалистичных будущих наблюдений, обусловленных действиями робота. Хотя WMs могут моделировать распределения будущих состояний, оценка и улучшение policy обычно опираются на номинальные представления, которые могут упустить значимые результаты действий робота, если не генерировать чрезмерно большое количество выборок. Чтобы обеспечить надежную оценку и улучшение policy на основе представлений WM, мы предлагаем StressDream, который направляет представления к значимым, но правдоподобным результатам, задаваемым во время inference путем оптимизации начального шума diffusion-based WMs. Однако оптимизация высокоразмерного шума является сложной задачей: оптимизация должна учитывать нюансы, зависящие от сцены целевые события в сгенерированных видео, избегая при этом OOD шума, который приводит к неправдоподобным представлениям. Мы решаем эту задачу с помощью двух взаимодополняющих целей: семантической цели с использованием Vision-Language Model, которая предоставляет информативные градиенты путем анализа сгенерированного видео, и цели правдоподобности, которая предотвращает выход оптимизированного шума за пределы распределения OOD. Используя современные video world models для автономного вождения и манипуляций роботов, мы показываем, что StressDream эффективно направляет представления к значимым, но правдоподобным результатам, задаваемым текстом во время inference, таким как сбои при выполнении задачи, что позволяет проводить надежную оценку и улучшение policy путем выявления действий, чьи правдоподобные будущие состояния включают нежелательные исходы..

Ключевые слова: World Models, Inference-time Steering, Policy Learning and Evaluation

1 Введение

Видео модели мира (WMs), или обученные симуляторы физических сред, привлекли значительный интерес в робототехнике, обещая оценку и улучшение стратегий с существенно менее затратным взаимодействием с реальным миром [1, 117, 78]. По своей сути видео WMs являются генеративными моделями, такими как diffusion и flow matching [52, 59, 73], изучающими распределения будущих наблюдений, обусловленные действиями робота, и тем самым фиксирующими присущую неопределенность физических взаимодействий или поведения других агентов [7, 17, 39, 61] (вверху, Fig. ). Например, в манипуляционной робототехнике падение открытого пакета с большой высоты на стол может привести или не привести к рассыпанию его содержимого, что ведет либо к успеху, либо к провалу задачи; в автономном вождении одно и то же решение транспортного средства может привести к качественно различным результатам в зависимости от реакций окружающих агентов, таких как торможение или поддержание скорости.

Несмотря на изучение богатых распределений будущих исходов, оценка и улучшение стратегии с помощью WMs обычно опираются на номинальные воображаемые сценарии [17, 38, 42, 41], которые могут недостаточно полно исследовать разнообразные исходы, на моделирование которых они обучены. Наивная выборка воображаемых сценариев из WMs может легко упустить критические исходы без генерации чрезмерно большого количества выборок, что делает этот подход плохо подходящим для роли WMs: исследование правдоподобных, высокозначимых исходов действий робота для оценки и улучшения стратегии [128, 91, 108, 99], где под правдоподобностью понимаются исходы, поддерживаемые изученным распределением WM. Например, когда манипулятор роняет открытый пакет с большой высоты над столом, распределение WM может включать исходы как с просыпанием содержимого, так и без него; напротив, когда пакет размещен близко к столу, просыпание может быть маловероятным или отсутствовать в распределении исходов (внизу, Fig. ). Таким образом, способность воображать правдоподобные, высокозначимые исходы позволяет отдавать предпочтение последнему действию при оценке стратегии, в то время как первое действие получает меньший вес или подавляется при улучшении стратегии. Это мотивирует центральный вопрос нашей работы:

Как мы можем эффективно управлять видеомоделями мира на этапе вывода для моделирования правдоподобных результатов с высокой степенью влияния в целях оценки и улучшения стратегий?

Наша ключевая идея заключается в оптимизации начального шума диффузионной WM, направляя генерацию в сторону значимых событий, задаваемых во время вывода (например, разливы или столкновения), в рамках распределения правдоподобных исходов. Проблема, однако, заключается в управлении этой оптимизацией в пространствах шума чрезвычайно высокой размерности (например, $1$M размерностей [38]): оптимизация должна учитывать нюансы, зависящие от сцены целевые события из сгенерированных видео, в то время как наивная оптимизация может легко вывести начальный шум в области вне распределения (OOD) [95, 106], создавая неправдоподобные видео. Для решения этой задачи мы предлагаем StressDream, который объединяет семантическую целевую функцию, использующую Vision-Language Model (VLM), которая анализирует происходящее на сгенерированном видео для направления генерации к целевым событиям, с целевой функцией правдоподобности, удерживающей оптимизированный шум в пределах области распределения. В совокупности StressDream обеспечивает плотные градиентные сигналы для поиска в высокоразмерном пространстве шума, сохраняя при этом правдоподобность генераций, что позволяет видео WM исследовать правдоподобные распределения значимых исходов для надежной оценки и улучшения policy..

Заявление о вкладе. Мы предлагаем StressDream, новый метод управления во время вывода для видео-world models на основе диффузии. Наш алгоритм оптимизирует высокоразмерный начальный гауссов шум, чтобы направлять генерацию к результатам с высоким уровнем воздействия, сохраняя при этом правдоподобность. С помощью экспериментов мы показываем: (i) в контролируемых условиях с доступом к истинной динамике системы StressDream направляет воображение WM к целевым событиям отказа системы только тогда, когда такие исходы правдоподобны; (ii) на современных видео-world models для автономного вождения [38] и робототехнических манипуляций [42], StressDream обеспечивает надежную оценку политики путем обнаружения результатов с высоким уровнем воздействия, таких как отказы при выполнении задачи, со значительно более высокой полнотой ($54\%\rightarrow 94\%$); и (iii) эта надежная оценка улучшает политику за счет продвижения устойчивых действий, которые позволяют избежать потенциальных сбоев, повышая коэффициент успешности политики Vision-Language-Action (VLA) [57] ($39\%\rightarrow 71\%$).

2 Контекст: Видеомодели мира с обусловленностью действиями

Видеомодели мира. Видеомодель мира, обусловленная действиями $f_{\theta}$, параметризованная $\theta$, моделирует распределения будущих наблюдений $\mathbf{o}:=o_{t:t+H}$, где $t$ обозначает время, а $H$ — горизонт прогнозирования [42, 91, 108, 70, 65, 125]. Каждое наблюдение $o=[I^{1},\cdots,I^{n},q]\in\mathcal{O}$ состоит из $n$ изображений с камер $I^{i}$ и проприоцептивного состояния $q$, такого как конфигурация суставов робота. Прогноз обусловлен историей наблюдений $\mathbf{o}^{\text{hist}}:=o_{t-h:t}$ и последовательностью будущих эго-действий $\mathbf{a}:=a_{t:t+H}$⟧:

$$\mathbf{o}\sim f_{\theta}(\cdot\mid\mathbf{o}^{\text{hist}},\mathbf{a}),\qquad\text{where}\quad\mathbf{o}:=o_{t:t+H},\quad\mathbf{o}^{\text{hist}}:=o_{t-h:t},\quad\mathbf{a}:=a_{t:t+H}.$$ (1)

Диффузионные модели как видеомодели мира. Недавние видеомодели мира [38, 42, 125] часто представляют $f_{\theta}$ в виде диффузионной модели [52, 101], обучающейся преобразованию между распределением данных $\mathbf{x}^{0}:=\mathbf{o}\sim p^{\text{data}}(\mathbf{o})$ и поддающимся анализу распределением шума, как правило, стандартным гауссовским $\mathbf{x}^{T}:=\bm{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}_{D})$, где $D$ — это размерность шума, индексируемая по времени диффузии $\tau\in\{0,1,\dots,T\}$:

$$\mathbf{x}^{\tau}=\alpha^{\tau}\,\mathbf{x}+\sigma^{\tau}\,\bm{\epsilon},\qquad\text{where}\quad\mathbf{x}^{0}:=\mathbf{o},\quad\mathbf{x}^{T}:=\bm{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}_{D}),$$ (2)

где $\alpha^{\tau}$ является убывающей функцией от $\tau$, а $\sigma^{\tau}$ — возрастающей функцией. Генерация происходит в обратном направлении путем итеративного отображения более зашумленного образца в образец с меньшим временем диффузии. :

$$d^{\tau}(\mathbf{x}^{\tau},\mathbf{o}^{\text{hist}},\mathbf{a}):=\,\mathbf{x}^{\tau-1}=\frac{\alpha^{\tau-1}}{\alpha^{\tau}}\left(\mathbf{x}^{\tau}-\sigma^{\tau}\,g^{\tau}_{\theta}\!\left(\mathbf{x}^{\tau},\mathbf{o}^{\text{hist}},\mathbf{a}\right)\right)+\sigma^{\tau-1}\,g^{\tau}_{\theta}\!\left(\mathbf{x}^{\tau},\mathbf{o}^{\text{hist}},\mathbf{a}\right),$$ (3)

где $g^{\tau}_{\theta}$ — это предсказатель шума (см. Приложение A). Начиная с начальной гауссовской выборки $\mathbf{x}^{T}=\bm{\epsilon}$, многократное применение этого обратного обновления порождает предсказанные будущие наблюдения $\mathbf{x}^{0}=\mathbf{o}$.

Начальный шум как управляющая переменная. Следуя (3), что соответствует ODE потока вероятностей [103], для фиксированных входных данных обусловливания $(\mathbf{o}^{\text{hist}},\mathbf{a})$, воображаемые сценарии являются детерминированной функцией начального шума: $\mathbf{o}=f_{\theta}(\bm{\epsilon},\mathbf{o}^{\text{hist}},\mathbf{a}).$ Таким образом, вся стохастичность при генерации определяется начальным шумом, что подразумевает, что выбор начального шума управляет тем, какое видео генерируется из WMs.

3 Настройка: Оценка и улучшение стратегии с помощью видеомоделей мира ⟦K0⟧

Оценка и улучшение стратегий с помощью видеомоделей мира. Имея обусловленную действиями видеомодель мира $f_{\theta}$, мы стремимся оценивать последовательности действий-кандидатов путем моделирования их будущих результатов, что затем может быть использовано для оценки стратегии [91, 108, 70] и ее улучшения [42, 41, 99]. Предсказанные варианты будущего $\mathbf{o}$ оцениваются с помощью критериальной функции на этапе вывода $\mathcal{C}^{\text{test}}(\mathbf{o})\in\mathbb{R}$, которая определяет, возникают ли в сгенерированных видео правдоподобные результаты, оказывающие значительное влияние на оценку и улучшение стратегии. Эти оценки могут быть использованы для улучшения стратегий путем выбора действий, позволяющих избежать таких результатов [130, 48], или путем обучения стратегии $\pi(\mathbf{a}\mid\mathbf{o}^{\text{hist}})$ с использованием воображения модели мира [42, 41]⟧.

Однако, когда при одной и той же последовательности действий возможны несколько вариантов будущего, надежная стратегия [80, 5] должна учитывать распределение исходов, которые являются правдоподобными при действии робота.:

$$\mathstrut\mathbf{a}^{*}=\mathchoice{\hbox to49.63pt{\vbox to8.63pt{\pgfpicture\makeatletter\hbox{\hskip 24.81464pt\lower-2.02972pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-24.81464pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to49.63pt{\vbox to8.63pt{\pgfpicture\makeatletter\hbox{\hskip 24.81464pt\lower-2.02972pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-24.81464pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to47.25pt{\vbox to8.6pt{\pgfpicture\makeatletter\hbox{\hskip 23.62369pt\lower-2.00458pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-23.62369pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to47.25pt{\vbox to8.6pt{\pgfpicture\makeatletter\hbox{\hskip 23.62369pt\lower-2.00458pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-23.62369pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}\,\mathchoice{\hbox{\pagecolor{dark-gray!17}$\displaystyle\mathstrut\mathchoice{\hbox to20.75pt{\vbox to11.27pt{\pgfpicture\makeatletter\hbox{\hskip 10.37523pt\lower-6.9642pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-10.37523pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to39.86pt{\vbox to7.83pt{\pgfpicture\makeatletter\hbox{\qquad\lower-3.51974pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-19.93082pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to34.12pt{\vbox to5.97pt{\pgfpicture\makeatletter\hbox{\hskip 17.05865pt\lower-2.95456pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-17.05865pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to31.83pt{\vbox to5.8pt{\pgfpicture\makeatletter\hbox{\hskip 15.91289pt\lower-3.64346pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-15.91289pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}\;\mathcal{C}^{\text{test}}\!\left(f_{\theta}(\bm{\epsilon},\mathbf{o}^{\text{hist}},\mathbf{a})\right)$}}{\hbox{\pagecolor{dark-gray!17}$\textstyle\mathstrut\mathchoice{\hbox to20.75pt{\vbox to11.27pt{\pgfpicture\makeatletter\hbox{\hskip 10.37523pt\lower-6.9642pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-10.37523pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to39.86pt{\vbox to7.83pt{\pgfpicture\makeatletter\hbox{\qquad\lower-3.51974pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-19.93082pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to34.12pt{\vbox to5.97pt{\pgfpicture\makeatletter\hbox{\hskip 17.05865pt\lower-2.95456pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-17.05865pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to31.83pt{\vbox to5.8pt{\pgfpicture\makeatletter\hbox{\hskip 15.91289pt\lower-3.64346pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-15.91289pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}\;\mathcal{C}^{\text{test}}\!\left(f_{\theta}(\bm{\epsilon},\mathbf{o}^{\text{hist}},\mathbf{a})\right)$}}{\hbox{\pagecolor{dark-gray!17}$\scriptstyle\mathstrut\mathchoice{\hbox to14.76pt{\vbox to7.38pt{\pgfpicture\makeatletter\hbox{\hskip 7.37851pt\lower-4.36139pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-7.37851pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to27.61pt{\vbox to4.96pt{\pgfpicture\makeatletter\hbox{\hskip 13.80724pt\lower-1.95029pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-13.80724pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to19.44pt{\vbox to3.96pt{\pgfpicture\makeatletter\hbox{\hskip 9.72237pt\lower-1.85184pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-9.72237pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to16.84pt{\vbox to3.84pt{\pgfpicture\makeatletter\hbox{\hskip 8.41959pt\lower-2.33406pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-8.41959pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}\;\mathcal{C}^{\text{test}}\!\left(f_{\theta}(\bm{\epsilon},\mathbf{o}^{\text{hist}},\mathbf{a})\right)$}}{\hbox{\pagecolor{dark-gray!17}$\scriptscriptstyle\mathstrut\mathchoice{\hbox to12.47pt{\vbox to5.27pt{\pgfpicture\makeatletter\hbox{\hskip 6.23273pt\lower-3.1153pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-6.23273pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to21.94pt{\vbox to3.55pt{\pgfpicture\makeatletter\hbox{\hskip 10.96753pt\lower-1.39307pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-10.96753pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to14.17pt{\vbox to2.83pt{\pgfpicture\makeatletter\hbox{\hskip 7.0874pt\lower-1.32274pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-7.0874pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to12.31pt{\vbox to2.74pt{\pgfpicture\makeatletter\hbox{\hskip 6.15685pt\lower-1.66718pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-6.15685pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}\;\mathcal{C}^{\text{test}}\!\left(f_{\theta}(\bm{\epsilon},\mathbf{o}^{\text{hist}},\mathbf{a})\right)$}}$$    (4)

где внутренняя оптимизация выбирает гауссовский шум для направления генерации WM в сторону наихудшего правдоподобного будущего, которое максимизирует критерий, в то время как внешняя оптимизация выбирает устойчивую последовательность действий, которая поддерживает низкий уровень критерия во всех правдоподобных будущих состояниях, даже при наихудших исходах. Для внешней оптимизации могут использоваться различные методы: $\bm{\mathcal{A}}$ может представлять собой дискретное множество в решателе на основе выборки [130] или непрерывное пространство действий, по которому оптимизируется policy [41]. Однако решение внутренней оптимизации является сложной задачей, так как оно требует оптимизации в многомерном пространстве шума.

Управление воображением посредством оптимизации шума на этапе вывода. Поскольку начальный шум выступает в качестве управляющей переменной для генерации WMs (разд. 2), цель внутренней оптимизации соответствует направлению воображения WM к результату с высокой степенью влияния, который остается правдоподобным в рамках обученной модели. Однако, поскольку оценка каждого шума требует дорогостоящего процесса удаления шума, повторная случайная выборка крайне неэффективна и, вероятно, пропустит редкие, но правдоподобные критические исходы в рамках ограниченного бюджета выборки. Вместо этого мы используем градиент дифференцируемой функции критерия для более эффективного управления генерацией, оптимизируя начальный шум напрямую посредством градиентного подъема.:

$$\bm{\epsilon}_{i+1}=\bm{\epsilon}_{i}+\eta\,\nabla_{\bm{\epsilon}_{i}}\left[\,\mathcal{C}^{\text{test}}\!\left(\mathbf{o}_{i}\right)\right],\quad\text{where}\quad\mathbf{o}_{i}=f_{\theta}(\bm{\epsilon}_{i},\mathbf{o}^{\text{hist}},\mathbf{a}),$$ (5)

где $\eta$ обозначает размер шага. Хотя этот градиентный подъем первого порядка требует небольшого количества итеративных обновлений, каждое из которых включает проходы вперед и назад как через WM, так и через функцию критерия, плотный градиентный сигнал делает его существенно более эффективным, чем случайная выборка нулевого порядка, для обнаружения шумов, которые вызывают правдоподобную генерацию видео с высоким уровнем воздействия [106, 60, 34].

Проблема: Пространство шума высокой размерности. Хотя градиентная оптимизация в (5) позволяет управлять генерацией диффузионных моделей на этапе вывода [106, 34], её применение к видео world models сопряжено с трудностями, поскольку их пространства шума имеют чрезвычайно высокую размерность, например, $\approx 1$М в задачах вождения [38] и $\approx 50$К в задачах манипуляции [42]. Оптимизация должна направлять генерацию к значимым, зависящим от сцены целевым событиям, сохраняя при этом правдоподобность в рамках изученного распределения WM. Однако наивная оптимизация может легко вывести шум в области вне распределения (OOD) гауссовских шумов, создавая неправдоподобные видео (Рис. ), а критерий на этапе тестирования $\mathcal{C}^{\text{test}}$ должен быть дифференцируемым, учитывая при этом нюансы, относящиеся к задаче события, которые варьируются в зависимости от сцены. Более того, решение (5) неэффективно, поскольку точные градиенты требуют обратного распространения ошибки через итеративный процесс шумоподавления..

4 StressDream: Управление высокоразмерными видеомоделями мира

Для решения проблем управления видео world models мы предлагаем StressDream, который определяет дифференцируемый критерий оптимизации путем объединения семантической целевой функции с использованием Vision-Language Models (VLMs) и целевой функции правдоподобности, предотвращающей OOD шум: $\mathcal{C}^{\text{test}}=\mathcal{C}^{\text{sem}}+\mathcal{C}^{\text{pla}}$. Семантическая целевая функция использует текстовые спецификации высокозначимых исходов во время inference для оценки того, происходят ли целевые события в сгенерированном видео (разд. 4.1). Целевая функция правдоподобности сохраняет статистические свойства априорного распределения стандартного гауссовского шума, тем самым поддерживая правдоподобность генераций WM (разд. 4.2). Наконец, мы аппроксимируем градиент шума, чтобы избежать полного обратного распространения ошибки через итеративный процесс шумоподавления, что обеспечивает эффективную оптимизацию (разд. 4.3⟧).

4.1 Семантическая цель: управление в сторону целевых событий с помощью градиентов VLM

Поскольку видео WMs работают в различных сценах и задачах, значимые целевые события для управления могут меняться в зависимости от контекста стратегии, что требует семантической цели, способной дифференцируемо оценивать, происходят ли зависящие от сцены целевые события в сгенерированных видео. Поэтому мы используем общую способность понимания видео модели VLM в качестве семантической цели. Учитывая текстовую подсказку во время вывода $\bm{l}$, описывающую целевой значимый результат, VLM измеряет, насколько хорошо сгенерированное видео $\mathbf{o}$ соответствует подсказке. Например, в робототехнических манипуляциях можно указать «кофейные зерна рассыпаются», в то время как при вождении можно указать «происходит столкновение».”

Для получения дифференцируемой оценки мы используем Qwen-VL [8] и даем ему команду вывести один токен, да или нет, указывающий на то, соответствует ли $\mathbf{o}$ значению $\bm{l}$. Затем мы определяем $\mathcal{C}^{\text{sem}}$ как разность логарифмов вероятностей токенов:

$$\mathcal{C}^{\text{sem}}(\mathbf{o}\,;\,\bm{l})=\log p^{\text{VLM}}(\texttt{yes}\mid\mathbf{o},\bm{l})-\log p^{\text{VLM}}(\texttt{no}\mid\mathbf{o},\bm{l}).$$ (6)

Использование вероятностей одного токена LLM делает целевую функцию дифференцируемой, обеспечивая богатые градиентные сигналы для оптимизации многомерного шума, который генерирует целевое событие во время вывода..

4.2 Целевая функция правдоподобности: удержание многомерного шума в типичном множестве

Диффузионные модели обучаются генерировать выборки из шума, взятого из гауссовского априорного распределения. Когда шум покидает типичное множество [25, 13, 83], где находится большинство выборок шума во время обучения, результирующий шум вне распределения (OOD) может приводить к созданию неправдоподобных видео, которые маловероятны в рамках распределения WM или имеют сниженное визуальное качество. Важно отметить, что в пространствах высокой размерности типичное множество не совпадает с областью наибольшей плотности вероятности: некоторые векторы шума, такие как нулевой вектор, могут иметь высокую плотность, но крайне маловероятны для выборки из гауссовского априорного распределения (см. Приложение B.1 для получения более подробной информации). Поскольку градиентная оптимизация шума может смещать шум за пределы этого типичного множества [95, 106, 34, 96, 49], мы используем целевую функцию правдоподобности, которая побуждает шум оставаться в пределах типичного множества гауссовского априорного распределения, используя комбинацию функций шума, которые фиксируют ключевые статистические показатели многомерного гауссовского шума: $\mathcal{C}^{\text{pla}}(\bm{\epsilon})=\lambda_{1}\mathcal{C}^{\text{norm}}(\bm{\epsilon})+\lambda_{2}\mathcal{C}^{\text{iso}}(\bm{\epsilon})+\lambda_{3}\mathcal{C}^{\text{spec}}(\bm{\epsilon})$.

Концентрация нормы. Во-первых, поскольку квадрат нормы гауссовского шума подчиняется хи-квадрат распределению, $\|\bm{\epsilon}\|_{2}^{2}\sim\chi^{2}_{D}$, он резко концентрируется вокруг размерности шума $D$ [95]. Поэтому мы регуляризуем отклонения радиуса шума от типичной гауссовской оболочки: $\mathcal{C}^{\text{norm}}(\bm{\epsilon}):=-\left(\|\bm{\epsilon}\|_{2}-\sqrt{D}\right)^{2}.$

Изотропия. Хотя концентрация нормы обеспечивает типичность в глобальном масштабе, оптимизированный шум может по-прежнему содержать локальные корреляции или структурированные координатные паттерны, которые маловероятны при априорном распределении i.i.d. Gaussian [106]. Чтобы стимулировать покомпонентную независимость, мы случайным образом переставляем элементы $\bm{\epsilon}$ и разбиваем их на $m$ подвекторов $\{\bm{\epsilon}_{i}\}_{i=1}^{m}$, где $\bm{\epsilon}_{i}\in\mathbb{R}^{k}$ и $D=mk$. При априорном распределении Gaussian эти подвекторы должны вести себя как i.i.d. выборки из $\mathcal{N}(\mathbf{0},\mathbf{I}_{k})$, и поэтому их эмпирический второй момент $\widehat{\mathbf{\Sigma}}=\frac{1}{m}\sum_{i=1}^{m}\bm{\epsilon}_{i}\bm{\epsilon}_{i}^{\top}$ должен быть близок к $\mathbf{I}_{k}$. Таким образом, мы штрафуем отклонения от блочной изотропии как $\mathcal{C}^{\mathrm{iso}}(\bm{\epsilon}):=-\frac{1}{k}\|\widehat{\mathbf{\Sigma}}-\mathbf{I}_{k}\|_{F}^{2}$, усредненные по нескольким случайным перестановкам.

Спектральная белизна. Даже когда шум остается типичным в координатном пространстве, оптимизация может приводить к появлению артефактов в частотной области [30]. Поскольку гауссов шум имеет плоский ожидаемый спектр мощности [104, 112], мы стремимся к тому, чтобы шум оставался спектрально белым. Пусть $\mathcal{F}$ обозначает унитарное двумерное дискретное преобразование Фурье, примененное к пространственным измерениям каждого среза шума, и вычислим спектр мощности $\mathbf{P}=|\mathcal{F}(\bm{\epsilon})|^{2}$. Мы агрегируем $\mathbf{P}$ в $B$ пространственно-частотных бинов, чтобы получить усредненные по бинам мощности $\{\widehat{p}_{b}\}_{b=1}^{B}$. Чтобы сохранить спектральную плоскостность, мы минимизируем дисперсию этих усредненных по бинам мощностей, $\mathcal{C}^{\mathrm{spec}}(\bm{\epsilon}):=-\frac{1}{B}\sum_{b=1}^{B}(\widehat{p}_{b}-\bar{p})^{2}$, где $\bar{p}=\frac{1}{B}\sum_{b^{\prime}=1}^{B}\widehat{p}_{b^{\prime}}$ — средняя мощность по всем бинам..

4.3 Аппроксимация градиентов шума для эффективного управления ⟦K0⟧

Оптимизация шума в (5) требует вычисления градиента критерия по отношению к начальному шуму, $\nabla_{\bm{\epsilon}}\,\mathcal{C}^{\text{test}}\!\left(f_{\theta}(\bm{\epsilon},\mathbf{o}^{\text{hist}},\mathbf{a})\right)=\nabla_{\bm{\epsilon}}\,\mathcal{C}^{\text{test}}\!\left(d^{1}\!\big(\cdots d^{T}(\bm{\epsilon},\mathbf{o}^{\text{hist}},\mathbf{a})\big)\right),$ где $d^{\tau}(\cdot)$ обозначает один шаг шумоподавления в (3). Хотя diffusion models в принципе дифференцируемы, обратное распространение ошибки через полный итеративный процесс шумоподавления (например, $50$ шагов [14]) может привести к высоким затратам памяти и затуханию градиента [33, 3]. Чтобы сделать оптимизацию эффективной, мы применяем score-distillation [3] (Приложение B.4), который аппроксимирует градиент по отношению к шуму, используя градиент в сгенерированном образце:

$$\nabla_{\bm{\epsilon}}\mathcal{C}^{\text{test}}\!\left(\mathbf{o}\right)\approx\beta\,\nabla_{\mathbf{o}}\mathcal{C}^{\text{test}}(\mathbf{o}),\quad\text{where}\quad\mathbf{o}=f_{\theta}(\bm{\epsilon},\mathbf{o}^{\text{hist}},\mathbf{a})=d^{1}\!\big(\cdots d^{T}(\bm{\epsilon},\mathbf{o}^{\text{hist}},\mathbf{a})\big),$$ (7)

где $\beta$ — скалярный коэффициент. Данная аппроксимация требует только обратного распространения ошибки через дифференцируемую функцию критерия, позволяя избежать полного обратного распространения через итеративный процесс шумоподавления.

В итоге, StressDream оптимизирует начальный шум, как в 5, используя градиент, который объединяет аппроксимацию градиента, семантическую целевую функцию (VLM) и целевую функцию правдоподобия (typical set):

$$\nabla_{\bm{\epsilon}}\,\mathcal{C}^{\text{test}}\!\left(\mathbf{o}\right)=\,\mathchoice{\hbox to104.89pt{\vbox to14.89pt{\pgfpicture\makeatletter\hbox{\hskip 52.4443pt\lower-4.94444pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-52.4443pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to104.89pt{\vbox to14.89pt{\pgfpicture\makeatletter\hbox{\hskip 52.4443pt\lower-4.94444pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-52.4443pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to81.97pt{\vbox to12.22pt{\pgfpicture\makeatletter\hbox{\hskip 40.98529pt\lower-4.3611pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-40.98529pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to72.3pt{\vbox to10.44pt{\pgfpicture\makeatletter\hbox{\hskip 36.15094pt\lower-3.97221pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-36.15094pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}\,\mathchoice{\hbox to144.4pt{\vbox to10pt{\pgfpicture\makeatletter\hbox{\hskip 72.20026pt\lower-2.5pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-72.20026pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to144.4pt{\vbox to10pt{\pgfpicture\makeatletter\hbox{\hskip 72.20026pt\lower-2.5pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-72.20026pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to95.36pt{\vbox to7.38pt{\pgfpicture\makeatletter\hbox{\hskip 47.6789pt\lower-1.75pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-47.6789pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to73.92pt{\vbox to5pt{\pgfpicture\makeatletter\hbox{\hskip 36.96107pt\lower-1.25pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-36.96107pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}+\mathchoice{\hbox to172.27pt{\vbox to11.49pt{\pgfpicture\makeatletter\hbox{\hskip 86.13246pt\lower-2.5pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-86.13246pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to172.27pt{\vbox to11.49pt{\pgfpicture\makeatletter\hbox{\hskip 86.13246pt\lower-2.5pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-86.13246pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to118.97pt{\vbox to8.67pt{\pgfpicture\makeatletter\hbox{\hskip 59.4843pt\lower-1.75pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-59.4843pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}{\hbox to97.63pt{\vbox to5.75pt{\pgfpicture\makeatletter\hbox{\hskip 48.81345pt\lower-1.25pt\hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} \lxSVG@begingroup@{stroke} \lxSVG@begingroup@{fill} \lxSVG@setlinewidth{\the\pgflinewidth}\lxSVG@begingroup@{stroke-width} \lx@inpgf@ignorespaces\nullfont\lxSVG@begingroup@{_scopebegin} \lxSVG@closescope \hbox to0.0pt{\lxSVG@begingroup@{_scopebegin} {}{ {{}}\lx@inpgf@ignorespaces\hbox{\hbox{{\lxSVG@begingroup@{_scopebegin} {{}{}{{ {}{}}}{ {}{}} {{}{{\lx@inpgf@ignorespaces}}}{{}{\lx@inpgf@ignorespaces}}{}{{}{\lx@inpgf@ignorespaces}} {\lx@inpgf@ignorespaces }{{{{\lx@inpgf@ignorespaces}}\lxSVG@begingroup@{_scopebegin} \lxSVG@transformcm{1.0}{0.0}{0.0}{1.0}{-48.81345pt}{0.0pt}\lxSVG@begingroup@{transform} \pgfsys@hbox{70}\lxSVG@closescope }}} \lxSVG@closescope }}} } \lxSVG@closescope \hbox to0.0pt{}{{ {}{}{}}}{\lx@inpgf@ignorespaces}{\lx@inpgf@ignorespaces}\hss}\lxSVG@discardpath\lxSVG@closescope \hss}}\lxSVG@closescope\endpgfpicture}}}, \mathstrut\mathcal{C}^{\text{sem}}\left(\mathbf{o};\bm{l}\right) \mathstrut\,\nabla_{\bm{\epsilon}}\,\mathcal{C}^{\text{pla}}(\bm{\epsilon})$$ (8)

где коэффициенты $\beta,\lambda_{1},\lambda_{2},\lambda_{3}$ настраиваются в зависимости от WM, размерности шума и VLM.

5 Пример исследования: управление видеомоделью мира для автомобиля Дубинса

Сначала мы изучаем StressDream в контролируемых условиях, где динамика системы и неопределенность известны. Поскольку мы знаем истинную динамику, такая настройка позволяет нам проверить, может ли управление WM эффективно выявлять сценарии будущего с высоким уровнем воздействия (то есть сбои) только тогда, когда они возможны в рамках системы.

Непослушный 3D Dubins car. Мы рассматриваем основанную на изображениях конфигурацию дискретного 3D Dubins car с состоянием $s=[p_{x},p_{y},\theta]$, непрерывным действием угловой скорости $a_{t}\in[-1.25,\,1.25]\,\mathrm{rad/s}$, фиксированной скоростью $v=1\,\mathrm{m/s}$ и временным шагом $\Delta t=0.05\,\mathrm{s}$. Непослушный Dubins car вносит неопределенность путем случайного изменения знака управляющего воздействия: $\delta_{t}=-1$ с вероятностью $p=0.2$ и $\delta_{t}=1$ в противном случае:

$$s_{t+1}=s_{t}+\Delta t\,[\,v\cos(\theta_{t}),\;v\sin(\theta_{t}),\;\delta_{t}a_{t}\,],\qquad\delta_{t}\in\{-1,1\}.$$ (9)

Каждое состояние визуализируется как $3\times 128\times 128$ RGB-изображение, отображающее окружающую среду и транспортное средство. В данной конфигурации вместо $\mathcal{C}^{\text{sem}}$ на основе VLM мы используем показатель безопасности, определенный как $\mathcal{C}(s)=p_{x}^{2}+p_{y}^{2}-0.25^{2}$, который формирует круговое множество отказов радиуса $0.25\,\mathrm{m}$ с центром в начале координат: $\mathcal{F}:=\{s\mid\mathcal{C}(s)\leq 0\}.$

Видеомодель мира. Мы обучаем WM на офлайн-наборе данных из $4{,}000$ случайных траекторий наблюдений и действий. Мы обучаем предиктора показателей безопасности для регрессии истинного значения оценки по изображению, а также обучаем диффузионную модель мира, $f_{\theta}(o_{t+1}\mid\epsilon,o_{t},a_{t})$, для генерации одношагового будущего наблюдения $(H=1)$, обусловленного текущим наблюдением и действием. Результирующая размерность шума составляет $1024$.

⟦Figure 1: Результаты: Naughty Dubins Car. (a): TPR и TNR для обнаружения возможных сбоев в воображении WM. (b): Наложенные номинальные и управляемые воображения. StressDream управляет воображением WM, обнаруживая вероятные сбои, которые пропускает номинальное воображение. Смотрите Приложение C и Website для получения дополнительных результатов и подробностей..

Настройка эксперимента. Мы стремимся обнаруживать последовательности действий, которые имеют вероятность попадания в набор отказов, используя воображение WM. Мы создаем оценочный набор данных из $5{,}000$ случайных начальных состояний и последовательностей действий. Для каждой траектории мы вычисляем минимальный показатель безопасности, соответствующий действительности, достижимый при стохастической динамике в (9), и помечаем его как положительный, если минимальный показатель, соответствующий действительности, ниже нуля, что указывает на то, что траектория может попасть в набор отказов. Затем мы выполняем развертывание world-model с разомкнутым контуром, используя только начальное изображение $o_{0}$ и последовательность действий, и классифицируем воображаемую траекторию как отказ, то есть положительную, если ее минимальный прогнозируемый показатель безопасности на протяжении всего развертывания ниже нуля..

Базовые модели. StressDream управляет воображением путем минимизации предсказанного показателя безопасности для $10$ шагов оптимизации. Мы проводим сравнение с выборкой без оптимизации: Nominal ($N$=$1$) и Best-of-N ($N$=$10$). Мы проводим абляционное исследование StressDream без $\mathcal{C}^{\text{pla}}$ и сравниваем с classifier guidance (CG) [26, 69], который применяет градиенты во время удаления шума вместо оптимизации начального шума..

StressDream надежно обнаруживает сбои только тогда, когда они правдоподобны. Рис. 1 показывает, что StressDream точно выявляет потенциальные сбои в воображаемых сценариях WM, достигая высокого уровня истинно положительных результатов, то есть правильно идентифицируя траектории, которые могут привести к сбою, при сохранении высокого уровня истинно отрицательных результатов, то есть не классифицируя ошибочно безопасные траектории как сбои. Напротив, StressDream без целевой функции правдоподобия в разд. 4.2 дает низкий уровень истинно отрицательных результатов, что указывает на то, что без ограничения типичного множества воображаются неправдоподобные сбои. CG аналогичным образом создает множество ложноположительных результатов путем прямого изменения траектории шумоподавления, генерируя неправдоподобные воображаемые сценарии. Методы случайной выборки (Nominal, Best-of-N) генерируют правдоподобные сценарии, но менее эффективны в выявлении редких возможных сбоев по сравнению со StressDream, часто пропуская их даже при использовании нескольких выборок..

6 Эксперименты: надежная оценка и улучшение стратегии

В этом разделе мы проверяем StressDream для надежной оценки и улучшения стратегий с использованием современных видео world models как в автономном вождении [38], так и в робототехнических манипуляциях [42]⟧.

Автономное вождение. Мы используем Vista [38], которая предсказывает $25$ будущих кадров фронтальной камеры с частотой $576\times 1024$, обусловленных будущими путевыми точками в качестве действий, с размерностью шума $D=921{,}600$. Мы проводим SFT модели на наборе данных PhysicalAI-Autonomous-Vehicles (PAI-AV) [86] и наборе данных Nexar Collision Prediction Dataset [81], которые включают разнообразные сценарии вождения, такие как столкновения. Мы проводим оптимизацию в течение $20$ шагов с использованием Qwen2.5-VL-7B-Instruct [10], дообученной с помощью Wolf [67] и X-CLIP [76]⟧.

Роботизированная манипуляция. Мы используем Ctrl-World [42], обученную в среде DROID [62], которая предсказывает $5$ будущих кадров с $3$ камер с разрешением $192\times 320$, обусловленных действиями по позиционированию суставов, с $D=57{,}600$. Мы рассматриваем шесть задач манипуляции с частыми контактами (см. рис. 6) и собираем приблизительно $150$ траекторий телеуправления для каждой задачи, содержащих как успешные, так и неудачные попытки, для дообучения модели (SFT). Мы оптимизируем шум в течение $10$ шагов, используя Qwen3-VL-4B-Instruct [9], предоставляя видео с трех ракурсов вместе с промптом, описывающим сбой в выполнении задачи (подробности в приложении D.1⟧).

6.1 Надежная оценка стратегий с использованием современных видео World Models

Сначала мы исследуем, позволяет ли StressDream проводить надежную оценку стратегии путем эффективного управления воображением WM в сторону значимых, но правдоподобных результатов, задаваемых во время вывода. В качестве базовой линии мы проводим сравнение со случайной генерацией (Best-of-N), которая выбирает несколько вариантов воображения без оптимизации при том же бюджете, что и у StressDream, и выбирает тот, у которого самый высокий балл..

⟦Figure 2: Номинальные и управляемые воображения. Верхние тексты показывают промпты на этапе вывода, описывающие целевые результаты. StressDream направляет воображения WM к заданным высокоэффективным результатам, которые упускает номинальная генерация. Воображения основаны на правдоподобных исходах: когда целевые результаты не поддерживаются распределением WM, например, рассыпание липких конфет или их выпадение из закрытого пакета, StressDream их не воображает..

⟦Figure 3: Управление видеомоделями мира для вождения. StressDream направляет воображение WM к целевым событиям более эффективно, чем случайная выборка (Best-of-N), в то время как $\mathcal{C}^{\text{pla}}$ помогает сохранить качество видео.

Настройка оценки. Мы генерируем воображаемые сценарии на основе начального наблюдения $o_{0}$ и последовательности действий $\mathbf{a}$, а затем оцениваем, соответствует ли сгенерированное видео текстовой спецификации $\bm{l}$ целевого события, заданной во время инференса. Для вождения мы отбираем $100$ пар изображение–действие–текст из набора данных PAI-AV [86] по $8$ категориям критически важных для безопасности событий (см. Приложение D.3), а также $200$ примеров неизбежных столкновений [81]. Каждый промпт описывает целевое событие, которое еще не произошло в начальном наблюдении, но происходит в пределах горизонта прогнозирования. Для манипуляций мы собираем $100$ траекторий сбоев по различным задачам в качестве оценочного набора данных и проверяем, могут ли воображаемые сценарии WM, построенные на основе начальных изображений и последовательностей действий, надежно выявлять сбои (см. Приложение D.2⟧).

Метрики оценки. Для вождения мы сообщаем о соответствии цели и качестве видео, используя отложенный оценщик, WorldModelBench [68]. Соответствие цели измеряет, соответствует ли видео текстовому описанию целевого события, в то время как качество видео служит прокси-показателем правдоподобности. Для манипуляций мы помечаем каждую генерацию как успех или неудачу на основе суждения человека. (См. Приложение D.4)

⟦Figure 4: Управление Steering Ctrl-World: обнаружение сбоев задач в воображении WM.

StressDream надежно обнаруживает высокозначимые исходы в воображаемых сценариях. Рис. 2 сравнивает номинальные и управляемые генерации. StressDream правдоподобно генерирует видео, соответствующие спецификациям целевых критических для безопасности или аварийных событий во время инференса, которые упускаются при номинальном воображении, что позволяет проводить надежную оценку последовательностей действий через воображение WM. Рис. 3 показывает, что без ограничения типичного множества показатели целевого выравнивания и качества видео снижаются, что указывает на то, что целевая функция правдоподобия помогает сохранить правдоподобность. В задачах манипуляции StressDream обнаруживает события сбоя задачи в воображении с более высокой полнотой, тогда как случайные генерации часто бывают чрезмерно оптимистичными и пропускают возможные сбои, как показано на рис. 4. Дополнительные результаты представлены в Приложении E.1 и Website⟧.

⟦Figure 5: Направление к столкновению: StressDream может вызывать целевые события только тогда, когда они правдоподобны.

Управление основано на правдоподобных исходах. Мы исследуем, остается ли управление обоснованным правдоподобными исходами, поддерживаемыми распределением WM, а не галлюцинированием неправдоподобных вариантов будущего. Чтобы проверить это, мы направляем генерации в сторону событий столкновения, используя как дообученную на столкновениях модель Vista, так и базовую модель Vista, которая не обучалась на событиях столкновения. Рис. 5 показывает, что базовая модель не может представить исходы столкновений даже при управлении, достигая более низких показателей соответствия цели, чем случайная выборка из дообученной на столкновениях модели. Это указывает на то, что StressDream направляет только к событиям, поддерживаемым распределением исходов WM, а не синтезирует неправдоподобные события. Аналогично, два правых столбца на рис. 2 показывают, что исходы просыпания цели вызываются только тогда, когда они правдоподобны в рамках распределения WM: StressDream не вызывает просыпание для открытого пакета с липкими конфетами или закрытого пакета с кофе, но делает это для открытого пакета с кофе. Поскольку липкие конфеты вряд ли могут просыпаться, а закрытый пакет не обнажает свое содержимое, просыпание не поддерживается распределением WM в этих сценах. Больше деталей и результатов в Приложении E.3⟧.

6.2 Улучшение стратегии с помощью управляемых воображений видеомоделей мира ⟦K0⟧

⟦Figure 6: Улучшение стратегии посредством StressDream. Тонкая настройка $\pi_{0.5}$ с помощью управляемых воображений WM отдает предпочтение надежным действиям, которые остаются успешными при наихудших правдоподобных исходах, в то время как номинальная тонкая настройка может предлагать действия, при которых сбои вероятны в рамках распределения исходов. Видео доступны по адресу website.

Настройка. Мы исследуем, может ли StressDream улучшить робототехническую стратегию посредством управляемых воображений WM, способствуя принятию надежных действий, которые остаются успешными при распределении результатов. Мы рассматриваем улучшение стратегии поведенческого клонирования, модели Vision-Language-Action (VLA) $\pi_{0.5}$ [57], с оценкой действий в воображениях WM. В частности, мы проводим SFT $\pi_{0.5}$-droid с использованием $40$ успешных демонстраций на задачу, применяя целевую функцию взвешенной регрессии [41], и сравниваем две настройки: Nominal $\pi_{0.5}^{\mathrm{FT}}$, которая присваивает равномерный вес $1.0$ всем траекториям, и Robust $\pi_{0.5}^{\mathrm{FT}}$, которая присваивает вес $1.0$ траекториям, остающимся успешными при управлении в сторону сбоев задачи, и вес $0.1$ траекториям, которые терпят неудачу в управляемых воображениях. Это поощряет надежные действия, чье вероятное распределение результатов не включает сбои, одновременно снижая вес рискованных действий, которые могут привести к сбою..

⟦Figure 7: $\pi_{0.5}$ Результаты развертывания.

StressDream улучшает политики путем продвижения устойчивых действий. Рис. 6 иллюстрирует развертывания дообученных $\pi_{0.5}$ политик. Устойчивая $\pi_{0.5}^{\mathrm{FT}}$ отдает предпочтение действиям, чьи вероятные исходы не включают сбои в выполнении задачи, что определяется путем управления воображением. Напротив, номинальная $\pi_{0.5}^{\mathrm{FT}}$ предлагает рискованные действия, чье распределение вероятных исходов включает сбои, даже если они случайно привели к успеху во время сбора данных. Рис. 7 показывает показатели успешности на основе $20$ развертываний для каждой задачи, демонстрируя, что устойчивая $\pi_{0.5}^{\mathrm{FT}}$ достигает более высокой успешности за счет предложения устойчивых действий, которые позволяют избежать потенциальных сбоев..

7 Заключение

В данной работе мы предлагаем StressDream, который направляет воображение видео-world models к результатам с высоким уровнем воздействия, задаваемым во время inference-time, оставаясь при этом в рамках распределения правдоподобных исходов. StressDream оптимизирует высокоразмерный начальный шум диффузионных видео-world models, используя комбинацию семантических целей и целей правдоподобности: градиенты VLM направляют генерацию к результатам с высоким уровнем воздействия, задаваемым промптами во время inference-time, в то время как ограничения типичного множества сохраняют высокоразмерный шум типичным в рамках гауссовского априорного распределения. Используя WM для автономного вождения и манипуляций роботов, мы демонстрируем, что StressDream эффективно направляет воображение, сохраняя правдоподобность, что позволяет проводить надежную оценку политики путем выявления действий с потенциальными сбоями и улучшать политики, отдавая предпочтение надежным действиям, которые позволяют избежать таких сбоев..

Ограничения. StressDream требует указания результатов с высоким уровнем воздействия с помощью текстовых описаний, поэтому его эффективность зависит от качества промпта и может пострадать от reward hacking, при котором оценка увеличивается без значимых изменений в генерациях [34, 55], что подчеркивает необходимость создания обобщаемых и устойчивых reward models для робототехники [105, 71]. Кроме того, StressDream может не сохранить правдоподобность или не обнаружить релевантные сбои, когда базовый WM ограничен: он может осуществлять управление в рамках ошибочных видео, созданных WM, или не суметь представить целевые результаты, отсутствующие в обучающем распределении WM. Таким образом, наше понятие правдоподобности ограничено тем, что поддерживает WM, и не обязательно подразумевает физическую правдоподобность в реальном мире, что подчеркивает необходимость использования разнообразных данных роботов для обучения высокоточных WM с физически согласованными предсказаниями. Время выполнения также остается значительным, поскольку текущие WM требуют несколько минут на одну генерацию [38, 42], хотя это может быть сокращено за счет эффективных моделей [102, 64, 32]. Мы отсылаем читателей к Приложению F для более подробного обсуждения..

Благодарности

JS выражает благодарность Луке Эйрингу за содержательные дискуссии об оптимизации шума, а также Лассе Петерсу за неоценимые отзывы о тексте работы. Данное исследование было частично профинансировано в рамках премии для молодых преподавателей (YFA) Агентства перспективных оборонных исследовательских проектов (DARPA). Выраженные взгляды, мнения и/или выводы принадлежат автору и не должны интерпретироваться как отражающие официальную позицию или политику DARPA или правительства США. В работе использовались вычислительные мощности Bridges-2 в Питтсбургском суперкомпьютерном центре в рамках выделения ресурсов CIS251277 по программе Координационной экосистемы передовой киберинфраструктуры: Услуги и поддержка (ACCESS), которая поддерживается грантами Национального научного фонда № 2138259, № 2138286, № 2138307, № 2137603 и № 2138296..

Веб-сайт проекта

Видеорезультаты и интерактивные демонстрации доступны по адресу junwon.me/StressDream/. Коды доступны по адресу https://github.com/CMU-IntentLab/StressDream⟧.

Приложение

Appendix A Контекст

A.1 Связанные работы

Мировые модели для робототехники. Мировые модели стали многообещающей парадигмой для робототехники, позволяющей прогнозировать будущие состояния непосредственно на основе высокоразмерных сенсорных наблюдений, обусловленных действиями [36, 31, 44, 122, 130, 79, 15, 1, 77]. Благодаря генерации синтетических траекторий они доказали свою эффективность для обучения стратегий на основе зрения [43, 45, 46, 47, 82, 2, 99, 41], планирования в латентном пространстве [130, 90] и оценки стратегий [48, 42, 91]. Достижения в моделях генерации видео [14], которые создают реалистичные и временно согласованные прогнозы, еще больше повысили выразительность мировых моделей в разнообразных сценариях реального мира, особенно при дообучении (fine-tuned) на данных воплощения (embodiment data) для обусловливания действий [38, 50, 42]. Мировые модели обычно работают в условиях частичной наблюдаемости, что естественным образом порождает неопределенность и мультимодальность в будущих прогнозах [114, 129, 61], особенно в таких условиях, как манипуляции с частыми контактами [42] или автономное вождение [38, 94, 11, 50]. В частности, подходы, основанные на диффузии и flow-matching [52, 59, 73], показали высокую эффективность в моделировании высокоразмерных сложных сред благодаря своей способности улавливать богатые мультимодальные распределения будущих наблюдений [7, 17, 39, 61]. Несмотря на это, многие существующие методы с использованием мировых моделей либо полагаются на номинальные развертки (rollouts) без рассуждения о распределении вероятных будущих состояний [17, 42, 98], либо используют детерминированные мировые модели, которые не могут представить такое разнообразие [130, 77], тем самым не учитывая явным образом риски, возникающие из-за неопределенного будущего..

Управление генеративными моделями во время инференса. Управление во время инференса для диффузионных [52, 103] или flow-matching [73, 74] моделей направлено на то, чтобы направить предобученную генеративную модель к выборкам, которые максимизируют вознаграждение во время инференса [106, 110, 111, 54]. Хотя прямая дообучение (SFT) диффузионных моделей с целевыми функциями вознаграждения может быть эффективной для выравнивания по вознаграждению [35, 115, 89, 24, 110, 28], это дорого, сложно, привязано к конкретному вознаграждению [106, 54] и может привести к отклонению модели от исходного распределения данных [33]. Напротив, управление во время инференса оставляет предобученную модель неизменной и вместо этого модифицирует процедуру сэмплирования [23, 51, 106, 111, 100, 126], например, посредством классификаторного руководства [103] или методов сэмплирования на основе частиц, таких как Sequential Monte Carlo (SMC) [121, 29, 88, 54]. Одним из наиболее актуальных направлений является оптимизация шума, которая оптимизирует шум, сэмплированный в процессе шумоподавления [116, 40, 60, 34, 85, 106]. Предыдущие работы показали, что это может улучшить качество изображения [40, 18, 33], имитировать эффекты диффузионного руководства [3], генерировать редкие [95, 96, 97] или разнообразные концепты [63], а также адаптировать диффузионные политики в робототехническом управлении [113]. Однако центральной проблемой, особенно когда пространство шума становится высокоразмерным, является шум вне распределения: выборки могут достигать высокого вознаграждения, переставая при этом находиться в носителе предобученного распределения, как только шум отклоняется от априорного [95, 12, 106, 34, 127, 33, 49]. Более того, эти методы часто требуют обратного распространения градиентов вознаграждения через процесс шумоподавления; на практике многие поэтому полагаются на step-distilled модели, чтобы сделать обратное распространение вычислительно приемлемым [84, 34, 33, 27], в то время как недавние работы предлагают многошаговую дистилляцию оценок (score distillation) для более эффективной аппроксимации градиентов вознаграждения к начальному шуму [3]. Наш подход использует оптимизацию начального шума для управления видео-моделями мира с обусловленностью по действиям [38, 42] с помощью практического решения для высокоразмерной оптимизации шума..

A.2 Диффузионные модели

Современные генеративные модели часто основаны на формулировках диффузии или согласования потоков, которые генерируют выборки из шума путем моделирования обученного дифференциального уравнения. В этом разделе подробно рассматривается формулировка диффузионной модели из разд. 3, которая служит основой для современных видео-моделей мира, способных генерировать высококачественные видео. Для краткости мы опускаем обусловливание на $(\mathbf{o}^{\text{hist}},\mathbf{a})$ на протяжении всего текста..

Путь прямой вероятности. Диффузионные модели на основе оценки [52, 59, 101] и модели сопоставления потоков [6, 73] определяют генеративные модели $f_{\theta}$, процесс выборки которых может быть описан стохастическим или обыкновенным дифференциальным уравнением (SDE или ODE). Сеть шумоподавления $g^{\tau}_{\theta}$, которая параметризует эту динамику, обучается восстанавливать обратный генеративный процесс, как правило, путем прогнозирования оценки распределения возмущенных данных, внесенного шума или условного векторного поля.

Начиная с чистых данных $\mathbf{x}=\mathbf{o}\sim p^{\text{data}}(o)$ и изотропного гауссовского шума $\bm{\epsilon}\sim\mathcal{N}(0,\mathbf{I})$, прямой процесс, индексируемый временем диффузии $\tau\in\{0,1,\dots,T\}$, определяет возмущенный образец как

$$\mathbf{x}^{\tau}=\alpha^{\tau}\,\mathbf{x}+\sigma^{\tau}\,\bm{\epsilon}.$$ (10)

Для параметризаций с сохранением дисперсии, таких как DDPM, граничные условия удовлетворяют $\alpha^{0}=1$, $\sigma^{0}=0$, и $\alpha^{T}\to 0$, $\sigma^{T}\to 1$. В более общем случае мы требуем лишь того, чтобы конечное состояние было доминируемым шумом. Типичные примеры включают график сохранения дисперсии в DDPM [52], где $(\alpha^{\tau})^{2}+(\sigma^{\tau})^{2}=1$, и график взрывной дисперсии в EDM [59], где $\alpha^{\tau}\equiv 1$ и $\sigma^{\tau}$ увеличивается с диффузионным временем.

Цель обучения. Денойзер $g^{\tau}_{\theta}$ обучается восстанавливать внедренный гауссов шум из возмущенного будущего наблюдения, обусловленного историей наблюдений и последовательностью действий. С параметризацией предсказания шума,

$$\mathcal{L}(\theta)=\mathbb{E}_{\mathbf{x}\sim p^{\text{data}},\,\bm{\epsilon}\sim\mathcal{N}(0,\mathbf{I}),\,\tau}\left[\,w(\tau)\,\big\|\,\bm{\epsilon}-g^{\tau}_{\theta}\!\big(\alpha^{\tau}\mathbf{x}+\sigma^{\tau}\bm{\epsilon}\big)\big\|_{2}^{2}\,\right],$$ (11)

где $w(\tau)$ представляет собой зависящий от времени весовой коэффициент [59]. Параметризации чистого образца, оценки и скорости линейно эквивалентны [59, 103]; мы принимаем $g^{\tau}_{\theta}$ в качестве предсказателя шума, и данный анализ переносится на другие параметризации.

Генерация посредством детерминированных обновлений ODE. Во время инференса генерация начинается с начального образца гауссовского шума $\mathbf{x}^{T}=\bm{\epsilon}\sim\mathcal{N}(0,\mathbf{I})$ и итеративно отображается в чистый образец путем следования обратной ODE потока вероятностей. Детерминированное обновление, используемое в (3), можно рассматривать как шаг Эйлера первого порядка для данной ODE, где DDIM [101] и EDM [59] являются репрезентативными примерами. Учитывая текущий зашумленный образец $\mathbf{x}^{\tau}$, предсказанный чистый образец получается путем инвертирования прямого пути (10):

$$\hat{\mathbf{x}}^{0\mid\tau}=\frac{\mathbf{x}^{\tau}-\sigma^{\tau}\,g^{\tau}_{\theta}\!\left(\mathbf{x}^{\tau}\right)}{\alpha^{\tau}}.$$ (12)

Затем образец переводится на следующий, менее зашумленный момент времени $\tau-1$ путем повторного применения прямого пути к $\hat{\mathbf{x}}^{0\mid\tau}$ с использованием предсказанного шума в качестве направления шума.:

$$\mathbf{x}^{\tau-1}=\alpha^{\tau-1}\,\hat{\mathbf{x}}^{0\mid\tau}+\sigma^{\tau-1}\,g^{\tau}_{\theta}\!\left(\mathbf{x}^{\tau}\right).$$ (13)

Итерация этого детерминированного обновления от $T$ до $0$ определяет процесс генеративного моделирования $\mathbf{x}\sim f_{\theta}$. Подстановка (12) в (13) позволяет восстановить обновление шумоподавления в (3⟧).

ОДУ потока вероятностей и детерминизм начального шума. В пределе непрерывного времени детерминированные обновления в (13) соответствуют дискретизации Эйлера для ОДУ потока вероятностей, связанного с прямым путем в (10) [103, 59]. Данное ОДУ переносит выборки из гауссовского априорного распределения $\mathcal{N}(0,\mathbf{I})$ в распределение данных $p^{\text{data}}$ вдоль детерминированных траекторий. Таким образом, сгенерированная выборка может быть записана как $\bm{\epsilon}\mapsto f_{\theta}(\bm{\epsilon})=\mathbf{x}^{0},$ где $f_{\theta}$ обозначает детерминированный сэмплер, индуцированный обученным шумоподавителем. Это делает сгенерированную выборку детерминированной и дифференцируемой функцией начального шума, что обосновывает использование $\bm{\epsilon}$ в качестве управляющей переменной и позволяет распространять градиенты последующих критериев через сэмплер.

A.3 Видеомодели мира с обусловленностью на действия

Видеомодели мира для робототехники продемонстрировали потенциал в оценке и улучшении стратегий путем моделирования сложных для описания систем непосредственно на основе высокоразмерных сенсорных наблюдений [78]. В манипуляционной робототехнике, например, модель мира может предвидеть, как объекты могут рассыпаться, соскальзывать или опрокидываться во время физического взаимодействия, основываясь на данных с камер [82, 98, 119]. В автономном вождении она может моделировать будущее развитие сцены в сложных условиях, фиксируя взаимодействия агентов и критически важные для безопасности ситуации непосредственно в пространстве изображений [38, 50]. Эти возможности могут способствовать оценке и улучшению стратегий визуомоторного управления в симуляции, снижая зависимость от дорогостоящих, трудоемких и потенциально небезопасных испытаний в реальном мире [78, 125]⟧.

Stable Video Diffusion. Недавние видео world models часто строятся на основе моделей генерации видео [1, 117], которые продемонстрировали высокую способность к синтезу реалистичных и временно согласованных видео. Вместо обучения с нуля многие современные подходы используют инициализацию из крупномасштабных диффузионных моделей видео с последующей донастройкой на специализированных наборах данных, таких как вождение или манипуляции роботов. Широко используемой основой является Stable Video Diffusion (SVD) [14] — латентная диффузионная модель для генерации видео из изображений. SVD использует архитектуру энкодер-декодер для отображения RGB-кадров в обученное латентное пространство, $z=\mathcal{E}(o)\in\mathbb{R}^{4\times H/8\times W/8},$ где $H$ и $W$ обозначают высоту и ширину изображения. Затем диффузионная модель обучается удалять шум из латентных представлений видео, следуя целевой функции вида в (11), а сгенерированные латентные представления декодируются обратно в RGB-видеокадры с использованием декодера.

Обусловливание действиями. Для робототехнических приложений видео-модели мира обусловливаются действиями, чтобы обеспечить возможность контролируемой генерации будущего [38, 42]. Эти действия могут соответствовать будущим элементам управления транспортным средством или траекториям в автономном вождении [38, 50], либо последовательностям действий робота, таким как позы рабочего органа, команды положения суставов или низкоуровневые команды управления в манипуляционной робототехнике [42, 65]. В обозначениях (11), шумоподавитель обусловливается предысторией и действиями, $g^{\tau}_{\theta}\left(\mathbf{x}^{\tau},\mathbf{o}^{\text{hist}},\mathbf{a}\right),$ так что сгенерированное будущее ограничено согласованностью как с наблюдаемой предысторией, так и с заданной последовательностью действий. В то время как более ранние модели мира часто изучали латентную динамику на основе траекторий наблюдений-действий, специфичных для задачи [43, 46, 48], современные диффузионные видео-модели мира, построенные на SVD, обычно начинают с предобученной видео-диффузионной модели и дообучают её на данных, обусловленных действиями. При обучении с условным отсевом (conditional dropout) эти модели также могут использовать классификатор-свободное руководство (classifier-free guidance) во время сэмплирования для поиска компромисса между визуальной реалистичностью и управляемостью действиями [53]⟧.

Обусловливание по истории. Для генерации согласованных будущих кадров, которые остаются непротиворечивыми по отношению к обусловливающим наблюдениям, современные видео world models включают историю наблюдений несколькими способами. Некоторые методы внедряют обусловливающие кадры путем замены соответствующих зашумленных латентных кадров на чистые наблюдаемые латентные представления во время процесса sampling [38]; другие используют прогрессивный или авторегрессионный sampling с покадровыми графиками шума для стимулирования причинно-следственной структуры во времени [17, 50]; а некоторые предоставляют разреженные кадры истории или memory tokens в качестве дополнительных входных данных сети посредством обусловливания на основе attention [42]. Эти механизмы помогают сохранить временную непрерывность, поддерживать согласованность сгенерированного будущего с наблюдаемой историей, обеспечивая авторегрессионную генерацию видео на более длительный горизонт за счет обусловливания будущих предсказаний на предыдущих наблюдениях или сгенерированных кадрах..

Применение: Оценка и улучшение стратегий. Видеомодели мира с обусловленностью на действия могут поддерживать обучение роботов без многократных запусков в реальном мире, обеспечивая масштабируемую генерацию данных, планирование, оценку стратегий и их улучшение. Поскольку современные передовые модели генерации видео часто работают медленно и требуют больших объемов памяти, их обычно используют автономно, а не для планирования в реальном времени. Предыдущие работы в основном использовали видеопрогнозирование с обусловленностью на действия двумя способами: (i) использование воображаемых запусков для оценки или оптимизации стратегий без повторных испытаний на оборудовании [91, 42, 109, 70, 125], и (ii) генерация синтетических траекторий для аугментации данных или SFT стратегий [42, 58, 99, 41, 125]. В частности, недавние работы сообщают, что видеомодели мира могут служить симуляторами для оценки visuomotor стратегий в замкнутом контуре, при этом прогнозируемая производительность коррелирует с показателями успеха в реальном мире [42]. Аналогичным образом, стратегии могут быть улучшены с использованием видеомоделей мира либо посредством обучения с подкреплением внутри воображаемых запусков [99], либо путем поиска успешных синтетических траекторий, которые затем используются для SFT стратегии [41]⟧.

Хотя наш метод может быть применен в этих более широких условиях, наши эксперименты сосредоточены конкретно на ценности управления видео world models для надежной оценки и улучшения policy. Вместо оценки полной роботизированной policy в замкнутом цикле мы оцениваем траектории-кандидаты, которые могли бы быть созданы policy, и оцениваем их потенциальные риски сбоев. Аналогичным образом, вместо улучшения policy посредством исследования в замкнутом цикле внутри world model, мы используем управляемую world model для выявления подверженных сбоям экспертных траекторий и перевзвешиваем их во время fine-tuning policy..

A.4 Управление генеративными моделями во время вывода

Учитывая генеративную модель $f_{\theta}$, которая отображает начальный образец шума $\bm{\epsilon}\sim\mathcal{N}(0,\mathbf{I})$ в сгенерированный образец $\bm{x}=f_{\theta}(\bm{\epsilon})$, оптимизация во время вывода (inference-time optimization) направлена на поиск генераций, максимизирующих заданный пользователем критерий $\mathcal{C}$, при сохранении правдоподобности сгенерированных образцов с помощью регуляризатора $\mathrm{Reg}(\bm{x})$, который штрафует генерации, отклоняющиеся от исходного распределения модели. Это можно записать как

$$\bm{x}^{*}=\argmax_{\bm{x}}\;\mathcal{C}(\bm{x})-\alpha\,\mathrm{Reg}(\bm{x}).$$ (14)

Естественный способ реализации этой цели заключается в адаптации самой генеративной модели таким образом, чтобы она осуществляла выборку из распределения, смещенного в сторону вознаграждения.,

$$f_{\theta}^{*}(\bm{x})\propto f_{\theta}(\bm{x})\exp\!\left(\frac{\mathcal{C}(\bm{x})}{\alpha}\right),$$ (15)

который увеличивает вес образцов с высоким критерием, оставаясь при этом близким к исходному распределению модели. Однако прямая донастройка генератора часто непрактична для управления во время вывода: критерий может меняться в зависимости от задач или пользователей, а донастройка требует значительных вычислительных затрат для каждого нового критерия. Более того, сохранение близости к исходному распределению может потребовать оценок плотности, которые являются невыполнимыми или чрезмерно дорогими для многомерных генеративных моделей [115, 4]. В результате адаптация модели может отклониться от исходного распределения данных и приводить к созданию неправдоподобных генераций [33, 54].

Оптимизация начального шума. Оптимизация начального шума, напротив, сохраняет генеративную модель неизменной и оптимизирует только входной шум в соответствии с критерием на этапе вывода, оцениваемым на сгенерированном образце.:

$$\bm{\epsilon}^{*}=\argmax_{\bm{\epsilon}}\;\mathcal{C}\!\left(f_{\theta}(\bm{\epsilon})\right).$$ (16)

Данная формулировка позволяет задавать произвольные критерии во время вывода ⟦BROKEN_K0⟧ без изменения параметров модели. Если оптимизированный шум остается правдоподобным в рамках исходного гауссовского априорного распределения, то результирующая генерация по-прежнему индуцируется распределением предобученной модели, поэтому дополнительная регуляризация самого сгенерированного образца не требуется..

Когда $\mathcal{C}$ является дифференцируемой, оптимизация может быть решена путем обратного распространения ошибки через диффузионный сэмплер [116, 60, 34]. Для недифференцируемых критериев в предыдущих работах оцениваются градиенты критерия [106], оптимизация амортизируется с помощью гиперсети [33] или управление формулируется как задача обучения с подкреплением [18, 113]. Поскольку обратное распространение ошибки через множество итеративных шагов шумоподавления является вычислительно затратным, в ряде методов диффузионные модели дополнительно дистиллируются в одношаговые генераторы, чтобы сделать оптимизацию более управляемой [34, 84, 33]⟧.

A.5 Типичное множество многомерного гауссовского шума

Типичное множество описывает область, в которой выборки из распределения с высокой вероятностью должны находиться. Это, следовательно, понятие вероятностной массы, а не просто плотности вероятности [25, 83]. Для случайного вектора $\bm{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}_{D})$, пусть $p(\bm{\epsilon})$ обозначает совместную плотность полного $D$-мерного гауссовского априорного распределения. $\delta$-типичное множество может быть записано как

$$\mathcal{T}_{\delta}^{(D)}=\left\{\bm{\epsilon}:\left|-\frac{1}{D}\log p(\bm{\epsilon})-h(\mathcal{N}(0,1))\right|\leq\delta\right\},$$ (17)

где $h(\mathcal{N}(0,1))=\frac{1}{2}\log(2\pi e)$ — дифференциальная энтропия одномерного стандартного гауссовского распределения. Одномерная энтропия возникает из-за того, что априорное стандартное гауссовское распределение факторизуется по координатам, $p(\bm{\epsilon})=\prod_{i=1}^{D}p(\epsilon_{i})$. Таким образом, $-\frac{1}{D}\log p(\bm{\epsilon})$ — это среднее количество информации на координату, аналогичное эмпирической энтропии для i.i.d. последовательности. Для изотропного гауссовского априорного распределения,

$$-\frac{1}{D}\log p(\bm{\epsilon})=\frac{1}{2}\log(2\pi)+\frac{1}{2D}\|\bm{\epsilon}\|_{2}^{2}.$$ (18)

Следовательно, типичность подразумевает $\|\bm{\epsilon}\|_{2}^{2}/D\approx 1$. В пространствах высокой размерности выборки из распределения Гаусса концентрируются на тонкой оболочке радиусом приблизительно $\sqrt{D}$, а не вблизи моды. Это иллюстрирует ключевое различие между плотностью и типичностью: нулевой вектор обладает наибольшей плотностью при априорном распределении Гаусса, но крайне маловероятен для выборки в пространствах высокой размерности. Хотя распределение Гаусса имеет полную поддержку на $\mathbb{R}^{D}$, большая часть его вероятностной массы концентрируется на малом подмножестве этого пространства по мере роста $D$. Эквивалентно, типичная выборка характеризуется не только своим правдоподобием, но и совокупностью выборочных статистик, значения которых близки к их математическим ожиданиям при априорном распределении Гаусса..

Appendix B Управление видеомоделями мира во время вывода ⟦K0⟧

B.1 Регуляризация шума внутри типичного множества многомерного гауссовского распределения

В этом разделе мы подробно рассматриваем разд. 4.2, где мы накладываем ограничения типичного множества в процессе оптимизации шума. В многомерных гауссовских распределениях области высокой плотности вероятности не обязательно совпадают с областями высокой вероятностной массы, где концентрируются типичные выборки. Например, нулевой вектор имеет наибольшую плотность в стандартном гауссовском распределении, однако он почти никогда не встречается при выборке в высоких размерностях; вместо этого типичные выборки лежат на тонкой оболочке с квадратом нормы приблизительно $d$. Мы называем эту область высокой массы типичным множеством. Как показано на рис. 8, типичное множество отличается от области высокой плотности, и выборка шума вне типичного множества может привести к неправдоподобным генерациям. Это различие важно для diffusion models, которые обучаются удалять шум из выборок, инициализированных из типичного гауссовского шума. Если оптимизация смещает начальный шум в сторону нетипичных областей априорного распределения с низкой массой, denoiser может быть оценен на входных данных, редко встречавшихся во время обучения, что приведет к ошибкам аппроксимации и, как следствие, к неправдоподобным или OOD генерациям..

⟦Figure 8: Плотность вероятности против массы в многомерном гауссовском распределении. Шум, выбранный из типичного множества, приводит к правдоподобной генерации, тогда как шум вне типичного множества — несмотря на высокую плотность вероятности — порождает неправдоподобные результаты, например, когда люди становятся размытыми или превращаются в транспортные средства.

Распространенный способ поощрения типичности заключается в регуляризации нормы оптимизированного шума, поскольку гауссовские выборки демонстрируют сильную концентрацию нормы в пространствах высокой размерности. В ряде предыдущих методов было установлено, что регуляризации на основе нормы достаточно для сохранения правдоподобности при генерации с помощью diffusion models [95, 34, 106]. Однако норма отражает лишь одну из многочисленных статистических характеристик гауссовской выборки. На практике мы обнаружили, что дополнительные ограничения типичности важны для высокоразмерных video world models. Таким образом, как описано в Sec. 4.2, мы регуляризируем несколько статистических характеристик оптимизированного шума, включая концентрацию нормы, изотропность и спектральную белизну, каждая из которых обоснована свойствами концентрации высокоразмерных гауссовских выборок..

⟦Figure 9: Примеры нетипичного гауссовского шума. Слева: типичный шум, выбранный из гауссовского априорного распределения. Остальные: шумы, возмущенные таким образом, чтобы нарушить концентрацию нормы, изотропность и спектральную белизну соответственно.

На рис. 9 представлены примеры гауссовского шума, визуализированные в виде двумерных изображений, где каждый нетипичный образец нарушает одну из статистических характеристик типичного гауссовского множества. Нарушение концентрации нормы приводит к появлению шума с глобально смещенными значениями по сравнению с типичным гауссовским шумом. Нарушение изотропности вносит локальные координатные паттерны, которые не встречаются в типичном i.i.d. шуме, в то время как нарушение спектральной белизны порождает структурированные, небелые паттерны в частотной области..

B.2 Концентрация регуляризаторов типичного множества Гаусса

Концентрация нормы. Для гауссовского шума $\bm{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}_{D})$, квадратичная норма удовлетворяет $\|\bm{\epsilon}\|_{2}^{2}\sim\chi^{2}_{D}$, и, следовательно, резко концентрируется вокруг $D$. Эквивалентно, евклидова норма, или радиус $\|\bm{\epsilon}\|_{2}$, концентрируется вокруг $\sqrt{D}$. Более того, если $R=\|\bm{\epsilon}\|_{2}$, то $R$ следует хи-распределению с $D$ степенями свободы, стандартное отклонение которого остается ограниченным независимо от $D$ и приближается к $1/\sqrt{2}$ при $D\to\infty$. Таким образом, хотя типичный радиус растет как $\sqrt{D}$, абсолютная ширина оболочки, содержащей большую часть гауссовской вероятностной массы, остается приблизительно постоянной. Это обосновывает штрафование отклонений от типичной гауссовской оболочки по радиусу:

$$\mathcal{C}^{\mathrm{norm}}(\bm{\epsilon}):=-\left(\|\bm{\epsilon}\|_{2}-\sqrt{D}\right)^{2}.$$

Lemma 1 (Норма концентрации гауссовского шума).

Пусть $\bm{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}_{D})$. Тогда для любого $\delta\in(0,1)$,

$$\mathbb{P}\!\left(\left|\frac{\|\bm{\epsilon}\|_{2}^{2}}{D}-1\right|>2\sqrt{\frac{\log(2/\delta)}{D}}+2\frac{\log(2/\delta)}{D}\right)\leq\delta.$$

Эквивалентно, вероятность того, что $\bm{\epsilon}$ лежит вне этой типичной нормативной оболочки, составляет не более $\delta$.

Доказательство.

Поскольку $\bm{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}_{D})$, его координаты $\epsilon_{1},\ldots,\epsilon_{D}$ являются независимыми стандартными нормальными случайными величинами. Следовательно,

$$\|\bm{\epsilon}\|_{2}^{2}=\sum_{j=1}^{D}\epsilon_{j}^{2}\sim\chi^{2}_{D}.$$

Пусть $X=\|\bm{\epsilon}\|_{2}^{2}$. Согласно неравенству Лорана–Массара [66], для любого $x>0$,

$$\mathbb{P}\!\left(X-D\geq 2\sqrt{Dx}+2x\right)\leq e^{-x},\qquad\mathbb{P}\!\left(D-X\geq 2\sqrt{Dx}\right)\leq e^{-x}.$$

Принимая $x=\log(2/\delta)$, каждое хвостовое событие имеет вероятность не более $\delta/2$. Следовательно, согласно объединению границ, с вероятностью не менее $1-\delta$,

$$-2\sqrt{D\log(2/\delta)}\leq X-D\leq 2\sqrt{D\log(2/\delta)}+2\log(2/\delta).$$

Деление на $D$ дает

$$\left|\frac{X}{D}-1\right|\leq 2\sqrt{\frac{\log(2/\delta)}{D}}+2\frac{\log(2/\delta)}{D}.$$

Подстановка $X=\|\bm{\epsilon}\|_{2}^{2}$ завершает доказательство. ∎

Corollary 1 (Масштаб регуляризатора радиальной нормы с высокой вероятностью).

Для

$$|\,\mathcal{C}^{\mathrm{norm}}(\bm{\epsilon})\,|=\left(\|\bm{\epsilon}\|_{2}-\sqrt{D}\right)^{2},$$

у нас есть, для любого $\delta\in(0,1)$, с вероятностью не менее $1-\delta$,

$$|\,\mathcal{C}^{\mathrm{norm}}(\bm{\epsilon})\,|\leq\left(2\sqrt{\log(2/\delta)}+2\frac{\log(2/\delta)}{\sqrt{D}}\right)^{2}.$$

Следовательно,

$$|\,\mathcal{C}^{\mathrm{norm}}(\bm{\epsilon})\,|=O\!\left(\log(1/\delta)+\frac{\log^{2}(1/\delta)}{D}\right)$$

с высокой вероятностью.

Доказательство.

Согласно лемме 1, с вероятностью не менее $1-\delta$,

$$\left|\|\bm{\epsilon}\|_{2}^{2}-D\right|\leq 2\sqrt{D\log(2/\delta)}+2\log(2/\delta).$$

Пусть $R=\|\bm{\epsilon}\|_{2}$. Поскольку

$$|R-\sqrt{D}|=\frac{|R^{2}-D|}{R+\sqrt{D}}\leq\frac{|R^{2}-D|}{\sqrt{D}},$$

мы получаем

$$|R-\sqrt{D}|\leq 2\sqrt{\log(2/\delta)}+2\frac{\log(2/\delta)}{\sqrt{D}}.$$

Возведение обеих частей в квадрат дает желаемую границу. ∎

Corollary 2 (Независимая от размерности ширина гауссовой оболочки).

Пусть $R=\|\bm{\epsilon}\|_{2}$ с $\bm{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}_{D})$. Тогда стандартное отклонение $R$ ограничено независимо от $D$:

$$\operatorname{std}(R)=O(1).$$

Более конкретно, $R$ следует хи-распределению с $D$ степенями свободы, и

$$\operatorname{std}(R)\to\frac{1}{\sqrt{2}}\qquad\text{as}\qquad D\to\infty.$$

Доказательство.

Поскольку $R=\|\bm{\epsilon}\|_{2}$ и $\|\bm{\epsilon}\|_{2}^{2}\sim\chi^{2}_{D}$, случайная величина $R$ подчиняется хи-распределению с $D$ степенями свободы. Хи-распределение имеет моменты

$$\mathbb{E}[R^{2}]=D,\qquad\mathbb{E}[R]=\sqrt{2}\,\frac{\Gamma((D+1)/2)}{\Gamma(D/2)}.$$

Следовательно,

$$\operatorname{Var}(R)=D-2\left(\frac{\Gamma((D+1)/2)}{\Gamma(D/2)}\right)^{2}.$$

Эта дисперсия остается ограниченной по мере роста $D$ и, по сути, сходится к $1/2$. Следовательно

$$\operatorname{std}(R)\to\frac{1}{\sqrt{2}},$$

показывая, что ширина гауссовой оболочки асимптотически не зависит от размерности. ∎

Концентрация изотропии. Теперь мы покажем, что регуляризатор изотропии мал с высокой вероятностью при гауссовском априорном распределении. Пусть $\bm{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}_{D})$, и предположим $D=mk$. Мы случайным образом переставляем координаты $\bm{\epsilon}$ и разбиваем их на $m$ блоков

$$\bm{\epsilon}_{1},\ldots,\bm{\epsilon}_{m}\in\mathbb{R}^{k}.$$

Поскольку гауссов априор имеет независимые и одинаково распределенные координаты, данная случайная перестановка не меняет распределение, и блоки удовлетворяют ⟦BROKEN_K0⟧

$$\bm{\epsilon}_{i}\overset{\mathrm{i.i.d.}}{\sim}\mathcal{N}(\mathbf{0},\mathbf{I}_{k}).$$

Таким образом, их эмпирический второй момент

$$\widehat{\mathbf{\Sigma}}:=\frac{1}{m}\sum_{i=1}^{m}\bm{\epsilon}_{i}\bm{\epsilon}_{i}^{\top}$$

должны быть близки к $\mathbf{I}_{k}$ при гауссовском априорном распределении. Мы измеряем отклонения от этой блочной изотропии, используя

$$\mathcal{C}^{\mathrm{iso}}(\bm{\epsilon}):=-\frac{1}{k}\left\|\widehat{\mathbf{\Sigma}}-\mathbf{I}_{k}\right\|_{F}^{2}.$$

Lemma 2 (Малая вероятность анизотропной гауссовой блочной ковариации).

Существует универсальная константа $C>0$ такая, что для любого $\delta\in(0,1)$, если $m\gtrsim\log(2k^{2}/\delta)$, то

$$\mathbb{P}\!\left(|\,\mathcal{C}^{\mathrm{iso}}(\bm{\epsilon})\,|>C\frac{k\log(2k^{2}/\delta)}{m}\right)\leq\delta.$$

Доказательство.

Для каждой записи $\widehat{\mathbf{\Sigma}}$,

$$\widehat{\Sigma}_{ab}=\frac{1}{m}\sum_{i=1}^{m}\epsilon_{i,a}\epsilon_{i,b}.$$

Во-первых, рассмотрим диагональные члены. Поскольку $\epsilon_{i,a}\sim\mathcal{N}(0,1)$,

$$\widehat{\Sigma}_{aa}=\frac{1}{m}\sum_{i=1}^{m}\epsilon_{i,a}^{2},\quad\text{therefore,}\quad\mathbb{E}[\widehat{\Sigma}_{aa}]=1,\quad\operatorname{Var}(\widehat{\Sigma}_{aa})=\frac{2}{m},\quad\Rightarrow\,\mathbb{E}\left[(\widehat{\Sigma}_{aa}-1)^{2}\right]=\frac{2}{m}.$$

Для внедиагональных членов $a\neq b$ произведения $\epsilon_{i,a}\epsilon_{i,b}$ имеют нулевое среднее и единичную дисперсию. Следовательно

$$\mathbb{E}[\widehat{\Sigma}_{ab}]=0,\qquad\operatorname{Var}(\widehat{\Sigma}_{ab})=\frac{1}{m},\quad\text{which gives}\quad\mathbb{E}\left[\widehat{\Sigma}_{ab}^{2}\right]=\frac{1}{m}.$$

Следовательно,

$$\mathbb{E}\left[\left\|\widehat{\mathbf{\Sigma}}-\mathbf{I}_{k}\right\|_{F}^{2}\right] =\sum_{a=1}^{k}\mathbb{E}\left[(\widehat{\Sigma}_{aa}-1)^{2}\right]+\sum_{a\neq b}\mathbb{E}\left[\widehat{\Sigma}_{ab}^{2}\right]$$

$$=k\cdot\frac{2}{m}+k(k-1)\cdot\frac{1}{m}$$

$$=\frac{k^{2}+k}{m}.$$

Деление на $k$ дает

$$\mathbb{E}\left[|\,\mathcal{C}^{\mathrm{iso}}(\bm{\epsilon})\,|\right]=\frac{k+1}{m}.$$

Что касается утверждения о высокой вероятности, отметим, что каждый диагональный элемент $\widehat{\Sigma}_{aa}-1$ представляет собой среднее значение центрированных субоптимальных случайных величин, а каждый внедиагональный элемент $\widehat{\Sigma}_{ab}$ является средним значением произведений независимых гауссовских величин, которые также являются субоптимальными. Следовательно, согласно концентрационному неравенству типа Бернштейна [56], для всех элементов,

$$\mathbb{P}\left(|\widehat{\Sigma}_{ab}-\delta_{ab}|>t\right)\leq 2\exp(-cmt^{2})$$

для $0<t\lesssim 1$, где $c>0$ является универсальной константой. Применяя объединение границ для $k^{2}$ записей и принимая

$$t=C^{\prime}\sqrt{\frac{\log(2k^{2}/\delta)}{m}},$$

мы получаем, с вероятностью не менее $1-\delta$,

$$|\widehat{\Sigma}_{ab}-\delta_{ab}|\leq C^{\prime}\sqrt{\frac{\log(2k^{2}/\delta)}{m}}\qquad\text{for all }a,b.$$

Следовательно,

$$\left\|\widehat{\mathbf{\Sigma}}-\mathbf{I}_{k}\right\|_{F}^{2}\leq k^{2}{C^{\prime}}^{2}\frac{\log(2k^{2}/\delta)}{m}.$$

Деление на $k$ дает

$$\mathcal{C}^{\mathrm{iso}}(\bm{\epsilon})\leq C\frac{k\log(2k^{2}/\delta)}{m}$$

с вероятностью не менее $1-\delta$, для универсальной константы $C>0$. ∎

Это показывает, что нормированный штраф изотропии мал при использовании априорного распределения Гаусса во время обучения, когда $m\gg k$. В отличие от концентрации нормы, которая ограничивает только общую энергию $\operatorname{tr}(\widehat{\mathbf{\Sigma}})$, штраф изотропии также препятствует неравным дисперсиям координат и ненулевым внедиагональным корреляциям. Таким образом, он обнаруживает структурированные координатные паттерны, которые все еще могут иметь типичную глобальную норму, но маловероятны при априорном распределении Гаусса с независимыми и одинаково распределенными величинами..

Концентрация спектральной белизны. Изотропный регуляризатор проверяет, имеют ли случайно сгруппированные координаты приблизительно единичную ковариацию, но он не исключает напрямую структуру пространственных частот. Например, оптимизированный шум может обладать избыточной низкочастотной энергией, создавая гладкие пространственные паттерны, или избыточной высокочастотной энергией, создавая осциллирующие артефакты. При априорном распределении i.i.d. Gaussian шум должен быть спектрально белым: его энергия должна быть равномерно распределена по пространственным частотам..

Чтобы формализовать это, рассмотрим один пространственный срез шума и пусть

$$\widetilde{\bm{\epsilon}}=U\bm{\epsilon}$$

— это его дискретное преобразование Фурье, где $U$ — ортонормированный базис Фурье. Для вещественнозначного шума это можно интерпретировать как эквивалентный вещественный синусно-косинусный базис. Поскольку стандартное нормальное распределение инвариантно относительно вращения,

$$\widetilde{\bm{\epsilon}}\sim\mathcal{N}(\mathbf{0},\mathbf{I}).$$

Таким образом, ни одна полоса частот не должна систематически содержать больше энергии, чем другая. Отдельные мощности Фурье $|\widetilde{\epsilon}_{j}|^{2}$ зашумлены, но усреднение по достаточно большим частотным интервалам концентрируется.

Пусть $\{\mathcal{B}_{b}\}_{b=1}^{B}$ — непересекающиеся частотные интервалы, и определим среднюю мощность в каждом интервале как

$$\widehat{p}_{b}:=\frac{1}{|\mathcal{B}_{b}|}\sum_{j\in\mathcal{B}_{b}}|\widetilde{\epsilon}_{j}|^{2}.$$

Мы штрафуем отклонения от плоского бинированного спектра, используя ⟦BROKEN_K0⟧

$$\mathcal{C}^{\mathrm{spec}}(\bm{\epsilon}):=-\frac{1}{B}\sum_{b=1}^{B}\left(\widehat{p}_{b}-\bar{p}\right)^{2},\qquad\bar{p}:=\frac{1}{B}\sum_{b=1}^{B}\widehat{p}_{b}.$$

Lemma 3 (Малая вероятность нетипичной спектральной энергии).

Пусть $\bm{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I})$, и пусть $\widetilde{\bm{\epsilon}}=U\bm{\epsilon}$, где $U$ представляет собой ортонормированное дискретное преобразование Фурье. Пусть $\{\mathcal{B}_{b}\}_{b=1}^{B}$ — непересекающиеся частотные интервалы, и определим $\mathcal{C}^{\mathrm{spec}}$ как указано выше. Пусть

$$n_{\min}:=\min_{b}|\mathcal{B}_{b}|.$$

Затем, для любого $\delta\in(0,1)$,

$$\mathbb{P}\!\left(|\,\mathcal{C}^{\mathrm{spec}}(\bm{\epsilon})\,|>4\left(2\sqrt{\frac{\log(2B/\delta)}{n_{\min}}}+2\frac{\log(2B/\delta)}{n_{\min}}\right)^{2}\right)\leq\delta.$$

Доказательство.

Поскольку $U$ является ортонормированной, а стандартное гауссовское распределение инвариантно относительно вращения,

$$\widetilde{\bm{\epsilon}}=U\bm{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}).$$

Таким образом, в эквивалентном вещественном ортонормированном представлении Фурье коэффициенты Фурье являются независимыми стандартными нормальными случайными величинами.

Для каждого частотного бина $\mathcal{B}_{b}$,

$$|\mathcal{B}_{b}|\widehat{p}_{b}=\sum_{j\in\mathcal{B}_{b}}|\widetilde{\epsilon}_{j}|^{2}\sim\chi^{2}_{|\mathcal{B}_{b}|}.$$

Согласно неравенству Лорана–Массара [66] и объединению границ по $B$ бинам, с вероятностью не менее $1-\delta$, для всех $b=1,\ldots,B$,

$$\left|\widehat{p}_{b}-1\right|\leq 2\sqrt{\frac{\log(2B/\delta)}{|\mathcal{B}_{b}|}}+2\frac{\log(2B/\delta)}{|\mathcal{B}_{b}|}.$$

Начиная с $|\mathcal{B}_{b}|\geq n_{\min}$, мы имеем

$$\max_{b}\left|\widehat{p}_{b}-1\right|\leq\eta,\qquad\eta:=2\sqrt{\frac{\log(2B/\delta)}{n_{\min}}}+2\frac{\log(2B/\delta)}{n_{\min}}.$$

Более того,

$$|\bar{p}-1|=\left|\frac{1}{B}\sum_{b=1}^{B}(\widehat{p}_{b}-1)\right|\leq\eta.$$

Следовательно, для каждого бина,

$$|\widehat{p}_{b}-\bar{p}|\leq|\widehat{p}_{b}-1|+|\bar{p}-1|\leq 2\eta.$$

Подстановка этого в определение регуляризатора дает

$$|\,\mathcal{C}^{\mathrm{spec}}(\bm{\epsilon})\,|=\frac{1}{B}\sum_{b=1}^{B}\left(\widehat{p}_{b}-\bar{p}\right)^{2}\leq 4\eta^{2}.$$

Эквивалентно,

$$\mathbb{P}\!\left(|\,\mathcal{C}^{\mathrm{spec}}(\bm{\epsilon})\,|>4\eta^{2}\right)\leq\delta,$$

что доказывает утверждение. ∎

Лемма 3 показывает, что штраф за спектральную белизну мал при гауссовском априорном распределении, когда каждый частотный бин содержит достаточно много коэффициентов. Таким образом, большое значение указывает на нетипичную структуру пространственных частот. Этот регуляризатор дополняет изотропность: изотропность проверяет ковариацию после случайной группировки координат, тогда как спектральная белизна проверяет, равномерно ли распределена энергия по пространственным частотам..

B.3 Vision-Language Models как общий критерий во время вывода ⟦K0⟧

Вместо обучения специфичной для задачи функции вознаграждения или классификатора отказов для узкого набора событий [82, 98], мы используем VLM в качестве верификатора на этапе вывода, который может гибко задавать цели управления в различных сценах и категориях событий [123]. Это особенно полезно для видео-world models общего назначения, возможные варианты будущего которых могут сильно различаться в зависимости от сцены и контекста действий..

⟦Figure 10: Оценка VLM для сцен вождения. Три видеоролика сгенерированы на основе одной и той же сцены, но демонстрируют различные временные взаимосвязи с грузовиком на полосе движения эго-автомобиля. Как модель на базе Qwen-VL, так и X-CLIP корректно различают эти временные взаимосвязи.

VLM также предоставляют семантически значимые градиентные сигналы: специализированные модели вознаграждения, обученные на ограниченных наборах данных, могут не охватывать обширное пространство возможных генераций видео, что делает их уязвимыми к reward hacking [24, 34], при котором оптимизация увеличивает вознаграждение за счет состязательных или визуально бессмысленных изменений, а не за счет воспроизведения целевого события. Напротив, поскольку VLM обучены на крупномасштабных визуально-языковых данных, они могут предоставлять более общий семантический сигнал о том, отображает ли сгенерированное видео указанное событие [120].

Поскольку наш метод опирается на плотные градиентные сигналы от VLM, мы используем модели с открытым исходным кодом, а не оценщики на основе API [107], несмотря на мощные возможности понимания сцены у современных проприетарных моделей. Мы применяем различные VLM для автономного вождения и манипуляций роботов, основываясь на семантической структуре каждой предметной области..

Автономное вождение. В автономном вождении целевые события, которыми мы стремимся управлять, часто зависят от временных взаимосвязей между агентами, такими как движение пешеходов, перемещение транспортных средств или изменения относительного расстояния. Мы эмпирически обнаружили, что готовые модели Qwen [8] менее надежны в понимании сцен вождения и их временной структуры. Поэтому мы используем модель Qwen2.5-VL, дообученную на видеозаписях автономного вождения с помощью 67, что обеспечивает улучшенное понимание сцен вождения. Мы также используем X-CLIP [76], который, как мы выяснили, эффективно улавливает временные взаимосвязи. Как показано на рис. 10, для трех сгенерированных видео, где относительное расстояние до впереди идущего автомобиля увеличивается, остается неизменным или уменьшается, как дообученная модель Qwen, так и X-CLIP [76] присваивают оценки, которые правильно различают эти случаи. Для моделей в стиле CLIP мы определяем позитивный промпт $\bm{l}_{+}$ и негативный промпт $\bm{l}_{-}$. Мы встраиваем оба промпта и сгенерированное видео в общее пространство эмбеддингов и используем разницу в косинусных сходствах в качестве целевой функции управления.:

$$\mathcal{C}^{\text{sem}}(\mathbf{o})=\mathrm{sim}\!\left(e^{\text{video}}(\mathbf{o}),e^{\text{text}}(\bm{l}_{+})\right)-\mathrm{sim}\!\left(e^{\text{video}}(\mathbf{o}),e^{\text{text}}(\bm{l}_{-})\right).$$

⟦Figure 11: Роботизированная манипуляция: оценки VLM для понимания видео. На графике показана вероятность токена ответа «Да» на заданный промпт. VLM принимает видео с трех ракурсов камер одновременно и присваивает высокие баллы при возникновении указанных событий, корректно определяя моменты, релевантные задаче..

Роботизированные манипуляции. В настольных манипуляциях наша цель управления фокусируется на обнаружении событий сбоя задачи по сгенерированным видео. Мы используем Qwen3-VL [9] с текстовой подсказкой, которая определяет условие сбоя, и вычисляем оценку на основе вероятности токена целевого ответа, подобно недавним подходам к обобщаемому моделированию вознаграждения [19]. Рис. 11 показывает, что оценка модели идентифицирует релевантные для задачи события в нужные моменты на сгенерированных видео. Мы предоставляем пятифреймовые видео, сгенерированные world model, в качестве входных данных и выполняем обратное распространение плотных градиентных сигналов через видео. Мы обнаружили, что использование всех трех видов с камер одновременно необходимо для надежной оценки: для одной и той же сцены и текстовой подсказки использование одной точки обзора приводит к значительно более плохому обнаружению событий сбоя. Мы также обнаружили, что модели в стиле CLIP, включая X-CLIP [76], менее эффективны в понимании этих сцен манипуляций..

B.4 Дистилляция оценок для аппроксимации градиентов начального шума

В этом разделе обосновывается аппроксимация градиента, используемая в (8). Для удобства чтения мы опускаем переменные обусловливания $(\mathbf{o}^{\text{hist}},\mathbf{a})$. Пусть детерминированный сэмплер определяет обратную траекторию

$$\mathbf{x}^{\tau-1}=d^{\tau}(\mathbf{x}^{\tau}),\qquad\mathbf{x}^{T}=\bm{\epsilon},\qquad\mathbf{x}^{0}=f_{\theta}(\bm{\epsilon}),$$

где каждый шаг шумоподавления следует обновлению в (3):

$$d^{\tau}(\mathbf{x}^{\tau})=\frac{\alpha^{\tau-1}}{\alpha^{\tau}}\left(\mathbf{x}^{\tau}-\sigma^{\tau}g_{\theta}^{\tau}(\mathbf{x}^{\tau})\right)+\sigma^{\tau-1}g_{\theta}^{\tau}(\mathbf{x}^{\tau}).$$

Для дифференцируемого критерия $\mathcal{C}(\mathbf{x}^{0})$ точный градиент начального шума получается с помощью правила дифференцирования сложной функции:

$$\nabla_{\bm{\epsilon}}\mathcal{C}(\mathbf{x}^{0})=\left[\prod_{\tau=T}^{1}\frac{\partial d^{\tau}}{\partial\mathbf{x}^{\tau}}\right]^{\!\top}\nabla_{\mathbf{x}^{0}}\mathcal{C}(\mathbf{x}^{0}),$$

где произведение упорядочено вдоль обратной траектории шумоподавления. Якобиан каждого шага равен

$$\frac{\partial d^{\tau}}{\partial\mathbf{x}^{\tau}}=\frac{\alpha^{\tau-1}}{\alpha^{\tau}}\mathbf{I}+\left(\sigma^{\tau-1}-\frac{\alpha^{\tau-1}}{\alpha^{\tau}}\sigma^{\tau}\right)\mathbf{J}^{\tau}_{g},\,\text{where}\,\mathbf{J}^{\tau}_{g}=\frac{\partial g_{\theta}^{\tau}(\mathbf{x}^{\tau})}{\partial\mathbf{x}^{\tau}}.$$

Таким образом, точное обратное распространение ошибки требует умножения на все якобианы денойзера и сохранения полного графа вычислений процесса шумоподавления..

Пропорционально-якобиева аппроксимация. Ahn et al. [3] эмпирически наблюдают, что якобиан денойзера является приблизительно диагональным и часто ведет себя как зависящий от временного шага множитель единичной матрицы. В рамках идеализированной аппроксимации

$$\mathbf{J}^{\tau}_{g}\approx\rho^{\tau}\mathbf{I},$$

якобиан сэмплера становится

$$\prod_{\tau=T}^{1}\left[\frac{\alpha^{\tau-1}}{\alpha^{\tau}}\mathbf{I}+\left(\sigma^{\tau-1}-\frac{\alpha^{\tau-1}}{\alpha^{\tau}}\sigma^{\tau}\right)\mathbf{J}^{\tau}_{g}\right]\approx\beta\mathbf{I},\,\text{where}\,\beta:=\prod_{\tau=T}^{1}\left[\frac{\alpha^{\tau-1}}{\alpha^{\tau}}+\left(\sigma^{\tau-1}-\frac{\alpha^{\tau-1}}{\alpha^{\tau}}\sigma^{\tau}\right)\rho^{\tau}\right].$$

Подстановка этого в точное цепное правило дает

$$\nabla_{\bm{\epsilon}}\mathcal{C}(f_{\theta}(\bm{\epsilon}))\approx\beta\,\nabla_{\mathbf{x}^{0}}\mathcal{C}(\mathbf{x}^{0}),\qquad\mathbf{x}^{0}=f_{\theta}(\bm{\epsilon}).$$

Это приближение, используемое в основном тексте: вместо дифференцирования через сэмплер мы вычисляем градиент критерия по отношению к сгенерированному чистому латентному представлению и используем его в качестве масштабированного прокси-значения для градиента начального шума.

Вариант с диагональным якобианом. Если якобиан денойзера является диагональным, но не в точности пропорциональным единичной матрице,

$$\mathbf{J}^{\tau}_{g}\approx\operatorname{diag}(\bm{\rho}^{\tau}),$$

тогда то же самое выведение дает диагональный предобуславливатель

$$\nabla_{\bm{\epsilon}}\mathcal{C}(\mathbf{x}^{0})\approx\mathbf{B}\,\nabla_{\mathbf{x}^{0}}\mathcal{C}(\mathbf{x}^{0}),$$

где

$$\mathbf{B}=\prod_{\tau=T}^{1}\operatorname{diag}\!\left[\frac{\alpha^{\tau-1}}{\alpha^{\tau}}\mathbf{1}+\left(\sigma^{\tau-1}-\frac{\alpha^{\tau-1}}{\alpha^{\tau}}\sigma^{\tau}\right)\bm{\rho}^{\tau}\right].$$

Скалярная аппроксимация $\mathbf{B}\approx\beta\mathbf{I}$ является, таким образом, практическим упрощением: она предполагает, что диагональные элементы изменяются достаточно медленно, чтобы их усредненный эффект мог быть поглощен размером шага оптимизации.

Связь с MSD с остановкой градиента. Многошаговая дистилляция оценок [3] сохраняет траекторию прямого шумоподавления неизменной, но применяет оператор остановки градиента к выходным данным шумоподавителя во время обратного распространения ошибки. В наших обозначениях версия одного шага шумоподавления с остановкой градиента имеет вид

$$d^{\tau}_{\mathrm{SG}}(\mathbf{x}^{\tau})=\frac{\alpha^{\tau-1}}{\alpha^{\tau}}\left(\mathbf{x}^{\tau}-\sigma^{\tau}\operatorname{SG}\!\left[g_{\theta}^{\tau}(\mathbf{x}^{\tau})\right]\right)+\sigma^{\tau-1}\operatorname{SG}\!\left[g_{\theta}^{\tau}(\mathbf{x}^{\tau})\right],$$

где $\operatorname{SG}[\cdot]$ является тождественным преобразованием при прямом проходе и имеет нулевую производную при обратном проходе. Таким образом, это исключает $\mathbf{J}^{\tau}_{g}$ из обратного прохода, оставляя только явную линейную зависимость от $\mathbf{x}^{\tau}$:

$$\frac{\partial d^{\tau}_{\mathrm{SG}}}{\partial\mathbf{x}^{\tau}}=\frac{\alpha^{\tau-1}}{\alpha^{\tau}}\mathbf{I}.$$

При той же аппроксимации пропорционального якобиана, как полные градиентные, так и стоп-градиентные произведения якобианов являются скалярными кратными единичной матрицы:

$$\prod_{\tau=T}^{1}\frac{\partial d^{\tau}}{\partial\mathbf{x}^{\tau}}\approx\beta\mathbf{I},\qquad\prod_{\tau=T}^{1}\frac{\partial d^{\tau}_{\mathrm{SG}}}{\partial\mathbf{x}^{\tau}}=\left(\prod_{\tau=T}^{1}\frac{\alpha^{\tau-1}}{\alpha^{\tau}}\right)\mathbf{I}.$$

Следовательно, градиент с остановкой градиента и полный градиент сэмплера различаются главным образом за счет скалярных множителей, зависящих от временного шага. Наша аппроксимация использует этот же принцип, но применяет его непосредственно для оптимизации начального шума: градиент критерия чистого латентного представления используется в качестве прокси-направления для градиента начального шума, при этом неизвестный скаляр поглощается $\beta$ и скоростью обучения.

⟦Figure 12: Средние баллы VLM по шагам оптимизации в Vista. Благодаря аппроксимации градиента StressDream успешно увеличивает значения критериев, что демонстрирует эффективность предложенной аппроксимации.

Эффективность аппроксимации градиента для оптимизации шума. Аппроксимация градиента шума обеспечивает эффективное управление на основе градиента без обратного распространения через итеративный процесс шумоподавления крупномасштабных диффузионных моделей видео. Однако она опирается на предположение, что якобиан диффузионного сэмплера является приблизительно диагональным [3]. Действительно, предыдущие работы по оптимизации шума для генерации текста в изображение часто полагаются на одношаговые дистиллированные генераторы, чтобы сделать оптимизацию шума вычислительно доступной без дифференцирования через полный итеративный процесс сэмплирования..

Поэтому мы эмпирически оцениваем, обеспечивает ли это приближение полезный градиентный сигнал в пространстве начального шума для генерации высоконаградных выборок в пространстве вывода. Рис. 12 показывает средний балл VLM в процессе оптимизации шума для управления генерациями Vista [38] в разд. 6.1. Балл увеличивается на протяжении всей оптимизации, что указывает на то, что аппроксимированный градиент может улучшить целевую функцию VLM в пространстве вывода путем обновления только начального шума. На GPU H100 с $80$ ГБ видеопамяти вычисление полного градиента через траекторию шумоподавления непрактично даже с использованием gradient checkpointing [21], тогда как предложенное приближение делает оптимизацию осуществимой..

⟦Figure 13: Оптимизация шума с использованием приближенных и точных градиентов.

Для Ctrl-World [42], где полный градиент шума может быть вычислен на GPU H100 с использованием gradient checkpointing [21], мы сравниваем оптимизацию шума с аппроксимацией градиента и без нее. Рис. 13 показывает, что аппроксимированный градиент успешно повышает оценку VLM, тогда как оптимизация с полным градиентом не приводит к ее улучшению. Мы предполагаем две возможные причины. Во-первых, обратное распространение ошибки через $50$ шагов шумоподавления может привести к неточным или затухающим градиентам из-за вычислений с ограниченной точностью. Во-вторых, хотя градиент VLM вычисляется в видеопространстве с относительно высокой численной точностью, процесс шумоподавления обычно выполняется с более низкой точностью из-за ограничений памяти, что может дополнительно снизить качество градиента..

B.5 Детали реализации

Мы суммируем общую процедуру StressDream в алгоритме 1. Для повышения стабильности оптимизации мы используем как глобальное отсечение нормы градиента, так и покоординатное отсечение градиента. Мы дополнительно отслеживаем евклидову норму шума и проецируем её обратно на типичную оболочку с нормой $\sqrt{D}$ всякий раз, когда она отклоняется более чем на $3.0$. Этот порог является консервативным: стандартное отклонение гауссовой нормы составляет приблизительно $0.707$ в пространствах высокой размерности, как показано в следствии 2, поэтому интервал содержит более $99.99\%$ типичных гауссовых выборок. Кроме того, мы исключаем импульс в оптимизаторе, поскольку накопленные обновления могут легко вывести шум за пределы типичного множества..

1

2

Входные данные: Видеомодель мира, обусловленная действиями $f_{\theta}$, Управляющее воздействие во время вывода $\bm{l}$, История наблюдений $\mathbf{o}^{\text{hist}}$, Последовательность действий $\mathbf{a}$, Шаги оптимизации $m$, Скорость обучения $\eta$, Градиентное приближение константы $\beta$

3

Инициализировать: Начальный шум $\bm{\epsilon}_{0}\sim\mathcal{N}(0,\mathbf{I})$;

Лучший результат $\mathcal{C}^{*}\leftarrow-\infty$;

Лучшая генерация $\mathbf{o}^{*}\leftarrow\text{None}$;

4

для $i=0$ к $m-1$ делать 5

// Генерируйте будущие наблюдения из текущего шума

    $\mathbf{o}_{i}=f_{\theta}(\bm{\epsilon}_{i},\mathbf{o}^{\text{hist}},\mathbf{a})$ 6

   // Оценка генерации с помощью VLM (разд.. 4.1)

    $\mathcal{C}_{i}=\log p^{\text{VLM}}(\texttt{yes}\mid\mathbf{o}_{i},\bm{l})-\log p^{\text{VLM}}(\texttt{no}\mid\mathbf{o}_{i},\bm{l})$ 7

   // Вычисление компонентов сырого градиента

    $\mathbf{g}_{\text{vlm}}=\beta\cdot\nabla_{\mathbf{o}_{i}}\mathcal{C}_{i}$; 8

    $\mathbf{g}_{\text{reg}}=\nabla_{\bm{\epsilon}_{i}}\mathcal{C}^{\text{pla}}(\bm{\epsilon}_{i})$; 9

    $\mathbf{g}_{\text{total}}=\mathbf{g}_{\text{vlm}}+\mathbf{g}_{\text{reg}}$; 10

    11

   // 1) Градиентное отсечение для каждого измерения

    $\mathbf{g}_{\text{total}}=\text{clamp}(\mathbf{g}_{\text{total}},-0.3,0.3)$; 12

    13

   // 2) Ограничение нормы градиента

    если $\|\mathbf{g}_{\text{total}}\|_{2}>1.0$ затем 14

    $\mathbf{g}_{\text{total}}=1.0\cdot\frac{\mathbf{g}_{\text{total}}}{\|\mathbf{g}_{\text{total}}\|_{2}}$; 15

       16

   // Обновление начального шума посредством градиентного подъема

    $\bm{\epsilon}_{i+1}=\bm{\epsilon}_{i}+\eta\cdot\mathbf{g}_{\text{total}}$; 17

    18

   // Жесткая нормализация до типичной оболочки, если значение находится вне диапазона $\pm 3.0$ диапазон

    если $|\|\bm{\epsilon}_{i+1}\|_{2}-\sqrt{D}|>3.0$ затем 19

    $\bm{\epsilon}_{i+1}=\sqrt{D}\cdot\frac{\bm{\epsilon}_{i+1}}{\|\bm{\epsilon}_{i+1}\|_{2}}$; 20

       21

   если $\mathcal{C}_{i}>\mathcal{C}^{*}$ затем 22

    $\mathcal{C}^{*}=\mathcal{C}_{i}$; 23

       $\mathbf{o}^{*}=\mathbf{o}_{i}$; 24

       25

вернуть Генерация наихудшего случая $\mathbf{o}^{*}$

⟦Algorithm 1 StressDream

B.6 Временная сложность

Мы анализируем временную сложность предложенного алгоритма управления world model. Пусть $\mathcal{T}_{\mathrm{denoise}}$ обозначает стоимость одного шага шумоподавления, а $K$ — количество шагов шумоподавления, используемых видео world model. Одно детерминированное генерирование стоит $\mathcal{T}_{\mathrm{gen}}=K\times\mathcal{T}_{\mathrm{denoise}}.$ Пусть $\mathcal{T}_{\mathrm{verifier}}$ обозначает стоимость оценки верификатора, такого как критерий на основе VLM, для сгенерированного видео.

Method	Time Complexity
Nominal generation	$K\times\mathcal{T}_{\mathrm{denoise}}+\mathcal{T}_{\mathrm{verifier}}$
Best-of-$N$	$N\times\left(K\times\mathcal{T}_{\mathrm{denoise}}+\mathcal{T}_{\mathrm{verifier}}\right)$
StressDream	$N\times\left(K\times\mathcal{T}_{\mathrm{denoise}}+2\,\mathcal{T}_{\mathrm{verifier}}\right)$
StressDream w/o Grad. Approx. (Sec.4.3)	$N\times\left(2K\times\mathcal{T}_{\mathrm{denoise}}+2\,\mathcal{T}_{\mathrm{verifier}}\right)$

⟦Table 1: Сравнение временной сложности. Здесь $K$ — количество шагов шумоподавления, $N$ — количество отобранных кандидатов или итераций управления, $\mathcal{T}_{\mathrm{denoise}}$ — стоимость одного шага шумоподавления, а $\mathcal{T}_{\mathrm{verifier}}$ — стоимость одной оценки верификатора..

Таблица 1 сравнивает номинальную генерацию, Best-of-$N$ сэмплирование и StressDream при одинаковом бюджете в $N$ сэмплированных кандидатов или итераций управления. По сравнению с Best-of-$N$ сэмплированием, StressDream добавляет затраты на вычисление градиента верификатора на каждой итерации управления. Однако благодаря аппроксимации градиента в разд. 4.3, StressDream позволяет избежать обратного распространения через полную траекторию шумоподавления, поэтому дополнительные затраты в основном сводятся к обратному проходу через верификатор, представленному вторым членом $\mathcal{T}_{\mathrm{verifier}}$. Без этой аппроксимации дифференцирование через $K$-шаговый сэмплер добавляет обратный проход через траекторию шумоподавления, существенно увеличивая как объем вычислений, так и потребление памяти..

На практике при использовании Vista [38] с $K=50$ шагами шумоподавления на одном графическом процессоре H100 одна генерация занимает примерно $1$–$2$ минут, в то время как оптимизация шума с $N=20$ итерациями занимает около $30$ минут. Поскольку основные затраты приходятся на генерацию видео, ожидается, что время выполнения StressDream сократится с появлением более быстрых видео world models, таких как shortcut [37, 47] модели.

Appendix C Непослушный Автомобиль Дубинса

C.1 Детали реализации

Видеомодель мира. Мы реализуем видеомодель мира для среды автомобиля Naughty Dubins, используя латентную диффузионную архитектуру в стиле SVD меньшего масштаба [14], обученную с помощью формулировки EDM [59]. Вслед за 98, каждое наблюдение представляет собой отрендеренное $128\times 128\times 3$ RGB-изображение, показывающее транспортное средство и круговое множество отказов в центре среды..

$$\text{Encoder: }z_{t}=\mathcal{E}_{\theta}(o_{t}),\qquad\text{Transition: }z_{t+1}\sim f_{\theta}(z_{t+1}\mid\epsilon,z_{t},a_{t}),\qquad\text{Failure: }\hat{\ell}_{t}=\ell_{\theta}(z_{t}).$$

World Model Hyperparameter	Value
Image Resolution	$128\times 128\times 3$
Latent Dimension	1024
Prediction Horizon $H$	1
Action Dimension	1 (continuous)
VAE Base Channels	32
VAE Latent Channels	4
Denoiser Hidden Dims.	[32, 64, 128]
Denoising Steps	5
$\sigma_{\min}$, $\sigma_{\max}$	0.002, 80.0
EDM $\rho$	7
Batch Size	128
Training Epochs	100
Learning Rate	$1\times 10^{-4}$

⟦Table 2: Гиперпараметры World Models для автомобиля Дубинса.

Мы обучаем модель на офлайн-наборе данных траекторий наблюдений и действий, сгенерированных из случайных начальных состояний и случайных действий, где каждая траектория аннотирована истинным запасом безопасности. Каждая траектория завершается через $T=100$ временных шагов или раньше, если истинная $x$- или $y$-позиция выходит за границы среды $[-1.5\,\mathrm{m},1.5\,\mathrm{m}]$. Энкодер отображает наблюдения $o_{t}\in\mathbb{R}^{H\times W\times C}$ в латентные представления $z_{t}\in\mathbb{R}^{H/8\times W/8\times 4}$, которые декодируются обратно в RGB-наблюдения с помощью легковесного декодера. Мы обучаем латентный автоэнкодер с целевой функцией реконструкции и обучаем предсказатель запаса до отказа $\ell_{\theta}$, используя $L_{2}$ регрессионную функцию потерь относительно истинного запаса безопасности. Затем мы обучаем латентную диффузионную модель переходов $f_{\theta}$ для генерации следующего латентного состояния, обусловленного текущим латентным состоянием и действием. В наших экспериментах мы используем одношаговое латентное предсказание $(H=1)$, что дает размерность латентного пространства и шума $1024$. Во время инференса мы используем сэмплер Эйлера с $5$ шагами шумоподавления. Гиперпараметры мировой модели сведены в таблицы 2.

Настройка оценки. Мы оцениваем управление на авторегрессионных развертках видео world model. Каждая развертка начинается с начального изображения траектории оценки и обусловлена соответствующей последовательностью действий. Мы присваиваем метку ground-truth каждой траектории оценки, используя Monte Carlo развертки истинной неопределенной динамики в (9). Для каждого начального состояния и последовательности действий мы выбираем $10{,}000$ траекторий ground-truth. Мы помечаем траекторию как положительную, если по крайней мере одна выбранная траектория входит в набор отказов, что указывает на возможность отказа..

Steering Hyperparameter	Value
Optimization Iterations	10
Step Size $\eta$ in (8)	1.0
Gradient Scaling Coefficient$\beta$ in (8)	10.0
Norm Concentration Coefficient $\lambda_{1}$	1.0
Isotropy Coefficient $\lambda_{2}$	0.5
Isotropy Regularizer Subvector Size $k$	16
Isotropy Regularizer Permutation Number	100
Spectral Coefficient $\lambda_{3}$	5.0

⟦Table 3: Гиперпараметры управления автомобилем Дубинса.

Мы помечаем её как отрицательную, если ни одна из выбранных траекторий не входит в набор отказов. Это позволяет нам оценить, выявляет ли пессимистичное управление действительно склонные к отказам траектории, избегая при этом ложных отказов на траекториях, которые фактически являются безопасными при истинной динамике. Мы управляем сгенерированным развертыванием, используя гиперпараметры в Таблице 3. Поскольку эта установка является маломасштабной, мы используем полный градиент без аппроксимации. Это позволяет нам напрямую оценить эффект оптимизации начального шума и предложенных регуляризаторов, не внося дополнительную ошибку аппроксимации от оценщика градиента..

Базовый метод: Classifier Guidance. Мы также проводим сравнение с classifier guidance [26, 69], который модифицирует процесс шумоподавления на каждом шаге диффузии с использованием градиента критерия отказа. Однако в контексте world-model такое руководство сложно применить напрямую. Предсказатель отказов $\ell_{\theta}$ обучается на чистых латентных состояниях, а не на зашумленных промежуточных состояниях диффузии. Следовательно, оценка $\ell_{\theta}$ напрямую на $z_{t}^{\tau}$ может давать ненадежные градиенты, в то время как точное руководство потребовало бы обратного распространения ошибки через denoiser на каждом шаге шумоподавления..

Чтобы сделать классификаторное управление вычислительно приемлемым, мы используем аппроксимацию чистого латентного представления за один шаг [69]. Учитывая зашумленное латентное представление $z_{t+1}^{\tau}$, мы оцениваем соответствующее чистое латентное представление путем инвертирования пути прямого диффузионного процесса:

$$\hat{z}_{t+1}^{0\mid\tau}=\frac{z_{t+1}^{\tau}-\sigma^{\tau}g_{\theta}^{\tau}\left(z_{t+1}^{\tau},z_{t},a_{t}\right)}{\alpha^{\tau}}.$$

Затем градиент направляющего воздействия вычисляется на этом приблизительно очищенном латентном представлении:

$$\nabla_{z_{t+1}^{\tau}}\ell_{\theta}\left(\hat{z}_{t+1}^{0\mid\tau}\right)\approx\frac{1}{\alpha^{\tau}}\nabla_{\hat{z}_{t+1}^{0\mid\tau}}\ell_{\theta}\left(\hat{z}_{t+1}^{0\mid\tau}\right),$$

что позволяет избежать обратного распространения ошибки через сеть шумоподавления, однако это может привести к возникновению смещения, поскольку одношаговый прогноз очищенного изображения может не совпадать с итоговым сгенерированным латентным представлением после полной траектории шумоподавления. Данная проблема особенно выражена в моделях мира с обусловливанием по действиям, где небольшие ошибки при управлении генерацией могут привести к получению латентных представлений с высокой вероятностью сбоя, которые не согласуются с последовательностью действий или выученной динамикой..

⟦Figure 14: Средние минимальные показатели безопасности по воображаемым траекториям.

Результаты: Пессимистичное управление. Рис. 14 отражает средний минимальный показатель безопасности по воображаемым траекториям для экспериментов в разд. 5. StressDream эффективно направляет воображение к более низким показателям безопасности, которые тесно коррелируют с минимально достижимыми показателями безопасности эталонной системы, что говорит о том, что воображение WM может предоставлять значимые сигналы для оценки стратегии. Напротив, CG и StressDream без целевой функции правдоподобия предсказывают неправдоподобно низкие показатели безопасности, что указывает на их способность чрезмерно смещать генерации за пределы правдоподобных исходов..

C.2 Абляция: Оптимистичное управление ⟦K0⟧

⟦Figure 15: Абляция: Оптимистичное управление непослушным автомобилем Дубинса.

В то время как в разд. 5 основное внимание уделяется пессимистичному управлению для обнаружения потенциальных входов в набор отказов, мы также проводим абляцию противоположного направления, выполняя оптимистичное управление. В частности, мы меняем знак целевой функции управления так, чтобы оптимизация искала воображаемые траектории с более высокими показателями безопасности. Рис. 15 показывает результирующий максимальный показатель безопасности для каждой воображаемой траектории вместе с максимальным показателем безопасности, достижимым при стохастической динамике с достоверными данными, в качестве горизонтальной линии отсчета. Результаты согласуются с выводами в разд. 5: StressDream может эффективно управлять world model, в данном случае в сторону оптимистичных исходов, сохраняя при этом сгенерированные траектории в пределах, правдоподобно ограниченных неопределенностью достоверных данных. Напротив, удаление регуляризаторов или использование classifier guidance также может повысить воображаемый показатель безопасности, но часто приводит к чрезмерно оптимистичным генерациям, которые выходят за рамки того, что является правдоподобным при динамике системы с достоверными данными..

C.3 Абляция: влияние целевой функции правдоподобности

Мы проводим абляционное исследование влияния регуляризаторов из разд. 4.2 на поддержание правдоподобности генераций или их соответствие распределению. В отличие от видео world models, обученных на данных масштаба интернета, эта контролируемая среда предоставляет нам доступ к обучающему распределению, позволяя напрямую проверить, сохраняет ли steering согласованность генераций с распределением, использованным при обучении. Мы приводим оценки типичности оптимизированного начального шума, включая логарифм вероятности хи-квадрат для квадрата нормы шума, значение регуляризатора изотропности и значение регуляризатора спектральной белизны. Мы также по отдельности удаляем каждый регуляризатор, чтобы оценить его вклад..

Эмпирическая оценка плотности. Мы дополнительно оцениваем, остаются ли сгенерированные выборки в пределах распределения, путем подгонки суррогата плотности на основе flow-matching в латентном пространстве наблюдений [124]. Пусть $z=\mathcal{E}_{\theta}(o)$ обозначает латентное представление наблюдения из обучающего набора данных. Мы обучаем векторное поле flow-matching $q_{\psi}$, которое переносит латентные представления из обучающей выборки в стандартный гауссов шум. В частности, для $w\sim\mathcal{N}(0,\mathbf{I})$ и $\tau\in[0,1]$ определим линейную интерполяцию

$$z^{\tau}=z+\tau(w-z).$$

Векторное поле обучается предсказывать смещение к конечной точке Гаусса:

$$q_{\psi}(z^{\tau},\tau)\approx w-z.$$

Учитывая сгенерированное латентное представление $\hat{z}_{t}$, мы оцениваем соответствующую ему гауссову конечную точку с помощью одношагового прогноза из $\tau=0$:

$$\widehat{w}_{t}=\hat{z}_{t}+q_{\psi}(\hat{z}_{t},0).$$

Если $\hat{z}_{t}$ находится внутри распределения, то $\widehat{w}_{t}$ должно быть близко к выборке из $\mathcal{N}(0,\mathbf{I})$. Поскольку логарифмическая плотность Гаусса пропорциональна $-\|\widehat{w}_{t}\|_{2}^{2}$, мы используем

$$s_{\mathrm{OOD}}(\hat{z}_{t}):=\|\widehat{w}_{t}\|_{2}^{2}$$

в качестве латентной оценки OOD. Более высокая оценка указывает на то, что сгенерированное латентное представление находится дальше от распределения закодированных внутрираспределительных наблюдений. Эта основанная на плотности оценка OOD дополняет регуляризаторы шумового пространства, проверяя, остаются ли результирующие сгенерированные выборки правдоподобными, а не только оптимизированный начальный шум..

Результаты. В таблице 4 представлены значения регуляризатора начального шума и латентные OOD-оценки сгенерированных выборок. Концентрация нормы измеряется минимальной логарифмической вероятностью хи-квадрат для нормы шума, где более высокие значения указывают на более типичный гауссов шум. Изотропность и спектральная белизна являются значениями регуляризатора, где более низкие значения являются предпочтительными..

Method	Norm Conc. $\uparrow$	Isotropy $\downarrow$	Spectral White. $\downarrow$	OOD Score $\downarrow$
Nominal	$-7.6$	$0.02$	$0.03$	$167.1$
Best-of-$N$	$-7.6$	$0.02$	$0.03$	$167.4$
Classifier Guidance	$-7.6$	$0.02$	$0.03$	$194.5$
StressDream	${-6.3}$	${0.02}$	${0.00}$	${171.7}$
Ablations without regularization
StressDream (w/o all reg.)	$-717.6$	$0.83$	$0.36$	$696.6$
StressDream (w/o $\mathcal{C}^{\text{pla}}_{\mathrm{norm}}$)	$-31.7$	$0.08$	$0.06$	$206.1$
StressDream (w/o $\mathcal{C}^{\text{pla}}_{\mathrm{iso}}$)	$-5.6$	$0.03$	$0.11$	$187.3$
StressDream (w/o $\mathcal{C}^{\text{pla}}_{\mathrm{spec}}$)	$-6.3$	$0.00$	$0.11$	$172.2$

⟦Table 4: Значения регуляризатора начального шума и латентные OOD-показатели сгенерированных выборок. StressDream со всеми регуляризаторами удерживает оптимизированный шум близко к гауссовскому априорному распределению и создает генерации с низким уровнем OOD, тогда как удаление регуляризации приводит к атипичному шуму и большему количеству генераций вне распределения..

StressDream со всеми регуляризаторами сохраняет статистику шума близкой к номинальной генерации, поддерживая при этом низкий показатель OOD. Напротив, управление без регуляризации приводит к появлению крайне нетипичного шума и существенно более высоким показателям OOD, что свидетельствует о выходе оптимизированных генераций за пределы обучающего распределения. Классификаторное руководство (classifier guidance) сохраняет начальную статистику шума близкой к номинальной, поскольку оно модифицирует траекторию шумоподавления, а не начальный шум, однако оно все равно увеличивает показатель OOD, что указывает на то, что поуровневое руководство может выталкивать сгенерированные выборки в неправдоподобные области. Удаление отдельных регуляризаторов также увеличивает показатель OOD по сравнению с использованием всех регуляризаторов, что подчеркивает важность сочетания концентрации нормы, изотропии и спектральной белизны..

Appendix D Детали эксперимента

D.1 Видео модели мира

Гиперпараметры. В таблице 6 и таблице 6 обобщены гиперпараметры видео world model и оптимизации шума для автономного вождения и манипуляций роботов соответственно. Для world model вождения Vista [38]11 1 https://github.com/OpenDriveLab/Vista одна генерация создает $25$ будущих кадров с частотой $10$Hz. Входными данными действия является $8$-мерный вектор, представляющий будущую траекторию эго-автомобиля «вид сверху» в виде четырех будущих путевых точек. Для Ctrl-World [42]22 2 https://github.com/Robert-gyj/Ctrl-World видео подвергаются субдискретизации до $5$Hz, а входные данные действия состоят из команд положения суставов и захвата. Поскольку каждое предсказание генерирует $5$ будущих кадров, размерность действия составляет $40=8\times H$. Чтобы представить более длинные траектории манипуляций, мы используем авторегрессионную генерацию, где последний сгенерированный кадр используется в качестве начального обусловливающего кадра для следующего окна предсказания..

Hyperparameter	Value
Number of Cameras	1
Image Resolution	$576\times 1024\times 3$
Video Frequency	10 Hz
Prediction Horizon	25
Noise Dimension	921,600
Action Dimension	8
Denoising Steps	50
CFG Scale	2.5
Optimization Iterations	20
Step Size $\eta$	1.0
Gradient Scaling $\beta$	300.0
Norm Coefficient $\lambda_{1}$	0.5
Isotropy Coefficient $\lambda_{2}$	10.0
Isotropy Subvector Size $k$	192
Isotropy Permutations	1,000
Spectral Coefficient $\lambda_{3}$	100.0

⟦Table 5: Гиперпараметры мировой модели и управления для Vista [38]⟧.

Hyperparameter	Value
Number of Cameras	3
Image Resolution	$192\times 320\times 3$
Video Frequency	5 Hz
Prediction Horizon	5
Noise Dimension	57,600
Action Dimension	$40\;(8\times H)$
Denoising Steps	50
CFG Scale	2.0
Optimization Iterations	10
Step Size $\eta$	1.0
Gradient Scaling $\beta$	100.0
Norm Coefficient $\lambda_{1}$	0.2
Isotropy Coefficient $\lambda_{2}$	0.1
Isotropy Subvector Size $k$	240
Isotropy Permutations	1,000
Spectral Coefficient $\lambda_{3}$	100.0

⟦Table 6: Гиперпараметры мировой модели и управления для Ctrl-World [42]⟧.

Fine-tuning. Мы обнаружили, что fine-tuning базовых чекпоинтов видео world models важен для правдоподобного моделирования редких событий, релевантных задаче, таких как столкновения или рассыпание кофейных зерен, а также для выравнивания распределений во время обучения и тестирования с целью улучшения качества видео. Хотя базовые модели обучаются на разнообразных наборах данных, таких как nuScenes [16] или DROID [62], их сгенерированные варианты будущего могут страдать от снижения точности динамики и визуального качества при оценке в наших специфических сценариях. Поэтому мы проводим fine-tuning каждой видео world model в течение небольшого количества итераций на данных, релевантных задаче..

Task	Block Stack	Knife Put	Stacked Utensil Pick	Coffee Bean Pour	Open Coffee Bag	Open Candy Bag
# Trajectories	$250$	$170$	$200$	$100$	$170$	$150$

⟦Table 7: Количество траекторий телеуправления, используемых для дообучения видео world model.

Для автономного вождения мы проводим дообучение видеомодели мира, используя подмножество набора данных PhysicalAI-Autonomous-Vehicles (PAI-AV) [86], nuScenes [16] и Nexar Collision Prediction Dataset [81]. Мы проводим обучение в течение $13{,}750$ итераций с размером пакета $256$. Для манипуляций мы дообучаем Ctrl-World, используя траектории телеуправления, которые включают как успешные, так и неудачные случаи. Мы используем скорость обучения $1\times 10^{-6}$, размер пакета $64$ и проводим обучение в течение $10{,}000$ итераций. В таблице 7 суммировано количество траекторий телеуправления, использованных для каждой задачи манипуляции..

D.2 Роботизированная манипуляция: детали задачи

Мы описываем настройки задач манипуляции, критерии, используемые для определения успеха или неудачи, а также языковые подсказки, используемые для управления генерируемыми будущими состояниями. Визуальные примеры настроек задач показаны на рис. 6 и на project website.

Укладка блоков. Два блока Дженга, один оранжевый и один синий, размещены на столе. Перед роботом стоит задача уложить оранжевый блок поверх синего. Траектория считается успешной, если оранжевый блок остается поверх синего, и неудачной, если робот не смог уложить блок или если оранжевый блок упал после укладки. VLM prompt: Блоки уложены друг на друга? Ответьте одним словом: Yes или No.

Положить нож. На столе размещены легкая пластиковая миска и нож. Перед роботом стоит задача взять нож и положить его внутрь миски, не уронив ни один из предметов. Эта задача сложна, так как нож имеет неравномерный центр масс и сложную форму, а легкая миска может легко опрокинуться. Траектория считается успешной, если нож помещен в миску и остается там, и неудачной, если нож выпадает или миска опрокидывается. VLM prompt: Нож помещен внутрь синей миски и не выпал? Ответьте одним словом: Yes или No.

Захват столового прибора из стопки. Синий нож и красная ложка лежат друг на друге на зеленой тарелке, причем красная ложка находится поверх синего ножа. Роботу дается указание поднять синий нож, оставив красную ложку на тарелке. Траектория считается успешной, если синий нож успешно поднят, а ложка осталась на тарелке, и неудачной, если синий нож не был поднят или если ложка упала с тарелки. Таким образом, робот должен убрать нижний столовый прибор, безопасно оставив верхний на тарелке. VLM prompt: Находится ли красная ложка на зеленой тарелке? Ответьте одним словом: Yes или No.

Насыпание кофейных зерен. Миска находится на кофейных весах, а в чашке лежат кофейные зерна. Перед роботом стоит задача пересыпать кофейные зерна из чашки в миску на весах. Траектория считается успешной, если кофейные зерна насыпаны в миску без просыпания, и неудачной, если какие-либо кофейные зерна просыпались на стол. VLM prompt: Просыпаны ли кофейные зерна на стол? Ответьте одним словом: Да или Нет.

Открытый пакет с кофе. На столе находится открытый пакет с кофе с переменным и частично невидимым количеством кофейных зерен внутри, а также контейнер. Роботу дается указание поместить пакет с кофе в контейнер. Траектория считается неудачной, если какие-либо кофейные зерна высыпаются из пакета в контейнер или на стол. Таким образом, робот должен избегать просыпания во время подъема, переноски и помещения пакета в контейнер. VLM prompt: Is the coffee bean spilled? Respond with a single word: Yes or No.

Открыть пакет с конфетами. Открытый пакет жевательного мармелада лежит на столе, и роботу дается указание поместить его внутрь контейнера, не рассыпав содержимое. По сравнению с кофейными зернами, жевательный мармелад более липкий и тяжелый, что создает меньший риск выпадения из пакета. Траектория считается успешной, если мармелад остается внутри пакета, и неудачной, если хотя бы часть мармелада высыпается. VLM prompt: Рассыпаются ли конфеты из открытого пакета? Ответьте одним словом: Yes или No.

D.3 Автономное вождение: курирование данных для оценки

Для оценки управления в видео world models для автономного вождения мы подготовили набор для оценки на основе датасета PAI-AV [86]. Мы фокусируемся на сценариях, в которых будущее развитие событий неопределенно или зависит от взаимодействия, таких как переход пешеходов, перестроение транспортных средств, изменение сигналов светофора и поведение при знаке «Стоп». В таблице 8 обобщены категории событий и промпты верификатора, используемые для Qwen-VL [8] и X-CLIP [76]. Для X-CLIP первое текстовое описание рассматривается как описание положительного события, в то время как остальные описания используются в качестве отрицательных альтернатив..

Для извлечения фрагментов-кандидатов из крупномасштабного набора данных мы сначала извлекаем цепочки рассуждений VLM из Alpamayo-R1 [118] на фрагментах PAI-AV. Затем мы встраиваем эти цепочки, используя Sentence-BERT [93], и извлекаем топ-$k$ фрагментов, чьи эмбеддинги наиболее близки к текстовым описаниям каждой категории событий. После этого аннотаторы-люди проверяют, происходит ли целевое событие в каждом извлеченном фрагменте, и размечают время возникновения события. Поскольку видео world model генерирует $2.5$с будущего, мы выбираем кадр за $2.5$с до аннотированного времени события в качестве начального наблюдения для оценки. Аналогичным образом мы формируем оценочный набор из $200$ фрагментов столкновений из Nexar Collision Prediction Dataset [81] путем случайной выборки из предоставленных аннотаций столкновений..

Event Category	Qwen-VL Prompt	X-CLIP Text Descriptions
Pedestrian Crossing	You are a driving assistant interpreting sequential frames from a car’s front camera. There is a pedestrian in front of the ego vehicle. Is it true that a pedestrian crosses in front of the ego vehicle? Reply with exactly one word: ’Yes’ if a pedestrian crosses in front of the ego vehicle, or ’No’ if a pedestrian crossing in front of the ego vehicle is not happening.	Positive: A pedestrian in front of the ego vehicle is crossing the road. Negative: A pedestrian in front of the ego vehicle is not crossing the road. Negative: There is no pedestrian in front of the ego vehicle.
Cyclist Crossing Crosswalk	You are an expert driving assistant interpreting sequential frames from a car’s front camera. Does a cyclist in front of the ego vehicle cross a crossway? Reply with exactly one word: ’Yes’ if a cyclist crosses a crossway, or ’No’ if a cyclist crosses a crossway is not happening.	Positive: A cyclist in front of the ego vehicle crosses a crossway. Negative: A cyclist in front of the ego vehicle does not cross a crossway.
Vehicle Merging from Adjacent Lane	You are an expert driving assistant interpreting sequential frames from a car’s front camera. Does a vehicle in the [left$\mid$right] lane merge into the ego vehicle’s lane? Reply with exactly one word: ’Yes’ if a vehicle in the [left$\mid$right] lane merges into the ego vehicle’s lane, or ’No’ if a vehicle in the [left$\mid$right] lane merges into the ego vehicle’s lane is not happening.	Positive: A vehicle in the [left$\mid$right] lane merges into the ego vehicle’s lane. Negative: A vehicle in the [left$\mid$right] lane does not merge into the ego vehicle’s lane. Negative: A vehicle in the [left$\mid$right] lane does not move.
Opposing Vehicle Stops at Intersection	You are an expert driving assistant interpreting sequential frames from a car’s front camera. Does an opposing vehicle at the intersection stop? Reply with exactly one word: ’Yes’ if an opposing vehicle at the intersection stops, or ’No’ if an opposing vehicle at the intersection stops is not happening.	Positive: An opposing vehicle at the intersection stops. Negative: An opposing vehicle at the intersection does not stop. Negative: An opposing vehicle at the intersection keeps moving.
Lead Vehicle Closing Distance	You are an expert driving assistant interpreting sequential frames from a car’s front camera. Is the lead vehicle getting closer to the view of the front camera? The leading vehicle is the vehicle ahead in view only on the same lane, not in the other lane. Reply with exactly one word: ’Yes’ if the lead vehicle is getting closer to the view of the front camera, or ’No’ if the lead vehicle is not getting closer to the view of the front camera.	Positive: Ego vehicle is getting closer to the leading vehicle Negative: The leading vehicle is getting further away from the ego vehicle Negative: The distance between the ego vehicle and the leading vehicle is not changing
Lead Vehicle Pulling Away	You are an expert driving assistant interpreting sequential frames from a car’s front camera. Is the lead vehicle getting further from the view of the front camera? The leading vehicle is the vehicle ahead in view only on the same lane, not in the other lane. Reply with exactly one word: ’Yes’ if the lead vehicle is getting further from the view of the front camera, or ’No’ if the lead vehicle is not getting further from the view of the front camera.	Positive: The leading vehicle is getting further away from the ego vehicle Negative: Ego vehicle is getting closer to the leading vehicle Negative: The distance between the ego vehicle and the leading vehicle is not changing
Traffic Signal Changing	You are an expert driving assistant interpreting sequential frames from a car’s front camera. Initially, the [red$\mid$orange$\mid$green] traffic light is on. Is it true that, in the driving scene, the traffic signal visible in the front camera is [red$\mid$orange$\mid$green]? Reply with exactly one word: ’Yes’ if the traffic signal is [red$\mid$orange$\mid$green], or ’No’ if the traffic signal is not [red$\mid$orange$\mid$green].	Positive: The traffic signal is [red$\mid$orange$\mid$green]. Negative: The traffic signal is [red$\mid$orange$\mid$green]. Negative: The traffic signal is [red$\mid$orange$\mid$green]. Negative: The traffic signal is off.
Front Vehicle Stop-Sign Violation	You are an expert driving assistant interpreting sequential frames from a car’s front camera. In the driving scene, the ego vehicle is driving on the road, following the front car. Is it true that, in the driving scene, the front car did not stop at the stop sign? Reply with exactly one word: ’Yes’ if a front car did not stop at the stop sign, or ’No’ if a front car stopped at the stop sign.	Positive: The vehicle in front does not stop at the stop sign. Negative: The vehicle in front stops at the stop sign.
Ego-Vehicle Collision	You are a driving safety assistant analyzing sequential frames from a dashcam. The clip shows 2.5 seconds of a driving scene recording. Is a collision or crash between the ego vehicle and another vehicle occurring? A collision means the ego vehicle crashes into another vehicle visible in the front. Reply with exactly one word: ’Yes’ if the ego vehicle collides with another vehicle, or ’No’ if the situation is safe.	Positive: The ego vehicle collides with another vehicle. Negative: The ego vehicle does not collide with another vehicle. Negative: There is no collision between the ego vehicle and another vehicle.

⟦Table 8: Категории событий автономного вождения и промпты верификатора, используемые для данных оценки. Для X-CLIP первое описание используется как текст положительного события, а остальные описания используются как отрицательные альтернативы.

D.4 Метрики оценки

Автономное вождение. Для оценки управления мы используем отложенные метрики, которые не применяются во время оптимизации. Это важно, поскольку управляемая генерация может повысить показатель оптимизации, не создавая при этом значимого или правдоподобного изменения в видео. Поэтому мы оцениваем два взаимодополняющих аспекта: (i) соответствие цели, то есть четко ли сгенерированное видео отображает целевое событие, описанное текстовой подсказкой, и (ii) правдоподобность, то есть остается ли сгенерированное видео физически обоснованным и свободным от серьезных визуальных артефактов, указывающих на генерацию вне распределения..

Для автономного вождения мы используем WorldModelBench (WMB) [68], который оценивает генерации видео мировыми моделями, используя как критерии соответствия текстовым подсказкам, так и критерии качества видео. Мы используем WMB, поскольку он включает данные вождения в свое распределение оценки и, эмпирически, предоставляет значимые баллы относительно того, соответствуют ли сгенерированные видео вождения целевой подсказке и остаются ли они визуально правдоподобными. WMB сообщает три оценки: следование инструкциям $(0\text{--}3)$, соблюдение физики $(0\text{--}5)$ и согласованность со здравым смыслом $(0\text{--}2)$. Мы используем оценку следования инструкциям для измерения целевого соответствия, а соблюдение физики и согласованность со здравым смыслом используем в качестве прокси-показателей для правдоподобности генерации..

Кроме того, мы приводим оценку соответствия целевому показателю от внешнего судьи VLM. Этот судья используется только для оценки и не применяется во время steering. Мы используем следующий шаблон промпта с Gemini [107] для получения оценки соответствия $0\text{--}10$:

Вы являетесь экспертом-оценщиком мировых моделей для автономного вождения. Ваша ЕДИНСТВЕННАЯ задача — оценить, насколько видео соответствует текстовой инструкции. Игнорируйте проблемы визуального качества, такие как размытость, мерцание, искажения или низкое разрешение: это ожидаемые артефакты генерации мировых моделей, и они НЕ должны влиять на вашу оценку. ТЕКСТОВОЕ ОПИСАНИЕ: {prompt} КРИТЕРИИ ОЦЕНКИ (0-10): 10: Видео четко и полностью соответствует текстовому описанию. 7-9: Видео соответствует текстовому описанию, но с незначительными отклонениями (например, немного неверное направление или тайминг). 4-6: Видео лишь отдаленно связано с текстовым описанием, но конкретное действие не происходит. 1-3: Видео полностью не связано с текстовым описанием. 0: Содержание видео полностью не связано с текстовым описанием..

Роботизированные манипуляции. Мы используем оценку человеком, чтобы определить, соответствует ли каждая сгенерированная траектория успеху или неудаче выполнения задачи. Мы дополнительно приводим баллы от Robometer [71], универсальной модели вознаграждения для робототехники. Однако мы полагаемся на оценку человеком как на основной показатель для более точной оценки сгенерированных траекторий, поскольку модели вознаграждения предоставляют непрерывные баллы и требуют prompt engineering для вывода об успехе задачи..

D.5 Fine-tuning $\pi_{0.5}$-droid Политика

Мы проводим SFT политики $\pi_{0.5}$-droid 3 https://github.com/Physical-Intelligence/openpi, используя $40$ экспертных траекторий на задачу с целевой функцией взвешенного flow-matching [41]. После направления воображаемого развертывания каждой траектории в сторону сбоя задачи, мы присваиваем вес $1.0$ траекториям, классифицированным как успешные, и вес $0.1$ траекториям, направленным к сбою. Мы используем два ракурса камеры, состоящие из наручной камеры и одной камеры от третьего лица. Веса применяются как к функции потерь при SFT, так и к выборке набора данных. Мы используем действия в виде позиций суставов для SFT, хотя базовая политика изначально была обучена на действиях в виде скоростей суставов, поскольку наш контроллер [131] не поддерживает управление скоростью суставов. Мы проводим SFT предобученной контрольной точки в течение $10$k шагов на одном GPU H100. Во время инференса мы используем горизонт действий с разомкнутым контуром $16$. Мы обнаружили, что обучение diffusion policy [22] с нуля показывает плохие результаты в этих условиях, вероятно, из-за насыщенного контактами характера наших задач и ограниченного размера набора данных для SFT. Напротив, SFT $\pi_{0.5}$-droid обеспечивает значительно лучшее поведение и отчетливо имитирует экспертные демонстрации после SFT..

Appendix E Дополнительные результаты

E.1 Надежная оценка стратегии посредством управления видеомоделью мира ⟦K0⟧

В этом разделе мы приводим дополнительные результаты для разд. 6.1. Оценка сосредоточена на управлении генерацией видео в world models в сторону заданных текстом событий отказа в каждой сцене, что позволяет проводить надежную оценку предложенных политикой последовательностей действий посредством пессимистичных представлений world model. Мы измеряем как целевое соответствие, то есть насколько хорошо сгенерированные видео соответствуют промпту об отказе, так и правдоподобность, то есть остаются ли генерации визуально и физически обоснованными. Полные результаты, включая видео и интерактивные демонстрации, доступны на project website.

⟦Figure 16: Дополнительные результаты: номинальная генерация против управляемой генерации. При наличии той же истории наблюдений и последовательности действий StressDream направляет видео-world model в сторону правдоподобных событий сбоя задачи, когда такой сбой возможен, в то время как номинальная генерация часто упускает эти режимы сбоя..

⟦Figure 17: Надежная оценка стратегии с помощью видеомоделей мира. Управление видеомоделью мира позволяет надежно обнаруживать критические для безопасности события или случаи сбоя выполнения задачи в воображаемых будущих состояниях, которые могут быть упущены при обычном генерировании, тем самым обеспечивая выбор надежных последовательностей действий, которые остаются безопасными даже при наихудших сценариях воображения..

Надежная оценка стратегии с помощью пессимистичных представлений. Рис. 16 демонстрирует дополнительные результаты для внутренней оптимизации в (4) на задачах робототехнических манипуляций. Для одной и той же истории наблюдений и последовательности действий номинальные представления часто не предсказывают события отказа, тогда как StressDream генерирует правдоподобные варианты будущего с отказом задачи на основе тех же входных данных. Это позволяет проводить надежную оценку стратегии с использованием видео world model путем обнаружения возможных отказов через синтетические траектории, без необходимости многократных запусков на аппаратном обеспечении. Напротив, номинальная генерация может пропустить такие отказы, поскольку она может выбирать варианты будущего без отказов, даже когда отказ возможен. Аналогично, рис. 17 показывает, что для различных последовательностей действий-кандидатов StressDream с пессимистичным управлением (steering) может выявлять потенциальные отказы или критически важные для безопасности события в представленном будущем, в то время как надежные последовательности действий остаются безопасными даже при пессимистичном представлении. Это поддерживает надежную оценку и выбор действий за счет использования видео world model в качестве предиктивной модели для планирования и управления..

⟦Figure 18: Количественные показатели: WM для вождения.

Подробные результаты: Видеомодель мира вождения. Рис. 18 демонстрирует полные количественные результаты управления видеомоделью мира вождения [38], оцененные с помощью WorldModelBench (WMB) [68] и Gemini-3.0 [107]. На двух верхних графиках измеряется соответствие целей между сгенерированными видео и текстовыми подсказками управления, в то время как на двух нижних графиках представлены метрики качества видео WMB. По обеим метрикам соответствия StressDream с оптимизацией шума более эффективно повышает показатели соответствия целевым событиям, чем базовые модели со случайной генерацией, что указывает на то, что предложенная процедура управления надежно направляет генерацию видеомодели мира к желаемым событиям. В то же время предложенное ограничение типичного множества помогает поддерживать правдоподобность: хотя качество видео немного снижается на более поздних этапах оптимизации, наш метод неизменно сохраняет лучшее качество как по показателям здравого смысла, так и по показателям физических законов, по сравнению с управлением без регуляризации..

Ограничения типичного множества сохраняют правдоподобность управляемых видеогенераций. Мы оценили правдоподобность управляемых генераций по оценкам на основе VLM, таким как оценки здравого смысла и физических законов в WorldModelBench [68]. Чтобы дополнительно оценить роль целевой функции правдоподобности в разд. 4.2, мы дополнительно оцениваем сгенерированные видео вождения с использованием WorldLens [72]. Мы фокусируемся на метриках качества генерации, которые оценивают, являются ли сгенерированные видео визуально реалистичными, временно стабильными и семантически согласованными, без необходимости использования изображений с нескольких ракурсов или размеченных данных. В отличие от оценок на основе VLM, эти метрики вычисляются на основе аналитических признаковых мер44 4 WorldLens также представляет обученную оценку видео, полученную на основе крупномасштабных человеческих аннотаций реалистичности мира, физической правдоподобности и поведенческой безопасности; однако, поскольку эта модель еще не выпущена..

⟦Figure 19: Качество генерации видео мировыми моделями вождения, оцененное с помощью WorldLens [72].

В частности, мы оцениваем согласованность объектов, расхождение глубины и временную согласованность. Согласованность объектов использует признаки DINO [87] для измерения того, сохраняют ли динамические объекты постоянную текстуру, форму и структуру с течением времени. Расхождение глубины измеряет временную стабильность представлений глубины, полученных из сгенерированных видео с помощью DepthAnything [20]. Временная согласованность измеряет покадровую стабильность в изученном пространстве внешнего вида с использованием кодировок CLIP [92]. Мы отсылаем читателей к приложению WorldLens [72] для получения подробных определений метрик. На рис. 19 показаны оценки качества генерации WorldLens для генераций мировых моделей вождения. В соответствии с метриками качества видео WMB, качество генерации имеет тенденцию снижаться на более поздних этапах оптимизации шума. Однако использование предложенных ограничений типичного множества существенно смягчает эту деградацию, сохраняя согласованность объектов, стабильность глубины и временную согласованность по сравнению с управлением без регуляризации..

Подробные результаты: обнаружение сбоев в робототехнических манипуляциях. Рис. 21 содержит результаты обнаружения сбоев по задачам для видео-world models в робототехнике. Управление осуществляется с использованием оценок Qwen3-VL [9], вычисленных на основе промптов о сбоях в задачах, в то время как результаты обнаружения оцениваются относительно меток успеха и неудачи на уровне траекторий из набора данных. По всем задачам StressDream обнаруживает значительно больше траекторий, склонных к сбоям, чем номинальная генерация или Best-of-$N$ сэмплирование..

⟦Figure 20: Оценки Robometer для воображаемых траекторий оценки. Слева: прогресс выполнения задачи Robometer. Справа: успешность выполнения задачи Robometer. StressDream эффективно генерирует более пессимистичные воображаемые сценарии, чем базовые модели, что приводит к более низким оценкам прогресса и успешности выполнения задачи при тех же входных данных о действиях..

⟦Figure 21: Обнаружение сбоев в видеомоделях мира для роботизированных манипуляций. Слева: полнота обнаружения сбоев, измеряющая процент траекторий с фактическими сбоями, для которых управляемое воображение предсказывает сбой. Справа: процент воображаемых траекторий со сбоями среди траекторий без фактических сбоев. Это не обязательно является частотой ложноположительных результатов, поскольку некоторые траектории могут быть рискованными, но случайно завершиться успехом в процессе сбора данных..

На рис. 21 также показано, что StressDream иногда предсказывает сбои для траекторий, помеченных в наборе данных как успешные. Это не следует интерпретировать строго как частоту ложноположительных результатов: траектория, которая была успешной во время сбора данных, все еще может быть рискованной из-за ненаблюдаемых факторов в условиях частичной наблюдаемости. Качественно многие из этих помеченных траекторий соответствуют рискованному поведению, что позволяет предположить, что пессимистичное воображение обеспечивает более надежный способ оценки стратегий. В то же время StressDream не помечает все успешные траектории как сбойные, что указывает на то, что метод все еще может идентифицировать надежные траектории, которые остаются безопасными даже при пессимистичном воображении world models. Эти надежные траектории затем могут быть приоритизированы для улучшения стратегии, вместо того чтобы полагаться на демонстрации, которые могли быть успешными только по чистой случайности..

E.2 StressDream Может эффективно обнаруживать редкие, длиннохвостые события

Наши основные эксперименты оценивают, может ли StressDream генерировать видео, соответствующие спецификации во время вывода, сохраняя при этом правдоподобность более эффективно, чем случайная выборка. Это особенно важно для видео-моделей мира, которые работают в пространствах высокой размерности, где целевая генерация затруднена: редкие события часто занимают сложные, мультимодальные и низковероятностные области генеративного распределения, что делает случайную выборку крайне неэффективной с точки зрения количества выборок. В этом разделе мы задаем дополнительный вопрос: может ли StressDream эффективно обнаруживать редкие события в целевом распределении путем оптимизации начального шума с помощью руководства VLM?

⟦Figure 22: Оценка соответствия целевым показателям для редко встречающихся событий в моделях мира на основе видео для вождения.

Для оценки этого мы выбираем $5$ примеров для оценки из событий вождения с «длинным хвостом» в оценочном наборе, включая переход пешеходов, смену сигналов светофора и столкновения. В качестве базовой линии мы генерируем $40$ случайных выборок и сообщаем о лучшем результате среди них, в то время как StressDream выполняет $20$ шагов оптимизации. Мы оцениваем показатели соответствия целевым параметрам сгенерированных видео с помощью Gemini-3.0 [107]. Рис. 22 показывает, что StressDream более эффективен в обнаружении редких событий, чем случайная выборка. Даже с $40$ выборками метод Best-of-$N$ sampling не достигает показателя соответствия целевым параметрам, полученного с помощью StressDream. Это говорит о том, что оптимизация первого порядка в многомерном пространстве шума позволяет обнаруживать редкие события с «длинным хвостом» более эффективно, чем поиск нулевого порядка посредством случайной выборки..

E.3 StressDream Направляет только к правдоподобным результатам

Мы дополнительно подробно рассматриваем эксперименты в разд. 6.1, изучая, остаются ли управляемые генерации обоснованными в рамках правдоподобных результатов world model. В частности, мы сравниваем driving world model, дообученную на данных о столкновениях, с базовой моделью без такого дообучения. Как показано на рис. 5, базовая модель выдает низкие показатели соответствия текста и видео для событий столкновения, даже по сравнению со случайной выборкой из модели, дообученной на столкновениях, поскольку столкновения не представлены в ее прогностическом распределении и, следовательно, не могут быть правдоподобно воображены..

⟦Figure 23: Представления о столкновениях, полученные от базовой модели и модели мира, дообученной на сценариях столкновений.

На рис. 23 представлен качественный пример воображения вблизи события столкновения с использованием базовой модели и модели, дообученной на сценариях столкновений. Базовая модель не может вообразить столкновение и вместо этого галлюцинирует, что другой автомобиль исчезает со сцены. Напротив, дообученная модель, чье предсказательное распределение включает события столкновений, корректно воображает столкновение. Это подтверждает наше утверждение о том, что когда оптимизированный шум остается близким к априорному распределению Гаусса, управление порождает выборки, которые по-прежнему поддерживаются распределением world model, а не являются произвольными галлюцинациями. В этом смысле оптимизация шума отличается от простого принудительного выравнивания во время inference через классификатор или целевую функцию дообучения, что может легче вывести генерацию за пределы многообразия..

⟦Figure 24: Качественный пример: управление с целью сокращения дистанции до впереди идущего транспортного средства. StressDream создает правдоподобный результат, тогда как без $\mathcal{C}^{\text{pla}}$ это приводит к неправдоподобным галлюцинациям.

Аналогично, на рис. 24 показан пример управления генерацией WM для вождения таким образом, чтобы расстояние между эго-транспортным средством и впереди идущим транспортным средством уменьшалось. В начальной генерации впереди идущее транспортное средство движется вперед, примерно сохраняя дистанцию до эго-транспортного средства. В управляемой генерации впереди идущее транспортное средство вместо этого остается неподвижным, в то время как эго-транспортное средство продолжает движение, что приводит к сокращению дистанции. Хотя расстояние могло бы быть сокращено еще сильнее, если бы впереди идущее транспортное средство двигалось назад, такое поведение крайне маловероятно в обычном сценарии вождения. Соответственно, управляемая генерация выбирает правдоподобный исход с остановкой впереди идущего транспортного средства, а не неправдоподобный исход с его движением задним ходом. Напротив, когда управление выполняется без целевой функции правдоподобия, генерация создает нереалистичные артефакты, такие как искаженное движение форм транспортных средств назад..

E.4 Устойчивое улучшение стратегии

⟦Figure 25: Успешность выполнения задач для дообученных политик $\pi_{0.5}$-droid. Устойчивое дообучение с использованием пессимистичных представлений видео-моделей мира повышает успешность выполнения задач политиками по сравнению с номинальным дообучением..

На рис. 25 представлены показатели успешности по задачам для политики $\pi_{0.5}$-droid, дообученной с использованием воображения видео-world-models (разд. 6.2). По всем задачам политика Robust $\pi_{0.5}^{\mathrm{FT}}$ достигает более высоких показателей успешности, чем политика Nominal $\pi_{0.5}^{\mathrm{FT}}$. Это говорит о том, что пессимистичное воображение помогает выявлять и снижать вес демонстраций, склонных к ошибкам, тем самым способствуя выбору действий, которые остаются успешными..

Appendix F Ограничения и дискуссия

Субоптимальность оптимизации шума. Хотя StressDream предоставляет практическую реализацию управления воображением видео WM посредством оптимизации шума на основе градиента, оптимизированный шум все еще может быть субоптимальным. Оптимизацию в StressDream следует рассматривать как локальное уточнение начального шума, а не как глобальный поиск по всем возможным будущим состояниям. Исчерпывающий поиск в многомерном пространстве шума невыполним: если $\bm{\epsilon},\bm{\epsilon}^{\prime}\overset{\mathrm{i.i.d.}}{\sim}\mathcal{N}(\mathbf{0},\mathbf{I}_{D})$, то $\bm{\epsilon}-\bm{\epsilon}^{\prime}\sim\mathcal{N}(\mathbf{0},2\mathbf{I}_{D})$, поэтому $\|\bm{\epsilon}-\bm{\epsilon}^{\prime}\|_{2}^{2}/2\sim\chi_{D}^{2}$, и, следовательно, $\|\bm{\epsilon}-\bm{\epsilon}^{\prime}\|_{2}$ концентрируется вокруг $\sqrt{2D}$. Напротив, среднее $L_{2}$ расстояние между начальным и оптимизированным шумами в наших экспериментах намного меньше, что указывает на то, что StressDream выполняет локальное уточнение, а не глобальное исследование. Ограничения типичного множества делают градиентные обновления надежными в основном в пределах умеренной локальной области; чрезмерно большие обновления могут вывести шум за пределы распределения и сделать генерации неправдоподобными. Естественным расширением является объединение поиска в стиле Best-of-$N$ с уточнением на основе градиента [75, 126] или обучение функции ценности [54] для управления процессом удаления шума. Наконец, для видео WM, требующих авторегрессионных разверток, последующие генерации зависят от ранее сгенерированных будущих состояний. Таким образом, оптимальное решение потребовало бы совместной оптимизации последовательности шумов по сегментам развертки, но текущая реализация решает эту задачу последовательно..

Сохранение правдоподобности. StressDream сохраняет правдоподобность путем регуляризации оптимизированного шума, побуждая его оставаться в типичном множестве многомерного гауссовского распределения. Однако наше понятие правдоподобности определяется относительно изученного распределения WM: оно предполагает, что генерации из гауссовского шума являются правдоподобными в рамках WM. Таким образом, StressDream может продолжать управление в пределах результатов, поддерживаемых WM, но не может исправить базовую WM, которая уже создает физически неправдоподобные генерации. Можно было бы включить метрики качества видео или физической согласованности как часть цели управления [89, 34, 33], чтобы явно сместить генерации в сторону более качественных представлений. И наоборот, StressDream также не может представить результаты, которые могут быть правдоподобными в реальном мире, но отсутствуют в распределении WM. Это подчеркивает важность обучения WM на разнообразных данных взаимодействия, включая сбои и редкие исходы, а не только на данных об успешных операциях [62], чтобы их прогностические распределения могли поддерживать оценку и улучшение стратегии..

Вычислительная неэффективность. Хотя StressDream является выборочно-эффективным для генерации правдоподобных целевых результатов по сравнению со случайной выборкой за счет использования плотных градиентов VLM, время его выполнения по-прежнему в основном ограничено генерацией видео WM, что может занимать несколько минут на одну симуляцию с текущими моделями [38, 50, 42, 1]. Методы Inference-time steering для генерации текста в изображение часто снижают эти затраты с помощью step-distilled или shortcut моделей, которые генерируют выборки за один или несколько шагов шумоподавления, делая как оптимизацию шума, так и вычисление градиента более управляемыми [34, 33]. Наш метод ортогонален этим достижениям: по мере того как видео WM становятся быстрее, StressDream напрямую выигрывает от повышения эффективности выборки, а shortcut модели могут обеспечить более точные вычисления градиента без опоры на текущую аппроксимацию. Еще одним многообещающим направлением является амортизация итеративной оптимизации путем обучения генератора шума для фиксированных целевых результатов, аналогично 33, 113, однако обеспечение ограничений типичного множества в многомерном пространстве начального шума остается сложной задачей. Наконец, StressDream несет дополнительные накладные расходы из-за обратного распространения ошибки через функцию критерия, что делает каждый шаг оптимизации более затратным (Приложение B.6 для получения более подробной информации). Тем не менее, случайная выборка по-прежнему требует оценки сгенерированных образцов с помощью дорогостоящих верификаторов, поэтому систематическое управление в рамках ограниченного бюджета выборки остается полезным для обнаружения высокоэффективных результатов из WM..

Взлом вознаграждения. Хотя наша градиентная оптимизация с использованием градиента Vision-Language-Model эмпирически эффективна, она иногда может приводить к взлому вознаграждения, при котором критерий возрастает, не вызывая значимых изменений в сгенерированном видео [34, 106, 55]. В предыдущих работах эта проблема решается путем объединения нескольких функций вознаграждения или добавления метрик качества изображения/видео, которые напрямую штрафуют вырожденные генерации [34, 89]. StressDream также может включать эти стратегии. Однако на практике мы наблюдаем, что критерии на основе VLM, обученные на данных интернет-масштаба, значительно более устойчивы, чем функции вознаграждения, изученные с нуля: они, как правило, присваивают высокие баллы только тогда, когда целевое событие семантически очевидно в сгенерированном видео, в то время как изученные вознаграждения для конкретных задач более подвержены состязательным артефактам. Это ограничение может быть дополнительно смягчено за счет более эффективных архитектур видео WM с надежными латентными представлениями [90], shortcut/distilled diffusion models с меньшим количеством шагов шумоподавления [47] и более сильных моделей вознаграждения с лучшим пониманием видео и устойчивостью к состязательным артефактам [71]. Более того, StressDream требует указания целевых результатов с высоким уровнем воздействия с помощью текстовых промптов, которые, возможно, придется адаптировать для каждой сцены, а эффективность критерия зависит от качества промпта (см. Приложение B.3).