DriveLaW: Унификация планирования и генерации видео в латентном мире вождения

Аннотация

Мировые модели стали критически важными для автономного вождения, поскольку они изучают, как сценарии развиваются с течением времени, чтобы решать проблемы редких событий в реальном мире. Однако текущие подходы отводят мировым моделям ограниченные роли: они функционируют в рамках якобы унифицированных архитектур, которые по-прежнему сохраняют прогнозирование мира и планирование движения как раздельные процессы. Чтобы преодолеть этот разрыв, мы предлагаем DriveLaW, новую парадигму, которая объединяет генерацию видео и планирование движения. Путем прямой передачи латентного представления из своего генератора видео в планировщик, DriveLaW обеспечивает внутреннюю согласованность между высокоточной генерацией будущего и надежным планированием траектории. В частности, DriveLaW состоит из двух основных компонентов: DriveLaW-Video, нашей мощной мировой модели, которая генерирует высокоточные прогнозы с выразительными латентными представлениями, и DriveLaW-Act, диффузионного планировщика, который генерирует согласованные и надежные траектории на основе латентного представления DriveLaW-Video, при этом оба компонента оптимизированы с помощью трехэтапной стратегии прогрессивного обучения. Мощность нашей унифицированной парадигмы демонстрируется новыми результатами state-of-the-art в обеих задачах. DriveLaW не только значительно продвигает прогнозирование видео, превосходя лучшие существующие работы на 33.3% по FID и 1.8% по FVD, но и устанавливает новый рекорд в бенчмарке планирования NAVSIM..

1 Введение

Автономное вождение стремительно развивалось в последние годы благодаря значительному прогрессу в области восприятия [45, 75, 47, 32] и планирования [31, 34, 48, 44]. Тем не менее, существующие системы остаются недостаточно устойчивыми в редких и нетипичных сценариях, что снижает эффективность работы в замкнутом контуре. В недавних работах были представлены world models, которые прогнозируют будущее развитие дорожных сцен на основе прошлых наблюдений с нескольких камер и состояния транспортного средства для решения проблемы недостаточной устойчивости в редких сценариях. Они позволяют синтезировать данные для последующих задач [20, 29, 18, 68, 40] в редких сценариях, обеспечивая обучение стратегий в симуляции [17, 77, 39], а также предоставляют вспомогательный контроль будущего [42, 41, 82, 54, 69], что способствует улучшению обобщающей способности и надежности при изменении распределения..

⟦Figure 1: Сравнение различных парадигм мировых моделей. Наша DriveLaW последовательно соединяет Video Model и Action Model, внедряя представления вождения, полученные в результате генерации видео, в планировщик для достижения стабильного и обобщаемого рассуждения.

Несмотря на преимущества в обобщении, достигаемые за счет изучения физических закономерностей посредством крупномасштабной генерации видео, вклад современных world models в планирование автономного вождения остается либо косвенным, либо параллельным по отношению к планировщику, а не тесно связанным с принятием решений. В частности, с точки зрения их роли в планировании, существующие подходы на основе world models делятся на три категории, как показано на рис. 1. Во-первых, симуляторы на основе world models (рис. 1 (a)) синтезируют последующие данные или служат средами с замкнутым контуром для управления обучением стратегии, что является косвенным и не передает физическое понимание модели в состояние планировщика. Во-вторых, контроль на основе world models (рис. 1 (b)) прогнозирует будущие визуальные или аффорданс-сигналы для контроля будущих кадров, занятости или траекторий, улучшая предвидение, но оставляя планирование внешне заданным. В-третьих, унифицированные world models (рис. 1 (c)) совместно генерируют видео и траектории, обеспечивая более тесную связь между восприятием и управлением, а также улучшенную временную согласованность. Однако текущие реализации этой парадигмы все еще не позволяют полностью реализовать задуманную тесную связь. Такие методы, как Epona [80] и DriveVLA-W0 [42], разделяют генерацию и планирование, обучая генератор видео и policy head как отдельные модули. Несмотря на доказательства того, что генераторы видео кодируют глубокое понимание мира и априорные знания о восприятии, эти подходы не используют внутренние latents генератора в качестве состояния планирования, оставляя разрыв между визуальным воображением и выбором действия..

В данной статье мы предлагаем DriveLaW, латентную модель мира, которая объединяет генерацию и планирование посредством общего представления в латентном пространстве. Вместо того чтобы рассматривать генерацию и планирование как два параллельных модуля, мы объединяем их в цепочку, вдохновляясь [49], как показано на рис. 2 (d), используя мощные представления вождения, изученные видеогенератором на основе крупномасштабной генерации видео, для выполнения планирования траектории. Латентные признаки из видеогенератора, изученные на крупномасштабных видеозаписях вождения, инкапсулируют семантику сцены, динамику агентов и физические закономерности в компактном представлении. Action DiT (Diffusion Transformer [56]), обусловленный этими латентными признаками, генерирует временно устойчивые к распределению траектории и повышает стабильность замкнутого контура. По сравнению с этим, наш каскадный дизайн предлагает три преимущества перед параллельными базовыми моделями: (1) он полностью использует представления, изученные в ходе крупномасштабного предварительного обучения на видео, объединяя генерацию и планирование в общем латентном пространстве; (2) его режим обучения позволяет избежать интерференции градиентов между видеогенератором и планировщиком; (3) каскадирование обеспечивает согласованность между сгенерированными визуальными деталями и запланированными траекториями. Однако высококачественный синтез видео и стабильное планирование в реальном времени по своей сути находятся в противоречии. Чтобы решить эту проблему, мы разрабатываем DriveLaW-Video с пространственно-временным VAE и эффективным Video DiT, а также внедряем механизм повторного впрыска шума для баланса между агрессивным сжатием и визуальной точностью. Со стороны управления DriveLaW-Act использует стандартный DiT, обученный с целевой функцией flow-matching для создания плавных и надежных траекторий. Для гармонизации оптимизации между генерацией и планированием мы применяем трехэтапную прогрессивную учебную программу, которая сначала изучает движение на длинном горизонте, затем уточняет пространственные детали и, наконец, объединяет видеолатентные признаки в планировщик для стабильного обучения..

Мы всесторонне оцениваем DriveLaW на nuScenes [9] для генерации видео и на NAVSIM [16] для планирования траекторий. На nuScenes DriveLaW достигает state-of-the-art качества генерации, превосходя как чистые видеогенераторы, так и унифицированные baselines для генерации и планирования. На NAVSIM наш планировщик достигает высоких показателей в замкнутом цикле без какого-либо post-training (например, RL) или post-processing (например, scorers), что подчеркивает эффективность использования представлений видеогенератора для управления. Абляции и исследования масштабируемости дополнительно подтверждают наш дизайн. Основные вклады данной работы заключаются в следующем:

• ⟦ Мы предлагаем DriveLaW, унифицированную модель мира, которая переходит от параллельной к цепочечной генерации и планированию. Мы демонстрируем, что латентные представления, полученные в результате крупномасштабной генерации видео, обладают превосходной семантической связностью и пространственной структурой по сравнению с традиционными признаками Bird’s Eye View (BEV) или Vision-Language Models (VLM). Внедряя эти богатые генеративные априорные знания в планировщик, мы эффективно преодолеваем разрыв между визуальным прогнозированием и принятием решений о действиях..
• ⟦ Мы проектируем специализированную архитектуру, включающую DriveLaW-Video и DriveLaW-Act. Первая включает в себя новый механизм повторного внедрения шума для устранения структурных несоответствий и размытости в сценариях с высокой скоростью, в то время как вторая использует диффузионный планировщик, напрямую обусловленный латентными представлениями видео. Представлена трехэтапная стратегия прогрессивного обучения для разрешения противоречий оптимизации между высококачественным синтезом видео и надежной генерацией траектории..
• ⟦ Мы проводим валидацию DriveLaW на стандартных бенчмарках для автономного вождения. Модель достигает state-of-the-art показателей FID и FVD при генерации видео с одного ракурса на наборе данных nuScenes и устанавливает новый рекорд по метрикам планирования с замкнутым контуром (PDMS) на бенчмарке NAVSIM, превосходя предыдущие подходы на основе world models и подтверждая эффективность нашей унифицированной парадигмы без использования post-training или вспомогательных scorers..

2 Связанные работы

2.1 Мировые модели для автономного вождения

World models [7, 8, 3] нацелены на интериоризацию физической структуры и динамики реального мира в предиктивное латентное представление для воображения, управления и планирования. Недавние исследования внедряют world models в автономное вождение для генерации сцен [68, 81, 20, 26, 18, 29, 65, 19, 22, 21, 53], оценки симуляций [55, 39, 77, 74, 85] и принятия решений [80, 69, 42, 41, 43]. Ранние работы [29, 18, 20] рассматривают эту задачу как условную генерацию многоракурсного видео, отдавая приоритет геометрической согласованности нескольких камер. Чтобы более фундаментально охватить трехмерную пространственно-временную структуру, OccWorld [83] и OccSora [67] вводят представление, ориентированное на занятость пространства. UniScenes [38] и Genesis [22] дополнительно достигают совместной генерации мультимодальных сигналов (RGB, LiDAR, occupancy), в первую очередь выступая в качестве дата-центричных генераторов для обучения последующих задач. Тем временем, некоторые работы [77, 85, 74, 39, 17] интегрируют world models в качестве движков симуляции непосредственно в автономное вождение, фокусируясь на замкнутой оценке и реконструкции сцен. Например, HUGSIM [85], ReconDreamer-R [55] и RAD [17] внедряют 3D Gaussian Splatting для реконструкции сцен в целях симуляции с замкнутым контуром. ReSim [77] и OmniNWM [39] фокусируются на поведенческой симуляции, синтезируют видео, обусловленные траекториями-кандидатами, и предоставляют сигналы вознаграждения для управления фильтрацией траекторий и reinforcement learning..

Однако эти подходы обеспечивают лишь косвенное руководство для модуля планирования посредством генерации данных и симуляции, в то время как недавние исследования направлены на интеграцию генеративного моделирования и принятия решений в рамках единой модели мира. DrivingGPT [13] использует авторегрессионную стратегию в стиле GPT для генерации будущих видео и траекторий. Epona [80] использует схему авторегрессионной диффузии для параллельного создания видео и траекторий. VaViM/VaVAM [4] и DriveVLA-W0 [42] применяют архитектуру mixture-of-transformers типа $\pi$0 [5] [46], которая авторегрессионно генерирует обе модальности в рамках одной модели. Хотя эта парадигма представляет собой значительный шаг вперед, она обычно рассматривает генерацию видео и траекторий как два независимых потока вывода. Такая конструкция может привести к разрыву в представлении, поскольку траектория планирования не имеет прямой опоры на внутренние признаки, управляющие синтезом видео. Напротив, мы утверждаем, что богатые, пространственно-временные обоснованные признаки, изученные генераторами видео, представляют собой мощный, но недостаточно изученный ресурс для планирования. Чтобы преодолеть этот разрыв, DriveLaW впервые использует латентные представления среднего уровня из генератора видео в качестве представлений для планирования, что обеспечивает более стабильное вождение в замкнутом цикле..

2.2 Генерация видео

Генерация видео стала ключевым компонентом автономного вождения [52, 68, 69, 76], лежащим в основе world models, ориентированных на визуальное восприятие [29, 30]. Помимо прогнозирования статических сцен, она фиксирует временную непрерывность и сложную динамику [64, 51, 6, 25, 28], позволяя моделям изучать, как агенты и окружающая среда развиваются с течением времени. GAIA-1 [29] инновационно использует авторегрессионную структуру, которая выводит дискретные токены изображений для генерации видео сцен автономного вождения. DriveDreamer [81], Panacea [70], DrivingDiffusion [40] и MagicDrive [18] используют diffusion models, обусловленные геометрическими признаками, такими как карты Bird’s Eye View (BEV) и 3D-боксы, для синтеза управляемых сцен вождения. MagicDrive-V2 [19], MiLA [65] и GAIA-2 [60] генерируют высококачественные видео вождения с длинным горизонтом планирования посредством latent diffusion со структурированным геометрическим и поведенческим обусловливанием. TeraSim-World [66] и Cosmos-Drive [59] создают крупномасштабные конвейеры синтетических данных для автономного вождения, производя разнообразные и управляемые видеообразцы для последующего обучения и оценки восприятия. В итоге, хотя существующие методы продвинули современное состояние технологий в области визуального синтеза, они преимущественно рассматривают генератор видео как средство рендеринга. Мы полагаем, что внутренние активации этих мощных генераторов кодируют богатое, временно согласованное понимание динамики и геометрии сцены. DriveLaW перепрофилирует генератор видео в экстрактор признаков и объединяет его с diffusion planner для обеспечения end-to-end вождения..

2.3 Диффузионные политики для автономного вождения

Недавние работы привносят diffusion policies [14] в автономное вождение, используя их сильные стороны в моделировании временных действий. DiffusionDrive [48] внедряет усеченную диффузию и шум с инициализацией по опорным точкам для достижения мультимодального планирования траекторий в реальном времени. Diffusion Planner [84] совместно генерирует траектории для эго-транспортного средства и окружающих агентов посредством диффузии для моделирования интерактивных сцен вождения. ReCogDrive [44] объединяет VLM с диффузионным планировщиком, внедряя априорные знания о когнитивных аспектах вождения в процесс диффузии для обеспечения эффективной генерации непрерывных действий. GoalFlow [73] использует flow matching для генерации целевых точек, обеспечивая безопасное и стабильное вождение. Мы инновационно объединяем Video DiT с диффузионным планировщиком, дистиллируем априорные знания о вождении из крупномасштабных видеозаписей вождения и внедряем их в диффузионный планировщик для обеспечения стабильного вождения в замкнутом контуре..

3 Метод

⟦Figure 2: Обзор общей архитектуры DriveLaW. Модель сначала кодирует исторические наблюдения (изображения, действия) в унифицированное латентное представление мира с помощью мощной video diffusion model. Чтобы улучшить качество генерации, мы внедрили механизм Noise Reinjection для исследования и выбора оптимального пути генерации на ранней стадии шумоподавления. Полученные в результате работы Video DiT латентные представления видео передаются в качестве сигналов кондиционирования в планировщик действий. Используя эти латентные представления, легковесная Action DiT предсказывает будущие траектории, которые согласованы с эволюцией визуальной сцены. В этой цепочечной архитектуре Video Model и Action Model используют общее представление в латентном пространстве..

В этом разделе мы сначала исследуем обучение обобщаемым представлениям вождения на основе генератора видео. Затем мы представляем DriveLaW, world model, которая объединяет генерацию и планирование посредством общего представления в латентном пространстве. Впоследствии мы описываем DriveLaW-Video, пространственно-временной генератор видео, и DriveLaW-Act, планировщик на основе diffusion. Наконец, мы представляем трехэтапную структуру обучения, которая позволяет создавать высококачественные видео и стабильные траектории..

3.1 Изучение обобщаемых представлений вождения на основе генераторов видео

Мировые модели, такие как Genie [8] и Cosmos [2], изучают структуру реального мира путем обучения на генерации видео в больших масштабах, и многие исследования [72, 23] указывают на то, что видеогенераторы усваивают физические закономерности и выступают в качестве эффективных zero-shot learners. В автономном вождении реальные сцены предоставляют практически неограниченный объем видео, в то время как плотная аннотация является дорогостоящей, поэтому мы предлагаем изучать представления вождения на основе генерации крупномасштабных видео вождения, подобно тому, как люди приобретают навыки вождения. Конкретно, пусть $\mathcal{E}$ — это видеоэнкодер, а $z$ — латентное представление клипа $x_{0}$ с $z=\mathcal{E}(x_{0})$. Обобщенный денойзер создает латентную траекторию шумоподавления $\{z_{t}\}_{t\in\mathcal{T}}$ при условии $c$ посредством одношагового обновления

$$z_{t-1}=\Psi_{\theta}(z_{t},t,c),$$ (1)

где $\Psi_{\theta}$ обозначает обученный оператор шумоподавления, а $t$ индексирует график вывода. Мы извлекаем признаки промежуточного шумоподавления

$$h_{t}=\phi_{\theta}(z_{t}),\quad t\in\mathcal{T},$$ (2)

и выбирают один или небольшое множество временных шагов $t^{\star}$ для формирования латентного представления восприятия $h=h_{t^{\star}}$. Это латентное представление кодирует априорные знания о процессе вождения, полученные путем дистилляции из генерации, и подается в модуль планирования для обеспечения стабильного вождения в замкнутом контуре.

3.2 DriveLaW

Как показано на рис. 2, DriveLaW представляет собой унифицированную структуру, состоящую из DriveLaW-Video и DriveLaW-Act. Видеомодель, например LTX-Video [24], сначала кодирует прошлые кадры вождения с помощью пространственно-временного VAE и кодирует текстовые подсказки с помощью текстового энкодера. Затем стек блоков Video DiT выполняет шумоподавление в латентном пространстве, а VAE декодер реконструирует видео. Одновременно с этим шум действий, статус эго-автомобиля и высокоуровневые команды кодируются и подаются в модель действий. Латентные представления видео из Video DiT служат сигналами обусловливания, направляя Action DiT для вывода итоговой траектории. Video DiT и Action DiT объединены в цепочку и обучены изучать представления вождения на основе крупномасштабной генерации видео, обеспечивая общую основу для планирования..

3.3 DriveLaW-Video: Пространственно-временной генератор мира

Пространственно-временной VAE.

Мы используем пространственно-временной VAE с высокой степенью сжатия [24] для эффективного моделирования сценариев вождения с длинным горизонтом планирования. VAE кодирует каждый видеоклип в причинно-следственное латентное пространство с пространственно-временным разрешением $32\times 32\times 8$ и 128 каналами, достигая коэффициента сжатия $1{:}192$ (отношение пикселей к токенам $1{:}8192$). Это значительно компактнее, чем типичные сжатия $1{:}48$ [58, 37] или $1{:}96$ [36, 78], что позволяет увеличить горизонты прогнозирования при том же вычислительном бюджете, что критически важно для моделирования долгосрочных зависимостей, таких как изменение сигналов светофора и динамика транспортных средств. Энкодер использует 3D причинно-следственные свертки, чтобы гарантировать, что каждый временной шаг зависит только от прошлых и текущих кадров, предотвращая утечку временной информации..

В отличие от традиционных конвейеров, которые завершают все этапы обратной диффузии в латентном пространстве перед единственным проходом декодирования, мы применяем гибридный подход. Мы выполняем декодирование на позднем этапе графика rectified-flow ($t=t_{1}$) и проводим финальную доработку в пиксельном пространстве.:

$$x_{0}=D(z_{t_{1}},t_{1}),$$ (3)

где

$$z_{t_{1}}=(1-t_{1})z_{0}+t_{1}\epsilon,\quad\epsilon\sim\mathcal{N}(0,\mathbf{I}).$$ (4)

Здесь $D$ обозначает декодер шумоподавления с временным условием, обученный с использованием функций потерь в пиксельном пространстве. Поскольку $D$ отображает латентные представления в пиксели, он используется только на финальном этапе. Выполнение последнего шага в пиксельном пространстве позволяет восстановить высокочастотные детали, например, блики, динамические тени, мелкие текстуры дорожного покрытия, без использования дополнительного модуля сверхразрешения и добавляет минимальные накладные расходы..

Архитектура видео transformers.

После сжатия в многомерное латентное пространство сериализованные пространственно-временные токены обрабатываются трехмерным Transformer, адаптированным из PixArt-$\alpha$ [11] для полноценного пространственно-временного моделирования. Каждый блок использует self-attention [63] для глобального пространственно-временного моделирования и cross-attention для интеграции условий, специфичных для задачи (команды навигации, визуальные подсказки). Мы применяем RMSNorm [79] к запросам и ключам для стабильности внимания и используем Rotary Positional Embedding [61] с нормализованными координатами для повышения согласованности между разрешениями и частотой кадров..

Для обусловливания движения мы преобразуем кинематику эго-транспортного средства в текстовые подсказки на естественном языке, вместо использования специализированного кодировщика движения. Такой подход позволяет напрямую задействовать предобученные архитектуры text-to-video, обеспечивает интерпретируемое управление, унифицирует статическое и динамическое обусловливание, а также улучшает обобщающую способность между наборами данных за счет отказа от числового кодирования, привязанного к специфическим для данных масштабам..

Повторное введение шума.

⟦Figure 3: Восстановление структурной и временной согласованности посредством повторного введения шума. Это сравнение подчеркивает влияние нашего метода. Базовая генерация демонстрирует значительную деградацию, включая (а) размытие, (б) структурную несогласованность и (в) артефакты. Благодаря интеграции повторного введения шума наша модель сохраняет четкие детали, поддерживает структуру объектов и создает чистые кадры без артефактов, демонстрируя существенное улучшение качества видео..

При генерации видео высокоскоростного вождения долгосрочное движение и большие смещения часто вызывают деградацию восприятия: границы становятся чрезмерно сглаженными, мелкие текстуры исчезают, а размытие и двоение накапливаются, подрывая структурную целостность транспортных средств, дорожной разметки и удаленных фонов. Чтобы смягчить это, мы адаптируем принцип итеративного уточнения, встречающийся в таких работах, как DiffuseSlide [33]. В отличие от методов, которые применяют шум глобально, мы внедряем более целенаправленную стратегию. Наш подход выборочно повторно вводит шум в высокочастотные области перед каждым основным шагом шумоподавления, заставляя модель активно восстанавливать детали, а не сглаживать их..

На каждом шаге шумоподавления $t$ с текущим латентным представлением $L_{t}$ мы сначала определяем области, которые, вероятно, содержат высокочастотные детали. Чтобы сделать это стабильно, мы выполняем начальное предсказание чистого латентного представления $\hat{L}_{0}=\Psi_{\theta}(L_{t},t)$. Важно отметить, что затем мы декодируем это латентное представление во временное изображение в пространстве пикселей с помощью VAE decoder, $\hat{I}_{0}=D(\hat{L}_{0})$, и преобразуем каждый кадр в его полутоновое представление, $G_{f}$. Весь этот процесс вычисления высокочастотной маски происходит в домене пикселей для достижения максимальной точности. Затем мы применяем дискретное ядро Лапласа $K_{L}$ для получения карты отклика $H_{f}=|G_{f}*K_{L}|$, вычисляем адаптивный порог $au=\beta\cdot\mathrm{std}(H_{f})$ и определяем высокочастотную маску:

$$M_{f}(x,y)=\begin{cases}1,&H_{f}(x,y)>au\\ 0,&\text{otherwise}\end{cases}$$ (5)

Чтобы применить эту маску обратно в латентном пространстве, мы выполняем понижающую дискретизацию $M_{f,\text{pixel}}$ из разрешения изображения ($H\times W$) до латентного разрешения ($h\times w$), используя интерполяцию методом ближайшего соседа, что приводит к получению итоговой маски латентного пространства $M$. Далее мы создаем выборочно возмущенный латент $L^{\prime}_{t}$ путем внесения небольшого количества контролируемого шума только в замаскированные области:

$$L^{\prime}_{t}=L_{t}+\sigma^{\prime}_{t}\cdot M\odot\varepsilon_{t},\quad\varepsilon_{t}\sim\mathcal{N}(0,\mathbf{I}),$$ (6)

где $\sigma^{\prime}_{t}$ — это вручную настроенная интенсивность шума для этапа повторного внедрения, а $M$ — это высокочастотная маска.

Наконец, это возмущенное латентное представление $L^{\prime}_{t}$ используется в качестве входных данных для полноценного оператора шумоподавления на основе transformers $\Psi_{\theta}$ для вычисления латентного представления для следующего шага, $L_{t-\Delta t}$. Это заставляет модель использовать свой мощный генеративный априорный опыт для «заполнения» зашумленных областей правдоподобными высокочастотными деталями, согласующимися с остальной частью сцены. Такой целенаправленный подход восстанавливает резкость и текстуру динамических объектов и дорожной разметки, сохраняя при этом естественную гладкость таких областей, как небо, что позволяет достичь лучшего баланса между восстановлением деталей и подавлением артефактов..

3.4 DriveLaW-Act: Планировщик на основе диффузионных моделей

Вдохновленные [84, 48, 44], мы используем планировщик на основе диффузии, который генерирует непрерывные, временно плавные траектории. Конкретно, мы кодируем зашумленное действие $a_{t}$, статус эго-автомобиля $s_{t}$ и высокоуровневую команду $g_{t}$, используя соответственно кодировщик действий и кодировщик контекста.:

$$h_{\mathrm{act}} =E_{\mathrm{act}}(a_{t}),\qquad h_{\mathrm{ctx}}=E_{\mathrm{ctx}}([s_{t};g_{t}]),$$ (7)

где $a_{t}=(1-t)a_{0}+t\epsilon$ и $\epsilon\sim\mathcal{N}(0,\mathbf{I})$. В то же время, во время первого шага шумоподавления Video DiT, латентные признаки из каждого блока transformers кэшируются как $\{f_{1},f_{2},\dots,f_{B}\}$. Для каждого шага в процессе flow-matching, Action DiT (обозначаемый как $f_{\theta}$) принимает закодированное зашумленное действие $h_{\mathrm{act}}$ и непрерывное время $t$ в качестве входных данных, обусловленных как контекстным эмбеддингом $h_{\mathrm{ctx}}$, так и кэшированными видеопризнаками $\{f_{i}\}$.⟧:

$$f_{\theta}(a_{t},t)=\mathrm{DiT}_{\mathrm{act}}\big([\,h_{\mathrm{act}};\,t\,]\,\big|\,h_{\mathrm{ctx}},\{f_{i}\}_{i=1}^{B}\big),$$ (8)

где $t$ обозначает непрерывный временной шаг.

Мы обучаем планировщик, используя целевую функцию flow-matching [50], которая согласует предсказанный моделью выход $f_{\theta}$ с целевым потоком:

$$\mathcal{L}_{\mathrm{FM}}=\mathbb{E}_{t,\,a_{0},\,\epsilon}\Big[\big\|f_{\theta}(a_{t},t)-(a_{0}-\epsilon)\big\|_{2}^{2}\Big].$$ (9)

Это способствует генерации плавной и стабильной траектории, соответствующей изученной динамике вождения.

3.5 Трехэтапное прогрессивное обучение

Для создания высококачественных, стабильных видео процесса вождения при одновременном обеспечении планировщика надежными представлениями, мы применяем трехэтапную прогрессивную схему обучения.

На первом этапе мы фокусируемся на изучении устойчивых паттернов движения путем обучения на более длинных клипах с уменьшенным пространственным разрешением, $740\times 352\times 121$ (ширина $\times$ высота $\times$ кадров). Эта конфигурация отдает приоритет временному охвату перед пространственной детализацией, позволяя модели изучать плавные, непрерывные модели поведения при вождении, такие как удержание полосы, повороты и изменения скорости. Поскольку объем памяти в video diffusion масштабируется как с пространственными, так и с временными параметрами, снижение разрешения позволяет обрабатывать большее количество кадров, что критически важно для моделирования сценариев с длинным горизонтом планирования..

Впоследствии мы переключаемся на более высокое пространственное разрешение, но более короткие клипы, $1280\times 704\times 25$, чтобы дополнительно улучшить визуальное качество и детализацию, такие как дорожная разметка, окружающие транспортные средства и текстуры окружающей среды. На этом этапе большие пространственные размеры при меньшем количестве кадров выделяют ресурсы для пространственной точности, сохраняя при этом временную согласованность, установленную на первом этапе..

Наконец, опираясь на этот мощный генератор видео, который изучает физически обоснованную динамику вождения, мы обуславливаем DriveLaW-Act на латентных признаках из DriveLaW-Video и обучаем его для планирования траектории. Этот третий этап связывает генерацию и планирование путем использования латентных представлений видео в качестве компактного восприятия для планировщика. Трехэтапная учебная программа оснащает DriveLaW высококачественным синтезом видео и надежным, стабильным планированием траектории..

4 Эксперимент

⟦Table 1: Количественная оценка генерации видео на валидационном наборе данных NuScenes. Наш метод превосходит существующие современные методы генерации с одного ракурса по качеству генерации.

Metric	DriveGAN [35]	DriveDreamer [68]	DrivingGPT [13]	DriveWorld [54]	Vista [20]	Epona [80]	DriveLaW (Ours)
FID $\downarrow$	73.4	52.6	12.8	7.4	6.9	7.5	4.6
FVD $\downarrow$	502.3	452.0	142.6	90.9	89.4	82.8	81.3

⟦Table 2: Сравнение производительности на NAVSIM Navtest с использованием метрик замкнутого цикла. Методы сгруппированы по признаку использования явной модели мира: традиционные методы End-to-End и методы на основе моделей мира. † обозначает методы, обученные с использованием той же целевой функции flow-matching..

Method	Ref	Image	Lidar	NC$\uparrow$	DAC$\uparrow$	TTC$\uparrow$	Comf.$\uparrow$	EP$\uparrow$	PDMS$\uparrow$
Constant Velocity	-			68.0	57.8	50.0	100	19.4	gray!30 20.6
Ego Status MLP	arXiv’23			93.0	77.3	83.6	100	62.8	gray!30 65.6
Traditional End-to-End Methods
VADv2-$\mathcal{V}_{\text{8192}}$ [12]	arXiv’24	✓		97.2	89.1	91.6	100	76.0	gray!30 80.9
UniAD [31]	CVPR’23	✓		97.8	91.9	92.9	100	78.8	gray!30 83.4
TransFuser [15]	TPAMI’23	✓	✓	97.7	92.8	92.8	100	79.2	gray!30 84.0
PARA-Drive [71]	CVPR’24	✓		97.9	92.4	93.0	99.8	79.3	gray!30 84.0
ReCogDrive-IL [44]	arXiv’25	✓		98.1	94.7	94.2	100	80.9	gray!30 86.5
DiffusionDrive [48]	CVPR’25	✓	✓	98.2	96.2	94.7	100	82.2	gray!30 88.1
World Model Methods
DrivingGPT [13]	arXiv’24	✓		98.9	90.7	94.9	95.6	79.7	gray!30 82.4
LAW [41]	ICLR’25	✓		96.4	95.4	88.7	99.9	81.7	gray!30 84.6
Epona [80]	ICCV’25	✓		97.9	95.1	93.8	99.9	80.4	gray!30 86.2
Resim [77]	NeurIPS’25	✓		–	–	–	–	–	gray!30 86.6
WoTE [43]	ICCV’25	✓	✓	98.5	96.8	94.9	99.9	81.9	gray!30 88.3
DriveVLA-W0† [42]	arXiv’25	✓		98.4	95.3	95.2	100	80.9	gray!30 87.2
PWM [82]	NeurIPS’25	✓		98.6	95.9	95.4	100	81.8	gray!30 88.1
DriveLaW(Ours)	-	✓		99.0	97.1	96.7	100	81.3	gray!30 89.1

4.1 Экспериментальная установка

Детали реализации.

Наша модель DriveLaW состоит из 2B видео DiT, инициализированного из предварительно обученных весов LTX-Video [24], и 133M диффузионного планировщика для планирования траектории. Мы обеспечиваем DriveLaW возможностями генерации видео и планирования посредством трехэтапного конвейера обучения, состоящего из предварительного обучения на видео с последующей донастройкой действий. На этапе предварительного обучения видео мы обучаем Video DiT [56] на $8\,\mathrm{Hz}$ кадрах из nuScenes [9] и NuPlan [10] с использованием двухэтапной учебной программы. Сначала мы устанавливаем временную согласованность путем обучения на низкоразрешающих клипах большой длительности ($740\times 352\times 121$ кадров). Затем мы донастраиваем модель на высокоразрешающих клипах меньшей длительности ($1280\times 704\times 25$ кадров). Первые два этапа обучаются в течение 30 тысяч итераций с размером пакета 4, скоростью обучения $1\times 10^{-5}$ и весовым коэффициентом затухания $5\times 10^{-2}$. Мы используем flow matching [50] с потокенным равномерным $\sigma\in[0,1]$, поэтому каждый латентный токен интерполируется независимо между данными и шумом. На этапе донастройки траектории мы подаем четыре предыдущих кадра с камер и контролируем $2\,\mathrm{Hz}$ точек траектории на следующие 4 секунды, обновляя как Video DiT, так и Planning DiT. Мы используем размер пакета 192 в течение 44 тысяч шагов с фиксированной скоростью обучения $3\times 10^{-5}$ и весовым коэффициентом затухания $1\times 10^{-5}$. При выводе мы используем 30 шагов выборки для генерации видео и 5 шагов для планирования траектории..

Набор данных и метрики.

Следуя предыдущему экспериментальному протоколу автономного вождения [80, 42, 82], мы обучаем нашу модель на nuPlan и nuScenes, а затем оцениваем ее на nuScenes для генерации видео и на NAVSIM [16] для планирования траектории. Набор данных nuScenes включает 1 000 сцен вождения, собранных в Бостоне и Сингапуре, содержащих мультисенсорные данные с камер и LiDAR, при этом 850 сцен используются для обучения и валидации, а оставшиеся 150 зарезервированы для тестирования. NuPlan, первый крупномасштабный набор данных планирования для автономного вождения, предоставляет 1 200 часов данных вождения человеком из четырех городов. NAVSIM [16] дополнительно базируется на OpenScene [57], перераспределении nuPlan, предлагая ориентированный на планирование бенчмарк для прогнозирования траектории. Он разделен на два подмножества: Navtrain, содержащий 103 тыс. примеров, и Navtest, содержащий 12 тыс. примеров. Мы используем видео с камер вождения с частотой 8 Гц из nuScenes и NuPlan для обучения видео, а также данные с камер с частотой 2 Гц из NAVSIM для прогнозирования траектории..

Для оценки качества генерации видео на валидационном наборе nuScenes мы используем FVD [62] и FID [27]. Для оценки планирования на NAVSIM [16] мы используем Predictive Driver Model Score (PDMS), который объединяет штрафы за столкновения не по вине водителя (NC) и соблюдение правил движения по проезжей части (DAC) с взвешенными показателями прогресса эго-автомобиля (EP), времени до столкновения (TTC) и комфорта (Comf.) для оценки общей безопасности, соблюдения правил и эффективности..

4.2 Основные результаты

Количественные эксперименты по генерации видео.

Табл. 1 содержит количественные результаты генеративной оценки на наборе данных nuScenes. По обоим показателям DriveLaW превосходит все предыдущие одноракурсные подходы, демонстрируя передовую производительность с показателями 4.6 FID и 81.3 FVD. Результаты подтверждают эффективность нашего метода для генерации высококачественного видео вождения..

Количественные эксперименты по планированию движения.

В табл. 2 представлены результаты NAVSIM. DriveLaW достигает показателя PDMS 89,1, устанавливая новый уровень современного состояния техники без какого-либо пост-обучения, такого как reinforcement learning, или постобработки, такой как learned scorers. Он превосходит традиционные end-to-end planners, включая DiffusionDrive [48], который объединяет данные камер и LiDAR, и ReCogDrive [44], который опирается на Vision-Language Models. По сравнению с методами world-model, DriveLaW превосходит Epona на 2,9 PDMS, где Epona [80] использует архитектуру параллельной генерации и планирования, а также превосходит DriveVLA-W0 [42] и PWM [82] на 1,9 и 1,0 PDMS соответственно, которые используют VLM и контроль со стороны world-model, что демонстрирует эффективность объединения генерации с планированием..

Качественные результаты.

На рис. 4 представлены качественные сравнения между нашей моделью DriveLaW и текущей передовой моделью мира для автономного вождения с открытым исходным кодом Epona [80]. Как показано на самой левой паре изображений, транспортные средства на видео, сгенерированных Epona, демонстрируют заметные визуальные артефакты, в то время как DriveLaW выдает результаты с более четкими деталями транспортных средств и более стабильной структурной целостностью. В результатах Epona фигуры пешеходов почти деградируют до состояния неузнаваемости, тогда как DriveLaW сохраняет полные формы, которые остаются легко идентифицируемыми. Кроме того, в случае с визуально незаметным желтым фургоном в сцене, Epona ошибочно классифицирует его как другой объект, тогда как DriveLaW правильно распознает и сохраняет его внешний вид и пространственное положение. Эти результаты демонстрируют, что DriveLaW превосходит аналоги по визуальному качеству, сохранению объектов и семантическому пониманию мира..

⟦Figure 4: Качественное сравнение с современными моделями мира для автономного вождения. Мы сравниваем DriveLaW с Epona [80] на валидационном наборе данных nuScenes. DriveLaW генерирует видео с (1) более четкими деталями транспортных средств и более стабильной структурной целостностью, (2) хорошо сохраненными формами пешеходов, которые остаются легко идентифицируемыми, и (3) правильным распознаванием и сохранением малозаметных объектов (например, желтого фургона), демонстрируя превосходное визуальное качество, сохранение объектов и семантическое понимание..

4.3 Абляционное исследование

Преимущества планирования за счет масштабирования предварительного обучения генераторов видео.

Как показано в табл. 3, увеличение количества образцов предварительного обучения для генератора видео стабильно повышает производительность DriveLaW в замкнутом контуре на NAVSIM. Полностью предварительно обученный генератор обеспечивает улучшение PDMS на +3.2 по сравнению с генератором без предварительного обучения в домене вождения, что указывает на то, что более крупные корпуса данных углубляют понимание моделью физики вождения и трансформируются в более эффективное планирование, демонстрируя четкий закон масштабирования..

⟦Table 3: Масштабирование предварительного обучения видео улучшает планирование в NAVSIM Navtest. В строках варьируется количество образцов предварительного обучения видео, используемых перед дообучением diffusion planner на NAVSIM.

Video P.T. Size	NC$\uparrow$	DAC$\uparrow$	TTC$\uparrow$	Comf.$\uparrow$	EP$\uparrow$	PDMS$\uparrow$
0 (scratch)	98.2	93.8	94.1	99.9	80.8	gray!3085.9
76k	98.7	94.7	95.3	99.9	80.8	gray!3087.0
3.8M	98.6	95.8	94.8	100	82.2	gray!3087.8
7.6M	99.0	97.1	96.7	100	81.3	gray!30 89.1

Качественный анализ латентных представлений.

Чтобы продемонстрировать, что латентные признаки VGM (Video Generation Model) могут служить более эффективными и информативными условиями для обучения действиям, мы проводим систематический анализ. Как показано на рис. 5, мы визуализируем и сравниваем три типа латентных представлений. Мы применяем PCA (Principal Component Analysis) [1] для проецирования каждого представления на 3 главных компонента, отображенных в каналы RGB, с апсемплингом до 1280×704. Визуализация ясно показывает, что признаки BEV и VLM являются диффузными, нестабильными и демонстрируют нерегулярные паттерны фокусировки. Напротив, признаки VGM более четкие, менее зашумленные и демонстрируют превосходную семантическую связность с сильным осознанием пространственной структуры, даже в сложных дорожных условиях. Это предполагает, что признаки VGM обеспечивают более подходящее представление для обучения действиям в автономном вождении..

Сравнение представлений вождения в NAVSIM Navtest.

В табл. 4 представлены результаты с использованием различных представлений вождения. При использовании одного и того же планировщика на основе diffusion, латентные признаки генератора видео улучшают PDMS на 5,0 по сравнению с признаками BEV и на 2,6 по сравнению со скрытыми состояниями VLM, что демонстрирует эффективность данного представления..

⟦Table 4: Абляция представлений в NAVSIM Navtest. Мы сравниваем признаки BEV, скрытые состояния VLM и видео latents в качестве условий диффузии.

Representation	NC$\uparrow$	DAC$\uparrow$	TTC$\uparrow$	Comf.$\uparrow$	EP$\uparrow$	PDMS$\uparrow$
BEV Features	97.6	93.0	92.9	100	79.1	gray!3084.1
VLM Hidden State	98.1	94.7	94.2	100	80.9	gray!3086.5
Video Latents	99.0	97.1	96.7	100	81.3	gray!30 89.1

Абляция этапа шумоподавления видео для обусловливания Action DiT.

Как показано в Tab. 5, мы проводим абляционное исследование того, какой шаг шумоподавления видео обеспечивает латентное условие для Action DiT. Обусловливание на латентных представлениях с ранних шагов шумоподавления обеспечивает более эффективное планирование, в то время как латентные представления с более поздних шагов показывают худшие результаты. Это происходит потому, что видео в формате необработанных пикселей часто содержат избыточную, несущественную информацию, которая может препятствовать эффективности принятия решений..

⟦Table 5: На каком этапе шумоподавления видео происходит подача данных в Action DiT. Мы оцениваем планирование при обусловливании на латентных представлениях видео, взятых с различных этапов диффузионного шумоподавления.

Video Denoise Step	NC$\uparrow$	DAC$\uparrow$	TTC$\uparrow$	Comf.$\uparrow$	EP$\uparrow$	PDMS$\uparrow$
$t=1$	99.0	97.1	96.7	100	81.3	gray!30 89.1
$t=5$	99.2	93.7	95.6	100	81.8	gray!3086.9
$t=10$	81.7	63.4	67.6	0	15.4	gray!3023.2

Влияние стратегии обучения.

Табл. 6 представляет результаты абляционного исследования различных стратегий обучения. Удаление первого этапа приводит к сопоставимым значениям FID, но значительно более высоким значениям FVD, что указывает на заметную потерю временной согласованности из-за отсутствия моделирования движения на больших горизонтах планирования. Пропуск второго этапа сохраняет временную стабильность, но незначительно ухудшает пространственную детализацию, что отражается в умеренном увевлении FVD. Полная многоэтапная стратегия обучения обеспечивает наилучший баланс, позволяя достичь минимальных значений FID и FVD, что подтверждает, что каждый этап играет взаимодополняющую роль в обеспечении высокого качества и временной согласованности генерации видео вождения..

⟦Table 6: Сравнение различных стратегий обучения с использованием показателей FID и FVD.

Methods	FID$\downarrow$	FVD$\downarrow$
w/o First Stage Training	5.0	109.3
w/o Second Stage Training	5.0	93.2
Ours	4.6	81.3

⟦Figure 5: Качественный анализ латентных представлений. Мы визуализируем качество латентных представлений из трех различных источников признаков: BEV-признаков, извлеченных из ResNet-101 backbone модели BEVFormer [45], VLM-признаков из предобученной модели Qwen2.5-VL в ReCogDrive [44] и VGM (Video Generation Model) признаков из нашей DriveLaW-Video. Чтобы обеспечить визуальное сравнение, мы применяем PCA для сокращения каждого представления до 3 главных компонент и отображаем их на RGB-каналы. Сверху вниз в каждом ряду представлены: (1) исходный входной кадр, (2) BEV-признаки, (3) VLM-признаки и (4) VGM-признаки, все из которых были увеличены до 1280×704 для визуализации. В то время как BEV и VLM-признаки выглядят размытыми, нестабильными и демонстрируют нерегулярные смещения фокуса, наши VGM-признаки заметно более четкие, содержат значительно меньше шума и демонстрируют превосходную семантическую согласованность с сильным пониманием пространственной структуры, даже при интенсивном движении автомобиля..

5 Заключение

В данной работе мы предлагаем DriveLaW, унифицированную латентную модель мира, которая устраняет давний разрыв между генерацией видео и планированием движения в автономном вождении. Мы сначала представили DriveLaW-Video, пространственно-временной генеративный модуль, дополненный механизмом Noise Reinjection для обеспечения высококачественного и временно согласованного синтеза видео. Основываясь на этом фундаменте, мы разработали DriveLaW-Act, планировщик на основе диффузии, который использует латентные представления видео для генерации плавных и надежных траекторий. Для дальнейшей гармонизации оптимизации между генерацией и планированием мы применили трехэтапную стратегию прогрессивного обучения. Обширные эксперименты на бенчмарках nuScenes и NAVSIM демонстрируют, что DriveLaW достигает state-of-the-art производительности, подтверждая эффективность объединения генерации мира вождения и принятия решений посредством общего латентного представления для end-to-end автономных систем вождения следующего поколения..

Appendix A Дополнительные детали реализации

В этом разделе мы приводим дополнительные технические подробности реализации основных компонентов DriveLaW, включая основу для генерации видео (DriveLaW-Video), модуль планирования траектории (DriveLaW-Act) и механизм промптинга с учетом движения.

A.1 DriveLaW-Video: магистральная модель генерации видео

DriveLaW-Video использует архитектуру на основе диффузии, оптимизированную для высокоэффективного пространственно-временного кодирования и последовательной генерации совместно с последующим планировщиком. Данная конструкция обеспечивает баланс между вычислительной эффективностью и качеством генерации, позволяя осуществлять синтез сценариев вождения на длительном горизонте в условиях практических аппаратных ограничений..

Пространственно-временной VAE и оптимизация сжатия.

Video-VAE служит основным модулем пространственно-временного сжатия, применяя $32\times 32\times 8$ пространственно-временную понижающую дискретизацию со 128 выходными каналами. Данная конфигурация обеспечивает общий коэффициент сжатия 1:192 (отношение пикселей к токенам 1:8192), что примерно в два раза превышает степень сжатия стандартных конвейеров преобразования текста в видео. Чтобы обеспечить столь агрессивное сжатие без ущерба для точности генерации, мы вводим следующие архитектурные и тренировочные модификации:

• ⟦ Причинно-следственный трехмерный кодировщик: гарантирует, что каждый временной шаг зависит только от текущего и предыдущих кадров, сохраняя авторегрессионную согласованность, критически важную для задач прогнозирования вождения.
• ⟦ Гибридная стратегия декодирования: Вместо выполнения всех шагов шумоподавления в латентном пространстве, финальный шаг rectified-flow ($t_{1}$) выполняется декодером VAE непосредственно в пиксельном пространстве. Такая архитектура позволяет восстановить высокочастотные детали (например, текстуру дороги, отражения, дорожные знаки) без необходимости использования отдельного этапа суперразрешения..
• ⟦ Реконструктивный GAN: дискриминатор получает пары реальных и реконструированных образцов и фокусируется на различиях в деталях с высокой точностью. Это повышает стабильность обучения и перцептивное качество при высокой степени сжатия.
• ⟦ Многослойное внедрение шума: вводит обучаемую стохастичность для каждого канала в декодере, повышая разнообразие синтезируемых текстур.
• ⟦ Равномерная логарифмическая дисперсия по каналам: обеспечивает сбалансированную KL-регуляризацию и позволяет избежать недоиспользования латентных размерностей, повышая эффективность латентного пространства.
• ⟦ Функция потерь Video-DWT: дополняет MSE и перцептивные потери путем явного штрафования высокочастотных ошибок по восьми 3D вейвлет-поддиапазонам, усиливая сохранение структурных деталей.

Видео-трансформерная магистральная архитектура.

Диффузионная магистральная сеть использует архитектуру 3D Transformer, адаптированную из PixArt-$\alpha$, с $28$ блоками self–cross attention, скрытым размером $2048$, коэффициентом расширения полносвязных слоев $\times 4$ и нормализацией RMSNorm вместо LayerNorm для обеспечения лучшей стабильности.

Для поддержания пространственно-временной согласованности при различных разрешениях и длительности мы используем нормализованные дробные Rotary Positional Embeddings (RoPE), вычисляемые с экспоненциальным интервалом частот. В отличие от архитектур на основе patchifier (например, $2\times 2\times 1$ размер патча), токены сериализуются непосредственно из VAE latents с гранулярностью $1\times 1\times 1$, что исключает избыточные операции разбиения на патчи и сохраняет геометрическую согласованность..

A.2 DriveLaW-Act: Модуль планирования траектории

DriveLaW-Act реализован как легковесный диффузионный планировщик (133M параметров), который тесно интегрирован с магистральной архитектурой DriveLaW-Video. Его ключевые конструктивные особенности заключаются в следующем:

Входное обусловливание.

Планировщик напрямую обусловлен кэшированными латентными представлениями Video-DiT с первого шага шумоподавления. Эти латентные представления кодируют богатую информацию о сцене, включая текущую геометрию и динамику агентов, и служат ключами в механизме кросс-внимания планировщика в сочетании с входным шумом траектории. Кроме того, планировщик получает структурированные контекстные эмбеддинги, включающие: кинематику транспортного средства и команды навигации..

Обучение и инференс.

Планировщик обучается с использованием целевой функции согласования потоков для генерации плавных, физически непротиворечивых траекторий. Он прогнозирует непрерывные $(x,y,\theta)$ позиции с частотой дискретизации 2 Гц на горизонте планирования 4 с. Во время вывода планировщик работает исключительно в латентном пространстве, не требуя декодирования видео, что значительно снижает вычислительные затраты. Примечательно, что градиентная изоляция между модулями генерации видео и планирования сохраняется во время обучения, обеспечивая стабильную оптимизацию каждого компонента..

A.3 Механизм промптинга, обусловленный движением

Чтобы согласовать генерацию видео с реалистичной динамикой вождения, мы разрабатываем структурированный механизм подсказок, обусловленный движением, который объединяет динамическую информацию о состоянии транспортного средства и контекст статической сцены в интерпретируемое текстовое руководство для Video-DiT.

Логика построения промптов.

Численные переменные состояния эго-транспортного средства (скорость, угол поворота рулевого колеса, смещение) сначала дискретизируются в семантические корзины (например, «низкая скорость», «равномерное движение», «поворот налево/направо»). Эти семантические метки интегрируются в фиксированный шаблон промпта, который также включает техническое численное обоснование для обеспечения точного управления. Шаблон определяется следующим образом:

Высококачественное фотореалистичное изображение с видеорегистратора автономного транспортного средства. Основываясь на прошедших $T_{h}$ секундах, предскажите и сгенерируйте следующие $T_{p}$ секунд реалистичного продолжения движения, перемещаясь со скоростью [speed bin] и с [motion descriptor], плавно продолжая движение в течение следующих $T_{p}$ секунд. Сохраняйте временную согласованность, стабильную перспективу камеры, естественный поток движения без дрожания или артефактов, четкие детали и реалистичную физику. [Technical: вперед $\Delta x$ м, вбок $\Delta y$ м, рыскание $\Delta\theta^{\circ}$, скорость $v$ м/с]

Текстовая подсказка кодируется замороженным энкодером T5-XXL, а полученные эмбеддинги внедряются через кросс-аттеншн во все слои Video-DiT. Это позволяет семантическим сигналам движения модулировать процесс генерации, обеспечивая согласованность между синтезированным видео и динамическими ограничениями транспортного средства..

Appendix B Дополнительные экспериментальные результаты

B.1 Анализ скорости вывода

Для оценки эффективности нашего этапа генерации видео мы сравниваем скорость обработки одного кадра в DriveLaW с унифицированным базовым world-model решением Epona при идентичных экспериментальных настройках: один графический процессор NVIDIA 4090, 30 шагов сэмплирования DiT и соответствующие разрешения, указанные в таблице 7⟧.

⟦Table 7: Скорость генерации видео на один кадр на одном графическом процессоре NVIDIA 4090 при 30 шагах сэмплирования DiT.

Method	Resolution	Params	Times
Epona	$1024\times 512$	$\sim 1.9$B	0.88 s
DriveLaW (Ours)	$768\times 512$		0.12 s
	$1024\times 512$	$\sim 2.0$B	0.18 s
	$1280\times 704$		0.39 s

Как показано в таблице 7, DriveLaW достигает существенно более быстрой генерации при более низких разрешениях. Для $768\times 512$ DriveLaW требует всего 0,12 с на кадр, в то время как при $1024\times 512$ скорость остается умеренной — 0,18 с, несмотря на то, что размер модели немного больше, чем у Epona. При самом высоком разрешении ($1280\times 704$) DriveLaW достигает 0,39 с на кадр, что более чем в два раза быстрее результата Epona в 0,88 с, даже несмотря на то, что наше выходное разрешение значительно выше..

Эти результаты указывают на то, что предложенные архитектурные оптимизации, включающие более высокий коэффициент сжатия и гибридное декодирование, сохраняют эффективность времени выполнения при различных разрешениях. Это позволяет DriveLaW обеспечивать конкурентоспособную скорость генерации при сохранении высокой точности видео..

B.2 Абляция по использованию повторного введения шума

Мы проводим абляционное исследование для оценки влияния включения или отключения предложенного механизма повторного впрыска шума на качество генерации видео. Эксперименты проводятся на валидационном наборе данных nuScenes с использованием FID и FVD в качестве метрик оценки..

⟦Table 8: Влияние включения повторного введения шума на качество генерации видео вождения.

Setting	FID $\downarrow$	FVD $\downarrow$
w/o Noise Reinjection	6.1	102.1
w/ Noise Reinjection (Ours)	4.6	81.3

Как показано в таблице 8, удаление повторного введения шума приводит к заметному ухудшению временной согласованности и незначительному снижению пространственной точности. Путем выборочного возмущения высокочастотных областей перед каждым шагом шумоподавления наш метод заставляет генератор активно восстанавливать мелкие детали, тем самым улучшая как резкость, так и временную стабильность, одновременно уменьшая артефакты.

Appendix C Дополнительные качественные результаты

В этом разделе мы представляем дополнительные качественные примеры для дальнейшей иллюстрации возможностей DriveLaW в разнообразных сценариях вождения и задачах планирования.

⟦Figure 6: Качественные примеры генерации видео DriveLaW на наборе данных nuScenes. (a) Стандартные сценарии городского вождения, демонстрирующие стабильное удержание полосы движения и взаимодействие с окружающим транспортным потоком. (b) Сложные сценарии городского вождения, включающие плотное взаимодействие между множеством агентов, маневры поворота и перекрытия объектов. (c) Сценарии ночного вождения, демонстрирующие устойчивость модели к условиям низкой освещенности при сохранении временной согласованности и высокой детализации..

C.1 Генерация видео на nuScenes

Мы оцениваем DriveLaW на валидационном наборе данных nuScenes в широком спектре реальных сценариев вождения. Как показано на рис. 6, наши результаты демонстрируют, что модель сохраняет временную согласованность, высокую пространственную детализацию и надежную производительность в разнообразных визуальных условиях..

C.2 Визуализация результатов планирования

Как показано на рис. 7, мы представляем репрезентативные примеры из выборок Navtest, подчеркивающие способность DriveLaW прогнозировать будущие траектории, обеспечивая при этом безопасность и плавность движения..

C.3 Дополнительные видеодемонстрации

Для более ясного понимания мы предоставляем 6 демонстрационных видео в формате MP4 в дополнительных материалах, включая 4 сценария обычного вождения и 2 сценария в дождливую погоду. Эти примеры помогают рецензентам и читателям визуально оценить временную согласованность, пространственную детализацию и практическую полезность результатов планирования в разнообразных и сложных дорожных условиях..

⟦Figure 7: Качественные результаты на бенчмарке Navtest.