VideoMLA: Кэш KV скрытых признаков с низким рангом для авторегрессионной видеодиффузии с минутным масштабом

Реферат

Длительное причинное развертывание для видеодиффузии со скользящим окном фиксированного размера KV cache сошлось к этому макету; недавний прогресс внес инновации в рамках данной компоновки, изменяя, какие токены занимают окно, или то, как их позиции кодируются. Сам макет KV по головам, являющийся доминирующим вкладом в потоковую память и задержку, в основном остается без изменений. В этой статье мы представляем первое исследование Multi-Head Latent Attention (MLA) в видеодиффузии. VideoMLA заменяет по-головным ключам и значениям общую низкоранговую контент-латентную компоненту и общую разъединенную 3D-RoPE позиционную компоненту ключа, снижая память KV на токен в $92.7\%$ на каждом кэшированном слое. Мы дополнительно исследуем, почему MLA успешно работает в видеодиффузии, несмотря на то, что спектральное допущение, которое часто используют для обоснования в language models, не выполняется: предварительно обученное видео-внимание не является низкоранговым, при этом 99%-энергетический эффективный ранг намного выше любого практического размера латентного пространства. VideoMLA сохраняет качество при коэффициентах сжатия, где прямое спектральное приближение предсказывало бы большую ошибку реконструкции. Мы показываем, что узкое место MLA, а не предварительный спектр, определяет эффективный ранг: как спектральная, так и случайная инициализация занимают почти весь выделенный бюджет по рангам с момента инициализации, и обучение сохраняет этот бюджет, адаптируясь внутри него. На VBench VideoMLA соответствует базовым подходам для streaming-видеодиффузии на малых горизонтах, достигает наилучшего общего показателя на больших горизонтах среди рассмотренных методов и повышает пропускную способность на $1.23\times$ на одном B200.

1 Введение

Причинные модели диффузии для видео [9, 4, 16, 31, 25, 24, 17, 27, 22, 3, 23, 12, 30, 13] получили распространение как доминирующий подход к потоковой, генерации видео на больших горизонтах. Будучи дистиллированными из двунаправленных учителей, они генерируют кадры [31, 5, 11, 8] или фрагменты автoreгрессионно, одновременно обращаясь к непрерывно обновляемому кэшу ключ-значение (KV) прошлых кадров, создавая видеоролики длительностью до минутного уровня с интерактивными скоростями на одной GPU. По мере масштабирования моделей к более длинным разверткам наработки на один head KV-кэш все в большей степени определяют рабочую точку. В масштабе Wan-1.3B [21] каждый кэшированный токен хранит $2\times 12\times 128=3{,}072$ плотных KV-скаляров на слой, учитывая ключи и значения для 12 head при 128 каналах в каждом. При кэше из 21 латентного кадра, 1,560 токенов на латентный кадр и 30 трансформерных слоях плотный KV-кэш содержит 3.02B скаляров, или примерно 6.0GB в bf16/fp16. Этот объем кэша объясняет, почему в недавних потоковых системах используются кэши фиксированного размера со скользящим окном: сохранение всех прошлых KV-состояний росло бы линейно с длиной развертки. Однако фиксация окна лишь ограничивает число кэшированных токенов; она не снижает стоимость на токен, на слой для компоновки per-head KV. Поэтому уменьшение этой компоновки является прямым рычагом для более длинных горизонтов, больших батчей и более быстрой инференции.

Доминирующая линия недавних работ рассматривает кэш как окно с фиксированным размером, сдвигающееся по времени, и предлагает инновации внутри него. CausVid [27] инициировал это направление, преобразовав двунаправленную диффузию в причинную авторегрессионную генерацию посредством distillation распределительного согласования distribution matching distillation, при этом с самого начала использовался скользящий KV-кэш. Self-Forcing [9] закрыл разрыв между обучением и тестированием, обусловливая обучение самогенерируемыми кадрами в рамках того же роллинг-кэша. Последующие работы усовершенствовали этот рецепт с помощью attention-sink, выбора токенов и механизмов сжатой памяти для согласованности на больших расстояниях [16, 25, 17, 28, 12, 29], стратегий обучения для развертываний на несколько минут и переключения подсказок prompt switching [4, 22, 7, 24], улучшенных целей дистилляции [31, 17], а также позиционной пере параметризации, такой как Infinity-RoPE [24]. Однако все эти методы сохраняют исходную per-head раскладку KV, которая и заполняет окно: они перераспределяют, пере взвешивают, сжимают со временем или пере размещают закэшированные токены, не снижая per-token состояние KV.

Вторая, дополняющая линия изменений касается самой вычислительной схемы внимания. SANA-Video [3] заменяет softmax-внимание на блочно-каузальное линейное внимание, убирая традиционный KV-кэш и используя состояние накопительного типа с постоянной памятью для генерации длинных видео. SCD [2] уменьшает кэшированное состояние, направляя темпоральное рассуждение через 25-слойный каузальный кодировщик и применяя 10-слойный покадровый декодер, так что кэшируются только слои кодировщика. При той же геометрии Wan-кэша это снижает плотное хранение KV на $16.7\%$. VideoMLA ортогонален: он сохраняет кэшированными все 30 слоев self-attention, но уменьшает кэшированное состояние для каждого токена с 3072 до 224 скаляров, в результате чего получается $11.4\times$ меньший кэш, чем у SCD, для того же окна из 21 латентного кадра. Таким образом, вместо изменения того, какие токены кэшируются, как они размещаются, или сколько слоев кэшируется, VideoMLA напрямую нацеливается на оставшийся фактор: раскладку KV на уровне токена в каждом кэшированном слое self-attention.

⟦Pretrained video diffusion attention не является низкоранговой, в отличие от языковых моделей. Анализ по сингулярным значениям $[W_{K};\,W_{V}]\in\mathbb{R}^{3072\times 1536}$ для 30 блоков transformers Wan2.1-T2V-1.3B. При $d_{c}=192$ медианный слой улавливает лишь $E_{\mathrm{med}}=0.458$ спектральной энергии, а эффективный ранк на уровне 99%-энергии превышает 1300 в каждом слое.

В этой статье мы воздействуем непосредственно на компоновку на уровне голов. Опираясь на Multi-Head Latent Attention (MLA) [14], мы представляем VideoMLA — первую MLA-подобную скрытую KV-кэш-память для авторегрессионной видео-диффузии. VideoMLA заменяет ключи и значения на уровне каждой головы на совместный низкоранговый скрытый латент контента и общий для голов декуплированный 3D-RoPE позиционный ключ, уменьшая память KV на каждый токен на $92.7\%$ на каждом кэшируемом слое. Это ставит задачу на размышление: MLA обычно мотивируется низкоранговой предобученной $W_{K},W_{V}$ [14, 10], однако Wan-1.3B (рис. 1) имеет 99%-ную ранговую энергию, существенно превышающую практические размерности латентного пространства. Тем не менее VideoMLA сохраняет качество там, где прямое спектральное приближение привело бы к большой ошибке реконструкции (рис. 2). Мы показываем, что узкое место MLA определяется не предобученным спектром, а эффективным рангом: и SVD, и случайная инициализация почти полностью насыщают выделенный бюджет ранга, при этом обучение сохраняет его с минимальным спектральным изменением. Поэтому вопрос дизайна смещается с того, каков собственный ранг? на то, какой латентный бюджет сохраняет качество видео? Наши вклады суммированы следующим образом:

• ⟦Скрытое кэширование KV для диффузии видео. Мы вводим VideoMLA — видеодиффузионную модель в стиле MLA с авторегрессионной архитектурой, которая заменяет ключи и значения для каждой головы на общую скрытую величину содержимого и на ключ 3D-RoPE, разделяемый по головам и отделённый друг от друга, сокращая память KV на токен на $92.7\%$ на каждом кэшируемом слое.
• Спектральная головоломка и разрешение с ранговым бюджетом. Мы показываем, что внимание к видео Wan-1.3B не является низкоранговым: эффективный ранг, дающий 99%-ную энергию, $[W_{K};W_{V}]$ существенно превышает практические скрытые размерности. VideoMLA тем не менее сохраняет качество, тогда как и SVD, и случайная инициализация насыщают навязанный ранговый бюджет уже при инициализации и сохраняют его в ходе обучения.
• ⟦ Эффективная генерация на большой длине горизонта. Мы определяем распределение NoPE/RoPE, которое сохраняет визуальную достоверность и согласованность движения на временных горизонтах в масштабе минут. На VBench VideoMLA соответствует базовым моделям для краткосрочных горизонтов, достигает наилучшего общего показателя на длинном горизонте среди оцененных методов и повышает пропускную способность на $1.23\times$ на одном B200.

2 Смежные работы

⟦Figure 2: Составной оператор занимает весь свой бюджет ранга на каждой $d_{c}$ и на каждом слое. Анализ по сингулярным значениям составного оператора $M_{\text{learned}}=[W^{K}_{\uparrow}W^{KV}_{\downarrow};W^{V}_{\uparrow}W^{KV}_{\downarrow}]$ для студентов VideoMLA, инициализированных SVD, при $d_{c}\in\{64,128,256,512\}$. (a) Медианные нормированные спектры имеют общую огибающую, усеченную на $d_{c}$. (b) Накопленная спектральная энергия. (c) Эффективный рант с 99%-ной энергией по слоям: $r_{0.99}\approx 0.98\,d_{c}$ при любом бюджете, равномерно по глубине. Ранг составного оператора определяется архитектурным узким местом, а не спектральной структурой плотного источника.

Генерация причинных видео. Причинная видео диффузия преобразует двунаправленного учителя в потокового ученика, который генерирует кадры или фрагменты авторегрессионно с использованием запоминающегося (rolling) KV-кэша. CausVid [27] запустил это направление с дистилляцией на основе Distribution Matching Distillation (DMD) [26] для причинного переноса знаний, и Self-Forcing [9] сократил рассогласование между обучением и тестированием за счет обучения на самогенерируемых разворотах. Последующие работы повышают устойчивость на больших горизонтах за счет совместного устранения шума и sink’ов внимания [16], корректировки под руководством учителя [4], инициализации причинного ODE [31], дистилляции с весами по вознаграждению и EMA sink’ов [17], deep sink и обрезки кэша [25], KV recaching при переключении подсказок [22] и блочно-относительной временной RoPE [24]. Эти методы улучшают то, что хранится в окне, или то, как оно размещено, но сохраняют плотную компоновку per-head KV.

Эффективная генерация причинно-следственных видеопоследовательностей. В качестве дополнения другая линия перестраивает внимание, чтобы уменьшить память или вычисления. SANA-Video [3] заменяет softmax на блочно-причинное линейное внимание и использует накопительное состояние постоянного размера. SCD [2] разделяет темпоральное рассуждение и покадровый рендеринг, кэшируя только причинный энкодер. VideoSSM [28] дополняет KV с скользящим окном сжатой SSM глобальной памятью. Эти подходы уменьшают темпоральную или построчную по слоям память, но не сжимают состояние KV для каждого токена и каждой головы на каждом кэшируемом слое.

Многоголовое скрытое внимание. DeepSeek-V2 [14] представила Multi-Head Latent Attention (MLA), заменив KV для каждой головы на общее скрытое представление с низким рангом и отделенным позиционным ключом; DeepSeek-V3 [15] масштабировала эту конструкцию. MTLA [6] дополнительно сжимает по времени, в то время как MHA2MLA [10] и TransMLA [18] преобразуют предварительно обученные LLM с MHA [20] или GQA [1] в MLA. Эти работы ориентированы на развертывание языка. Мы изучаем MLA в диффузии видео, где профиль памяти и спектр предварительно обученного внимания существенно различаются.

3 Метод

Мы обозначаем $x_{t}\in\mathbb{R}^{d}$ входом внимания в текущем фрагменте $t$, где фрагмент обозначает группу скрытых кадров. Пусть $d$ будет размерностью модели, $n_{h}$ — числом головок, а $d_{h}$ — размерностью на головку, так что $d=n_{h}d_{h}$. VideoMLA вводит общую скрытую размерность KV $d_{c}$ для кэшированного содержимого и разделяет каждую головку на подпространство NoPE для оценки содержимого и подпространство RoPE для позиционного представления, $d_{h}=d_{h}^{\mathrm{nope}}+d_{h}^{\mathrm{rope}}$. Часть NoPE восстанавливается из общей скрытой размерности и не кодируется с ротационной позиционной привязкой; часть RoPE использует общую для головок декуплированную ключевую 3D-RoPE кодировку.

⟦Figure 3: Обзор VideoMLA. VideoMLA заменяет плотный построчный KV-кэш в Causal Wan 2.1-1.3B на низкоранговое скрытое представление, полученное за счет совместного сжатия ключей и значений через общие понижающие/повышающие проекции, при этом позиционная информация переносится одной независимой повернутой ключевой. Оранжевые блоки обозначают понижающие проекции, зеленые блоки обозначают повороты, а белые блоки обозначают повышающие проекции; скрытые кадры окрашены в синий цвет для потока ключа/значения и в белый цвет для потока запроса. Каждый блок снабжен аннотацией соответствующей матрицы весов из Раздела 3, названные скрытые представления показаны красным.

3.1 Сжатое построение кэша KV

Каждый видео-скрытый токен $x_{t}\in\mathbb{R}^{d}$, произведенный базовой сетью, сначала сжимается в скрытое представление с низким рангом, которое обобщает его ключевое и ценностное содержимое для скользящего кэша:

$$c_{t}^{KV}\;=\;W_{\downarrow}^{KV}x_{t}\;\in\;\mathbb{R}^{d_{c}},$$ (1)

где $W_{\downarrow}^{KV}\in\mathbb{R}^{d_{c}\times d}$ — совместная понижающая проекция KV (рис. 3, понижение KV). Вектор $c_{t}^{KV}$ — объект содержимого, записываемый в сжатый KV-кэш. Он имеет размерность $d_{c}\ll n_{h}d_{h}$, поэтому он заменяет плотные ключи и значения содержимого для каждой головы, которые иначе пришлось бы хранить для каждой головы. Пространственная информация не свертывается в это скрытое представление; она хранится отдельно через раздельный ключ $k_{t}^{R}$, введенный в разделе 3.2. Таким образом, каждый кэшированный токен хранит пару $(c_{t}^{KV},k_{t}^{R})$, а не плотные состояния KV для каждой головы.

Ключи и значения на каждого отдельного элемента, необходимые для внимания, получаются из $c_{t}^{KV}$ через две восходящие проекции,

$$k_{t,h}^{\mathrm{nope}}\;=\;W_{\uparrow,h}^{K}\,c_{t}^{KV},\qquad v_{t,h}\;=\;W_{\uparrow,h}^{V}\,c_{t}^{KV},$$ (2)

где $h\in\{1,\dots,n_{h}\}$ индексирует головы внимания, а $W_{\uparrow}^{K},W_{\uparrow}^{V}$ — ключевые и ценностные восходящие проекции (Рис. 3, Key Up и Value Up). Два свойства этой конструкции важны. Во-первых, один и тот же кэшированный латентный $c_{t}^{KV}$ разделяется всеми головами: одно чтение из кэша производит $n_{h}$ на ключи для каждой головы и $n_{h}$ на значения для каждой головы через уравнение 2. Во-вторых, восстановленный ключ не несет ротаторной позиционной информации. Это компонент ключа для каждой головы, ориентированный только на содержание, обозначаемый $k_{t,h}^{\mathrm{nope}}$; позиционный компонент находится в отдельном подпространстве RoPE.

Вместе с отделённым позиционным ключом, запоминание состояния на уровне токена уменьшается с $2n_{h}d_{h}$ скаляров плотного KV-кэша на голову до $d_{c}+d_{h}^{\mathrm{rope}}$ скаляров. В нашей настройке по умолчанию это $224$ скаляров на токен на слой, что даёт $92.7\%$ уменьшение.

Путь запроса является построчным и использует аналогичную структуру «снизу/сверху». Из $x_{t}$ понижающая проекция запроса формирует латентное представление запроса, а повышающая проекция содержимого восстанавливает пораздельный NoPE-запрос для каждой головы:

$$c_{t}^{Q}\;=\;W_{\downarrow}^{Q}\,x_{t}\;\in\;\mathbb{R}^{d_{q}},$$ (3)

$$q_{t,h}^{\mathrm{nope}}\;=\;W_{\uparrow,h}^{Q}\,c_{t}^{Q},$$ (4)

где $d_{q}$ является размерностью скрытого представления запроса, а $W_{\uparrow}^{Q}$ — проекцией Query Up на рис. 3. Поскольку запросы пересчитываются из текущего блока на каждом шаге генерации, $c_{t}^{Q}$ является внутренней частью слоя и никогда не записывается в KV cache. Совместное использование головок происходит только в разветвленной позиционной ветви: VideoMLA использует одну ключевую RoPE, общую для всех головок, тогда как NoPE-запросы, NoPE-ключи и значения остаются специфичными для головок после up-проекции.

Размерность $d_{c}$ является основным регулятором вместимости кэша основного содержимого слоя: она определяет, насколько агрессивно сжимается кэшированное содержимое, и какой объем общего подпространства модель может использовать для совместного ключ-значение содержимого. Выбор $d_{c}$ эмпирически исследуется на Рисунке 7 и в Приложении.

Metric	Causal Full	Causal Local	Causal Linear	MLA Local
Memory	$2ND$	$2WD$	$D\,d_{h}$	$W\!\left(d_{c}+d_{h}^{\mathrm{rope}}\right)$
Comp. ($N$-th token)	$ND$	$WD$	$D\,d_{h}$	$nW\!\left(d_{c}+d_{h}^{\mathrm{rope}}\right)$
Comp. ($N$ tokens)	$\tfrac{1}{2}N^{2}D$	$NWD$	$N\,D\,d_{h}$	$nNW\!\left(d_{c}+d_{h}^{\mathrm{rope}}\right)$

⟦Table 1: Затраты памяти и вычислений для четырёх вариантов внимания. Для последовательности длины $N$ с размерностью скрытого слоя $D$, $n$ головками, размерностью на головку $d_{h}=D/n$, локальным окном $W$, латентной размерностью KV $d_{c}$ ($d_{c}\ll D$) и общей размерностью shared decoupled-RoPE $d_{h}^{\mathrm{rope}}$.

3.2 Раздельная 3D-RoPE

Скрытый кэш $c_{t}^{KV}$ хранится без привязки к позиции, чтобы низкоранговый путь содержимого мог быть разделён между головками и повторно использоваться при сдвиговой перекодировке индексов. Вместо этого позиционная информация переносится в отдельном подпространстве RoPE. Мы разбиваем каждую головку как $d_{h}=d_{h}^{\mathrm{nope}}+d_{h}^{\mathrm{rope}}$, где $k_{t,h}^{\mathrm{nope}}$ — это восстановленный ключ содержимого, а оставшиеся каналы образуют развязанный ключ 3D-RoPE. Как в Wan, $d_{h}^{\mathrm{rope}}$ разбивается по осям времени, высоты и ширины, используя соответствующие высокочастотные вращательные полосы.

Для каждого токена VideoMLA вычисляет одну общую для нескольких головок позиционную ключевую величину

$$k_{t}^{R}=W_{R}^{K}x_{t}\in\mathbb{R}^{d_{h}^{\mathrm{rope}}},\qquad k_{t}^{\mathrm{rope}}=\mathrm{RoPE}_{3D}(k_{t}^{R}),$$ (5)

вместо $n_{h}$ на ключи RoPE для каждого элемента. Кэш хранит не повернутое состояние $(c_{t}^{KV},k_{t}^{R})$; поворот применяется только когда формируется активное окно внимания. Это сохраняет кэшированные состояния независимыми от абсолютного времени развертывания и обеспечивает размер кэша на токен $d_{c}+d_{h}^{\mathrm{rope}}$.

Ветвь запроса следует той же декомпозиции. От скрытого представления запроса $c_{t}^{Q}$ позиционный запрос для головы $h$

$$q_{t,h}^{R}=W_{R,h}^{Q}c_{t}^{Q},\qquad q_{t,h}^{\mathrm{rope}}=\mathrm{RoPE}_{3D}(q_{t,h}^{R}).$$ (6)

Затем внимание вычисляется по конкатенированным компонентам NoPE и RoPE: каждая голова использует $(q_{t,h}^{\mathrm{nope}},q_{t,h}^{\mathrm{rope}})$ против $(k_{t,h}^{\mathrm{nope}},k_{t}^{\mathrm{rope}})$, при этом значения остаются восстановленными только из содержимого латентного пространства.

3.3 Прямой проход во время обучения

Во время обучения каждый видеокодовый скрытый токен записывает свое сжатое состояние кэша $(c_{t}^{KV},k_{t}^{R})$, определенное в уравнениях 1 и 5, в KV-кэш как блок по мере продвижения блочного шумоподавления. Затем внимание вычисляется в стандартной многоголовочной форме: ключи и значения содержимого для каждой головы восстанавливаются по требованию из закэшированного скрытого содержания через уравнение 2, а общий позиционный ключ получается путем поворота закэшированного позиционного состояния $k_{t}^{R}$ во время использования.

Для токена запроса в позиции $i$ и кэшированного токена в позиции $j$, головка внимания $h$ объединяет содержимое и позиционные вкладки в единую оценку

$$\mathrm{score}^{(h)}_{i,j}\;=\;\frac{q_{i,h}^{\mathrm{nope}}\cdot k_{j,h}^{\mathrm{nope}}\;+\;q_{i,h}^{\mathrm{rope}}\cdot k_{j}^{\mathrm{rope}}}{\sqrt{d_{h}^{\mathrm{nope}}+d_{h}^{\mathrm{rope}}}},$$ (7)

где $q_{i,h}^{\mathrm{nope}}$ и $q_{i,h}^{\mathrm{rope}}$ являются компонентами содержимого и повернутого позиционного запроса из уравнений 4 и 6, $k_{j,h}^{\mathrm{nope}}$ является ключом содержимого для каждого головного сегмента из уравнения 2, а $k_{j}^{\mathrm{rope}}$ — повернутым общим позиционным ключом, полученным из уравнения 5. Два скалярных произведения существуют в подпространствах размерностей $d_{h}^{\mathrm{nope}}$ и $d_{h}^{\mathrm{rope}}$ соответственно, поэтому совместная оценка нормируется по их суммарной размерности. softmax по активному окну внимания, за которым следует взвешенная сумма $v_{j,h}$, дает выход для каждой головы, а выходы голов смешиваются через проекцию выхода $W^{O}$.

Форма $\mathrm{score}^{(h)}_{i,j}$ соответствует тому, что произвела бы плотная attention-слой с тем же размером на голову. В результате VideoMLA замещает модуль плотного self-attention без каких-либо изменений в окружающем обучающем конвейере: chunkwise causal block masks, sink tokens и ядра FlexAttention работают с восстановленными ключами и значениями на уровне голов точно так же, как они работали бы с плотными. Единственное структурное изменение по отношению к плотной базовой модели находится внутри attention-слоя: кэш хранит $(c_{t}^{KV},k_{t}^{R})$ вместо per-head $K$ и $V$, а представления на уровне голов, потребляемые attention, восстанавливаются во время использования.

4 Эксперименты

4.1 Настройка и набор данных

Подробности реализации. Мы реализуем VideoMLA поверх базовой модели Wan-2.1 T2V-1.3B [21], заменяя только слои self-attention, при этом оставляя остальную архитектуру без изменений. Модель содержит $30$ блоков transformer, скрытое измерение $1536$, $12$ голов, и размерность на головную часть $128$. Если не указано иное, мы используем $d_{c}=192$ и $d_{q}=768$, причем размерность на головную часть разделяется на $d_{h}^{\mathrm{nope}}=96$ и $d_{h}^{\mathrm{rope}}=32$. Декуплированные каналы 3D-RoPE распределяются по осям временная, высота и ширина как $(6,5,5)$ комплексных пар, используя наиболее высокочастотные диапазоны. Это дает размер кэша на токен $d_{c}+d_{h}^{\mathrm{rope}}=224$ скаляров, что соответствует $13.7\times$ сокращению по сравнению с плотным $2n_{h}d_{h}=3072$-скалярным KV-кэшем. Обучение следует трехстадийному конвейеру Causal Forcing [31], включая Teacher Forcing, инициализацию Consistency Distillation на четырех шагах, а также DMD, при общей величине batch size $128$. Мы используем learning rates $5{\times}10^{-6}$ для Teacher Forcing и $2{\times}10^{-6}$ для Consistency Distillation и DMD. Все эксперименты по обучению выполняются в bf16 смешанной точности на графических ускорителях 8 $\times$ B200 GPU.

Набор данных. Для этапа дистилляции согласованности перед DMD мы используем 47,680 видео: 29,471 из OpenVid-1M [19] и 18,209 синтезированных фрагментов.

⟦Figure 4: Качественные результаты. Примеры, сгенерированные VideoMLA. Кадры показаны в равномерно разнесённых временных метках из каждого развертывания длительностью 30 с, что демонстрирует, что сжатый латентный KV-кэш сохраняет структуру сцены, идентичность субъекта и визуальную достоверность со временем.

⟦Figure 5: Качественное сравнение. Длинные выборки с развёрткой по времени из VideoMLA и базовых каузальных видеодиссионных моделей при том же запросе. Каждая строка показывает кадры с равномерными интервалами, полученные одним методом.

Базовые модели. Мы сравниваем VideoMLA с современными методами причинной видеодейффузии, охватывающими стандартные конвейеры потоковой обработки, переработки архитектуры внимания и переараметризации позиционирования. Базовые модели потоковой обработки включают CausVid [27], Self-Forcing [9], Rolling-Forcing [16], Causal Forcing [31], Reward Forcing [17], Deep Forcing [25] и LongLive [22], а также Infinity-RoPE[24]. Мы также сравниваем с методом повышения эффективности архитектуры LongSANA [3].

4.2 Основные результаты

Качественные результаты. Рисунок 4 показывает, что VideoMLA сохраняет идентичность субъекта, структуру сцены и визуальную достоверность в ходе разверток длительностью 30 секунд, несмотря на замену плотного KV-кэша для каждого головы на компактный латентный кэш. Наконец, Рисунок 5 показывает, что VideoMLA генерирует результаты, сопоставимые с репрезентативными базовыми моделями потокового причинного видео, при этом обеспечивая более быстрый вывод и существенно меньшие затраты памяти. Эти качественные результаты указывают на то, что VideoMLA улучшает компромисс эффективность–память без выраженных потерь визуальной достоверности, динамичности или стабильности на длинных горизонтах, наблюдаемых в более агрессивных альтернативах, основанных на сжатии.

Количественные результаты. Таблица 2 сообщает результаты VBench на горизонте 30 с и 60 с. VideoMLA достигает наилучшей динамической степени на обоих горизонтах: 0.981 на 30 с и 0.958 на 60 с, что указывает на то, что скрытое сжатие KV не подавляет движение и не приводит к статической генерации. Также она обеспечивает наилучшее качество визуализации и плавность движения и достигает наивысшего общего балла за 60 с — 0.859, существенно превосходя предшествующие базовые подходы для потоковой передачи, такие как Reward Forcing, Infinity-RoPE, LongLive и LongSANA. На 30 с VideoMLA также конкурирует с самым сильным базовым подходом, достигая второго лучшего общего балла при использовании гораздо меньшей памяти KV-кеша.

Model	Results on 30s $\uparrow$							Results on 60s $\uparrow$							User Study $\uparrow$
	AQ	BC	DD	IQ	MS	SC	Overall	AQ	BC	DD	IQ	MS	SC	Overall	PA	TC	DC	Overall
Self-Forcing [9]	0.541	0.948	0.624	0.577	0.952	0.932	0.762	0.565	0.958	0.393	0.650	0.987	0.974	0.755	2.79	2.79	2.70	2.76
CausVid [27]	0.597	0.921	0.473	0.663	0.935	0.913	0.750	0.497	0.929	0.723	0.574	0.948	0.933	0.767	–	–	–	–
Causal Forcing [31]	0.526	0.945	0.738	0.628	0.968	0.947	0.792	0.503	0.936	0.847	0.608	0.935	0.920	0.792	2.59	2.63	2.81	2.68
Rolling-Forcing [16]	0.620	0.953	0.742	0.688	0.982	0.960	0.824	0.580	0.958	0.380	0.670	0.988	0.977	0.759	2.55	2.68	2.60	2.61
Deep Forcing [25]	0.621	0.953	0.713	0.660	0.979	0.961	0.815	0.597	0.957	0.402	0.690	0.987	0.979	0.769	2.60	2.76	2.68	2.68
Reward Forcing [17]	0.644	0.956	0.954	0.683	0.981	0.957	0.863	0.585	0.952	0.676	0.673	0.985	0.974	0.808	2.91	2.99	2.83	2.91
LongLive [22]	0.654	0.959	0.649	0.678	0.983	0.967	0.816	0.606	0.961	0.433	0.664	0.991	0.982	0.773	2.56	2.70	2.58	2.61
Infinity-RoPE [24]	0.640	0.958	0.847	0.669	0.982	0.966	0.844	0.607	0.959	0.647	0.638	0.988	0.979	0.803	2.46	2.44	2.41	2.43
LongSANA [3]	0.573	0.976	0.149	0.683	0.974	0.988	0.723	0.529	0.976	0.103	0.702	0.991	0.986	0.714	2.48	2.63	2.56	2.56
VideoMLA (Ours)	0.601	0.942	0.981	0.697	0.986	0.952	0.859	0.569	0.963	0.958	0.715	0.993	0.954	0.859	3.04	3.24	3.22	3.17

⟦Table 2: Долгосрочная производительность и сравнение предпочтений пользователя. Результаты для генерации видео длительностью 30с и 60с, а также баллы пользовательского исследования. AQ: эстетическое качество, BC: согласованность фона, DD: динамическая степень, IQ: качество визуализации, MS: плавность движения, SC: согласованность сюжекта. Показатели пользовательского исследования: PA: соответствие подсказке, TC: временная согласованность, и DC: динамическая согласованность. Жирный: лучший; подчёркнутый: второй лучший.

⟦Figure 6: Качество генерации с долгим горизонтом. Кадры отбирались в ходе развертывания на одну минуту для одного и того же запроса. (Низ) VideoMLA поддерживает визуальную достоверность при разнообразном и развивающемся движении, тогда как (Верх) LongSANA производит почти статичный контент, который со временем ухудшается. VideoMLA обеспечивает более высокую визуальную достоверность и более разнообразное движение, одновременно достигая более высокой пропускной способности генерации и более низкой задержки, чем LongSANA, и уменьшает размер KV cache на $92.7\%$ по сравнению с базовой моделью Self-Forcing.

Model	#Params	Resolution	Throughput $\uparrow$	Latency $\downarrow$	CLIP-T $\uparrow$	CLIP-F $\uparrow$	HPSv3 $\uparrow$
Frame-wise autoregressive models
NOVA [5]	0.6B	768$\times$480	2.26	14.63	0.2764	0.9673	2.95
Pyramid Flow [11]	2B	640$\times$384	1.39	87.32	0.2888	0.9795	8.02
Chunk-wise autoregressive models
Self-Forcing [9]	1.3B	832$\times$480	18.06	4.19	0.3036	0.9689	9.86
LongSANA [3]	2B	832$\times$480	19.35	4.48	0.2978	0.9887	7.54
VideoMLA (Ours)	1.3B	832$\times$480	23.96	3.38	0.3278	0.9686	9.74

⟦Text-to-Video количественное сравнение на VBench. Модели имеют схожие размеры параметров и разрешения. Пропускная способность $\uparrow$ (FPS) и задержка $\downarrow$ (с) измерены при размере пакета 1 на B200. Больше значит лучше для оценок CLIP-T, CLIP-F и HPSv3 $\uparrow$. Жирный: лучший; подчёркнутый: второй лучший.

Результаты эффективности. Таблица 3 показывает, что VideoMLA достигает наибольшей пропускной способности и наименьшей задержки среди блочных (chunk-wise) авторегрессионных моделей, а также получает лучший балл CLIP-T. Хотя LongSANA имеет несколько более высокий балл CLIP-F, это отчасти связано с более статичными генерациями, которые сохраняют сходство на уровне кадров, но снижают динамику движения. Последовательно VideoMLA получает более высокий показатель HPSv3 и, как показано на рисунке 6, создает более четкие, более динамичные и более временно стабильные видеоролики при длительной развертке (long-rollout), чем LongSANA.

4.3 Анализ вклада (ablation)

Пакетное масштабирование при фиксированной памяти. Рис. 7 показывает, что VideoMLA переводит сжатие кэша в практический запас по объёму обслуживания на одном B200. Плотная MHA достигает предела памяти на $B=28$, тогда как MLA сдвигает «обрыв» OOM далеко вправо; с $d_{c}=64$ она остаётся в пределах бюджета даже при $B=320$. Наклон по памяти на запрос снижается с $6.26$ ГБ/пакет для MHA до $0.57$–$1.43$ ГБ/пакет для MLA, что даёт сокращение на $77$–$91\%$ по сравнению с $d_{c}\in\{64,128,192,256,512\}$. Следовательно, MLA поддерживает $4.6\times$ как минимум до $11.4\times$ более крупных не приводящих к OOM пакетов при том же ограничении по памяти, при этом наш стандартный $d_{c}=192$ даёт $8.0\times$ запас по объёму пакета.

5 Почему MLA работает в видеодиффузии: бюджет ранга и спектральная структура

Мотивация для MLA часто опирается на предположение, что предварительно обученные отображения ключей/значений примерно имеют низкий ранг. Мы проверяем, справедливо ли это объяснение для видеодиффузии, анализируя совместный плотный оператор $[W_{K};\,W_{V}]$ в Wan2.1-T2V-1.3B. На рис. 1 показано, что этот оператор не является низкоранговым: при заданном по умолчанию бюджете $d_{c}=192$ медианный слой сохраняет лишь $45.8\%$ спектральной энергии, а эффективный ранг по 99%-энергии превышает 1300 в каждом слое. Таким образом, прямое спектральное приближение с рангом-$d_{c}$ отбросит большую часть плотной энергии ключей/значений, даже несмотря на то, что VideoMLA сохраняет качество генерации при этом размере кэша.

Это несоответствие предполагает, что MLA не следует интерпретировать как восстановление скрытой структуры низкого ранга во предварительно обученных весах внимания. Вместо этого MLA изменяет задачу оптимизации: составной оператор ключей/значений

$$M=[W^{K}_{\uparrow}W^{KV}_{\downarrow};\,W^{V}_{\uparrow}W^{KV}_{\downarrow}]$$

ограничена по конструкции так, чтобы иметь ранг не более $d_{c}$. Рис. 2 подтверждает, что изученный составной оператор использует этот архитектурный бюджет почти полностью для различных размеров скрытого пространства. Для $d_{c}\in\{64,128,256,512\}$ нормированные спектры имеют общую форму, обрезанную на $d_{c}$, а ранговая оценка по 99%-энергии на уровне слоёв остается близкой к $0.98d_{c}$ на протяжении всей сети. Следовательно, эффективный ранг задается узким местом MLA, а не спектром исходного плотного оператора.

⟦Figure 7: VideoMLA увеличивает запас по пропускной способности обслуживанию при фиксированном бюджете памяти B200. По сравнению с плотным MHA, MLA значительно снижает рост памяти на пакет и переносит порог OOM на гораздо большие размеры пакетов; значение по умолчанию $d_{c}=192$ дает $8.0\times$ запас по размеру пакета без OOM.

⟦Figure 8: Насыщение бюджета ранга во время обучения. В $d_{c}=192$ инициализация как SVD, так и случайная занимает почти весь бюджет латентного ранга с момента инициализации, при этом эффективный ранг и спектральный хвост остаются стабильными на протяжении всего обучения.

Мы дополнительно исследуем, является ли это артефактом инициализации SVD. Рис. 8 сравнивает SVD и случайную инициализацию при $d_{c}=192$ во время обучения. Оба почти насыщают бюджет по рангу с момента инициализации, и обучение сохраняет эффективный ранг и спектральный хвост. Таким образом, обучение не обнаруживает решение меньшего ранга и не приводит к коллапсу спектра; оно адаптируется в рамках заданного бюджета.

6 Ограничения и более широкое влияние

VideoMLA уменьшает KV-кэш на токен, но скрытый бюджет не может произвольно сокращаться. Небольшие бюджеты, такие как $d_{c}=64$, улучшают запас памяти, но теряют детализированность и снижают качество, из-за чего $d_{c}$ становится компромиссом между качеством и эффективностью. Наши эксперименты сфокусированы на Wan2.1-T2V-1.3B и генерации в масштабе минут; более крупные базовые модели, более высокие разрешения, более длинные горизонты и переключение подсказок остаются задачами будущих работ. Более эффективная генерация на длинных горизонтах может снизить стоимость развертывания и расширить доступ к творческим инструментам, симуляциям, образованию и производству вспомогательных медиа.

7 Вывод

Мы представили VideoMLA — первую кэш-память скрытых KV в стиле MLA для авторегрессионной видеодиффузии. Заменяя плотные ключи и значения, характерные для каждого head, на общую низкоранговую скрытую латентность контента и на позиционный ключ 3D-RoPE с раздельной развязкой и общим head, VideoMLA снижает память кэша KV на токен на 92,7% при сохранении совместимости со стандартной chunk-causal генерацией. Наш анализ показывает, что этот успех не обусловлен intrinsically low-rank pretrained оператором «ключ-значение»; напротив, bottleneck MLA задаёт бюджет ранга, который модель использует почти полностью и адаптирует в ходе обучения. Эмпирически VideoMLA сохраняет визуальное качество и движение на больших горизонтах, достигает наилучшего общего балла за одну минуту среди оцененных методов и повышает пропускную способность при существенно меньшей памяти кэша. Эти результаты указывают на компоновку KV на токен как на эффективную и дополняющую ось для масштабирования эффективной видеодиффузии с протяжёнными горизонтами.

Благодарности

Пинар Янарада поддерживается Национальным научным фондом по гранту № 2543524.

Оглавление

Appendix A Видео и веб-сайт

Для облегчения всесторонней оценки и повышения доступности результатов мы предоставляем видеорезультаты, включающие качественные примеры, исследования с исключением компонентов, сравнения и ограничения в https://videomla.github.io.

Appendix B Детали исследования пользователей

Мы проводим пользовательское исследование для оценки перцептивного качества генераций длительностью в одну минуту. Мы сравниваем девять моделей и просим 50 участников оценить каждое видео, используя интерфейс, показанный на рис. 9. Для каждого сгенерированного видео участники отвечают на три вопроса: соответствие запросу, измеряющее, насколько хорошо видео следует запросу; временная согласованность, измеряющая, сохраняется ли связность видео от начала до конца; и динамическая согласованность, измеряющая, содержит ли видео правдоподобное и устойчивое движение. Каждый вопрос оценивается по пятибалльной шкале Лайкерта, от 1) Очень плохо до 5) Очень хорошо.

⟦Figure 9: Интерфейс пользовательского исследования. Интерфейс пользовательского исследования для генерации длинных видео

Appendix C Фон

C.1 Wan2.1-T2V-1.3B базовая часть

Наши эксперименты используют Wan2.1-T2V-1.3B в качестве базового видео диффузионного остова. Wan2.1-T2V-1.3B — это латентный видео диффузионный трансформер, работающий по спатиотемпоральным латентным токенам, а не по пикселям RGB. Видео кодируется с помощью 3D VAE, которая сжимает временную размерность на $4\times$ и каждую пространственную размерность на $8\times$, поэтому входное видео $V\in\mathbb{R}^{F\times H\times W\times 3}$ отображается в латентный тензор с временной длиной $1+\lceil(F-1)/4\rceil$ и пространственным разрешением $H/8\times W/8$. Модель шумоподавления следует формулировке rectified-flow, где чистый латент $x_{0}$ и гауссов шум $\epsilon$ линейно интерполируются как

$$x_{t}=(1-t)x_{0}+t\epsilon,\qquad t\in[0,1],$$

а обратный процесс параметризован нейронным полем скоростей и решается с помощью интегрирования Эйлера во время вывода.

Wan2.1-T2V-1.3B использует диффузионный transformer с многошаговым (multi-head) самовниманием по токенам латентного представления видео. В нашей реализации базовая часть содержит 30 блоков transformer, скрытое измерение $d=1536$, $n_{h}=12$ attention-голов, и измерение $d_{h}=128$ для каждой attention-головы. В плотном базовом варианте каждый кэшированный токен хранит и ключи, и значения для всех голов, обеспечивая размер кэш-памяти KV на токен, на слой, равный

$$2n_{h}d_{h}=2\times 12\times 128=3072$$

scalars. При кэше из 21 латентного кадра, 1 560 токенов на латентный кадр и 30 кэшированных слоёв transformers это соответствует 3,02B кэшированных scalars, или примерно 6,0GB в bf16/fp16. Эта плотная компоновка KV на голову является основным целевым объёмом памяти VideoMLA.

Основой служат трехмерные роторные позиционные вложения (3D-RoPE), которые кодируют временные и пространственные координаты токенов перед самовниманием. Для скрытых признаков $x\in\mathbb{R}^{B\times S\times C}$ с $S=FHW$ размерность канала разделяется по осям временной координаты, высоты и ширины, и RoPE применяется отдельно к соответствующим подпространствам координат перед их объединением. В Wan для каждой размерности RoPE задана фиксированная максимальная длина последовательности 1024; хотя RoPE остается математически определенной и за пределами этого диапазона, генерация вне позиционного режима, наблюдаемого во время обучения, может ухудшить качество внимания.

Для авторегрессионной генерации длинных видео Wan2.1-T2V-1.3B обычно используется после обучения с каузальной дистилляцией или после self-rollout. Модель генерирует фрагменты латентных кадров последовательно и обусловливает каждый фрагмент на основе скользящего KV cache предыдущих фрагментов. Этот cache обеспечивает эффективную потоковую генерацию, поскольку ранее сохраненные состояния ключей и значений повторно используются, а не пересчитываются заново. Однако в плотной разметке внимания Wan cache по-прежнему хранит полные ключи и значения для каждой головы для каждого удерживаемого токена и для каждого закешированного слоя. VideoMLA сохраняет неизменными backbone Wan и настройку каузального rollout, но заменяет это плотное состояние KV на токен на общий latent content cache и разъединенный head-shared 3D-RoPE key.

⟦Table 4: Обучение и гиперпараметры модели. Если не указано иное, все эксперименты используют настройку VideoMLA по умолчанию.

Hyperparameter	Value
Backbone	Wan2.1-T2V-1.3B
Transformer blocks	30
Hidden dimension $d$	1536
Number of heads $n_{h}$	12
Per-head dimension $d_{h}$	128
KV latent dimension $d_{c}$	192
Query latent dimension $d_{q}$	768
NoPE channels $d_{h}^{\mathrm{nope}}$	96
RoPE channels $d_{h}^{\mathrm{rope}}$	32
3D-RoPE complex pairs $(t,h,w)$	$(6,5,5)$
Per-token cache size	224 scalars
KV cache reduction	$92.7\%$
Training precision	bf16
Training GPUs	$8\times$ B200
Total batch size	128
Teacher Forcing LR	$5\times 10^{-6}$
Consistency Distillation LR	$2\times 10^{-6}$
DMD LR	$2\times 10^{-6}$
Training pipeline	TF $\rightarrow$ CD $\rightarrow$ DMD
Inference steps	4

Appendix D Детали реализации

D.1 Опорная сеть и токенизация

VideoMLA реализован поверх Wan2.1-T2V-1.3B. Основа содержит $L=30$ блоков transformer, скрытое измерение $d=1536$, $n_{h}=12$ attention heads и измерение на голову $d_{h}=128$, так что $d=n_{h}d_{h}$. Скрытое измерение feed-forward равно $8960$. Мы сохраняем текстовую ветвь для conditioning в Wan и все неattention-модули неизменными, и заменяем только временные слои self-attention на блок VideoMLA, описанный в Разделе 3.

Мы обучаемся на 5-секундных фрагментах с разрешением $480\times 832$ и 16 кадров в секунду. Ван VAE кодирует каждый фрагмент в латентный тензор с 16 каналами, 21 латентным фреймом и пространственным размером $60\times 104$. Порождающее в 3D встраивание с размером патча $(1,2,2)$ отображает каждый латентный фрейм в $30\times 52=1560$ визуальных токенов. Таким образом, каждый 5-секундный фрагмент содержит $21\times 1560=32760$ токенов для self-attention. Автoregressive генерация выполняется фрагментами по 3 латентных фрейма.

D.2 Блок VideoMLA

Каждый слой временного self-attention следует обозначениям Раздела 3. Учитывая вход внимания $x_{t}\in\mathbb{R}^{d}$, VideoMLA сначала формирует общий кэш латентного содержания latent

$$c_{t}^{KV}=W_{\downarrow}^{KV}x_{t}\in\mathbb{R}^{d_{c}},$$

и скрытый запрос

$$c_{t}^{Q}=W_{\downarrow}^{Q}x_{t}\in\mathbb{R}^{d_{q}}.$$

В модели по умолчанию мы используем

$$d_{c}=192,\qquad d_{q}=768,\qquad d_{h}^{\mathrm{nope}}=96,\qquad d_{h}^{\mathrm{rope}}=32,$$

с $d_{h}^{\mathrm{nope}}+d_{h}^{\mathrm{rope}}=d_{h}=128$. Форма понижающего проекционного преобразования

$$W_{\downarrow}^{KV}\in\mathbb{R}^{192\times 1536},\qquad W_{\downarrow}^{Q}\in\mathbb{R}^{768\times 1536}.$$

Оба $c_{t}^{KV}$ и $c_{t}^{Q}$ нормализуются с помощью RMSNorm перед соответствующими проекциями вверх.

Ключ содержимого и значение для head $h$ восстанавливаются из общего кэша latent:

$$k^{\mathrm{nope}}_{t,h}=W^{K}_{\uparrow,h}c_{t}^{KV},\qquad v_{t,h}=W^{V}_{\uparrow,h}c_{t}^{KV}.$$

Агрегирование всех головок: формы проекции являются

$$W^{K}_{\uparrow}\in\mathbb{R}^{(n_{h}d_{h}^{\mathrm{nope}})\times d_{c}}=\mathbb{R}^{1152\times 192},$$

$$W^{V}_{\uparrow}\in\mathbb{R}^{(n_{h}d_{h})\times d_{c}}=\mathbb{R}^{1536\times 192}.$$

Запрос NoPE восстанавливается аналогичным образом:

$$q^{\mathrm{nope}}_{t,h}=W^{Q}_{\uparrow,h}c_{t}^{Q},\qquad W^{Q}_{\uparrow}\in\mathbb{R}^{(n_{h}d_{h}^{\mathrm{nope}})\times d_{q}}=\mathbb{R}^{1152\times 768}.$$

Ветвь RoPE отделена от кэширования содержимого. Для каждого токена VideoMLA вычисляет один позиционный ключ с разделяемой по головам проекцией

$$k_{t}^{R}=W_{R}^{K}x_{t}\in\mathbb{R}^{d_{h}^{\mathrm{rope}}},\qquad W_{R}^{K}\in\mathbb{R}^{32\times 1536},$$

и запросы позиционных признаков для каждого отдельного канала

$$q_{t,h}^{R}=W^{Q}_{R,h}c_{t}^{Q},\qquad W_{R}^{Q}\in\mathbb{R}^{(n_{h}d_{h}^{\mathrm{rope}})\times d_{q}}=\mathbb{R}^{384\times 768}.$$

Исходная проекция выходного внимания — это исходная проекция выхода внимания

$$W_{O}\in\mathbb{R}^{d\times(n_{h}d_{h})}=\mathbb{R}^{1536\times 1536}.$$

Поэтому каждый кэшированный токен хранит только

$$(c_{t}^{KV},k_{t}^{R})\in\mathbb{R}^{d_{c}+d_{h}^{\mathrm{rope}}},$$

чем плотные ключи и значения на голову. При настройке по умолчанию это $192+32=224$ скаляров на токен на слой, по сравнению с $2n_{h}d_{h}=2\cdot 12\cdot 128=3072$ скалярами для плотного MHA, что соответствует $13.7\times$ снижению кэширования.

D.3 Разделение NoPE/RoPE и трехмерный RoPE

Каждая голова разделяется как

$$d_{h}=d_{h}^{\mathrm{nope}}+d_{h}^{\mathrm{rope}},$$

где подпространство NoPE используется для сопоставления содержимого, а подпространство RoPE — для сопоставления с учетом позиции. Запрос и ключ на каждую голову

$$q_{t,h}=[q^{\mathrm{nope}}_{t,h};q^{\mathrm{rope}}_{t,h}],\qquad k_{t,h}=[k^{\mathrm{nope}}_{t,h};k^{\mathrm{rope}}_{t}],$$

где

$$q^{\mathrm{rope}}_{t,h}=\mathrm{RoPE}_{3D}(q^{R}_{t,h}),\qquad k^{\mathrm{rope}}_{t}=\mathrm{RoPE}_{3D}(k^{R}_{t}).$$

Позиционный ключ является общим для всех головок, тогда как ключи NoPE, запросы NoPE и значения остаются специфичными для каждой головки после up-projection.

Для стандартного разбиения $d_{h}^{\mathrm{rope}}=32$ подпространство RoPE содержит $d_{h}^{\mathrm{rope}}/2=16$ пар комплексных частот. Следуя факторизации Wan 3D-RoPE, эти пары распределяются по осям времени, высоты и ширины следующим образом

$$(6,5,5),$$

используя наиболее высокочастотные диапазоны из соответствующих групп осей.

D.4 Скользящее окно внимания с причинным вниманием к фрагментам

VideoMLA сохраняет шаблон внимания с причинностью по чанкам, используемый в авторегрессионной Wan-основе. Токены в рамках одного 3-латентно-кадрового чанка могут обращать внимание друг на друга, тогда как токены в более позднем чанке не могут быть доступны более ранним чанкам. Для генерации с длинным горизонтом внимание ограничено фиксированным кэшем, состоящим из одного sink-латентного кадра и последних шести латентных кадров. Поскольку каждый латентный кадр содержит 1560 токенов, sink занимает 1560 слотов кэшированных токенов, а локальное окно занимает $6\times 1560$ слотов токенов.

Во время обучения применяется та же структура chunk-causal и скользящего окна с блочно-разреженными масками внимания. Во время инференса кэш хранит

$$c^{KV}\in\mathbb{R}^{B\times T_{\mathrm{cache}}\times d_{c}},\qquad k^{R}\in\mathbb{R}^{B\times T_{\mathrm{cache}}\times d_{h}^{\mathrm{rope}}},$$

где $T_{\mathrm{cache}}$ — это число закешированных токенов в контексте sink-plus-window. Когда кэш заполнен, токены вне sink вытесняются в порядке FIFO. Вычисление внимания считывает активный кэш, восстанавливает ключи и значения содержимого через $W^{K}_{\uparrow}$ и $W^{V}_{\uparrow}$, применяет 3D-RoPE к активным позиционным ключам и вычисляет стандартные оценки внимания для каждого head по формуле из Eq. (7).

D.5 Перепиндексация RoPE на длинных горизонтах

Для разверток сверх 21 скрытого кадра, наблюдавшегося во время обучения на 5 секунд, заранее сохраняются позиционные ключи, которые кэшируются до применения RoPE. Когда формируется окно внимания, активные кэшированные ключи назначаются локальные временные координаты внутри текущего контекста sink-plus-window, а затем поворачиваются на $\mathrm{RoPE}_{3D}$ в соответствии с [24]. Текущий фрагмент запроса также поворачивается в той же локальной системе координат. Таким образом, и запросы, и кэшированные ключи используют ограниченную, зависящую от окна позиционную рамку даже после вытеснения из кэша.

Эта переиндексация сохраняет фазу RoPE в режиме короткого горизонта, наблюдавшемся за магистралью во время обучения, при этом позволяя сгенерированному видео выходить за пределы исходной длины клипа в 21 скрытый фрейм. Все сообщенные развертывания для длинного видео используют один sink скрытый фрейм, локальное окно из шести скрытых фреймов и 4-шаговый сэмплер студента.

D.6 Учебный конвейер

Мы обучаем одну и ту же архитектуру VideoMLA в три этапа на 8 графических процессорах NVIDIA B200, используя FSDP полное расщепление, bf16 смешанную точность, AdamW с $\beta_{1}=0$ и $\beta_{2}=0.999$, и задачу сглаживающего шумоподавления с выпрямленным потоком.

Этап 1: Учительское принуждение.

Мы инициализируем проекции MLA на основе разложения в стиле SVD предварительно обученных матриц плотного внимания Wan в целевой конфигурации

$$(d_{c},d_{q},d_{h}^{\mathrm{nope}},d_{h}^{\mathrm{rope}})=(192,768,96,32).$$

Затем модель обучают как ученика для chunk-causal flow-matching с чистым предыдущим контекстом блоков из latents, закодированных учителем. Мы используем learning rate $5\times 10^{-6}$, размер batch на GPU 1, общий размер batch 2, gradient checkpointing, 1000 training timesteps и timestep shift 5.0.

Этап 2: Дистилляция согласованности.

Начиная с контрольной точки Stage-1, мы дистиллируем модель по схеме выборки из 4 шагов

$$[1000,750,500,250].$$

Мы используем сдвиг по таймстепам 5.0 и масштаб classifier-free guidance 3.0. Генератор learning rate равен $2\times 10^{-6}$, critic learning rate равен $4\times 10^{-7}$, а общий размер batch равен 2 при включенном gradient checkpointing enabled.

Этап 3: Дистилляция с согласованием распределений.

Наконец, мы инициализируемся из контрольной точки Stage-2 на итерации 2500 и дообучаемся с помощью distillation по соответствию распределений на том же четырехшаговом расписании. Реальная оценка предоставляется замороженным учителем, а поддельная оценка изучается онлайн. Мы выполняем пять обновлений критика на одно обновление генератора, используем веса EMA 0.99, начиная с шага 1, коэффициент обучения генератора $2\times 10^{-6}$, коэффициент обучения критика $4\times 10^{-7}$, масштаб наведения 3.0 и сдвиг по времени 5.0. Общий размер батча равен 16, получен из размера батча на GPU 8 на 8 GPU и накопления градиентов 2.

Контрольная точка Stage-3 используется для всех полученных результатов VideoMLA, включая оценки с длительным горизонтом.

Appendix E Переараметризация во время инференса

Формулировка во время обучения в разделе 3 записана так, чтобы явно установить связь со стандартным multi-head attention: каждый кэшированный токен хранит $(c_{j}^{KV},k_{j}^{R})$, а ключи и значения NoPE для каждой головы реконструируются через Eq. 2 перед применением обычного вычисления attention. Это удобно во время обучения, потому что позволяет VideoMLA повторно использовать те же блок-каузальные маски, логику sink-token и attention kernels, что и плотностная базовая модель. Однако при инференсе явная реконструкция $k_{j,h}^{\mathrm{nope}}$ и $v_{j,h}$ частично сводила бы на нет выигрыш от латентного кэширования, материализуя плотные тензоры для каждой головы после каждого считывания кэша. Поэтому мы используем эквивалентную пере параметризацию, которая сохраняет кэш и вычисление attention в латентной форме.

Для вычисления оценки единственный вклад реконструированного ключа NoPE осуществляется через его скалярное произведение с реконструированным запросом NoPE. Подстановка уравнений 3, 4 и 2 в член, соответствующий содержимому, уравнения 7 дает

$$q_{i,h}^{\mathrm{nope}}\cdot k_{j,h}^{\mathrm{nope}} =\left(W_{\uparrow,h}^{Q}c_{i}^{Q}\right)^{\top}\left(W_{\uparrow,h}^{K}c_{j}^{KV}\right)$$

$$=\left(c_{i}^{Q}\right)^{\top}\left(W_{\uparrow,h}^{Q}\right)^{\top}W_{\uparrow,h}^{K}c_{j}^{KV}$$

$$=\left(c_{i}^{Q}\right)^{\top}A_{h}c_{j}^{KV},$$ (8)

где

$$A_{h}=\left(W_{\uparrow,h}^{Q}\right)^{\top}W_{\uparrow,h}^{K}\in\mathbb{R}^{d_{q}\times d_{c}}.$$ (9)

Матрица $A_{h}$ зависит только от обученных параметров и не зависит от текущей последовательности, содержимого кэша, диффузионного шага по времени и позиции развертывания. Поэтому ее можно заранее вычислить один раз при загрузке модели. Во время инференса оценка содержания NoPE для головы $h$ вычисляется непосредственно из латентного представления запроса $c_{i}^{Q}$ и кэшированного латентного представления содержимого $c_{j}^{KV}$, без формирования либо $q_{i,h}^{\mathrm{nope}}$, либо $k_{j,h}^{\mathrm{nope}}$ в виде явных векторов на каждую голову.

Путь ценности допускает аналогичное поглощение. Пусть $W_{h}^{O}$ обозначает срез проекции выхода, примененный к выходу головы $h$. Используя уравнение 2,

$$W_{h}^{O}v_{j,h} =W_{h}^{O}W_{\uparrow,h}^{V}c_{j}^{KV}$$

$$=B_{h}c_{j}^{KV},$$ (10)

где

$$B_{h}=W_{h}^{O}W_{\uparrow,h}^{V}.$$ (11)

Таким образом, значение up-проекции также можно включить в выходной микшер. На практике после вычисления весов внимания для головы $h$ взвешенная сумма может быть накоплена по кэшированным латентным представлениям $c_{j}^{KV}$ и затем спроецирована с помощью $B_{h}$, вместо того чтобы сначала восстанавливать все плотные значения $v_{j,h}$, а затем применять выходную проекцию.

Ветвь RoPE сохраняется отдельно от этого поглощения. Кэш хранит не повернутый, разделяемый по головам позиционный ключ $k_{j}^{R}$ из уравнения 5. Когда активное окно внимания собирается, $k_{j}^{R}$ поворачивается на $\mathrm{RoPE}_{\mathrm{3D}}(\cdot)$ с использованием текущего индекса окна, и член позиционной оценки в уравнении 7 вычисляется как

$$q_{i,h}^{\mathrm{rope}}\cdot k_{j}^{\mathrm{rope}}.$$ (12)

Это разделение важно, потому что RoPE зависит от позиции и не может быть свернут в фиксированную матричную параметризацию так же, как проекции содержимого NoPE. Хранение $k_{j}^{R}$ без поворота также сохраняет возможность переиндексирования кэшированных токенов в пределах скользящего окна, как описано в Разделе 3.2⟧.

После перенапараметризации кэш для вывода никогда не расширяется в плотные ключи и значения для каждой головы. Каждый закэшированный токен вносит только скрытое содержимое $c_{j}^{KV}\in\mathbb{R}^{d_{c}}$ и разделяемый между головами позиционный ключ $k_{j}^{R}\in\mathbb{R}^{d_{h}^{\mathrm{rope}}}$. Поэтому состояние, кэшированное для каждого токена, остается

$$d_{c}+d_{h}^{\mathrm{rope}},$$ (13)

вместо плотной базовой стоимости

$$2n_{h}d_{h}.$$ (14)

Для окна внимания размера $W$ трафик кэш-памяти уменьшается с

$$\mathcal{O}\!\left(W\,2n_{h}d_{h}\right)$$ (15)

до

$$\mathcal{O}\!\left(W\left(d_{c}+d_{h}^{\mathrm{rope}}\right)\right).$$ (16)

При стандартной конфигурации $d_{c}=192$ и $d_{h}^{\mathrm{rope}}=32$ это соответствует $224$ кэшированным скалярным значениям на токен на слой по сравнению с $2n_{h}d_{h}=3072$ скалярными значениями для плотной MHA. Поэтому параметризация сохраняет математическое вычисление внимания формулировки, используемой во время обучения, при этом гарантируя, что реализация во время вывода реализует предполагаемые сбережения по памяти и пропускной способности латентного кэша.

Appendix F Дополнительные абляции

Таблица 5 рассматривает два архитектурных выбора: скрытое размерение KV $d_{c}$ и разделение каналов NoPE/RoPE. Скрытое размерение управляет основной компромиссной связью качество–эффективность. При $d_{c}=64$ VideoMLA обеспечивает наибольшее сжатие кэша и запас по памяти, но бюджет оказывается слишком ограничительным: как семантические, так и показатели качества снижаются, что согласуется с потерей детализированных визуальных характеристик при чрезмерно агрессивном сжатии. Увеличение до $d_{c}=128$ в значительной степени восстанавливает качество при сохранении высокой степени сжатия. Дальнейшее увеличение до $d_{c}=256$ или $512$ даёт лишь незначительные улучшения, но существенно уменьшает преимущество по памяти. Это указывает на то, что полезный рабочий режим определяется не максимально возможным скрытым размерением, а минимальным бюджетом, который сохраняет видеопризнаки, значимые для задачи.

Разделение NoPE/RoPE также имеет четкий эффект. При наличии только $16$ каналов RoPE пространственная емкость оказывается слишком ограниченной, что приводит к слабой временной и пространственной привязке. И наоборот, «RoPE-ориентированное» $32/96$ разделение оставляет слишком мало емкости для кэшированного содержимого и ухудшает семантическую точность. Сбалансированная настройка $64/64$ улучшает ситуацию по сравнению с этими крайними вариантами, но все же остается ниже стандартной конфигурации, ориентированной на содержимое. Наилучший результат дает разделение $96/32$, что указывает на то, что потоковое видео выигрывает от выделения большинства каналов под путь кэшированного содержимого при сохранении меньшего выделенного подпространства RoPE для формирования позиционной структуры.

(а) Латентное измерение $d_{c}$

$d_{c}$	Semantic$\uparrow$	Quality$\uparrow$	Total$\uparrow$	Mem.$\downarrow$	FPS$\uparrow$
64	77.42	79.18	78.30	32.00$\times$	26.93
128	82.16	84.31	83.24	19.20$\times$	27.00
256	82.74	84.58	83.66	10.67$\times$	26.93
512	82.41	84.39	83.40	5.65$\times$	26.79

(b) Разделение NoPE/RoPE

$d_{h}^{\mathrm{nope}}$	$d_{h}^{\mathrm{rope}}$	Semantic$\uparrow$	Quality$\uparrow$	Total$\uparrow$
112	16	74.62	78.31	76.47
64	64	79.54	82.12	80.83
32	96	75.88	80.74	78.31
96	32	83.02	84.76	83.89

⟦Table 5: Исследования методом исключения. Слева: перебор по размерности латентного KV $d_{c}$. Справа: исключение по размерности раздельной RoPE с $d_{h}^{\mathrm{nope}}+d_{h}^{\mathrm{rope}}=128$. Пам.: отношение степени сжатия KV к плотному KV кэшу на токен. FPS: пропускная способность при размере батча 1 на $1\times$H100 80 GB.