Gmos: Сегментация движущихся объектов с привязкой к тексту
в 3D пространстве и времени

Аннотация

Сегментация движущихся объектов (MOS) направлена на обнаружение, сегментацию и отслеживание объектов, которые перемещаются независимо от камеры. Однако современные методы MOS демонстрируют два фундаментальных ограничения: они полагаются на предварительно вычисленные вспомогательные 2D-модальности, такие как оптический поток или траектории точек, в которых отсутствует 3D-геометрическая информация, и они рассматривают движение как атрибут на уровне последовательности, упуская из виду мгновенное состояние движения каждого объекта. Мы решаем обе проблемы, обосновывая MOS в 3D-пространстве и времени, и предлагаем Gmos — фреймворк, который работает непосредственно с RGB-видео для создания 3D-осведомленной, временно детализированной сегментации множества движущихся объектов, наряду с вариантом для переднего и заднего плана Gmos-S для более быстрого развертывания. Для поддержки обучения и оценки в этом режиме мы подготовили Gmos-2K, набор данных из $2{,}210$ реальных видео с временными аннотациями движения для каждого объекта, взятыми из пяти признанных бенчмарков Video Object Segmentation (VOS), и формализовали MOS-I («I» означает мгновенный) — протокол оценки с временной детализацией и тремя взаимодополняющими метриками. Gmos достигает передовых результатов в бенчмарках MOS, MOS-I и Unsupervised VOS, работая при этом значительно быстрее, чем предыдущие методы MOS для нескольких объектов, и поддерживая онлайн-вывод для потокового развертывания..

⟦Figure 1: Обоснование сегментации движущихся объектов (MOS) в трехмерном пространстве и времени. Слева: Gmos обосновывает MOS в трехмерном пространстве, обеспечивая надежную сегментацию при сложных ракурсах и сильном параллаксе глубины с движущихся камер. Справа: Gmos также обосновывает MOS во времени: традиционные методы MOS маскируют каждый объект, который движется в какой-либо момент последовательности, независимо от того, находится ли он в движении в данный момент. В отличие от этого, наш предложенный протокол MOS-I («I» означает мгновенный) требует прогнозирования для каждого кадра, какие объекты активно движутся в этот момент времени. Это проиллюстрировано в нижнем ряду, где маленькая птица приземляется, останавливается, а затем взлетает, в то время как ветка дерева остается неподвижной на протяжении всего времени..

1 Введение

Сегментация движущихся объектов (MOS) направлена на обнаружение, сегментацию и отслеживание объектов, которые перемещаются независимо от камеры. Эта возможность является основополагающей для таких приложений, как автономное вождение [5, 33], обнаружение замаскированных объектов [Lamdouar20, Yang21a] и видеонаблюдение [45, 65], и становится все более важной для современных методов реконструкции 3D/4D сцен [35, 19], которым требуются маски движения для отделения динамических объектов от статической сцены..

Современные методы MOS демонстрируют два фундаментальных ограничения, как указано в Tab.˜1. Во-первых, они не учитывают 3D-структуру и остаются уязвимыми при значительном движении камеры или параллаксе глубины. Это проистекает из их сильной зависимости от предварительно вычисленных 2D вспомогательных модальностей (например, оптического потока [Yang21a, Xie22, 36] или траекторий точек [22, Karazija24b]), в которых отсутствует 3D геометрическая информация и которые требуют значительных затрат на предварительную обработку. Во-вторых, существующие бенчмарки предполагают, что объекты движутся на протяжении всего видео, что заставляет методы рассматривать движение как атрибут уровня последовательности и игнорировать мгновенное состояние движения каждого объекта. Такая грубая временная гранулярность препятствует развертыванию в режиме онлайн и реального времени..

Мы устраняем оба ограничения путем привязки MOS к пространству и времени. Наш подход основан на двух наблюдениях: (i) геометрические представления, изученные современными моделями 3D реконструкции прямого распространения, уже кодируют достаточный объем информации для разделения движения камеры и объекта, и (ii) независимое движение объекта надежно идентифицируется по короткому временному окну ($\sim$$0.5$ с).

Опираясь на эти выводы, мы предлагаем Gmos — структуру типа «предлагающий-распространяющий», которая работает непосредственно с RGB-видео без каких-либо вспомогательных предварительно вычисленных модальностей. Покадровый предлагающий модуль объединяет геометрические признаки из $\pi^{3}$ encoder [64] с признаками сегментации из SAM2 encoder [55], совместно формируя предложения масок объектов и покадровые прогнозы состояния движения. Затем распространяющий модуль на базе SAM2 связывает эти предложения в согласованные треки по всем кадрам. Мы также представляем Gmos-S («S» для single), потоковый вариант для переднего и заднего плана, который прогнозирует все движущиеся объекты как единую бинарную маску и обходится без распространяющего модуля для еще более быстрого вывода..

⟦Table 1: Сравнение с базовыми методами сегментации движущихся объектов (MOS). *Вспомогательные входные данные обычно включают оптический поток, двумерные траектории и карты глубины. Параметры измерения времени выполнения подробно описаны в Приложении B.

Method	Multi-object	3D-aware	Temporally fine-grained	Online ​​​​​​​​	No aux. inputs* ​​​​​​	Per-frame runtime (s)
FlowSAM [Xie24a]	✓	✗	✗	✗​​​​​​​​	✗ (flow)	$1.79$
SegAnyMo [22]	✓	✓	✗	✗​​​​​​​​	✗ (depth, track)	$4.06$
GeoMotion [21]	✗	✓	✗	✗​​​​​​​​	✗ (flow)	$0.87$
Gmos-S	✗	✓	✓	✓​​​​​​​​	✓	$0.26$
Gmos	✓	✓	✓	✓​​​​​​​​	✓	$0.38$

Для поддержки MOS более геометрически обоснованным и темпорально детализированным образом мы подготовили Gmos-2K, коллекцию из $2{,}210$ видео из реального мира, взятых из пяти признанных бенчмарков VOS и аннотированных покадровыми состояниями движения для каждого объекта. Подмножества охватывают взаимодополняющие домены, включая сцены с сильным перекрытием, взаимодействия рук с объектами, а также ролики с дикой природой и участием людей. Наряду с этим набором данных мы формализуем MOS-I («I» означает мгновенный), протокол оценки MOS с темпоральной детализацией. Как показано на Fig.˜1 (справа), MOS-I оценивает маски сегментации только на кадрах, где объекты активно движутся, и штрафует за ложноположительные предсказания на статических и фоновых объектах..

Подводя итог, наши основные достижения заключаются в следующем:

• ⟦ Мы предлагаем Gmos, структуру типа «предлагающий–распространяющий», которая обеспечивает 3D-осведомленную, временно детализированную MOS исключительно на основе RGB-видео и поддерживает онлайн-вывод. Мы также представляем Gmos-S, вариант для разделения переднего и заднего плана для еще более быстрого развертывания.
• ⟦ Мы представляем целевую функцию обучения на основе доверия, которая автоматически снижает веса зашумленных аннотаций движения на уровне кадров вблизи переходов от статики к движению.
• ⟦ Мы подготовили Gmos-2K, набор данных из $2{,}210$ видео реального мира, взятых из пяти признанных эталонов VOS и аннотированных временными метками движения для каждого объекта, что обеспечивает унифицированный ресурс как для обучения, так и для оценки методов MOS с высокой временной детализацией..
• ⟦ Мы формализуем MOS-I, протокол оценки с высокой временной детализацией для MOS, вместе с тремя дополнительными метриками, которые совместно измеряют точность сегментации на активно движущихся кадрах и устойчивость к ложноположительным предсказаниям на статических и фоновых объектах.

Gmos достигает передовых результатов в бенчмарках MOS, MOS-I и Unsupervised VOS (UVOS), работая при этом примерно в три раза быстрее, чем предыдущие методы MOS (Tab.˜1⟧).

2 Метод: Gmos

Получив на вход видео в формате RGB $\mathcal{V}=\{I_{t}\}_{t=1}^{T}$, мы ставим своей целью предсказать для каждого кадра $t$ и каждого независимо движущегося объекта $i$ маску сегментации вместе с его состоянием движения,

$$\bigl\{\,(\hat{M}^{(i)}_{t},\hat{m}^{(i)}_{t})\,\bigr\}_{t=1,\dots,T;\,i=1,\dots,N}\;=\;\Phi_{\textsc{Gmos}}(\mathcal{V}),$$ (1)

где $\hat{M}^{(i)}_{t}\in\{0,1\}^{H\times W}$ — это бинарная маска сегментации, $\hat{m}^{(i)}_{t}\in\{0,1\}$ — состояние движения, при котором $\hat{m}^{(i)}_{t}=1$ указывает на то, что объект $i$ движется в кадре $t$. Gmos формирует эти выходные данные совместно и, следовательно, охватывает как MOS-I (Sec.˜4.2), так и стандартные настройки MOS.

⟦Fig.˜2 (слева) представляет собой обзор Gmos, который следует архитектуре «предлагающий-распространяющий». Предлагающий модуль работает на коротком локальном окне и выводит для среднего кадра набор $N$ предложений для каждого объекта, каждое из которых включает маску движущегося объекта и предсказанное состояние движения. Распространяющий модуль затем связывает эти покадровые предложения в согласованные треки объектов по всему видео.

2.1 Gmos предлагающий

⟦Figure 2: Обзор Gmos. Слева: общая архитектура «предлагающий — распространяющий». Предлагающий модуль работает на коротком временном окне (около $0.5$ с) и выдает предложения объектов для каждого кадра, которые распространяющий модуль связывает в согласованные траектории по всему видео. Справа: предлагающий модуль Gmos. Замороженный геометрический энкодер $\pi^{3}$ принимает кадры для короткого временного окна, а замороженный энкодер сегментации SAM2 обрабатывает средний кадр окна для формирования предсказаний для этого кадра. Их признаки объединяются и передаются через transformer декодер с $N$ обучаемыми объектными запросами, декодируемыми в маски сегментации для движущихся объектов наряду с состояниями движения, оцененными IoU и показателями уверенности..

Как показано на Fig.˜2 (справа), пропоузер принимает необработанные видеокадры в качестве единственного входного сигнала и предсказывает для каждого из $N$ объектных запросов маску сегментации вместе с вспомогательными выходными данными: оценкой достоверности, состоянием движения и оценкой IoU маски..

Геометрический энкодер. Для достижения 3D-осведомленности мы извлекаем геометрические признаки, используя замороженный $\pi^{3}$ энкодер [64]. Вместо подачи всей последовательности мы обрабатываем короткое временное окно $[t-n,\,t+n]$, центрированное относительно опорного кадра $t$, что достаточно для различения независимого движения объекта и параллакса, вызванного движением камеры. После $\pi^{3}$ кодирования мы сохраняем только признак среднего кадра $f^{\text{geo}}_{t}\in\mathbb{R}^{h_{\text{g}}\times w_{\text{g}}\times d_{\text{g}}}$, так как межкадровая корреспонденция уже закодирована в нем посредством механизма cross-frame attention модели..

Энкодер сегментации. Поскольку одни лишь геометрические признаки содержат мало информации о признаках сегментации объектов, мы используем сильный априорный показатель объектности замороженного энкодера SAM2 [55]. Только опорный кадр $I_{t}$ проходит через SAM2, что дает признак «бутылочного горлышка» $f^{\text{seg}}_{t}\in\mathbb{R}^{h\times w\times d}$ вместе с признаками высокого разрешения, которые впоследствии используются масочной головкой..

Слияние признаков. Геометрический признак $f^{\text{geo}}_{t}$ обычно имеет более низкое пространственное разрешение, чем признак сегментации $f^{\text{seg}}_{t}$, т.е. $h_{\text{g}}<h$. Поэтому мы применяем билинейную интерполяцию $f^{\text{geo}}_{t}$ к $(h,w)$, объединяем два признака по каналам и применяем линейную проекцию для получения объединенного признака $f_{t}\in\mathbb{R}^{h\times w\times d}$. Затем к $f_{t}$ применяется легковесный transformers self-attention энкодер для обеспечения глобальной пространственной согласованности..

Декодер transformers. Следуя общепринятой практике в сегментации на основе запросов [7, 31], мы вводим $N$ обучаемых объектных запросов $\{q^{(i)}\}_{i=1}^{N}$ с $q^{(i)}\in\mathbb{R}^{d}$ и подаем их в двухсторонний декодер transformers [27] вместе с $f_{t}$. Каждый слой чередует механизм self-attention для запросов с cross-attention между запросами и признаками, а также между признаками и запросами, создавая уточненные токены запросов $\{q^{*(i)}_{t}\}$ и уточненные плотные признаки $f^{*}_{t}\in\mathbb{R}^{h\times w\times d}$.

Голова маски. Уточненные плотные признаки ${f}^{*}_{t}$ повышаются до полного разрешения посредством транспонированных сверток, при этом высокоразрешающие признаки SAM2 добавляются в качестве пробросов. MLP отображает каждый уточненный запрос ${q}^{*(i)}_{t}$ в эмбеддинг маски, а маска для каждого запроса $\hat{M}^{(i)}_{t}$ получается путем скалярного произведения с повышенными признаками, следуя архитектуре гиперсети в [7]. Во время обучения запросы сопоставляются с эталонными данными посредством двудольного венгерского алгоритма. Заметим, что эталонная маска объекта определяется как пустая всякий раз, когда объект не движется, поэтому обучение совместно формирует маску и состояние движения..

Головы движения и IoU. Две независимые головы MLP принимают на вход уточненный запрос ${q}^{*(i)}_{t}$. Голова движения приводит к вероятности $\hat{m}^{(i)}_{t}$ того, что объект $i$ движется в кадре $t$, а голова IoU выдает скаляр $\hat{u}^{(i)}_{t}$, оценивающий качество $\hat{M}^{(i)}_{t}$ с точки зрения ожидаемого IoU относительно эталонных данных..

Прогнозирование уверенности. Мгновенное состояние движения по своей природе неоднозначно вблизи переходов между движением и покоем, где истинная разметка внезапно переключается между полной маской с $m^{(i)}_{t}=1$ и пустой маской с $m^{(i)}_{t}=0$. Чтобы уменьшить этот шум в метках, мы следуем [62] и вводим обучаемую уверенность для каждого запроса $\hat{c}^{(i)}_{t}\in[0,1]$, предсказываемую финальным MLP head с сигмоидальным выходом. Полученная уверенность модулирует потери маски и движения (см. Eq.˜2).

Цель обучения. Общая функция потерь пропоузера выглядит следующим образом

$$\mathcal{L}=\lambda_{\text{iou}}\mathcal{L}_{\text{iou}}+\tilde{c}\bigl(\lambda_{\text{mask}}\mathcal{L}_{\text{mask}}+\lambda_{\text{motion}}\mathcal{L}_{\text{motion}}\bigr)-\bigl[\lambda^{\text{mov}}_{\text{conf}}\;m+\lambda^{\text{sta}}_{\text{conf}}\;(1\!-\!m)\bigr]\,\log\tilde{c}$$ (2)

Функция потерь усредняется по объектным запросам $i$ и кадрам $t$, при этом соответствующие индексы опущены для ясности. Здесь $\mathcal{L}_{\text{mask}}$ представляет собой комбинацию фокусной функции потерь и функции потерь Дайса, $\mathcal{L}_{\text{motion}}$ — это бинарная кросс-энтропия для состояния движения, а $\mathcal{L}_{\text{iou}}$ — это MSE loss между предсказанным IoU и фактическим IoU относительно ground truth..

Потери маски и движения модулируются масштабированной уверенностью $\tilde{c}=(c_{\max}-1)\,\hat{c}+1\in[1,c_{\max}]$, а последний член представляет собой состязательный регуляризатор уверенности [62], который повышает $\tilde{c}$ на чистых, простых примерах, которые модель может решить точно. Для сложных примеров, таких как идущий пешеход, который останавливается, потери маски и движения велики из-за неоднозначности меток в области перехода. Поэтому модель понижает $\tilde{c}$, чтобы ослабить мультипликативный член, выплачивая небольшой штраф $\log\tilde{c}$ взамен.

На практике уровень уверенности повышается только для статических образцов, поскольку предсказание пустой маски для статического объекта тривиально проще, чем предсказание точной маски движущегося объекта, что не позволяет устранить шум перехода. Поэтому мы разделяем регуляризацию по состоянию движения согласно ground-truth $m$, используя различные коэффициенты $\lambda^{\text{mov}}_{\text{conf}}$ и $\lambda^{\text{sta}}_{\text{conf}}$ для независимой калибровки движущихся и статических образцов..

Gmos-S: вариант с разделением переднего и заднего плана. Для развертывания, критичного к эффективности, мы дополнительно создаем Gmos-S («S» означает предсказание единой бинарной маски), который предсказывает все движущиеся объекты в виде одной маски переднего плана. Gmos-S использует общие энкодеры, слияние признаков и модуль self-attention с пропозером Gmos, но (i) удаляет query-based transformer decoder, (ii) заменяет масочную голову для каждого запроса на единый сверточный декодер, который выводит одну бинарную маску переднего плана на кадр, и (iii) полностью отказывается от последующего пропагатора. Это делает Gmos-S моделью end-to-end, которая выполняет мгновенную (покадровую) сегментацию движения и достигает меньшей задержки вывода, чем Gmos. Полные архитектурные детали приведены в Приложении A.1.

2.2 Gmos пропагатор

Для каждого кадра $t$ пропоузер выдает набор из $N$ кортежей кандидатов $\{(\hat{M}^{(i)}_{t},\hat{m}^{(i)}_{t},\hat{u}^{(i)}_{t},\hat{c}^{(i)}_{t})\}_{i=1}^{N}$. Роль пропагатора заключается в преобразовании этих покадровых предложений $\{\hat{M}^{(i)}_{t}\}$ в согласованные треки объектов по всему видео, руководствуясь предсказанными вероятностями движения $\{\hat{m}^{(i)}_{t}\}$ и оцененными IoUs $\{\hat{u}^{(i)}_{t}\}$. Оценки достоверности $\{\hat{c}^{(i)}_{t}\}$ здесь не используются, так как они в основном служат регуляризаторами во время обучения пропоузера. Мы строим этот процесс на основе видеопредиктора SAM2 [55], используемого в качестве трекера с обусловленностью по маске, и определяем элементарный шаг распространения, на основе которого мы выстраиваем онлайн и офлайн процедуры.

Базовый шаг распространения. Дан начальный кадр и направление, SAM2 распространяет текущие отслеживаемые маски кадр за кадром. На каждом посещенном кадре $t$ предсказания пропоузера сначала фильтруются путем пороговой обработки вероятностей движения $\{\hat{m}^{(i)}_{t}\}$ и оценочных IoU $\{\hat{u}^{(i)}_{t}\}$. Оставшиеся высококачественные пропоузалы движущихся объектов затем сопоставляются с распространяемыми масками посредством венгерского алгоритма на основе масочного IoU, и набор активных треков обновляется в соответствии с одним из двух случаев:

• ⟦ Дополнение. Если предсказание инициатора не совпадает ни с одним из существующих треков SAM2, оно создается как новый трек маски, начинающийся с кадра $t$.
• ⟦ Подкрепление. Если предсказание пропоузера совпадает с существующим треком SAM2 при высоком значении IoU, оно внедряется в качестве дополнительного промпта для этого трека, подавляя дрейф.

Для обоих случаев выше состояние движения трека в кадре $t$ устанавливается как движущееся. И наоборот, если для существующего трека имеется распространяемая маска в кадре $t$, но предсказание пропоузера не попадает в ту же область (например, объект двигался ранее, но стал статичным), состояние движения трека в кадре $t$ устанавливается как статичное..

Онлайн-процедура. Онлайн-процедура инициализирует трекер по первому кадру и выполняет базовые шаги распространения за один причинно-следственный прямой проход. Это обеспечивает потоковую передачу маски и состояния движения для каждого кадра сразу после его обработки, поддерживая MOS-I. Поскольку последовательность просматривается только один раз и причинно-следственным образом, маски не могут быть восстановлены для кадров, предшествующих первому наблюдаемому движению объекта, что делает онлайн-процедуру несовместимой с традиционной настройкой MOS, требующей наличия маски на каждом кадре..

Автономная процедура. Автономная процедура строится на основе результатов онлайн-обработки с использованием второго этапа распространения. Сначала выбирается опорный кадр $t^{\star}$ из результатов онлайн-обработки, определяемый как кадр, чьи предложения движущихся объектов имеют наибольший совокупный прогнозируемый IoU. Затем базовый шаг распространения выполняется двунаправленно: вперед от $t^{\star}$ к $T$ и назад от $t^{\star}$ к $1$, что дает плотную маску для каждого объекта на каждом кадре. Этот режим может использоваться как для MOS, так и для MOS-I. Дальнейшие алгоритмические подробности и псевдокод приведены в Приложении A.2.

3 Набор данных: Gmos-2K

Мы представляем Gmos-2K, набор данных для сегментации движущихся объектов на видео с временно детализированными метками движения. Помимо масок истинных значений для движущихся объектов, он определяет точные временные интервалы, в течение которых каждый объект находится в движении, что позволяет проводить точное обучение и оценку методов сегментации движения, чувствительных ко времени..

⟦Figure 3: Обзор Gmos-2K. Слева: конвейер подготовки данных. $5{,}001$ видео из пяти наборов данных VOS отфильтровываются по двум критериям, при этом $743$ добавляются непосредственно в Gmos-2K, а $1{,}467$ требуют временной детализированной аннотации (TFA), которая размечает интервалы движения каждого объекта вдоль оси времени. Справа: статистика набора данных. Круговые диаграммы показывают распределение видео и объектов по подмножествам. Верхняя гистограмма отражает количество движущихся объектов на видео, а нижняя — долю движения для каждого объекта, то есть часть последовательности, в течение которой каждый объект активно перемещается..

Конвейер подготовки данных. Временные метки движения получить значительно дешевле, чем плотные маски сегментации. Поэтому мы опираемся на пять существующих наборов данных для сегментации объектов на видео (DAVIS17 [53], YTVOS19 [67], OVIS [54], MoCA-Mask [11] и HOI4D [40]) и размечаем их с помощью временных меток движения для каждого объекта. Fig.˜3 (слева) иллюстрирует конвейер фильтрации и аннотирования данных. Начиная с $5{,}001$ видео-кандидатов, мы применяем два последовательных фильтра:

1. ⟦ Имеют ли все независимо движущиеся объекты на видео сегментационные маски, соответствующие истинным данным? Если да, последовательность переходит ко второму вопросу, в противном случае она отфильтровывается. Обратите внимание, объект считается «движущимся», если он совершает движение, независимое от камеры, по крайней мере в течение одного кадра. Этот вопрос касается только масок движущихся объектов. Статические объекты без масок допустимы..
2. ⟦ Все ли аннотированные объекты движутся на протяжении всей последовательности? Если да, дополнительная аннотация не требуется. В противном случае видео направляется на Temporally Fine-grained Annotation (TFA)).

Временно детализированная аннотация (TFA). Учитывая видеопоследовательность, TFA нацелена на аннотирование временных интервалов на временной оси, которые определяют, когда объекты находятся в движении, при этом каждый объект аннотируется независимо. Процесс аннотирования следует методу для временного обоснования видео. Дополнительные сведения об интерфейсе аннотирования, руководствах и контроле качества представлены в Приложении D.

Статистика набора данных. Gmos-2K включает $2{,}210$ видео с $4{,}648$ аннотированными движущимися объектами, взятыми из пяти составляющих подмножеств, которые охватывают разнообразные домены: сцены с сильным перекрытием (OVIS), взаимодействия рук с объектами (HOI4D), а также клипы с дикой природой и участием людей (DAVIS17, YTVOS19, MoCA-Mask). Примеры последовательностей показаны в Fig.˜C2, где отмечены мгновенно движущиеся объекты.

Круговые диаграммы на Fig.˜3 (справа) показывают распределение видео и объектов по подмножествам. OVIS вносит непропорционально большую долю объектов, что отражает его плотные многообъектные сцены. Сопутствующие гистограммы характеризуют два взаимодополняющих аспекта набора данных. Количество объектов на видео (вверху) сосредоточено на последовательностях с $0$–$4$ движущимися объектами, с длинным «хвостом», выходящим за пределы $4$. Доля движения (внизу), определяемая как часть кадров, в которых объект активно движется, достигает пика на полностью движущихся объектах, при этом остальные случаи распределены примерно равномерно по более низким значениям..

Обучающая и тестовая выборки состоят из $1{,}930$ и $280$ видео соответственно. Все пять подмножеств включены в обучающую выборку, в то время как DAVIS17 и YTVOS19 дополнительно включены в тестовую выборку, предназначенную для оценки MOS-I, и переименованы в DAVIS17-IM и YTVOS19-IM («IM» означает мгновенное движение) для отличия их от обычных наборов данных MOS. Полная статистика по каждому подмножеству приведена в Tab.˜C1⟧.

4 Эксперименты

4.1 Обучающие наборы данных

Мы обучаем Gmos на составном наборе данных из $14{,}171$ видео ($782$K аннотированных кадров), объединяющем три источника данных. (i) Синтетические данные. Kubric [20], PointOdyssey [77] и DynamicReplica [25] предоставляют $10{,}526$ видео с идеально точными попиксельными эталонными данными и метками движения. (ii) Данные с реальными движущимися объектами (Gmos-2K). Пять подмножеств для обучения Gmos-2K (Sec.˜3) содержат $1{,}930$ видео из реального мира с временно детализированными метками движения. (iii) Данные со статичными сценами. $1{,}715$ фрагментов из набора данных Mannequin Challenge [34], в которых люди остаются неподвижными, пока камера свободно перемещается, обеспечивают контроль статических сцен, что обучает модель отличать глубинный параллакс от независимого движения объектов. Подробная статистика по каждому набору данных приведена в Tab.˜C1⟧.

4.2 Тестовые наборы для оценки

Мы оцениваем Gmos в следующих задачах сегментации объектов на видео.

Сегментация движущихся объектов (MOS) прогнозирует для каждого кадра маску сегментации для каждого объекта, который перемещается в любой момент последовательности, независимо от его состояния движения в конкретном кадре. Мы проводим оценку на общепринятых бенчмарках MOS: DAVIS16-M [22] («M» означает «Moving»), DAVIS17-M [14], SegTrackv2 [32], FBMS-59 [46] и MoCA [Lamdouar20], а также на YTVOS19-M — новом бенчмарке, полученном из тестового набора Gmos-2K. Следуя стандартной практике, все бенчмарки сообщают о сходстве областей $\mathcal{J}$ и точности контуров $\mathcal{F}$, за исключением MoCA, который использует коэффициент успешности обнаружения (SR) [Yang21a]⟧.

MOS-I («I» означает мгновенный) — это протокол оценки с временной детализацией для MOS, который (i) сохраняет ассоциацию идентификации объектов на уровне последовательности MOS, (ii) оценивает маски сегментации только для кадров, на которых объект активно движется, и (iii) явно штрафует ложноположительные предсказания для статических или фоновых объектов. Мы реализуем его на двух новых бенчмарках, полученных из тестового набора Gmos-2K, а именно DAVIS17-IM и YTVOS19-IM («IM» означает «мгновенное движение»), и сообщаем о производительности по трем взаимодополняющим метрикам.

• ⟦ Jaccard движущихся объектов (${\mathcal{J}_{\text{mov}}}$) – точность сегментации на активно движущихся кадрах. Для каждого аннотированного объекта $\mathcal{J}$ усредняется по кадрам, в которых он помечен как движущийся в Gmos-2K.
• ⟦ Количество ложноположительных результатов (FP count) — штрафование статических и фоновых предсказаний. Мы измеряем среднее количество статических или фоновых объектов на кадр, которые ошибочно предсказаны как движущиеся. В то время как $\mathcal{J}_{\text{mov}}$ поощряет обнаружение истинного движения, FP count штрафует за ложные утверждения о движении..
• ⟦ Среднее временное IoU (mtIoU) — совместная метрика обнаружения движущихся объектов и подавления ложноположительных результатов. Для каждой последовательности мы вычисляем временное IoU между предсказанными и истинными движущимися объектами, подсчитываемое для каждого объекта в каждом кадре. Объединение охватывает все записи (объект, кадр), помеченные как движущиеся либо предсказанием, либо истинными данными. Пересечение охватывает записи, где предсказанный и истинный движущиеся объекты сопоставлены по сходству областей $\mathcal{J}$ с порогом $k$. Варьирование $k\in\{0.5,0.55,\dots,0.95\}$ и усреднение полученных tIoU дает итоговое mtIoU.

Неконтролируемая сегментация объектов на видео (UVOS) требует автоматической сегментации значимых объектов на видео, где цели определяются перцептивной значимостью и не обязательно должны находиться в движении. Мы представляем результаты на DAVIS16 [52] и DAVIS17 [53], используя стандартное сходство областей $\mathcal{J}$ и точность контуров $\mathcal{F}$⟧.

4.3 Детали реализации

Ниже мы подробно описываем проектные решения Gmos. Дополнительные детали реализации приведены в приложении B, наряду с исчерпывающим исследованием абляции в приложении E⟧.

Архитектура. Gmos использует предобученные $\pi^{3}$ [64] (DINOv2 [49] ViT-L/14) и SAM2 [55] (Hiera-L [57]) в качестве геометрического и сегментационного энкодеров, оба из которых остаются замороженными. Признаки «бутылочного горлышка» имеют пространственное разрешение $64{\times}64$ и размерность каналов $256$. Обучаемые трансформерный энкодер и декодер имеют по $3$ слоев и $8$ голов внимания. Мы используем $100$ объектных запросов и предсказываем маски с разрешением $256{\times}256$.

Настройка входных данных. Предлагающий модуль Gmos работает с $5$ кадрами, отобранными равномерно из временного окна, центрированного относительно целевого кадра. Размер окна случайным образом выбирается в диапазоне от $0.16$ с до $1.00$ с во время обучения, чтобы модель могла адаптироваться к различным скоростям движения, и фиксируется на значении $0.5$ с при выполнении вывода..

Настройка обучения. Мы проводим оптимизацию с помощью AdamW [41], используя скорость обучения $1{\times}10^{-4}$, коэффициент затухания весов $0.01$, отсечение градиентов по норме $1.0$ и косинусное расписание с $2{,}000$ шагами прогрева. Обучение выполняется на $2$ графических процессорах NVIDIA RTX A6000 в течение примерно $2$ дней с эффективным размером пакета $8$. Для функции потерь пропоузера в Eq.˜2 мы устанавливаем $(\lambda_{\text{mask}},\,\lambda_{\text{motion}},\,\lambda_{\text{iou}},\,\lambda^{\text{mov}}_{\text{conf}},\,\lambda^{\text{sta}}_{\text{conf}})=(20,\>1,\>1,\>0.1,\>0.001)$ с перемасштабированной верхней границей достоверности $c_{\text{max}}=5$. Функция потерь маски объединяет фокальную ($\alpha{=}0.25$, $\gamma{=}2$) и dice функции потерь в соотношении $20{:}1$..

⟦Table 2: Сравнение с базовыми методами сегментации движущихся объектов (MOS). Строка $\Delta$ vs. prev. SoTA показывает разницу между нашим лучшим результатом (Gmos или Gmos-S) и предыдущим уровнем техники..

Methods	Multi-Object				Foreground–Background
	YTVOS19-M		DAVIS17-M		YTVOS19-M		DAVIS17-M		DAVIS16-M		STv2		FBMS		MoCA
	$\mathcal{J}\uparrow$	$\mathcal{F}\uparrow$	$\mathcal{J}\uparrow$	$\mathcal{F}\uparrow$	$\mathcal{J}\uparrow$	$\mathcal{F}\uparrow$	$\mathcal{J}\uparrow$	$\mathcal{F}\uparrow$	$\mathcal{J}\uparrow$	$\mathcal{F}\uparrow$	$\mathcal{J}\uparrow$	$\mathcal{F}\uparrow$	$\mathcal{J}\uparrow$	$\mathcal{F}\uparrow$	SR$\uparrow$
OCLR-TTA [Xie22]	-	-	$48.4$	$49.9$	-	-	$76.0$	$75.3$	$80.1$	$76.9$	$72.1$	$75.3$	$69.9$	$68.3$	$0.559$
ABR [Xie24]	-	-	$50.9$	$51.2$	-	-	$74.6$	$75.2$	$70.2$	$73.7$	$76.3$	$81.1$	$81.9$	$79.6$	-
FlowSAM [Xie24a]	66.6	68.2	$74.6$	$81.0$	$52.4$	$54.3$	$87.9$	$87.0$	$85.7$	$83.8$	$77.9$	$83.9$	$82.8$	$80.9$	$0.643$
SegAnyMo [22]	$64.6$	$66.2$	77.4	83.6	$70.9$	$73.0$	90.0	$89.0$	89.2	$89.7$	$76.3$	$85.4$	$78.3$	$82.8$	$0.675$
GeoMotion [21]	-	-	-	-	$65.4$	$65.7$	$82.2$	$82.3$	$83.5$	$84.3$	$77.3$	$84.3$	$72.5$	$78.5$	$0.615$
Gmos	79.9	82.2	79.7	86.0	85.1	84.6	90.0	90.6	$88.7$	90.3	82.0	88.3	91.9	93.0	0.837
Gmos-S	-	-	-	-	81.4	81.8	90.7	93.1	90.0	93.2	78.9	85.9	83.0	84.9	0.785
$\Delta$ vs. prev. SoTA	$+13.3$	$+14.0$	$+2.3$	$+2.4$	$+14.2$	$+11.6$	$+0.7$	$+4.1$	$+0.8$	$+3.5$	$+4.1$	$+2.9$	$+9.1$	$+10.2$	$+0.162$

4.4 Количественные результаты

⟦Tab.˜2 сообщает о результатах в рамках стандартной настройки MOS, где маски движущихся объектов предсказываются на уровне последовательности. Gmos и его вариант для переднего и заднего плана Gmos-S достигают новых передовых показателей производительности по всем бенчмаркам. Прирост наиболее выражен на YTVOS19-M, чьи более плотные и разнообразные взаимодействия объектов выявляют ограничения предыдущих методов, основанных на потоках и траекториях. Gmos также сохраняет устойчивость при работе с замаскированными объектами (MoCA), где сегментация должна опираться исключительно на признаки движения..

⟦Table 3: Сравнение с базовыми моделями MOS-I. «I» является сокращением от «мгновенный»”.

Methods	YTVOS19-IM			DAVIS17-IM
	mtIoU$\uparrow$	$\mathcal{J}_{\text{mov}}\!\uparrow$	FP count $\downarrow$	mtIoU$\uparrow$	$\mathcal{J}_{\text{mov}}\!\uparrow$	FP count $\downarrow$
OCLR-TTA [Xie22]	-	-	-	$28.3$	$54.1$	$0.550$
ABR [Xie24]	-	-	-	$36.0$	$57.0$	$0.271$
FlowSAM [Xie24a]	$21.1$	$62.8$	$3.085$	$22.7$	$75.3$	$4.101$
SegAnyMo [22]	$55.9$	$63.2$	$0.320$	$67.0$	$81.7$	$0.253$
Gmos (online)	64.2	76.4	0.197	72.9	83.5	0.075
Gmos	63.4	76.6	0.238	72.9	84.2	0.079
$\Delta$ vs. prev. SoTA	$+8.3$	$+13.4$	$+0.123$	$+5.9$	$+2.5$	$+0.178$

⟦Table 4: Сравнение с базовыми методами неконтролируемой сегментации видео (UVOS).

Methods	DAVIS17		DAVIS16
	$\mathcal{J}\uparrow$	$\mathcal{F}\uparrow$	$\mathcal{J}\uparrow$	$\mathcal{F}\uparrow$
OCLR-TTA [Xie22]	$43.7$	$44.5$	$80.8$	$76.8$
ABR [Xie24]	$45.0$	$45.3$	$71.8$	$73.2$
DEVA [9]	$70.4$	76.4	$87.6$	$90.2$
FlowSAM [Xie24a]	71.2	$76.3$	$87.1$	$84.9$
SegAnyMo [22]	$66.5$	$71.4$	90.6	91.0
GeoMotion [21]	-	-	$84.5$	$85.0$
Gmos	76.2	80.6	90.1	91.5
Gmos-S	-	-	$87.9$	$90.8$
$\Delta$ vs. prev. SoTA	$+5.0$	$+4.2$	$-0.5$	$+0.5$

Как показано в Tab.˜4, разрыв в производительности еще больше увеличивается на MOS-I, что требует предсказаний с более высокой временной гранулярностью. Поскольку предыдущие методы рассматривают движение как атрибут уровня последовательности и не могут уловить мгновенные состояния движения, Gmos превосходит их со значительным отрывом по всем трем метрикам. Мы дополнительно оцениваем онлайн-вариант Gmos (Sec.˜2.2), который работает наравне с режимом офлайн по умолчанию. Это можно объяснить мгновенной природой MOS-I, где короткого причинно-следственного окна уже достаточно для получения свидетельств движения. Вторая глобальная итерация в режиме офлайн даже немного ухудшает показатели FP count и mtIoU, поскольку двунаправленный проход усиливает любые пограничные ложноположительные результаты первого прохода. Однако онлайн-режим ограничен настройкой MOS-I, так как одиночный прямой проход не позволяет восстановить маски для объектов, которые изначально статичны и начинают двигаться только позже. Таким образом, процедура офлайн остается нашей основной для всех задач, включая MOS и UVOS..

Мы также сообщаем о результатах производительности в задаче неконтролируемой сегментации видеообъектов (UVOS), которая направлена на предсказание значимых объектов независимо от их состояния движения. Хотя UVOS выходит за рамки нашего основного фокуса на сегментации только движущихся объектов, Tab.˜4 показывает, что Gmos хорошо обобщается на эту смежную задачу, достигая передовых результатов на многообъектном бенчмарке DAVIS17 и оставаясь на уровне с лучшими предыдущими показателями на однообъектном DAVIS16.

4.5 Качественные результаты

⟦Figure 4: Качественное сравнение в задаче MOS. Примеры видео взяты из YTVOS19 (первые два столбца), DAVIS17 (третий столбец) и MoCA (последний столбец). В среднем блоке представлены результаты для нескольких объектов, а в нижнем блоке — результаты для разделения переднего и заднего плана..

⟦Fig.˜4 сравнивает Gmos с репрезентативными базовыми моделями на последовательностях из YTVOS19, DAVIS17 и MoCA. Что касается предсказаний для нескольких объектов, FlowSAM [Xie24a] имеет тенденцию к избыточной сегментации движущихся объектов (например, принимая кораллы за движущиеся), в то время как SegAnyMo [22] пропускает движущиеся объекты или накладывает маски на фон. Напротив, Gmos присваивает каждому движущемуся объекту согласованную идентичность и границы, которые точно соответствуют эталонным данным, даже при сильном перекрытии. В рамках протокола переднего плана и фона GeoMotion [21] фиксирует заметное движение, но упускает объекты вблизи границ изображения (например, тигра справа), тогда как Gmos-S восстанавливает их надежно..

⟦Figure 5: Gmos на видео из реальных условий. Две последовательности из реальных условий (полученные вне наших обучающих или тестовых наборов данных) иллюстрируют наши предсказания MOS и MOS-I. В рамках MOS-I мгновенно движущиеся объекты сегментируются, при этом идентификаторы объектов последовательно сопоставляются между кадрами. В рамках MOS Gmos создает полные маски сегментации для каждого объекта, который движется в любой момент последовательности, независимо от его состояния движения в конкретном кадре..

⟦Fig.˜5 демонстрирует Gmos на видео из реальных условий, сопоставляя предсказания MOS-I и MOS. В левой последовательности сурикаты становятся статичными в середине видеоряда. Наши предсказания MOS-I корректно определяют статические состояния, в то время как MOS обеспечивает согласованную сегментацию по всем кадрам. В правой последовательности рука поочередно раскладывает фрукты. Наши предсказания MOS-I корректно снимают маску с каждого объекта, как только он приходит в состояние покоя, тогда как MOS оставляет их замаскированными на протяжении всего видео..

5 Связанные работы

Неконтролируемая сегментация объектов на видео (UVOS) направлена на идентификацию значимых объектов на видео без какой-либо аннотации во время вывода, в отличие от полуконтролируемой VOS [52, 53, 67, 48, 10, 72, 8, 55], которая распространяет маски из эталонных данных первого кадра. Ранние методы используют двухпотоковые архитектуры, которые объединяют входные данные о движении и внешнем виде [23, 42, 79, 68, 56, 38, 24, 75, 51], в то время как другие полагаются преимущественно на механизмы значимости или внимания [Wang19, 71, 17, 29, 12, 73, 78, 39, 13, 30, 59]. Более современные работы масштабируют UVOS с помощью новых стратегий работы с данными и модульных конструкций конвейеров: VideoCutLER [63] масштабирует обучение посредством аугментации копированием-вставкой, перенесенной из неконтролируемой сегментации экземпляров изображений, DEVA [9] объединяет сегментатор уровня изображения с отдельным временным распространителем, а подходы на основе SAM [27, 55, 3, 76] выстраивают конвейеры UVOS вокруг предварительно обученных базовых сегментаторов. Несмотря на значительный прогресс, методы UVOS обычно нацелены на наиболее значимые объекты, которые не обязательно соответствуют объектам, которые действительно движутся..

Сегментация движения (MS) стремится отделить независимо движущиеся области от статического фона, создавая бинарную маску переднего плана и фона. Основные подходы используют оптический поток в качестве сигнала движения и группируют пиксели в соответствии с похожими паттернами движения [50, 1, 60, 61, Yang21a, Lamdouar20, 14, 69, Choudhury22, 70, 43, 44]. Однако эти подходы, основанные на потоке, по своей сути ограничены качеством предварительно вычисленного оптического потока, а также уязвимы для значительного движения камеры и вызванного им параллакса глубины. Дополнительное направление исследований агрегирует признаки движения на более длительных временных интервалах с помощью траекторий точек [2, 47, 26, 18]. Последние достижения в отслеживании точек [Karaev25, 15, 16] существенно улучшили установление соответствий на больших дистанциях, позволив обучаться сегментации непосредственно на плотных траекториях [Karazija24b, 22]. Тем не менее, такая зависимость от долгосрочного отслеживания делает эти методы нечувствительными к переходам между статическим и динамическим состояниями, что ограничивает их применимость в режиме реального времени..

Другое направление исследований использует 3D или 4D геометрические априорные данные для сегментации движения. MegaSAM [35] изучает карты вероятности движения на основе оценочных параметров камеры и глубины для разделения движущегося и статического контента, в то время как RoMo [19] объединяет оптический поток с эпиполярными ограничениями и итеративно уточняет маски движения, используя априорные данные сегментации из SAM [27]. Основываясь на методах реконструкции с прямой связью [62, Wang25], MonST3R [74] и DAS3R [66] совместно декодируют движущиеся области наряду с временно согласованными реконструкциями видео. Easi3R [6] показывает, что слои внимания таких моделей реконструкции уже кодируют относительное движение камеры и объекта. GeoMotion [21] дополнительно использует латентные 4D признаки $\pi^{3}$ [64] для прямого разделения движения объекта и камеры методом прямой связи..

Сегментация движущихся объектов (MOS) направлена на обнаружение, сегментацию и отслеживание отдельных движущихся объектов. Для видео, содержащих один движущийся объект, MOS вырождается в сегментацию движения переднего плана и фона. Современные работы, напротив, фокусируются на более сложной задаче с несколькими объектами, аналогичным образом опираясь на вышеупомянутые признаки движения (т.е. поток, траектории и геометрические априорные данные).

Не полагаясь на разметку, выполненную человеком, одна группа методов [58, 36, 28] использует чисто обучение без учителя посредством реконструкции потока в качестве вспомогательной целевой функции. В качестве альтернативы, OCLR [Xie22] принимает оптический поток на вход и обучает объектно-ориентированные многослойные представления на синтетических данных для обнаружения и отслеживания множества объектов в условиях окклюзии, в то время как ABR [Xie24] расширяет этот подход за счет уточнения на основе внешнего вида..

Благодаря растущей доступности аннотированных масок и мощным предобученным моделям, FlowSAM [Xie24a] внедряет оптический поток в SAM [27] либо в качестве входного канала, либо в качестве сигналов подсказок для сегментации движущихся объектов. SegAnyMo [22] объединяет сигналы долгосрочных траекторий с признаками DINO [4] и использует SAM2 [55] для уплотнения масок..

6 Заключение

Мы представили Gmos, фреймворк прямого распространения, который обосновывает сегментацию движущихся объектов в 3D-пространстве и времени, делая его устойчивым к параллаксу, вызванному камерой в пространстве, и чувствительным к изменениям состояния движения в каждом кадре. Gmos работает исключительно с RGB-видео и поддерживает как онлайн, так и офлайн-инференс. Чтобы облегчить обучение и оценку в этом режиме, мы подготовили Gmos-2K, набор данных реальных видео с временными аннотациями для каждого объекта, и формализовали MOS-I, протокол оценки с временной детализацией, включающий три взаимодополняющие метрики. Gmos достигает результатов state-of-the-art на бенчмарках MOS, MOS-I и UVOS, работая при этом примерно в три раза быстрее, чем предыдущие методы MOS..

Благодарности. Данное исследование поддерживается грантом программы EPSRC Великобритании VisualAI (EP/T028572/1), профессорской исследовательской стипендией Королевского общества RSRP$\backslash$R$\backslash$241003 и стипендией Кларендона..

Приложение

Данное приложение организовано следующим образом:

• ⟦ Дополнительные сведения о методе: в приложении A описаны архитектура и целевая функция варианта Gmos-S, а также приведены полный псевдокод и пошаговое руководство по элементарным операциям для пропагатора Gmos.
• ⟦ Дополнительные детали реализации: в приложении B представлены настройки обучения Gmos-S, пороговые значения пропагатора и протокол измерения времени выполнения..
• ⟦ Подробности о наборе данных: в приложении C приведена статистика по каждому набору данных для наших источников обучения и оценки, а также примеры визуализаций из Gmos-2K.
• ⟦ Детали подготовки набора данных Gmos-2K: в приложении D подробно описаны инструкции для аннотаторов, инструмент аннотирования, а также статистика подготовки данных по каждому подмножеству вместе со стоимостью аннотирования..
• ⟦ Аблационное исследование: в приложении E представлены всесторонние абляции как для модуля предложения Gmos, так и для модуля распространения Gmos, наряду с повторными циклами обучения с использованием различных случайных начальных чисел для оценки статистической устойчивости..
• ⟦ Дополнительные качественные визуализации: в приложении F представлены дальнейшие качественные сравнения с базовыми методами, а также дополнительные результаты MOS/MOS-I для данных, полученных в естественных условиях..
• ⟦ Обсуждение: В приложении G рассматриваются текущие случаи сбоев, намечены возможные расширения и затронуто более широкое социальное воздействие.

Дополнительно мы публикуем в сопроводительных материалах: (i) видеовизуализацию, охватывающую сравнение протоколов оценки (MOS против MOS-I), примеры из набора данных и результаты работы модели, и (ii) репозиторий с кодом, содержащий конвейеры обучения и оценки, а также метки состояний движения с временной детализацией для подмножеств Gmos-2K, индексированные по набору данных, разделению и названию последовательности.

Appendix A Дополнительные сведения о методе

A.1 Gmos-S

Архитектура. Gmos-S спроектирован как потоковый вариант Gmos proposer для сегментации переднего и заднего плана. Как показано на Fig.˜A1, он использует замороженный геометрический энкодер ($\pi^{3}$), замороженный энкодер сегментации (SAM2) и модуль слияния признаков совместно с Gmos proposer (Fig.˜2). Два конструктивных решения отличают его от полноценного proposer: (i) transformer декодер и обучаемые объектные запросы $N$ удалены, а объединенный признак передается напрямую через декодер с повышающей дискретизацией, который предсказывает одну бинарную маску переднего и заднего плана для каждого кадра; и (ii) поскольку движение неявно содержится в объединении движущихся объектов, модуль оценки движения исключен, а оставшиеся модули оценки уверенности и IoU работают с глобально усредненными по пулингу объединенными признаками, создавая один скаляр на кадр вместо одного на объект..

Кроме того, мы отказываемся от пропагатора, поскольку Gmos-S не создает предложений на уровне объектов. Таким образом, предсказания являются мгновенными и выполняются в режиме реального времени, что делает Gmos-S самым быстрым вариантом в нашей структуре..

⟦Figure A1: Обзор Gmos-S, потокового варианта сегментации переднего плана и фона на основе Gmos proposer. Вместо декодирования на основе запросов, Gmos-S напрямую выполняет апсемплинг плотных признаков для предсказания бинарной маски.

Цель обучения. Gmos-S предсказывает единую маску переднего и заднего плана на уровне кадра $\hat{M}_{t}$, поэтому пообъектное венгерское сопоставление и функция потерь движения, используемые в предсказателе Gmos, больше не требуются. Таким образом, мы упрощаем Eq.˜2 до

$$\mathcal{L}^{\text{S}}=\lambda_{\text{iou}}^{\text{S}}\mathcal{L}^{\text{S}}_{\text{iou}}+\tilde{c}\,\lambda_{\text{mask}}^{\text{S}}\mathcal{L}^{\text{S}}_{\text{mask}}-\lambda_{\text{conf}}^{\text{S}}\log\tilde{c},$$ (A1)

где $\mathcal{L}^{\text{S}}_{\text{mask}}$ и $\mathcal{L}^{\text{S}}_{\text{iou}}$ являются покадровыми аналогами функций потерь маски и IoU для пропоузера в Eq.˜2, а $\tilde{c}\in[1,c_{\text{max}}]$ представляет собой масштабированную покадровую достоверность. Поскольку Gmos-S выполняет рассуждения на уровне кадров, а не на уровне объектов, регуляризатор разделенной достоверности пропоузера Gmos сводится к единственному члену.

A.2 Gmos пропагатор

⟦Algorithm 1 Псевдокод пропагатора Gmos.

1:# Пороговые значения (значения в Приложении ⟦K0⟧ B):

2:#    $\tau_{m}$: объект считается движущимся, если его показатель движения превышает это ⟦K0⟧.

3:#    $\tau_{u}$: прогноз IoU для предложения считается достоверным, если он превышает этот ⟦K0⟧.

4:#    $\tau_{\text{match}}$: предложенные и распространяемые маски относятся к одному и тому же треку, если их IoU превышает это.

5:#    $\tau_{\text{new}}$: предлагаемая маска рассматривается как новый трек, если ее максимальная точность по отношению к любой распространяемой маске ниже этого.

6:

7:# Вспомогательные функции:

8:#    $\textsc{Precision}(A,B)=|A\cap B|/|A|$: доля маски $A$ покрыто маской $B$.

9:#    Венгерское соответствие$(\tilde{M}_{t},\{\hat{M}_{t},\hat{m}_{t},\hat{u}_{t}\})$: решить задачу двудольного сопоставления между распространяемыми масками $\tilde{M}_{t}$ и маски предложений $\hat{M}_{t}$ по mask IoU, возвращая предсказания пропоузера, переупорядоченные для согласования с распространяемыми треками.

10:

11:# Операции SAM2:

12:#    InitSAM2$(\{(t,i,M^{(i)}_{t})\})$: инициализировать состояние SAM2 $\mathcal{S}$ с набором масок-подсказок, каждая из которых помечает объект $i$ на кадре $t$ с маской $M^{(i)}_{t}$.

13:#    SAM2Propagate$(\mathcal{S},t)$: распространять треки, которые в настоящее время удерживаются в $\mathcal{S}$ сформулировать $t$, возврат распространяемых масок $\tilde{M}_{t}$.

14:#    Добавить подсказку$(\mathcal{S},t,i,M)$: внедрить маску $M$ в качестве дополнительной подсказки для объекта $i$ на кадре $t$ в $\mathcal{S}$.

15:

16:# Элементарный шаг

17:шаг PropStep($\mathcal{S},t_{\text{start}},\text{direction},\text{update\_prompt}$) $\triangleright$ Состояние SAM2 $\mathcal{S}$, начальный кадр, направление распространения $\in\{+1,-1\}$, следует ли обновлять набор промптов во время распространения

18:  для $t\leftarrow t_{\text{start}}$, пошаговое направление

19:   $\tilde{M}_{t}\leftarrow\textsc{SAM2Propagate}(\mathcal{S},t)$ $\triangleright$ распространенные маски в кадре $t$

20:   $\{\hat{M}_{t},\hat{m}_{t},\hat{u}_{t}\}\leftarrow\textsc{Proposer}(I_{t-n},\dots,I_{t+n})$ $\triangleright$ маска, движение, предсказания IoU

21:   $\{\hat{M}_{t},\hat{m}_{t},\hat{u}_{t}\}\leftarrow\textsc{HungarianMatch}(\tilde{M}_{t},\{\hat{M}_{t},\hat{m}_{t},\hat{u}_{t}\})$

22:   если обновить_подсказку

23:     для каждый объект $i$ с $\hat{m}^{(i)}_{t}>\tau_{m}$ и $\hat{u}^{(i)}_{t}>\tau_{u}$

24:      если $\max_{j}\textsc{Precision}(\hat{M}^{(i)}_{t},\tilde{M}^{(j)}_{t})<\tau_{\text{new}}$

25:        $\mathcal{S}\leftarrow\textsc{AddPrompt}(\mathcal{S},t,i_{\text{new}},\hat{M}^{(i)}_{t})$ $\triangleright$ добавить новый трек

26:      иначе если $\textsc{IoU}(\hat{M}^{(i)}_{t},\tilde{M}^{(i)}_{t})>\tau_{\text{match}}$

27:        $\mathcal{S}\leftarrow\textsc{AddPrompt}(\mathcal{S},t,i,\hat{M}^{(i)}_{t})$ $\triangleright$ усиление существующий трек $i$               

28:   $\tilde{m}^{(i)}_{t}\leftarrow\mathbf{1}\!\left[\hat{m}^{(i)}_{t}>\tau_{m}\right]$ $\triangleright$ метка движения; треки без соответствующего движения помечаются как статические

29:   хранить $(\tilde{M}^{(i)}_{t},\tilde{m}^{(i)}_{t},\tilde{u}^{(i)}_{t})$ для всех $i$   

30:  вернуть $\mathcal{S}$, сохраненные треки

31:

32:# Онлайн-процедура: один прямой проход с инъекцией

33:процедура В режиме реального времени

34:  $\mathcal{S}\leftarrow\textsc{InitSAM2}(\{(1,i,\hat{M}^{(i)}_{1}):\hat{m}^{(i)}_{1}>\tau_{m},\,\hat{u}^{(i)}_{1}>\tau_{u}\})$

35:  $\mathcal{S},\mathcal{T}^{\text{on}}\leftarrow\textsc{PropStep}(\mathcal{S},1,+1,\text{update\_prompt}=\text{True})$

36:  вернуть $\mathcal{T}^{\text{on}}$

37:

38:# Автономная процедура: уточняет результат, полученный в режиме реального времени, с помощью двунаправленного второго прохода

39:процедура Автономный

40:  $\mathcal{T}^{\text{on}}\leftarrow\textsc{Online}$

41:  $P\leftarrow\textsc{SelectTopK}(\mathcal{T}^{\text{on}})$ $\triangleright$ высококачественные маски top-K для каждого объекта

42:  $\mathcal{S}\leftarrow\textsc{InitSAM2}(P)$

43:  $t^{\star}\leftarrow\arg\max_{t}\sum_{i}\tilde{u}^{\text{on},(i)}_{t}\,\mathbf{1}[\tilde{u}^{\text{on},(i)}_{t}>\tau_{u}]$ $\triangleright$ опорный кадр на основе онлайн оценок IoU

44:  $\mathcal{S},\mathcal{T}^{\text{off}}_{+}\leftarrow\textsc{PropStep}(\mathcal{S},t^{\star},+1,\text{update\_prompt}=\text{False})$

45:  $\mathcal{S},\mathcal{T}^{\text{off}}_{-}\leftarrow\textsc{PropStep}(\mathcal{S},t^{\star},-1,\text{update\_prompt}=\text{False})$

46:  вернуть $\mathcal{T}^{\text{off}}_{+}\cup\mathcal{T}^{\text{off}}_{-}$

Теперь мы подробно остановимся на элементарном шаге распространения и процедурах в режиме онлайн/офлайн, описанных в разд. 2.2, и приведем полный псевдокод в Algorithm˜1. Пропагатор поддерживает набор промптов в состоянии SAM2 $\mathcal{S}$ и создает покадровые маски $\tilde{M}_{t}$ и метки движения $\tilde{m}_{t}$.

PropStep. Начиная с $t_{\text{start}}$ и двигаясь в заданном направлении, для каждого кадра $t$:

1. ⟦ SAM2 распространяет текущие отслеживаемые маски на кадр $t$, формируя $\tilde{M}_{t}$.
2. ⟦ Предлагающий модуль работает на коротком локальном окне для получения предсказаний $\{\hat{M}_{t},\hat{m}_{t},\hat{u}_{t}\}$ (а именно: предложений масок, вероятностей движения и оценочных IoU), которые сопоставляются с $\tilde{M}_{t}$ по масочному IoU с использованием венгерского алгоритма.
3. ⟦ Если включено обновление подсказки, набор подсказок обновляется по одному из двух правил, применяемых только к уверенным предложениям о движении ($\hat{m}^{(i)}_{t}>\tau_{m}$, $\hat{u}^{(i)}_{t}>\tau_{u}$): (i) добавление, когда маска предложения не покрыта ни одним существующим треком ($\max_{j}\textsc{Precision}(\hat{M}^{(i)}_{t},\tilde{M}^{(j)}_{t})<\tau_{\text{new}}$), инициирует новый трек; (ii) подкрепление, когда сопоставленная маска предложения совпадает с распространяемой маской ($\textsc{IoU}(\hat{M}^{(i)}_{t},\tilde{M}^{(i)}_{t})>\tau_{\text{match}}$), внедряет $\hat{M}^{(i)}_{t}$ в качестве дополнительной подсказки для того же трека.
4. ⟦ Метка движения для каждого кадра $\tilde{m}^{(i)}_{t}$ наследуется от предсказания соответствующего пропоузера, $\tilde{m}^{(i)}_{t}=\mathbf{1}[\hat{m}^{(i)}_{t}>\tau_{m}]$. Существующие треки, для которых на кадре $t$ не находится уверенного предсказания движущегося пропоузера (либо из-за отсутствия соответствия, либо из-за соответствия с $\hat{m}^{(i)}_{t}\leq\tau_{m}$), таким образом помечаются как статические, что фиксирует переход «движение-затем-статика».

Онлайн-процедура. Мы инициализируем $\mathcal{S}$ уверенными предложениями о движении из кадра $1$ (то есть первого кадра) и однократно запускаем PropStep в прямом направлении с $\text{update\_prompt}=\text{True}$. Процедура является причинно-следственной и потоково передает покадровые результаты по мере поступления видео, что делает ее непосредственно пригодной для развертывания MOS-I..

Автономная процедура. Мы сначала запускаем онлайн-процедуру, затем выбираем $K$ масок наивысшего качества для каждого объекта из полученных треков в качестве фиксированного набора подсказок и повторно инициализируем $\mathcal{S}$ с его помощью. Мы выбираем опорный кадр $t^{\star}=\arg\max_{t}\sum_{i}\tilde{u}^{\text{on},(i)}_{t}\,\mathbf{1}[\tilde{u}^{\text{on},(i)}_{t}>\tau_{u}]$ на основе онлайн-оценок IoU для каждого объекта и запускаем PropStep вперед и назад от $t^{\star}$ с $\text{update\_prompt}=\text{False}$. Курируемый набор подсказок и двунаправленное распространение вместе восстанавливают маски на кадрах, где при онлайн-проходе объект был пропущен или была создана маска низкого качества..

Appendix B Дополнительные детали реализации

Настройка обучения Gmos-S. Gmos-S использует тот же оптимизатор, расписание и аппаратное обеспечение, что и Gmos proposer (разд. 4.3). Для функции потерь в Eq.˜A1 мы устанавливаем $\lambda^{\text{S}}_{\text{mask}}{=}20$, $\lambda^{\text{S}}_{\text{iou}}{=}1$ и $\lambda_{\text{conf}}^{\text{S}}{=}0.5$ с пересчитанной верхней границей достоверности $c_{\text{max}}=5$. Потеря маски на уровне кадра объединяет focal loss ($\alpha{=}0.25$, $\gamma{=}2$) и dice loss в соотношении $20{:}1$..

Настройки пропагатора. Для пороговых значений, используемых в Algorithm˜1, мы устанавливаем $\tau_{m}=0.5$ (показатель движения, выше которого объект считается движущимся), $\tau_{u}=0.7$ (прогноз IoU пропоузера, выше которого маске можно доверять), $\tau_{\text{match}}=0.95$ (IoU между маской пропоузера и пропагированной маской, выше которого маска пропоузера усиливает существующий трек) и $\tau_{\text{new}}=0.3$ (максимальная точность на трек, ниже которой маска пропоузера рассматривается как новый объект). Для автономного шага SelectTopK мы выбираем лучшие $10\%$ кадров для каждого объекта, ранжированные по прогнозу IoU пропоузера, сохраняя только те, у которых IoU выше $0.95$.

Измерение времени выполнения. Время выполнения для каждого кадра в Tab.˜1 измеряется на одном графическом процессоре NVIDIA RTX A6000 по всем кадрам DAVIS17. Каждое измерение включает подготовку вспомогательных входных модальностей (оптический поток, глубина или треки точек), прямой проход модели и любую постобработку (например, уточнение SAM2), но исключает накладные расходы на загрузку данных..

Appendix C Детали набора данных

Общая статистика набора данных. Как описано в Sec.˜3, наш обучающий набор включает три синтетических набора данных (Kubric, PointOdyssey и DynamicReplica), пять подмножеств реальных видео из Gmos-2K и набор данных Mannequin Challenge [34], который не содержит движущихся объектов и служит источником негативных примеров статических сцен. Для оценки MOS с высокой временной детализацией мы используем подмножества DAVIS17 и YTVOS19 из Gmos-2K в качестве тестовых наборов. Все наборы данных находятся в открытом доступе для исследовательских целей, при этом лицензии и условия использования наборов данных строго соблюдаются..

⟦Tab.˜C1 содержит полную статистику по каждому набору данных, включая количество видео, общую длительность, аннотированные кадры, количество объектов и долю кадров, содержащих движение. Подмножества, относящиеся к Gmos-2K, отмечены звездочкой (*). В общей сложности обучающая выборка охватывает $14{,}171$ видео с $782{,}128$ аннотированными кадрами и $34{,}506$ объектами.

⟦Table C1: Общая статистика набора данных. Звездочками (*) отмечены подмножества в Gmos-2K.

Split	Dataset	Videos	Duration (hr)	Anno. frames	Anno. frames / video	Objects	Objects / video	Motion prop. /object
Train (Synthetic)	Kubric [20]	10,000	5.56	240,000	24.0	29,294	2.93	60.8%
	PointOdyssey [77]	43	1.24	107,514	2500.0	64	1.49	57.1%
	DynamicReplica [25]	483	1.68	144,900	300.0	933	1.93	60.7%
Train (Real)	*DAVIS17 [53]	44	0.03	3,101	70.5	92	2.09	94.8%
	*MoCA-Mask [11]	26	0.11	1,978	76.1	26	1.00	54.8%
	*HOI4D [40]	273	0.95	81,900	300.0	609	2.23	69.9%
	*OVIS [54]	404	0.24	25,925	64.2	1,865	4.62	92.6%
	*YTVOS19 [67]	1,183	1.74	31,327	26.5	1,623	1.37	91.1%
	Mannequin Challenge [34]	1,715	1.22	145,483	84.8	0	0.00	0.0%
Total (Train)		14,171	12.77	782,128	55.2	34,506	2.43	64.2%
Test	*DAVIS17 [53]	19	0.01	1,237	65.1	31	1.63	96.9%
	*YTVOS19 [67]	261	0.40	7,115	27.3	402	1.54	91.5%
Total (Test)		280	0.41	8,352	29.8	433	1.55	91.9%

⟦Figure C2: Примеры последовательностей Gmos-2K. Видео выбраны из каждого из пяти составляющих подмножеств, поверх которых наложены маски сегментации, полученные на основе достоверных данных. Кадры выбраны равномерно вдоль временной оси (слева направо). Объект маскируется только на тех кадрах, где он активно движется, что отражает детальные по времени метки движения в Gmos-2K..

Примеры визуализаций в Gmos-2K. Fig.˜C2 представляет примеры последовательностей из каждого из пяти подмножеств Gmos-2K, иллюстрируя разнообразие сцен и паттернов движения. Объект маскируется только в тех кадрах, где он активно движется, что отражает темпорально детализированный характер аннотированных меток движения. Например, в HOI4D обе руки находятся в движении на протяжении большей части последовательности, тогда как стул маскируется только в течение короткого интервала, когда его поднимают. Аналогично, пример YTVOS19 показывает, что тюлень в нижнем правом углу никогда не маскируется, поскольку он остается неподвижным на протяжении всей последовательности..

Appendix D Gmos-Подробности курирования ⟦K0⟧

D.1 Инструкции и инструменты для аннотаторов

Фильтрация на уровне видео. Как описано в Sec.˜3, конвейер подготовки данных начинается с фильтрации $5{,}001$ видео-кандидатов посредством двух последовательных вопросов: (i) имеют ли все независимо движущиеся объекты маски сегментации ground-truth, и (ii) движутся ли все аннотированные объекты на протяжении всей последовательности. Аннотаторы просматривают каждое видео и соответствующим образом отмечают свои ответы. Подробные инструкции, предоставленные аннотаторам, приведены ниже.

⟦Figure D3: Интерфейс VIA для темпорально детализированной аннотации (TFA).

Временная детализированная аннотация (TFA). Видео, которые проходят первый фильтр, но не проходят второй, направляются на TFA, где размечаются интервалы движения каждого объекта вдоль временной оси. Мы выполняем TFA с использованием VIA [Dutta19a], инструмента аннотирования с открытым исходным кодом, обладающего встроенной функциональностью временной привязки. Как показано в Fig.˜D3, мы адаптируем стандартный интерфейс VIA с помощью двух модификаций: (i) исходное видео и его версия с наложенной маской отображаются рядом, при этом каждому объекту присваивается уникальный цвет для легкой идентификации; и (ii) временные оси имеют цветовую кодировку, соответствующую отдельным объектам. Подробный рабочий процесс аннотирования и инструкции приведены ниже..

Контроль качества. Мы применяем протоколы контроля качества на каждом из вышеперечисленных этапов.

• ⟦ Фильтрация на уровне видео. Два аннотатора независимо отвечают на два вопроса фильтрации для каждого видео-кандидата. Последовательности, по которым возникают разногласия, помечаются и совместно пересматриваются до достижения консенсуса, что гарантирует, что ни одно подходящее видео не будет отсеяно, а ни одно неподходящее видео не будет передано в TFA.
• ⟦ Временная детализированная аннотация (TFA). После аннотирования каждой последовательности второй аннотатор визуализирует полученные эталонные данные MOS-I, при этом маска каждого объекта накладывается только на кадры в пределах его размеченных интервалов движения. Рецензент проверяет наличие (i) движущихся объектов, интервалы движения которых полностью отсутствуют (объект никогда не получает маску, несмотря на движение), (ii) статических или фоновых объектов, ошибочно помеченных как движущиеся (маска появляется на кадрах, где объект находится в состоянии покоя), и (iii) неточных границ перехода между движением и покоем. Этот этап также позволяет выявить ошибки, допущенные на этапе фильтрации, удаляя любые неподходящие видео, которые ошибочно прошли предыдущий фильтр. Отмеченные случаи возвращаются исходному аннотатору для исправления и повторно проверяются рецензентом..

D.2 Статистика курирования

Статистика по подмножествам. Tab.˜D2 содержит подробную разбивку конвейера подготовки данных, описанного в Sec.˜3, с указанием количества видео, сохраненных после каждого этапа фильтрации и аннотирования для каждого подмножества Gmos-2K. Из $5{,}001$ исходных видео-кандидатов $2{,}791$ отсеиваются первым фильтром на уровне видео, а оставшиеся $2{,}210$ формируют итоговый набор данных, из которых $1{,}467$ требуют TFA.

⟦Table D2: Статистика курирования для Gmos-2K. «TFA» означает временно детализированные аннотации.

Split	Dataset	Initial videos	Filtered videos	Videos in Gmos-2K
				w/o TFA	w/ TFA	Total
Train	DAVIS17 [53]	60	16	32	12	44
	MoCA-Mask [11]	26	0	2	24	26
	HOI4D [40]	300	27	0	273	273
	OVIS [54]	607	203	59	345	404
	YTVOS19 [67]	3,471	2,288	526	657	1,183
Total (Train)		4,464	2,534	619	1,311	1,930
Test	DAVIS17 [53]	30	11	15	4	19
	YTVOS19 [67]	507	246	109	152	261
Total (Test)		537	257	124	156	280

Стоимость аннотирования. Для всего процесса подготовки данных задействованы три аннотатора. Этап 1 (фильтрация на уровне видео) занимает примерно $17$ часов для проверки всех $5{,}001$ кандидатов. Этап 2 (TFA) требует около $170$ часов аннотирования для $1{,}467$ видео, нуждающихся во временных метках. Дополнительные $20$ часов затрачиваются на проверку качества и повторное аннотирование, что доводит общие трудозатраты до примерно $207$ человеко-часов. Все аннотаторы получают вознаграждение выше местного минимального размера оплаты труда..

Appendix E Абляционное исследование

E.1 Абляции на Gmos предлагающий

⟦Table E3: Кодировщики в предсказателе Gmos. $\pi^{3}$ и SAM2 используются в качестве наших кодировщиков по умолчанию. В ходе абляционных исследований предсказателя мы приводим показатели производительности непосредственно самого предсказателя, пропуская этап распространения..

Geometric encoder	Segmentation encoder	DAVIS17-IM
		mtIoU$\uparrow$	$\mathcal{J}_{\text{mov}}\!\uparrow$	FP count $\downarrow$
✗	SAM2 [55]	$57.9$	$74.8$	$0.174$
VGGT [Wang25]	SAM2 [55]	$67.4$	$80.4$	$0.112$
DA3 [37]	SAM2 [55]	$67.7$	$80.6$	$0.141$
$\pi^{3}$ [64]	✗	$62.1$	$77.1$	0.075
$\pi^{3}$ [64]	SAM3 [3]	68.7	82.5	$0.157$
$\pi^{3}$ [64]	SAM2 [55]	68.7	$82.2$	$0.147$

⟦Table E4: Состав обучающего набора данных. «M.C.» — это сокращение от Mannequin Challenge.

Syn.	Gmos -2K	M.C.	DAVIS17-IM
			mtIoU$\uparrow$	$\mathcal{J}_{\text{mov}}\!\uparrow$	FP count $\downarrow$
✓	✗	✗	$53.0$	$65.0$	0.097
✓	✓	✗	$67.4$	$82.1$	$0.170$
✓	✓	✓	68.7	82.2	$0.147$

⟦Table E5: Функция потерь на основе уверенности.

Confidence loss	DAVIS17-IM
	mtIoU$\uparrow$	$\mathcal{J}_{\text{mov}}\!\uparrow$	FP count $\downarrow$
✗	$65.4$	$81.9$	$0.192$
✓	68.7	82.2	0.147

⟦Table E6: Размер временного окна ввода для предложения Gmos. *Наша настройка по умолчанию использует временное окно ввода $0.5$с.

Temporal window (s)	DAVIS17-IM
	mtIoU$\uparrow$	$\mathcal{J}_{\text{mov}}\!\uparrow$	FP count $\downarrow$
$0.16$	$67.1$	$79.4$	0.130
$0.50$*	68.7	$82.2$	$0.147$
$1.00$	$66.7$	82.7	$0.197$

⟦Table E7: Интервал между входными кадрами для модуля предложения Gmos. *Наша стандартная настройка использует интервал между входными кадрами «1 1 1 1”.

Frame gap	DAVIS17-IM
	mtIoU$\uparrow$	$\mathcal{J}_{\text{mov}}\!\uparrow$	FP count $\downarrow$
1 1 1 1*	$68.7$	$82.2$	0.147
2 1 1 2	$68.1$	$82.9$	$0.155$
3 1 1 3	68.9	83.4	$0.180$

⟦Table E8: Объединение признаков $\pi^{3}$ ранних слоев в предсказателе Gmos. *Наша стандартная конфигурация не использует дополнительные признаки $\pi^{3}$ ранних слоев.

Early-layer $\pi^{3}$ feat.	DAVIS17-IM
	mtIoU$\uparrow$	$\mathcal{J}_{\text{mov}}\!\uparrow$	FP count $\downarrow$
feat.	69.0	82.3	$0.142$
attn.	$68.8$	$82.1$	0.126
✗*	$68.7$	$82.2$	$0.147$

⟦Table E9: Декодер масок в предсказателе Gmos. *Наша стандартная конфигурация использует обучаемый декодер масок.

Mask decoder	DAVIS17-IM
	mtIoU$\uparrow$	$\mathcal{J}_{\text{mov}}\!\uparrow$	FP count $\downarrow$
SAM2	$60.4$	$78.2$	$0.211$
Trainable*	68.7	82.2	0.147

Чтобы напрямую протестировать пропоузер, мы пропускаем пропагатор и применяем покадровое венгерское сопоставление между выходными данными пропоузера и эталонными данными, сообщая о производительности на DAVIS17-IM.

Геометрические и сегментационные энкодеры. Tab.˜E3 проводит абляционное исследование выбора энкодера для Gmos proposer. Удаление геометрического энкодера разрушает способность модели к граундингу, порождая множество галлюцинированных ложноположительных результатов. Замена $\pi^{3}$ на VGGT или DA3 приводит к умеренному снижению показателей, что говорит о том, что $\pi^{3}$ предоставляет более богатые 4D априорные данные, которые лучше отделяют движение объекта от движения камеры..

С другой стороны, отказ от кодировщика сегментации снижает количество ложноположительных результатов, но существенно ухудшает качество масок, вызывая значительное падение mtIoU и $\mathcal{J}_{\text{mov}}$. Замена SAM2 на более современный SAM3 [3] обеспечивает сопоставимое качество масок и лишь незначительный прирост $\mathcal{J}_{\text{mov}}$. Поэтому мы сохраняем SAM2 в качестве кодировщика сегментации по умолчанию для прямого сравнения с предыдущими методами, которые также построены на его основе..

Состав обучающего набора данных. Tab.˜E4 исследует, как основные подмножества влияют на обучение. Использование только синтетических данных позволяет получить сильный пропоузер с низким количеством FP, но ограниченным mtIoU и $\mathcal{J}_{\text{mov}}$ из-за разрыва доменов между синтетическими и реальными данными. Добавление данных о движущихся объектах из Gmos-2K существенно улучшает качество сегментации, в то время как клипы со статичными сценами из Mannequin Challenge дополнительно снижают количество FP, обучая модель подавлять ложное движение, вызванное параллаксом глубины..

Функция потерь на основе уверенности. Tab.˜E5 показывает, что функция потерь на основе уверенности улучшает все три метрики за счет снижения влияния зашумленных аннотаций движения вблизи переходов от статики к движению..

Размер временного окна вывода. Tab.˜E6 варьирует временное окно, из которого равномерно выбираются пять входных кадров при выводе. Поскольку пропоузер обучен с переменной длиной окна, производительность остается относительно стабильной при различных настройках. В частности, большее окно облегчает обнаружение движущихся объектов (повышая $\mathcal{J}_{\text{mov}}$), но снижает временную гранулярность, что приводит к большему количеству ложноположительных результатов. Окно размером $\sim 0.5$ с обеспечивает наилучший баланс, достигая наивысшего mtIoU.

Интервал между входными кадрами. Tab.˜E7 заменяет равномерный интервал между кадрами (т.е. «1 1 1 1») на неравномерные интервалы, которые делают акцент на центральном кадре. Неравномерные интервалы незначительно улучшают $\mathcal{J}_{\text{mov}}$ для движущихся объектов, но стабильно увеличивают количество ложноположительных результатов, что говорит о том, что равномерная выборка обеспечивает наиболее сбалансированные признаки движения для модуля предложений..

Объединение признаков $\pi^{3}$ ранних слоев. По умолчанию Gmos-пропоузер принимает на вход два источника признаков: геометрические (последний слой энкодера $\pi^{3}$) и сегментационные (последний слой энкодера SAM2). Мы исследуем, улучшает ли пропоузер добавление третьего источника — сигналов ранних слоев от энкодера $\pi^{3}$. Как указано в Tab.˜E9, мы рассматриваем два режима, в обоих из которых выполняется выборка сигналов $\pi^{3}$ ранних слоев из слоев $7$, $15$, $23$ и $31$ (из $36$). В режиме признаков активации из выбранных слоев конкатенируются и проецируются. В режиме внимания карты кросс-внимания между средним кадром и всеми остальными кадрами конкатенируются и проецируются для формирования дополнительного сигнала..

⟦Tab.˜E9 показывает, что оба варианта работают наравне со стандартным, что указывает на то, что одного лишь признака $\pi^{3}$ последнего слоя достаточно для анализа движения. Поэтому мы сохраняем только признак $\pi^{3}$ последнего слоя в качестве геометрического входного сигнала.

Декодер масок. Как подробно описано в Fig.˜2, Gmos proposer использует обучаемый гиперсетевой декодер масок, в котором карта признаков подвергается повышающей дискретизации и обрабатывается с помощью механизмов внимания на основе эмбеддингов объектов..

Альтернативный подход заключается в отказе от апсемплера и предсказании масок непосредственно в разрешении «узкого места» ($64{\times}64$) с использованием готовой модели SAM2 для восстановления полноразмерной маски для каждого объекта. В частности, мы случайным образом выбираем $10$ положительных и $3$ отрицательных точек из низкоразрешенного предсказания каждого объекта в качестве промптов для SAM2..

⟦Tab.˜E9 сравнивает наш легковесный обучаемый декодер апсемплинга с этим декодированием на основе SAM2. Последний показывает более низкие результаты по всем метрикам, что говорит о том, что предсказание с низким разрешением не полностью отражает информацию о движущихся объектах..

E.2 Абляции на Gmos пропагатор

⟦Table E10: Стратегии распространения в пропагаторе Gmos. «Prop. 1» и «Prop. 2» обозначают стратегию начального кадра для первого и второго этапов распространения. forward начинается с кадра $1$, в то время как select начинается с опорного кадра с наивысшим совокупным предсказанным IoU для уверенных движущихся предложений. «MOS-I» и «MOS» указывают, какие протоколы оценки поддерживает каждая конфигурация..

Exp.	Prop. 1	Prop. 2	Online	MOS-I	MOS	DAVIS17-IM
						mtIoU$\uparrow$	$\mathcal{J}_{\text{mov}}\!\uparrow$	FP count $\downarrow$
A (online default)	forward	-	✓	✓	✗	$72.9$	$83.5$	$0.075$
B	forward	forward	✗	✓	✓	$72.4$	$83.7$	$0.080$
C	select	forward	✗	✓	✓	$73.3$	$82.9$	$0.039$
D	select	select	✗	✓	✓	$74.1$	$84.0$	$0.043$
E (offline default)	forward	select	✗	✓	✓	$72.9$	$84.2$	$0.079$

⟦Tab.˜E10 исследует стратегию начального кадра для каждого этапа распространения в пропагаторе Gmos. Эксп. A соответствует нашей стандартной онлайн-настройке с однократным прямым распространением, начинающимся с кадра $1$. Поскольку последовательность проходится только один раз в хронологическом порядке, маски не могут быть восстановлены для каждого кадра (например, если объект изначально статичен, но начинает двигаться позже). Следовательно, Gmos (онлайн) ограничен настройкой MOS-I.

Четыре оставшихся варианта (Exp. B–E) добавляют второй этап распространения, обеспечивая оценку как MOS-I, так и MOS. Среди них Exp. C и D начинают первое распространение с выбранного опорного кадра и в целом показывают себя немного лучше, но они жертвуют причинно-следственной связью на первом этапе распространения. Поэтому мы принимаем Exp. E в качестве нашего офлайн-варианта по умолчанию, поскольку его первый этап совпадает с онлайн-процедурой, а второй этап дополнительно уточняет результат с помощью подготовленного набора подсказок..

⟦Table E11: Повторные запуски Gmos на DAVIS17-IM. В экспериментах A–D пропоузер обучается с четырьмя случайными начальными значениями, после чего к каждому из них применяется детерминированный пропагатор.

Exp.	DAVIS17-IM (Gmos proposer)			DAVIS17-IM (Gmos propagator)
	mtIoU$\uparrow$	$\mathcal{J}_{\text{mov}}\!\uparrow$	FP count$\downarrow$	mtIoU$\uparrow$	$\mathcal{J}_{\text{mov}}\!\uparrow$	FP count$\downarrow$
A	$68.7$	$82.2$	$0.147$	$72.9$	$84.2$	$0.079$
B	$69.2$	$81.9$	$0.147$	$72.4$	$84.1$	$0.077$
C	$69.0$	$82.6$	$0.135$	$73.7$	$85.5$	$0.045$
D	$68.3$	$83.4$	$0.133$	$71.7$	$85.1$	$0.081$
Avg.	$68.8{\scriptstyle\pm 0.4}$	$82.5{\scriptstyle\pm 0.7}$	$0.141{\scriptstyle\pm 0.008}$	$72.7{\scriptstyle\pm 0.8}$	$84.7{\scriptstyle\pm 0.7}$	$0.071{\scriptstyle\pm 0.017}$

E.3 Повторение экспериментов

Обучение Gmos proposer является стохастическим, в то время как шаг propagator является полностью детерминированным. Мы повторяем обучение proposer с четырьмя различными случайными начальными числами (Exp. A–D), приводим результаты, сопоставленные по венгерскому алгоритму для каждого кадра, в левой половине Tab.˜E11 и применяем детерминированный propagator поверх каждого из них для получения результатов на уровне последовательности (связанных с идентификатором объекта) в правой половине. Небольшие стандартные отклонения в обеих половинах указывают на то, что Gmos статистически стабилен при различных начальных числах, а propagator обеспечивает последовательный прирост по сравнению с одним лишь proposer в каждом запуске..

Appendix F Дополнительные качественные визуализации

⟦Figure F4: Дополнительное качественное сравнение по MOS. Примеры видео взяты из YTVOS19 (первые два столбца), DAVIS17 (третий столбец) и MoCA (последний столбец). В среднем блоке сравниваются методы для нескольких объектов, а в нижнем блоке оцениваются модели для сегментации переднего плана и фона..

⟦Figure F5: Дополнительные результаты Gmos на видео из реальных условий. Четыре последовательности из реальных условий (полученные вне наших обучающих или тестовых наборов данных) сопоставляют предсказания MOS и MOS-I модели Gmos. В режиме MOS-I сегментируются только мгновенно движущиеся объекты на каждом кадре, при этом идентификаторы объектов последовательно сопоставляются между кадрами. В режиме MOS модель Gmos создает полные маски сегментации для каждого объекта, который совершает движение в любой момент последовательности..

Мы предоставляем дополнительные качественные результаты в дополнение к Figs.˜4 и 5 в основной статье. Fig.˜F4 демонстрирует дальнейшие сравнения с репрезентативными базовыми методами в рамках протоколов для нескольких объектов и разделения переднего и заднего планов, а Fig.˜F5 иллюстрирует поведение Gmos на большем количестве последовательностей из реальных условий, проводя различие между прогнозами MOS-I и MOS..

Appendix G Обсуждение

⟦Figure G6: Случаи сбоев Gmos. Слева: модель испытывает трудности, когда множество движущихся объектов сильно перекрыты. Справа: модель иногда выдает ложноположительные результаты при прогнозировании состояния движения..

Случаи неудач. Fig.˜G6 иллюстрирует два типичных режима сбоев, оба из которых проистекают из ограниченной пространственной гранулярности геометрического бэкенда $\pi^{3}$. Левый пример (настольный футбол) показывает сцену с множеством быстро движущихся объектов в условиях сильного перекрытия. Gmos пропускает несколько небольших движущихся экземпляров на заднем плане, что говорит о том, что бэкенд испытывает трудности с обнаружением мелкомасштабных движущихся объектов в загроможденных сценах. Правый пример показывает сцену вождения, в которой мимо камеры проезжает большой зеркальный грузовик. Несмотря на то, что грузовик статичен, Gmos ошибочно предсказывает его движение в определенном кадре, что обнажает ограничения бэкенда в прогнозировании состояния движения отдельных объектов в условиях отражений и экстремального параллакса глубины..

Возможные расширения. Мы намечаем два естественных направления для будущей работы. Во-первых, геометрический каркас может быть дообучен на более крупных и разнообразных наборах данных с аннотациями движения для усиления как обнаружения движущихся объектов с высокой детализацией, так и прогнозирования состояния движения. Во-вторых, предлагающий и распространяющий модули могут быть объединены в единую сквозную обучаемую структуру, что позволит сигналу временной согласованности улучшить качество масок и обеспечить более точные прогнозы состояния движения на длинных видео..

Более широкое влияние. Gmos обеспечивает идентификацию движущихся объектов в реальном времени непосредственно из RGB-видео, поддерживая критически важные для безопасности приложения, такие как автономное вождение, экологический и биомедицинский мониторинг, наблюдение за общественной безопасностью, а также динамическую реконструкцию 3D/4D-сцен для робототехники и AR/VR. Работа без предварительно вычисленных потоков или траекторий также снижает вычислительные затраты на восприятие с учетом движения. Мы выпускаем Gmos-2K и протокол MOS-I для воспроизводимых исследований. Как и любая система сегментации видео, Gmos может быть использована не по назначению в контексте наблюдения, что вызывает опасения по поводу конфиденциальности, особенно в сочетании с инструментами распознавания личности. Мы призываем конечных пользователей соблюдать правила защиты данных и получать соответствующее согласие..