Структурированная состязательная маскировка с помощью диаграмм Вороного

Аннотация

Попиксельные состязательные патчи требуют больших вычислительных затрат и часто визуально обнаружимы, что ограничивает их полезность в критически важных для безопасности системах. Мы представляем состязательный камуфляж на основе диаграмм Вороного, который оптимизирует только расположение опорных точек при фиксированных палитрах, пригодных для печати, используя мягкое назначение, что позволяет создавать структурированные узоры, подобные осколочному камуфляжу, без дополнительной регуляризации. При оценке на задаче обнаружения людей с использованием метрики AP@[.5:.95] в стиле COCO, наивное размещение (Inria $\rightarrow$ COCO) показывает сопоставимо плохие результаты, в то время как применение на уровне одежды через маску сегментации (3DPeople) приводит к значительному падению AP. Атака переносится на фоны вне домена и между семействами детекторов (YOLOv9/10/11/12), что указывает на устойчивость в условиях «черного ящика». Перекрашивание с использованием других палитр в значительной степени сводит эффект на нет, а одноцветные модификации показывают ограниченную устойчивость ($\leq$0.17), что подчеркивает взаимосвязь структуры и палитры. Параметрически эффективный дизайн с ограниченной палитрой улучшает визуальную правдоподобность, одновременно снижая производительность детекторов реального времени. Физическая валидация и калибровка цвета оставлены для будущих исследований. Код: https://github.com/JensBayer/Voronoi Эта статья была первоначально представлена на Международной конференции по военной связи и информационным системам (ICMCIS), организованной Научно-техническим комитетом по информационным системам (IST), IST-224-RSY – ICMCIS, которая проходила в Бате, Великобритания, 12-13 мая 2026 года..

1 Введение

Современные архитектуры разведки и наблюдения в оборонной сфере все чаще полагаются на детекторы объектов на основе глубокого обучения, развернутые на беспилотных платформах, мобильных системах и стационарных сенсорных сетях. Они часто формируют первый этап цепочки, информируя операторов или последующие компоненты принятия решений о присутствии личного состава или материальных средств. Любая систематическая уязвимость этих моделей может, следовательно, иметь несоразмерное оперативное воздействие. Предыдущие работы показали, что тщательно созданные физические паттерны на одежде, транспортных средствах или оборудовании могут значительно снизить эффективность обнаружения в реалистичных условиях наблюдения [3, 16, 17, 18, 5, 6, 19], делая состязательный камуфляж как потенциальной возможностью для дружественных сил, так и угрозой в случае использования противником. Тем не менее, многие существующие методы создают визуально заметные паттерны, сильно отклоняются от установленных стилей камуфляжа или полагаются на выбор цветов, которые трудно реализовать с помощью реальных пигментов и текстиля, что затрудняет передачу технологий и надежное тестирование..

Предложенные в данной работе состязательные диаграммы Вороного напрямую решают эти проблемы, предоставляя структурированную параметризацию с ограниченной палитрой, которая гораздо ближе к современной практике проектирования камуфляжа. Оптимизируя только положения опорных точек при использовании фиксированных цветовых палитр, мы получаем оскольчатые узоры, которые напоминают натуралистичные лесные, городские или пустынные дизайны, но при этом измеримо подавляют обнаружение людей в ряде современных детекторов реального времени и на различных фонах. Это делает данный подход привлекательным как в качестве базового элемента для будущих физических приманок, так и в качестве цифрового инструмента «красной команды» для специалистов по безопасности, позволяющего исследовать уязвимости их конвейеров обнаружения. Он также служит основой для разработки стратегий укрепления защиты, таких как состязательное обучение или специализированная аугментация данных..

Подводя итог, в данной работе представлен (1) новый подход к генерации состязательных паттернов с использованием диаграмм Вороного (см. Figure 1) с фиксированной, заранее определенной цветовой палитрой по выбору. Обширная оценка охватывает (2) применение на уровне предметов одежды с использованием масок сегментации (3DPeople [13]), что подтверждает эффективность в качестве потенциального камуфляжного узора ткани, и (3) переносимость между различными фонами (BG-20k [9]), а также (4) переносимость между YOLOv9/10/11/12. Более того, приведен (5) анализ устойчивости цветовой палитры, включая практические последствия для реализации в реальных физических условиях. Мы прямо заявляем, что не претендуем на достижение физической скрытности; проверка возможности печати, калибровки цвета, деформации одежды и человеческого фактора требует проведения контролируемых исследований, одобренных этическими комитетами..

⟦Figure 1: Оптимизированный патч Вороного с соответствующими опорными точками (красные крестики). Из-за мягкого назначения некоторые ячейки разделены менее четко.

2 Связанные работы

Поскольку тема состязательных атак и устойчивости в последнее время вызывает повышенный интерес, объем соответствующих работ также значительно вырос. Для более широкого обзора состязательных атак мы отсылаем к [3] и [16], так как эти обзоры охватывают смежные работы, выходящие за рамки темы камуфляжных состязательных атак..

Ву и соавторы [17] систематически исследуют переносимость состязательных атак на различные фреймворки обнаружения объектов. Обучая состязательные патчи, предназначенные для подавления оценок объектности, они демонстрируют, что эти атаки могут эффективно переноситься между различными детекторами и наборами данных как в цифровой, так и в физической среде. Их исследование атак в физическом мире с использованием печатных материалов подчеркивает практические последствия таких уязвимостей. Этот аспект преодолевает разрыв между теоретическими выводами и реальными приложениями, подчеркивая потенциальные риски состязательных атак в физическом мире. Дальнейшее совершенствование генерации атак в физическом мире представлено Сюем и соавторами [18] с их состязательными футболками. Чтобы решить проблемы возможных деформаций ткани, вызванных движущимся нежестким объектом, они используют отображение тонких пластинчатых сплайнов во время оптимизации паттерна.

Что касается состязательных камуфляжных паттернов, которые невидимы для человеческого глаза, Duan et al. [5] представляют AdvCam. Это высокоскрытный, но эффективный метод сокрытия состязательных паттернов в цифровом и физическом мире. Сгенерированные паттерны успешно атакуют множество классификаторов.

Dense Proposals Attack (DPA) [6] продвигает данную область дальше за счет создания цельных состязательных камуфляжей, разработанных для обеспечения устойчивости при различных углах обзора и условиях освещения. Успешная реализация DPA на напечатанном на 3D-принтере транспортном средстве демонстрирует его практическую применимость. Однако стоит отметить, что текущие камуфляжи, созданные с помощью DPA, имеют подозрительный внешний вид, что может ограничить их эффективность при развертывании в реальных условиях..

Исследование также распространило эти концепции на область тепловизионной инфракрасной визуализации с разработкой инфракрасной состязательной одежды с использованием аэрогелевого материала [19]. Чжу и соавторы оптимизируют бинарные паттерны, которые выглядят как QR-коды и могут обманывать тепловизионные детекторы объектов, даже когда их носят люди, находящиеся в динамическом движении.

Интеграция принципов военного камуфляжа в атаки на основе патчей представлена [8]. Авторы решают проблему высокой заметности для человека, предлагая метод, который улучшает натуралистичный вид патчей, сохраняя при этом их эффективность в обмане детекторов объектов..

Ван и соавторы [15] объединяют выводы Сю и соавторов [18] и Дуань и соавторов [5] для создания состязательного камуфляжа с двойными атрибутами (DAAC), предназначенного для уклонения от обнаружения как детекторами, так и людьми. Они извлекают признаки сцены из набора конкретной сцены, включая доминирующие цвета и пропорции, и используют их для генерации цифрового камуфляжа и ограничения состязательного патча в процессе обучения. Авторы признают сложности практической реализации DAAC, такие как материальные ограничения и изменения окружающей среды..

Наиболее близким к нашему методу является [12], где авторы используют StyleGAN3 [7] в качестве предварительно обученного генератора текстур для создания камуфляжного узора. После обучения скрытые входные переменные генератора оптимизируются состязательным образом, что оказывает значительное влияние на производительность детектора..

Недавняя работа Ван дер Бурга и соавторов [14] исследовала пересечение автоматизированной оценки и человеческого восприятия в эффективности камуфляжа. Они продемонстрировали, что предварительно обученные CNN, такие как YOLO, могут служить прокси-моделями для возможностей обнаружения человеком, обеспечивая основанную на изображениях меру успеха камуфляжа. Однако на близких расстояниях возникали расхождения, где высококонтрастные или нарушающие форму элементы в камуфляжных узорах существенно влияли как на производительность человека, так и на производительность модели..

Опираясь на эти основы, данная работа представляет состязательные диаграммы Вороного. Вместо оптимизации каждого пикселя по отдельности мы используем геометрическую структуру диаграмм Вороного путем оптимизации опорных точек с фиксированной цветовой палитрой. Этот подход предлагает ряд преимуществ по сравнению с традиционными методами попиксельной оптимизации, например, внутренне более структурированные состязательные паттерны, которые с меньшей вероятностью будут обнаружены наблюдателями-людьми, что решает проблемы ограничений визуальной различимости, наблюдавшиеся в предыдущих исследованиях..

3 Состязательные диаграммы Вороного

Мы определяем дифференцируемый паттерн Вороного следующим образом: задано множество опорных точек $\mathcal{S}=\{s_{1},\ldots,s_{n}\}\subset\mathbb{R}^{2}$ и сетка пикселей $\mathcal{I}=\{1,\ldots,H\}\times\{1,\ldots,W\}$. Каждой опорной точке присваивается цвет $\mathbf{c}_{i}\in[0,1]^{3}$. Для $\mathbf{p}\in\mathcal{I}$ определим расстояния $\mathit{d}_{i}(\mathbf{p})=\|\mathbf{p}-s_{i}\|$. Мы получаем софтмин с температурным масштабированием по расстояниям

$$w_{i}(\mathbf{p},\tau)=\frac{e^{\frac{-d_{i}(\mathbf{p})}{\tau}}}{\sum_{k=1}^{n}e^{\frac{-d_{k}(\mathbf{p})}{\tau}}}.$$ (1)

Поскольку $\tau\rightarrow 0$ это приближается к one-hot при $\mathit{arg\,min}_{i}\,d_{i}(\mathbf{p})$⟧

Итоговый узор Вороного представляет собой выпуклую комбинацию

$$\mathit{f}(\mathbf{p})=\sum_{i=1}^{n}w_{i}(\mathbf{p},\tau)\cdot\mathbf{c}_{i}.$$ (2)

После генерации паттерна он накладывается на целевые объекты, а полученное изображение пропускается через детектор объектов. Затем предсказание детектора используется для минимизации уверенности детектора в отношении целевых классов, присутствующих на данном изображении, что приводит к оптимизации опорных точек..

4 Экспериментальная установка

Всего проведено пять экспериментов, в каждом из которых в качестве целевого класса для патчей используется «Person». Веса исследуемых детекторов являются официальными предобученными весами, оптимизированными с использованием набора данных COCO [10]..

Эксперимент 1 представляет собой общее исследование того, можно ли оптимизировать состязательные диаграммы Вороного для обмана детекторов объектов и насколько эффективно они работают при оптимизации подобно обычным состязательным патчам. Поскольку обычным состязательным патчам разрешено свободно оптимизировать пиксели, ожидается, что патчи Вороного будут показывать сравнительно худшие результаты. Для эксперимента 2 исследуется производительность патчей при выполнении оптимизации с использованием сегментационных масок во время обучения. Сегментационные маски используются для замены одежды изображенного человека частями состязательного патча. Поскольку сегментированная одежда покрывает большую часть человека, патч должен работать значительно лучше. Переносимость сгенерированных патчей в отношении различных детекторов объектов оценивается в эксперименте 3. Более того, информация о сегментации используется для размещения экземпляров людей на различных фоновых изображениях вне домена обучения. Эксперимент 4 проверяет переносимость состязательно оптимизированной структуры путем замены цветовых палитр набора обученных патчей из эксперимента 2. В заключительном эксперименте 5 сгенерированные патчи из первого и второго экспериментов меняются местами, чтобы исследовать, приводят ли различные методы оптимизации к различной производительности патчей..

Все сгенерированные паттерны имеют 256 опорных точек, случайным образом инициализируются в $[0,1]^{2}$ и используют параметр температуры $\tau=0.001$. Ширина и высота паттернов установлены равными 256 пикселям..

4.1 Эксперимент 1: Наивные патчи

Первый эксперимент оценивает эффективность состязательного патча Вороного, оптимизированного тем же способом, что и обычный состязательный патч при обучении. В процессе оптимизации патч наивно размещается внутри ограничивающей рамки целевых объектов, а «показатель объектности» детектора последовательно минимизируется. Поскольку более современные варианты YOLO больше не вычисляют показатели объектности, вместо них выбираются глобальные максимальные пред-логитовые оценки классов обеих детектирующих головок. Конвейер аугментации включает случайное изменение размера $[0.6,0.9]$, случайный поворот $[-$$,$$]$, цветовое дрожание и случайную перспективу. В то время как обычный состязательный патч имеет два дополнительных члена функции потерь, которые наказывают за использование недопустимых цветов пикселей и сглаживают патч, состязательный патч Вороного не имеет таких членов регуляризации. В эксперименте используется набор данных InriaPerson [4] для обучения патчей и набор данных COCO [10] для оценки. В то время как первый представляет собой набор данных, состоящий исключительно из людей, второй является широко известным эталонным набором данных, содержащим огромное количество экземпляров людей. Патчи оптимизируются в течение 100 эпох с использованием оптимизатора AdamW [11] с начальной скоростью обучения 0,01 и уменьшением скорости обучения в 10 раз каждые 25 эпох..

4.2 Эксперимент 2: Маскирующая одежда

В последующем эксперименте набор данных 3DPeople [13] используется для оптимизации патчей Вороного. Этот набор данных включает синтетические трехмерные визуализации людей в разнообразных окружениях и предоставляет маски сегментации для одежды каждого экземпляра. Эти маски используются для уточнения состязательных патчей Вороного, гарантируя, что они покрывают области одежды людей, а не просто размещаются внутри ограничивающей рамки объектов интереса (см. Figure 2). Поскольку количество изображений в обучающей выборке больше, как и в эксперименте 1, патчи оптимизируются в течение 10 эпох. Снова используется AdamW со скоростью обучения 0.001 и уменьшением скорости обучения каждые три эпохи в 10 раз..

⟦Figure 2: Пример изображения из набора данных InriaPerson и набора данных 3DPeople. Из-за отсутствия масок сегментации одежды патчи, оптимизированные с помощью набора данных InriaPerson и набора данных COCO, просто размещаются на интересующих объектах. Для 3DPeople маска сегментации используется для покрытия состязательным патчем тех частей человека, которые одеты..

4.3 Эксперимент 3: Переносимость

Третья серия экспериментов исследует переносимость сгенерированных патчей из эксперимента 2 при их использовании для атаки на другие детекторы объектов и различные фоновые изображения. Для изменения фонового изображения используются сегментационные маски, предоставленные набором данных 3DPeople, чтобы вырезать экземпляры людей и поместить их на изображения из набора данных BG-20k, обрезанные по центру [9]. Чтобы уменьшить эффект вырезания, небольшая область вокруг границы человека и фонового изображения размывается с помощью гауссова ядра. Исследование переносимости, проведенное в этом эксперименте, следует интерпретировать с осторожностью, поскольку для оптимизации патчей используется исключительно YOLOv10b..

4.4 Эксперимент 4: Изменения в цветовой палитре

Поскольку состязательные диаграммы Вороного оптимизируются с использованием фиксированной цветовой палитры, палитры можно легко заменять. Полученный патч сохраняет структуру, но меняет внешний вид из-за другого цвета. Четвертый эксперимент отвечает на вопрос, можно ли объединить оптимизированную структуру с другой цветовой палитрой и тем самым также сохранить определенную степень состязательного свойства.

4.5 Эксперимент 5: Наивные заплатки для одежды и наоборот

В заключительном эксперименте обученные патчи из эксперимента 1 и эксперимента 2 меняются местами и оцениваются в соответствующих различных условиях..

4.6 Детектор объектов в реальном времени

Поскольку детекторы YOLO являются хорошо известным и изученным семейством детекторов объектов реального времени, в качестве объекта для атаки был выбран детектор YOLOv10. Как показали Bayer et al. [1], переносимость патча, созданного с использованием архитектуры YOLOv10, обеспечивает хорошую переносимость между различными архитектурами. Более того, легкий и быстрый вариант YOLOv10b позволяет провести более быструю и, следовательно, более всестороннюю оценку. Отсутствие подавления немаксимумов в YOLOv10 приводит к использованию двух детекторных головок во время обучения детектора. В то время как головка «один-ко-многим» обычно отключается во время вывода, выходные данные обеих этих головок используются во время оптимизации патча..

4.7 Цветовые палитры

Цветовые палитры, используемые для оценки, взяты из [2]. Из 13 доступных палитр в общей сложности оцениваются 5. Выбранные палитры приведены в Figure 3 и выбраны случайным образом. Для каждой палитры генерируются три случайных участка Вороного, которые содержат только цвета соответствующей палитры. Эти участки используются в различных экспериментах в качестве опорных точек..

⟦Figure 3: Пять из тринадцати доступных цветовых палитр, которые используются для оценки. Цветовые значения взяты из Camogen [2].

5 Оценка

В экспериментах используется средняя точность (AP) с несколькими порогами пересечения по объединению (от 0,5 до 0,95 с шагом 0,05) для измерения изменения производительности детектора. Во всех последующих таблицах $\uparrow(\downarrow)$ указывает, является ли желательным более высокое (низкое) значение. $\Delta$ AP — это относительная производительность патча, представляющая собой разницу между достигнутым AP в конкретной конфигурации и AP, достигнутым с эталонными патчами в той же конфигурации. Если не указано иное, эталонный патч имеет ту же параметризацию (количество ячеек, цветовая палитра), но не оптимизирован..

5.1 Эксперимент 1: Наивные патчи

Ожидания относительно эффективности состязательных диаграмм Вороного оправдались: по сравнению с обычным состязательным патчем, снижение производительности патча относительно эталонных патчей является незначительным (см. Table 1). Тем не менее, снижение AP в результате процесса оптимизации подтверждает, что патчи Вороного могут содержать состязательный компонент. Удивительно, но эталонные патчи всех палитр приводят к схожим значениям AP, которые различаются только после третьего знака после запятой. Использование палитры Sahara, которая также является палитрой с наименее вариативными цветами, приводит к созданию патчей с наиболее сильным состязательным компонентом. Наименьший состязательный эффект достигается при использовании палитры Forest Spring..

⟦Table 1: Эксперимент 1: Патчи оптимизируются с использованием InriaPerson и оцениваются на COCO. Эталонный AP — это производительность детектора при использовании случайных диаграмм Вороного той же палитры без какой-либо оптимизации опорных точек..

Palette	ref. AP	AP $\downarrow$	$\Delta$ AP $\uparrow$
Forest Spring	$0.45\pm 0.00$	$0.42\pm 0.01$	$0.02\pm 0.01$
Coastal	$0.45\pm 0.00$	$0.41\pm 0.00$	$0.04\pm 0.00$
Sahara	$0.45\pm 0.00$	$\mathbf{0.39\pm 0.01}$	$\mathbf{0.06\pm 0.01}$
Urban 1	$0.45\pm 0.00$	$0.42\pm 0.01$	$0.03\pm 0.01$
Night 1	$0.45\pm 0.00$	$0.41\pm 0.01$	$0.04\pm 0.01$

5.2 Эксперимент 2: Маскирующая одежда

При изменении набора данных и стратегии оптимизации производительность как эталонных, так и оптимизированных патчей существенно меняется (см. Table 2). Производительность детектора объектов при применении эталонных патчей на наборе данных 3DPeople значительно выше по сравнению со случаем COCO. Это может быть связано с менее деструктивным применением патчей: для набора данных 3DPeople патч не перекрывает границы интересующих объектов, а является частью самого объекта (см. Figure 2). В эксперименте 1 патчи применяются более инвазивно. Кроме того, состязательная структура покрывает большую площадь человека. Наибольшее падение AP зафиксировано для Night 1, где эталонное значение AP упало с $0.70\pm 0.01$ до $0.26\pm 0.03$. Кроме того, AP патчей всех остальных палитр значительно снизилось, как минимум на $0.32$. Несмотря на то, что детектор легко обнаруживает людей, «носящих» эталонные патчи, его производительность падает при «ношении» оптимизированных патчей. Этот результат указывает на наличие состязательного компонента в представленных патчах Вороного, что делает предложенную систему обоснованным вариантом для будущих камуфляжных узоров..

⟦Table 2: Эксперимент 2: Эталонный AP — это производительность детектора при получении случайного паттерна Вороного той же палитры без какой-либо оптимизации опорных точек. Оценка выполняется с использованием тестовой выборки с исходными фоновыми изображениями из набора данных 3DPeople Dataset.

Palette	ref. AP	AP $\downarrow$	$\Delta$ AP $\uparrow$
Forest Spring	$0.60\pm 0.01$	$0.29\pm 0.01$	$0.32\pm 0.01$
Coastal	$0.59\pm 0.03$	$0.26\pm 0.03$	$0.33\pm 0.00$
Sahara	$0.61\pm 0.01$	$0.26\pm 0.02$	$0.34\pm 0.02$
Urban 1	$0.65\pm 0.04$	$0.29\pm 0.02$	$0.36\pm 0.03$
Night 1	$0.70\pm 0.01$	$\mathbf{0.26\pm 0.03}$	$\mathbf{0.43\pm 0.03}$

5.3 Эксперимент 3: Переносимость

5.3.1 Фоновая переносимость

⟦Table 3 демонстрирует способность к переносу сгенерированных патчей эксперимента 2 при использовании различных фоновых сцен для набора данных 3DPeople. По сравнению с результатами эксперимента 2, изменение фона улучшает AP для эталонных паттернов. Вероятной причиной является выраженная граница, возникающая в результате процесса вырезания с помощью маски сегментации. Наибольшее падение AP на $0.51$ снова зафиксировано для Night 1, за которой следуют Urban 1 ($0.48$) и Coastal ($0.45$).

⟦Table 3: Эксперимент 3.1: Фоновые изображения заменяются на изображения из набора данных BG-20k. Эталонным показателем AP является производительность детектора при получении случайного паттерна Вороного той же палитры без какой-либо оптимизации опорных точек..

Palette	ref. AP	AP $\downarrow$	$\Delta$ AP $\uparrow$
Forest Spring	$0.86\pm 0.01$	$0.47\pm 0.05$	$0.39\pm 0.00$
Coastal	$0.88\pm 0.01$	$0.43\pm 0.02$	$0.45\pm 0.00$
Sahara	$0.86\pm 0.02$	$0.51\pm 0.01$	$0.35\pm 0.00$
Urban 1	$0.88\pm 0.01$	$0.40\pm 0.03$	$0.48\pm 0.00$
Night 1	$0.89\pm 0.01$	$\mathbf{0.38\pm 0.02}$	$\mathbf{0.51\pm 0.00}$

5.3.2 Переносимость моделей

Переносимость модели для различных архитектур детекторов показана в Figure 4. Данная матрица переносимости оценивает различные архитектуры YOLO (ось y) с оптимизированными патчами эксперимента 2 для пяти выбранных палитр (ось x). Каждая ячейка матрицы заштрихована в соответствии с относительным падением AP по отношению к производительности, которую модель достигает при оценке с соответствующими эталонными шаблонами. Первый столбец и последняя строка помечены $\mu$ и представляют собой средние значения по строкам и столбцам. Общее среднее падение производительности составляет около $0.37$. Наименьшее среднее падение производительности наблюдается у Sahara ($0.33$) и Urban 1 ($0.34$), в то время как Night 1 достигает наибольшего ($0.43$) падения AP. Наиболее устойчивой моделью является YOLOv9e со средним падением AP $0.18$, за ней следует YOLOv12n ($0.27$). Наименее устойчивыми являются YOLOv10s ($0.51$) и YOLOv9s ($0.50$). Вопреки ожиданиям, падение производительности некоторых моделей меньшего размера значительно меньше, чем падение у некоторых более крупных моделей. Это контринтуитивное наблюдение можно объяснить, взглянув на абсолютные значения: производительность на эталонном шаблоне для самых маленьких моделей группы архитектур отличается примерно на 20 пунктов AP по сравнению с самыми большими. Следовательно, общая производительность при атаке также оказывается намного ниже..

⟦Figure 4: Эксперимент 3.2: Матрица переносимости различных сетевых архитектур и пяти выбранных палитр демонстрирует влияние состязательных диаграмм Вороного в условиях «черного ящика». Чем светлее оттенок ячейки, тем выше падение AP. Разница AP рассчитывается относительно набора из трех случайно инициализированных паттернов соответствующей палитры. $\mu$ указывает на среднее значение соответствующего столбца и строки..

5.4 Эксперимент 4: Изменения в цветовой палитре

5.4.1 Измените палитру в целом

Простая замена одной цветовой палитры на другую для патчей, обученных в эксперименте 2, приводит к значительному снижению производительности, как показано на Figure 5. Здесь каждая строка и столбец представляют собой отдельную цветовую палитру. Палитры на оси x — это базовые палитры, использованные для обучения паттерна. Различные палитры, использованные для замены цветов, отложены по оси y. Опять же, оттенок ячейки представляет изменение AP патчей, но на этот раз относительно соответствующей производительности при использовании исходной палитры для генерации патча. Главная диагональ равна нулю, так как эти патчи всегда будут достигать одинаковой производительности со своими соответствующими исходными палитрами. При замене цветов на другую палитру все патчи теряют свой состязательный компонент и после цветовой замены работают аналогично набору эталонных патчей.

⟦Figure 5: Эксперимент 4.1: Патчи оптимизируются с использованием палитры, указанной на оси x, и оцениваются с использованием цветов палитры, указанной на оси y. Цвет ячейки представляет собой разницу между AP патча при использовании исходной палитры и AP при использовании соответствующей перекрашенной палитры. Чем темнее оттенок, тем лучше работает набор патчей..

5.4.2 Влияние изменений одного цвета палитры

Незначительное изменение одного цвета палитры при фиксации всех остальных цветов не оказывает такого влияния, как изменение всей палитры целиком. Figure 6 содержит три столбца, где каждый столбец визуализирует влияние изменений цветового тона, яркости и насыщенности цветов палитры для конкретного патча. Радарная диаграмма отображает пространство цветовых тонов. Радиус до центральной точки представляет относительное изменение в AP. Каждая цветная область представляет отдельный цвет палитры. Прямая линия, которая имеет тот же стиль и цвет, что и область, представляет неизменное значение цветового тона этого цвета. Например, если следовать по прямой зеленой линии (0x376819) по часовой стрелке, можно заметить, что изменение цвета на голубой (примерно в $\pi$) увеличило бы состязательный компонент паттерна. Если значение цветового тона сместить еще больше в сторону фиолетового, патч постепенно теряет свой состязательный компонент. Этот график дает подсказку о том, насколько высокой должна быть устойчивость, если паттерн должен быть реализован в физическом мире. Центральный график предоставляет информацию о том, как изменение насыщенности определенного цвета влияет на производительность патча. Например, полосатая темно-зеленая линия (0x0c1408) почти не меняется при увеличении насыщенности. На крайнем правом графике, где изображено влияние компонента яркости, темно-зеленая линия (0x0c1408) ведет себя совершенно иначе. Изменение яркости осветляет цвет до почти лаймового оттенка, и AP патча увеличивается примерно на $0.17$ пунктов AP..

⟦Figure 6: Эксперимент 4.2.: Влияние на AP при изменении цветового тона, яркости и насыщенности с использованием лесной весенней палитры на одном из ранее оптимизированных патчей.

5.5 Эксперимент 5

Последний эксперимент оценивает патчи, обученные в эксперименте 1, тем же способом, что и патчи экспериментов 2 и 3, и наоборот..

При сравнении Table 4 с Table 1 эффективность патчей 3DPeople оказывается немного выше, чем у патчей, оптимизированных в эксперименте 1. Тем не менее, общая производительность остается низкой. Это также справедливо для эффективности патчей, которые оптимизированы с помощью InriaPerson и оценены на наборе данных 3DPeople (см. Table 5). К сожалению, падение AP значительно ниже, чем у патчей, оптимизированных на наборе данных 3DPeople (см. Table 3). Это может быть связано с тем, что InriaPerson содержит гораздо меньше изображений по сравнению с 3DPeople и, следовательно, может предложить гораздо меньшую вариативность во время оптимизации патчей..

⟦Table 4: Эксперимент 5.1: 3D-патчи людей, оцененные с помощью COCO. Контрольным показателем AP снова является производительность детектора при получении случайного паттерна Вороного той же палитры без какой-либо оптимизации опорных точек.

Palette	ref. AP	AP $\downarrow$	$\Delta$ AP $\uparrow$
Forest Spring	$0.45\pm 0.00$	$\mathbf{0.38\pm 0.02}$	$\mathbf{0.07\pm 0.02}$
Coastal	$0.45\pm 0.00$	$0.39\pm 0.01$	$0.06\pm 0.01$
Sahara	$0.45\pm 0.00$	$0.41\pm 0.01$	$0.04\pm 0.01$
Urban 1	$0.45\pm 0.00$	$0.40\pm 0.01$	$0.05\pm 0.01$
Night 1	$0.45\pm 0.00$	$0.41\pm 0.01$	$0.04\pm 0.01$

⟦Table 5: Эксперимент 5.2: Патчи InriaPerson, оцененные с использованием набора данных 3DPeople. Эталонным показателем AP снова является производительность детектора при получении случайного паттерна Вороного той же палитры без какой-либо оптимизации опорных точек.

Palette	ref. AP	AP $\downarrow$	$\Delta$ AP $\uparrow$
Forest Spring	$0.86\pm 0.01$	$0.80\pm 0.02$	$0.07\pm 0.02$
Coastal	$0.88\pm 0.01$	$\mathbf{0.79\pm 0.01}$	$\mathbf{0.08\pm 0.01}$
Sahara	$0.86\pm 0.02$	$0.79\pm 0.02$	$0.06\pm 0.02$
Urban 1	$0.88\pm 0.01$	$0.80\pm 0.03$	$0.07\pm 0.03$
Night 1	$0.89\pm 0.01$	$0.81\pm 0.01$	$0.08\pm 0.01$

6 Заключение

В данной статье представлены состязательные диаграммы Вороного — новый вид состязательных камуфляжных паттернов, которые не только неотличимы от обычных паттернов Вороного для человеческого глаза, но и вводят в заблуждение детекторы объектов. Вместо оптимизации самого паттерна предложенный метод оптимизирует положения опорных точек, которые используются для генерации паттерна Вороного с применением фиксированной цветовой палитры. Представленные результаты убедительно доказывают, что данные паттерны значительно снижают уверенность детектора без необходимости попиксельной оптимизации паттерна. Более того, была продемонстрирована переносимость состязательной характеристики этих паттернов между различными архитектурами..

Логичным следующим шагом для представленного метода является реализация и проверка концепции в физическом мире. Кроме того, была принята во внимание еще не до конца изученная переносимость между различными наборами данных. Особенно учитывая, что все оцененные наборы данных подобны COCO в плане отображения объектов интереса, которые являются довольно крупными и расположены по центру изображения..

Будущие исследования должны затронуть эти аспекты, а также рассмотреть возможность расширения исследований на различные процедурные методы генерации состязательных камуфляжных паттернов, которые напоминают уже используемые стили камуфляжа, такие как Flecktarn или фракталы. Кроме того, должен существовать более элегантный способ бесшовного выравнивания патча вместо наивного мозаичного заполнения. Также следует изучить повышение устойчивости паттернов и их влияние на карты активации детектора при наличии в исходных данных..

Благодарности

Данная работа была разработана в кластере передовых технологий Фраунгофера «Когнитивные интернет-технологии»”.