Физическая состязательная одежда обходит видимо-тепловые детекторы с помощью неперекрывающегося RGB-T паттерна

Аннотация

Детектирование объектов в видимом и тепловом диапазонах (RGB-T) является важнейшей технологией для таких приложений, как автономное вождение, где мультимодальная фузия повышает производительность в сложных условиях, например, при слабом освещении. Однако безопасность RGB-T детекторов, особенно в физическом мире, по большей части оставалась без внимания. В данной статье предлагается новый подход к физическим атакам на RGB-T системы с использованием состязательной одежды с неперекрывающимся RGB-T паттерном (NORP). Для моделирования полнообзорных (0∘–360∘) RGB-T атак мы создаем 3D RGB-T модели человека и состязательной одежды. NORP — это новый дизайн состязательного паттерна, использующий различные материалы для видимого и теплового диапазонов без наложения, что позволяет избежать снижения интенсивности света, характерного для перекрывающихся RGB-T паттернов (ORP). Для оптимизации NORP на состязательной одежде мы предлагаем метод пространственной дискретно-непрерывной оптимизации (SDCO). Мы систематически оценили наш метод на RGB-T детекторах с различными архитектурами фузии, продемонстрировав высокие показатели успешности атак как в цифровом, так и в физическом мире. Кроме того, мы представляем ансамблевый метод на этапе фузии, который повышает переносимость состязательных атак на ранее не встречавшиеся RGB-T детекторы с другими архитектурами фузии. Наш код доступен по адресу: https://github.com/zxp555/RGBT-Clothing.

1 Введение

Детектирование объектов в видимом и тепловом диапазонах (RGB-T) — это тип мультимодального детектирования объектов, имеющий важное применение в таких областях, как автономное вождение и медицинский AI [24, 21, 5]. Например, в сложных условиях, таких как неблагоприятная погода или ночное время, детектирование объектов RGB-T использует тепловизионную съемку для компенсации снижения производительности детекторов, работающих только в видимом диапазоне, при этом обеспечивая более четкие прогнозы, чем детекторы, работающие только в тепловом диапазоне, за счет сохранения большего количества деталей с изображений в видимом свете. Это преимущество значительно повышает робастность систем автономного вождения в различных сценариях. Основываясь на различных стратегиях слияния мультимодальной информации, детекторы объектов RGB-T можно классифицировать на четыре категории: раннее слияние, промежуточное слияние, позднее слияние и независимые детекторы видимого и теплового диапазонов..

⟦Figure 1: Демонстрация физических атак на RGB-T детекторы с различными архитектурами слияния: (a) раннее слияние, (b) промежуточное слияние, (c) позднее слияние и (d) независимые RGB-T детекторы при различных ракурсах. Человек в состязательной одежде остался незамеченным в обеих модальностях, в то время как человек в обычной одежде был обнаружен (обозначено ограничивающей рамкой). Смотрите демонстрационное видео в дополнительных материалах..

Несмотря на широкое применение RGB-T детекторов, их безопасности уделяется мало внимания, поскольку принято считать, что мультимодальные детекторы относительно устойчивы. Однако это крайне важно для безопасности систем искусственного интеллекта в реальных приложениях, таких как автономное вождение. Для решения этой проблемы физические состязательные примеры [32] предлагают эффективный подход к выявлению уязвимостей в системах искусственного интеллекта, развернутых в физическом мире, и вдохновляют на создание новых стратегий защиты. В настоящее время большинство физических состязательных примеров фокусируются либо исключительно на видимой модальности [28, 41, 38, 13, 15, 14, 34], либо на тепловой модальности [48, 47, 50, 33, 36]. Из-за существенных различий в механизмах формирования изображений между этими двумя модальностями состязательные примеры, созданные для одной модальности, не могут быть эффективно перенесены на другую. В результате этим физическим состязательным примерам не хватает способности атаковать мультимодальные детекторы..

Первый физический состязательный пример в условиях видимого и теплового спектров, AdvB [48, 49], объединил состязательные стратегии для RGB и тепловизионных изображений. В последнее время MAP [19], UAP [35] и MIC [20] способствовали дальнейшему развитию физических состязательных атак в этой области. Однако они имеют два существенных ограничения. Во-первых, AdvB, MAP и UAP реализованы в виде двумерных патчей, которые могут атаковать детекторы только в узком диапазоне углов обзора (например, от -30∘ до 30∘). Во-вторых, MIC использует перекрывающийся RGB-T паттерн (ORP) путем прикрепления нескольких специальных низкоэмиссионных пленок на печатную ткань, что снижает видимость напечатанного состязательного паттерна и увеличивает производственные затраты. Эти ограничения приводят к тому, что уязвимость RGB-T детекторов в различных физических условиях изучена не полностью..

Для устранения первого ограничения мы создаем согласованные 3D RGB-T модели человеческого тела и одежды для имитации полнообзорных (0∘–360∘) атак в цифровом мире, а также изготавливаем соответствующую 3D RGB-T состязательную одежду для обеспечения полнообзорных атак в физическом мире. Для устранения второго ограничения мы предлагаем дизайн неперекрывающегося RGB-T паттерна (NORP) для RGB-T состязательной одежды. NORP не только одновременно использует видимые и тепловые свойства различных материалов, но и гарантирует, что эти материалы не перекрываются, тем самым избегая проблемы уменьшения освещенности, присущей ORP. Более того, мы используем общедоступные материалы (ткань и алюминиевую пленку) для развертывания NORP, что дает преимущество низкой стоимости..

Ключевая проблема оптимизации NORP заключается в пространственной зависимости между переменными оптимизации видимых и тепловых паттернов. Например, когда пиксель выбирается в качестве алюминиевой пленки, его значения RGB фиксируются и не могут одновременно оптимизироваться как непрерывные переменные, и наоборот. Чтобы решить эту проблему, мы предлагаем метод пространственной дискретно-непрерывной оптимизации (SDCO), который позволяет одновременно оптимизировать непрерывные RGB-пиксели и дискретные тепловые пиксели в рамках NORP.

В отличие от предыдущих методов [19, 35, 20], которые проверяются только на одном типе (например, промежуточного слияния) RGB-T детекторов, мы систематически оцениваем наш подход на RGB-T детекторах с различными архитектурами слияния как в цифровом, так и в физическом мире. Эксперименты показывают, что наша состязательная одежда для RGB-T эффективно атакует RGB-T детекторы с различными архитектурами слияния, со средним показателем ASR 99,6% и 71,0% в цифровом и физическом мирах соответственно. На рис. 1 показано несколько визуализированных примеров. Кроме того, мы предлагаем метод ансамблирования на этапе слияния, который позволяет одному предмету состязательной одежды одновременно атаковать RGB-T детекторы с несколькими архитектурами слияния. Наша работа всесторонне раскрывает уязвимости RGB-T детекторов в отношении различных архитектур слияния, углов обзора и расстояний, что важно для создания более устойчивых детекторов в будущем..

2 Связанные работы

2.1 Обнаружение объектов на основе RGB-T

Детекторы объектов RGB-T представляют собой мультимодальные детекторы объектов, которые объединяют модальности видимого света и тепловизионной съемки. Данные детекторы классифицируются на детекторы раннего слияния [22, 4, 8, 44, 46, 23], которые интегрируют мультимодальную информацию на уровне изображений, детекторы промежуточного слияния [45, 4, 12, 39, 11, 6, 26, 40], которые фокусируются на слиянии на уровне признаков, детекторы позднего слияния [22, 25, 4, 29], которые объединяют мультимодальную информацию на этапе прогнозирования, и независимые детекторы видимого и теплового спектров [18, 30, 31, 51], где каждая модальность работает независимо..

2.2 Физические атаки в видимом диапазоне

Большинство физических атак сосредоточены на видимой модальности, учитывая распространенность RGB камер. Исследователи обычно разрабатывают состязательные паттерны на уровне пикселей, а затем печатают их на бумаге [28, 38], наклейках [34, 7] или одежде [41, 13, 15, 14]. Например, Duan et al. [7] предложили состязательную наклейку для скрытия от детекторов видимого диапазона. Hu et al. [14] представили физическую состязательную одежду для уклонения от детекторов людей. Однако из-за различий в механизмах формирования изображений состязательные паттерны, разработанные для видимой модальности, не могут быть эффективно отображены в тепловой модальности.

2.3 Физические атаки в тепловом спектре

Лишь немногие работы посвящены тепловым физическим атакам. Исследователи, как правило, начинают с математического моделирования тепловых характеристик конкретных устройств или материалов, затем оптимизируют ключевые параметры и физически развертывают решение. Методы физического развертывания включают как нагревательные устройства [48, 33], так и теплоизоляционные материалы [47, 36, 50]. Например, Zhu et al. [48] предложили состязательную панель с лампами, которая обходит несколько тепловых детекторов. Wei et al. [36] представили состязательные патчи на основе аэрогеля для атаки на тепловые детекторы. Аналогичным образом, тепловые состязательные паттерны не могут быть эффективно отображены в видимом модальном спектре..

⟦Figure 2: Общая схема предложенного метода. Мы совместно оптимизируем видимые и тепловые паттерны на 3D моделях одежды RGB-T с помощью метода пространственной дискретно-непрерывной оптимизации, эффективность атаки которых затем визуализируется и оценивается детекторами RGB-T..

2.4 Физические атаки в видимо-тепловой модальности

Лишь ограниченное число работ посвящено физическим атакам на видимый и тепловой спектры. Такие работы требуют не только одновременной оптимизации переменных видимого и теплового спектров, но и физической реализации обеих модальностей. Zhu et al. [48, 49] предложили первый метод физической состязательной атаки на RGB-T, AdvB, основанный на использовании маленьких лампочек и печатной бумаги. Kim et al. [19] предложили мультиспектральный состязательный патч (MAP) для атаки на RGB-T детектор людей с промежуточным слиянием. Позже они [20] представили одежду на основе низкоэмиссионной пленки, названную MIC, для атаки на тот же RGB-T детектор. Wei et al. [35] разработали унифицированный состязательный патч (UAP) для обхода независимых RGB-T детекторов. Однако эти методы сталкиваются с определенными ограничениями. Например, AdvB, MAP и UAP демонстрируют ограниченные углы атаки (например, от -30∘ до 30∘), в то время как MIC использует перекрывающийся RGB-T паттерн с низкоэмиссионными пленками, которые снижают светопропускание на 30%, тем самым уменьшая видимость напечатанного на ткани узора. Эти ограничения приводят к тому, что уязвимость RGB-T детекторов в различных физических условиях изучена не полностью..

3 Метод

3.1 Постановка задачи

Для заданной цели $x$ ее видимое изображение обозначается как $x_{\mathrm{vis}}$, в то время как тепловое изображение обозначается как $x_{\mathrm{thm}}$. После добавления состязательных возмущений состязательные изображения в обеих модальностях представляются как $x_{\mathrm{vis}}^{\mathrm{adv}}$ и $x_{\mathrm{thm}}^{\mathrm{adv}}$ соответственно. Цель атаки на RGB-T заключается в том, чтобы гарантировать, что детектор RGB-T $f$ не обнаружит цель $x$. При заданном пороге обнаружения $q$ целью оптимизации является:

$$f(x_{\mathrm{vis}}^{\mathrm{adv}},x_{\mathrm{thm}}^{\mathrm{adv}})<q.$$ (1)

Наш конвейер атак RGB-T показан на рис. 2. Сначала мы создаем выровненные 3D модели RGB-T как для человеческого тела, так и для одежды. Затем мы проектируем неперекрывающийся шаблон RGB-T (NORP) и применяем наш метод SDCO для одновременной оптимизации видимых и тепловых состязательных шаблонов. Наконец, основываясь на результатах оптимизации, мы изготавливаем мультимодальную физическую одежду и оцениваем ее эффективность в физическом мире..

3.2 Создание 3D моделей RGB-T

Для имитации полнообзорных RGB-T атак нам необходимо построить согласованную 3D RGB-T модель. Поскольку большинство существующих 3D моделей являются RGB моделями, мы разработали метод расширения 3D RGB модели до согласованной 3D RGB-T модели на основе предыдущего подхода к тепловому 3D моделированию [50]. Изначально мы использовали общедоступные 3D RGB модели людей и одежды [14] в качестве основы. Далее мы берем модель одежды в качестве примера, чтобы проиллюстрировать наш метод.

Сложность создания согласованной 3D RGB-T модели заключается в генерации тепловой «оболочки», которая совмещается с 3D-сеткой модели. Для решения этой задачи мы сначала разворачиваем грани 3D-сетки в карту 2D-граней и организуем её по различным областям, таким как спина и руки, используя программное обеспечение Maya. Затем мы захватываем реальные тепловые изображения одежды с помощью тепловизионной камеры и обрабатываем их для совмещения с картой граней, создавая согласованную карту тепловых текстур. Смотрите Дополнительные материалы (SM) для ознакомления с тем, как эти фотографии были получены и обработаны. Этот процесс гарантирует, что реальная тепловая текстура должным образом совмещена с 3D-сеткой модели, а итоговые отрендеренные 3D RGB-T модели показаны в SM.

3.3 Разработка непересекающихся шаблонов RGB-T

После построения 3D модели одежды мы предлагаем разработать непересекающийся RGB-T паттерн (NORP) для мультимодальной состязательной одежды. Поскольку мы используем ткань для печати и алюминиевую пленку для нанесения NORP на состязательную одежду, каждое место на одежде либо запечатано цветами RGB, либо покрыто алюминиевой пленкой, но не тем и другим одновременно. Мы параметризуем NORP таким образом, чтобы его можно было представить $N$ пикселями. Пусть $X=[X_{i}]=[r_{i},g_{i},b_{i},t_{i}]_{i=1,2,\dots,N}$ представляет NORP, где $[r_{i},g_{i},b_{i}]$ обозначает значение RGB видимого света, а $t_{i}$ обозначает интенсивность теплового излучения.

Если одежда в пикселе $i$ покрыта алюминиевой пленкой, ее значение RGB-T фиксируется с помощью $[r^{(\mathrm{T})},g^{(\mathrm{T})},b^{(\mathrm{T})},t^{(\mathrm{film})}]$, что определяется характеристикой алюминиевой пленки. В противном случае на ткань можно нанести любой цвет RGB, а температура тела определяет интенсивность теплового излучения. Таким образом, значение RGB-T может быть представлено как $[r_{i}^{(\mathrm{V})},g_{i}^{(\mathrm{V})},b_{i}^{(\mathrm{V})},t_{i}^{(\mathrm{body})}]$, где $t_{i}^{(\mathrm{body})}$ выбирается из тепловой текстуры. Более того, мы используем дополнительную переменную $p_{i}=0$, чтобы обозначить, что пиксель $i$ покрыт алюминиевой пленкой, и $p_{i}=1$ в противном случае. Пиксель RGB-T $X_{i}=[r_{i},g_{i},b_{i},t_{i}]$, таким образом, может быть представлен как

$$\begin{split}X_{i}=\ \mathrm{H}(Y_{i})=\ p_{i}\cdot[r^{\mathrm{(V)}}_{i},g^{\mathrm{(V)}}_{i},b^{\mathrm{(V)}}_{i},t_{i}^{\mathrm{(body)}}]+\\ (1-p_{i})\cdot[r^{\mathrm{(T)}},g^{\mathrm{(T)}},b^{\mathrm{(T)}},t^{\mathrm{(film)}}],\end{split}$$ (2)

где $Y_{i}=[r^{\mathrm{(V)}}_{i},g^{\mathrm{(V)}}_{i},b^{\mathrm{(V)}}_{i},p_{i}]$ представляет собой набор обучаемых переменных. Пожалуйста, обратите внимание, что значения $r^{\mathrm{(T)}}$, $g^{\mathrm{(T)}}$, $b^{\mathrm{(T)}}$, $t_{i}^{(\mathrm{body})}$, $t^{\mathrm{(film)}}$ являются измеренными величинами (константами).

⟦Figure 3: Иллюстрация метода SDCO. В SRD черные пиксели представляют дискретизацию $\tilde{p}$ и обновление $r^{\mathrm{(V)}},g^{\mathrm{(V)}},b^{\mathrm{(V)}}$, в то время как серые пиксели представляют заморозку $r^{\mathrm{(V)}},g^{\mathrm{(V)}},b^{\mathrm{(V)}}$ и обновление $\tilde{p}$. На финальном этапе все $\tilde{p}$ дискретизируются, и оптимизация NORP завершается.

3.4 Оптимизация состязательного RGB-T паттерна

Мы разрабатываем градиентный алгоритм для оптимизации переменных NORP. Поскольку $p_{i}$ является дискретной в уравнении 2, мы оптимизируем непрерывную переменную $\tilde{p_{i}}$, а после оптимизации дискретизируем $\tilde{p_{i}}$ как $p_{i}=\mathbf{1}(\tilde{p}_{i}\geq 0.5)$. Однако наивный метод прямой оптимизации переменных $[r^{\mathrm{(V)}}_{i},g^{\mathrm{(V)}}_{i},b^{\mathrm{(V)}}_{i},\tilde{p}_{i}]$ привел к субоптимальным результатам (подробности см. в разд. 4.6). Это связано с тем, что непрерывные переменные $r^{\mathrm{(V)}}_{i}$, $g^{\mathrm{(V)}}_{i}$, $b^{\mathrm{(V)}}_{i}$ и дискретная переменная $p_{i}$ взаимосвязаны, поэтому аппроксимация $p_{i}$ влияет и на другие переменные..

Поэтому мы предлагаем метод пространственной дискретно-непрерывной оптимизации (SDCO), основанный на пространственно-случайной дискретизации (SRD). Основная идея SRD заключается в дискретизации некоторых пикселей в процессе градиентной оптимизации при одновременном вычислении градиентов для других пикселей, которые остаются непрерывными. Как показано на рис. 3, во время каждой итерации мы применяем случайную маску для дискретизации части пикселей теплового состязательного паттерна и замораживаем эти переменные. Коэффициент случайной дискретизации обозначается как $\alpha$, при этом соответствующие видимые переменные в этих областях оптимизируются. И наоборот, оставшаяся часть $1-\alpha$ пикселей теплового состязательного паттерна устанавливается как обучаемая, в то время как соответствующие видимые пиксели замораживаются. Поскольку маска случайным образом меняется на протяжении итераций, каждый пиксель имеет равную вероятность находиться в обучаемом состоянии, что позволяет выполнять итеративные обновления..

Данный метод балансирует оптимизацию видимых и тепловых состязательных паттернов, одновременно удовлетворяя ограничениям пространственной взаимозависимости между этими двумя паттернами, указанным в уравнении 2, что гарантирует физическую реализуемость мультимодального состязательного паттерна. Процесс работы алгоритма представлен в Algorithm 1⟧.

⟦Algorithm 1 Пространственная дискретно-непрерывная оптимизация

0: Переменные $Y=\{{[r^{\mathrm{(V)}}_{i},g^{\mathrm{(V)}}_{i},b^{\mathrm{(V)}}_{i},p_{i}]}\}_{i=1}^{N}$, Непрерывный $\tilde{p}_{i}$, размер шага $\eta$, вероятность дискретизации $\alpha$, максимальное количество итераций $T$, процесс обнаружения $f(X)$ в Уравнении 1, функция $\mathrm{H}(Y)$ в Уравнении 2, функция потерь $\mathcal{L}$ в Уравнении 7

1: Инициализация итерации $j\leftarrow 0$

2: в то время как $j<T$ делать

3:  Сгенерировать случайную маску $M\in\{0,1\}^{N}$ где $M_{i}\sim\text{Bernoulli}(\alpha)$ % Пространственно-случайная дискретизация

4:  для каждый пиксель $i$ делать

5:   если $M_{i}=1$ затем

6:    $p_{i}\leftarrow\mathbf{1}(\tilde{p_{i}}\geq 0.5)$ % Дискретизировать тепловой

7:   иначе

8:    $p_{i}\leftarrow\tilde{p_{i}}$ % Сохранять тепловой континуум

9:   конец если

10:  конец для% Один прямой и обратный проход

11:  Вычислить состязательную функцию потерь $L\leftarrow\mathcal{L}(f(\mathrm{H}(Y)))$

12:  Вычислить градиенты $\nabla_{Y}L\leftarrow\frac{\partial L}{\partial Y}$

13:  для каждый пиксель $i$ делать

14:   если $M_{i}=1$ затем

15:    $\nabla_{p_{i}}L\leftarrow 0$ % Блокировка теплового градиента

16:   иначе

17:    $\nabla_{[r^{\mathrm{(V)}}_{i},g^{\mathrm{(V)}}_{i},b^{\mathrm{(V)}}_{i}]}L\leftarrow 0$ % Блокировка градиента RGB

18:   конец если

19:  конец для

20:  Обновить параметры: $Y\leftarrow Y-\eta\nabla_{Y}L$

21:  $j\leftarrow j+1$

22: конец в то время как

23: Окончательная бинаризация: $p_{i}\leftarrow\mathbf{1}(\tilde{p_{i}}\geq 0.5)$ для всех $i$

24: вернуть Состязательная текстура $X=\mathrm{H}(Y)$

3.5 Применение состязательных RGB-T паттернов к 3D RGB-T моделям

Пусть $T_{\text{adv}}^{\text{vis}}$ и $T_{\text{adv}}^{\text{thm}}$ обозначают оптимизированные состязательные текстуры для видимой и тепловой модальностей соответственно. Мы сначала применяем алгоритм EOT [2] для имитации физических возмущений во время оптимизации. Состязательные текстуры после преобразования EOT представлены как:

$$T_{\mathrm{adv\text{-}E}}^{\mathrm{vis}} =\mathrm{EOT}\!\left(T_{\mathrm{adv}}^{\mathrm{vis}}\right)$$ (3)

$$T_{\mathrm{adv\text{-}E}}^{\mathrm{thm}} =\mathrm{EOT}\!\left(T_{\mathrm{adv}}^{\mathrm{thm}}\right)$$

Затем мы используем визуализатор $\mathrm{R}$ для наложения состязательных текстур на поверхность трехмерной сетки одежды $M_{\text{cloth}}$. Параметры $\phi$ визуализатора включают расстояния рендеринга, углы и т. д. Визуализированные состязательные изображения одежды как в видимом, так и в тепловом спектрах представлены как:

$$I_{\mathrm{cloth}}^{\mathrm{vis}} =\mathrm{R}(M_{\mathrm{cloth}},T_{\mathrm{adv\text{-}E}}^{\mathrm{vis}},\phi)$$ (4)

$$I_{\mathrm{cloth}}^{\mathrm{thm}} =\mathrm{R}(M_{\mathrm{cloth}},T_{\mathrm{adv\text{-}E}}^{\mathrm{thm}},\phi)$$

Далее мы объединяем 3D RGB-T модели людей и 3D RGB-T модели одежды. Иными словами, мы позволяем 3D модели человека «надеть» 3D одежду. 3D RGB-T модель человека состоит из 3D модели тела $M_{\mathrm{body}}$, RGB-изображений кожи $P_{\mathrm{skin}}^{\mathrm{vis}}$ и теплового изображения кожи $P_{\mathrm{skin}}^{\inf}$. Таким образом, отрендеренные видимые и тепловые изображения человека в одежде задаются формулой:

$$I_{\mathrm{person}}^{\mathrm{vis}}=\mathrm{R}(M_{\mathrm{body}},P_{\mathrm{skin}}^{\mathrm{vis}},I_{\mathrm{cloth}}^{\mathrm{vis}})$$ (5)

$$I_{\mathrm{person}}^{\mathrm{thm}}=\mathrm{R}(M_{\mathrm{body}},P_{\mathrm{skin}}^{\mathrm{thm}},I_{\mathrm{cloth}}^{\mathrm{thm}})$$

Для имитации физических атак в различных условиях мы накладываем отрендеренные изображения $I_{\mathrm{person}}^{\mathrm{vis}}$ и $I_{\mathrm{man}}^{\mathrm{thm}}$ на совмещенные фоновые изображения видимого и теплового диапазонов $I_{\mathrm{back}}^{\mathrm{vis}}$ и $I_{\mathrm{back}}^{\mathrm{thm}}$ соответственно. Полученные изображения задаются формулой:

$$I_{\mathrm{paste}}^{\mathrm{vis}} =\mathrm{Paste}(I_{\mathrm{person}}^{\mathrm{vis}},I_{\mathrm{back}}^{\mathrm{vis}})$$ (6)

$$I_{\mathrm{paste}}^{\mathrm{thm}} =\mathrm{Paste}(I_{\mathrm{person}}^{\mathrm{thm}},I_{\mathrm{back}}^{\mathrm{thm}})$$

3.6 Функции потерь

Мы подаем наклеенные изображения $I_{\mathrm{paste}}^{\mathrm{vis}}$ и $I_{\mathrm{paste}}^{\mathrm{thm}}$ в модель RGB-T детекции $f$. Цель оптимизации состязательного паттерна заключается в минимизации показателя уверенности $f_{\mathrm{obj}}$ RGB-T детектора в отношении человека, одетого в состязательную одежду. В частности, функция потерь оптимизации задается как:

$$L=f_{\mathrm{obj}}(I_{\mathrm{paste}}^{\mathrm{vis}},I_{\mathrm{paste}}^{\mathrm{thm}}).$$ (7)

Для повышения переносимости состязательного паттерна между различными архитектурами слияния RGB-T детекторов мы предлагаем метод ансамблирования на этапе слияния. Данный подход объединяет несколько RGB-T детекторов с различными архитектурами слияния, включая раннее слияние, промежуточное слияние, позднее слияние и независимые RGB-T детекторы в процессе оптимизации. Функция потерь оптимизации ансамбля может быть сформулирована следующим образом:

$$L_{\mathrm{ensemble}}=w_{1}\cdot L_{\mathrm{early}}+w_{2}\cdot L_{\mathrm{mid}}+w_{3}\cdot L_{\mathrm{late}}+w_{4}\cdot L_{\mathrm{indep}}.$$ (8)

где $w_{i},i=1,2,3,4$ представляют собой эмпирически определенные веса для каждого этапа слияния.

3.7 Физическая реализация

После получения оптимизированных состязательных текстур с использованием метода SDCO, мы распечатали состязательные текстуры в цвете RGB на ткани. Для областей, требующих наклеивания алюминиевой пленки, на ткани была поставлена отметка «X», указывающая на место их размещения. Каждый пиксель на ткани имеет размер 25мм $\times$ 25мм. Затем портной изготовил из напечатанной ткани одежду, включая рубашку и брюки, и наклеил алюминиевую пленку (толщиной всего 0,1 мм) на участки одежды, отмеченные «X». Благодаря этому процессу мы успешно создали физическую RGB-T состязательную одежду.

4 Эксперименты

4.1 Набор данных

Для имитации атак на RGB-T в различных реальных условиях мы использовали выровненный набор данных RGB-T под названием FLIR-aligned [43]. Он содержит 4 129 хорошо выровненных пар изображений RGB-T для обучения и 1 013 пар изображений RGB-T для тестирования. Мы использовали этот набор данных в качестве источника фоновых изображений в наших 3D-симуляциях RGB-T и оценили наш метод на первых 500 парах изображений из тестовой выборки..

4.2 Целевые RGB-T детекторы

Мы выбрали типичные RGB-T детекторы с различными архитектурами слияния в качестве наших основных целей атаки, включая SOTA детектор раннего слияния Prob-E [4], SOTA детектор промежуточного слияния Prob-M [4], SOTA детектор позднего слияния Prob-L [4], а также SOTA независимые RGB-T детекторы YOLOv11(RGB) и YOLOv11(T) [18]. После проведения атак на эти RGB-T детекторы в условиях «белого ящика» мы перенесли наш метод на невидимые ранее RGB-T детекторы типа «черный ящик» для оценки его переносимости. Эти детекторы типа «черный ящик» включают детектор раннего слияния RPN-E [22], детектор промежуточного слияния AR-CNN [45], детектор позднего слияния RPN-L [22], а также независимые RGB-T детекторы D-DETR(RGB) и D-DETR(T) [51]. Все эти детекторы достигают высоких показателей уверенности обнаружения (выше 0.85) на чистых RGB-T целях пешеходов, что делает их надежными базовыми моделями для оценки состязательной устойчивости..

4.3 Метрики оценки

⟦Table 1: Сравнение различных методов в цифровой среде

Method	ASR (%) $\uparrow$
	Prob-E	Prob-M	Prob-L	YOLOv11
				RGB	T
Clean	0.2	0.4	0.2	0.4	0.2
Random	15.6	12.0	3.4	0.2	0.6
MAP[19]	31.4	37.2	11.2	6.8	4.2
MIC[20]	26.2	24.0	12.4	5.8	4.0
UAP[35]	25.4	27.8	5.6	2.8	4.4
Ours	100.0	100.0	99.8	98.8	99.4

В наших экспериментах мы использовали широко распространенный показатель успешности атаки (ASR) в качестве метрики оценки. ASR определяется как отношение количества необнаруженных целевых пешеходов к общему количеству целевых пешеходов. Подобно предыдущим работам [34, 35, 48, 47, 50], мы установили порог пересечения над объединением (IoU) между предсказанной ограничивающей рамкой и истинной ограничивающей рамкой на уровне 0.5, а порог достоверности — на уровне 0.6. Указанный ASR был рассчитан как средний показатель успешности с учетом различных углов обзора, расстояний и условий сцены..

4.4 Атака на RGB-T детекторы в цифровом мире

Основываясь на методе, представленном в разд. 3.3, мы разработали неперекрывающиеся состязательные RGB-T паттерны, где каждый пиксель в паттерне имеет размер 10 $\times$ 10 (см. дополнительный материал для дальнейшего анализа этого параметра). Затем мы оптимизировали состязательные паттерны, используя метод SDCO, представленный в разд. 3.4, с вероятностью маски $\alpha$ для SRD, установленной на уровне 70%. Дальнейший анализ $\alpha$ можно найти в разд. 4.6. Дополнительные экспериментальные настройки подробно описаны в дополнительном материале. После оптимизации мы получили состязательные текстуры одежды для RGB-T детекторов с различными архитектурами слияния, а также отрендеренные 3D RGB-T модели людей в состязательной одежде (рис. 2). См. дополнительный материал для ознакомления с оптимизированными 3D RGB-T моделями для различных RGB-T детекторов..

Далее мы применили отрендеренную 3D RGB-T модель человека к тестовому набору данных FLIR-aligned, следуя процессу, описанному в разд. 3.5. Затем сгенерированные изображения были поданы на вход RGB-T детекторам с различными архитектурами слияния, включая Prob-E, Prob-M, Prob-L и YOLOv11, для оценки эффективности атаки нашего состязательного паттерна в цифровой среде. Для объективного сравнения мы использовали чистый паттерн одежды (однотонный паттерн), случайный RGB-T паттерн (без оптимизации) и состязательные паттерны, сгенерированные в предыдущих работах, включая MAP, UAP и MIC. Эти паттерны применялись в соответствии с их оригинальными статьями и опубликованным кодом. В качестве метрики оценки мы использовали ASR. Результаты представлены в табл. 1. Наш метод достиг среднего ASR 99,6% для RGB-T детекторов с различными этапами слияния, в то время как ASR для контрольной группы был ниже 37,2%. Набор визуальных примеров, сравнивающих эти методы, представлен в SM.

Это указывает на то, что наш метод эффективно атаковал RGB-T детекторы с различными архитектурами слияния в цифровой среде, превосходя простые базовые методы и предыдущие методы атак на RGB-T..

4.5 Анализ состязательных эффектов на различных расстояниях и углах

⟦Figure 4: Уровни успешности атак для различных RGB-T детекторов при различных (а) дистанциях и (b) углах обзора.

Мы дополнительно проанализировали ASR нашего метода при различных углах обзора и расстояниях. Угол обзора варьировался от 0 до 360 градусов с шагом выборки 18 градусов. Расстояние варьировалось от 2,5 до 20 метров с шагом выборки 2,5 метра. На рис. 4 представлен анализ ASR для RGB-T детекторов с различными архитектурами слияния на различных расстояниях и углах..

Результаты показывают, что наш метод успешно атаковал RGB-T детекторы с различными архитектурами слияния при различных (полноугольных) углах обзора и расстояниях. Для сравнения, некоторые предыдущие методы [19, 35] эффективны только в ограниченном диапазоне углов и расстояний (например, углы от -30 до 30 градусов, расстояния от 3 до 6 метров). Это можно объяснить тем, что наш подход, основанный на 3D моделировании, позволяет имитировать атаки в более широком диапазоне углов (полный обзор) и расстояний, что является значительным улучшением по сравнению с традиционными методами, основанными на 2D моделировании..

⟦Table 2: Исследование методом абляции для метода SDCO

Method	ASR (%) $\uparrow$
	Prob-E	Prob-M	Prob-L	YOLOv11
				RGB	T
w/o SRD	78.6	88.4	67.2	48.2	46.4
w SRD	100.0	100.0	99.8	98.8	99.4

4.6 Абляционное исследование метода SDCO

Основным методом SDCO является пространственно-случайная дискретизация (SRD). Мы провели абляционные эксперименты для оценки эффективности SRD, сохраняя при этом все остальные экспериментальные настройки такими же, как в разд. 4.4. Результаты, представленные в табл. 2, показывают, что SRD эффективно повысила результативность атак на RGB-T детекторы с различными архитектурами слияния. Это объясняется тем, что SRD эффективно балансирует оптимизацию переменных двух модальностей.

Мы дополнительно проанализировали влияние ключевого параметра $\alpha$ метода SRD на показатель ASR, который служит балансирующим фактором между параметрами оптимизации видимой и тепловой модальностей. Результаты подробно описаны в SM. Мы установили, что наивысший средний показатель ASR достигается при значении $\alpha$, равном 0,7. Поэтому в наших экспериментах мы установили $\alpha=0.7$.

4.7 Сравнение с другими методами оптимизации

Для одновременной оптимизации дискретных и непрерывных переменных существуют другие алгоритмы оптимизации, такие как Gumbel-Softmax [16] и Straight-Through Estimator [3] (STE). Gumbel-Softmax выдает мягкое распределение во время обучения и использует жесткое распределение во время вывода, в то время как STE выдает жесткое распределение во время прямого прохода и использует дифференцируемую аппроксимацию во время обратного прохода. Оба метода преобразуют задачу дискретной оптимизации в задачу приближенной непрерывной оптимизации, позволяя использовать градиентные методы для оптимизации обоих типов переменных. Мы применили эти методы для оптимизации состязательных текстур, сохраняя настройки в соответствии с разд. 4.4.

Экспериментальные результаты, представленные в табл. 3, показывают, что в наших экспериментах метод SDCO превосходит Gumbel-Softmax и STE. Вероятно, это связано с тем, что Gumbel-Softmax и STE по сути выполняют непрерывную оптимизацию и дискретные операции на разных последовательных этапах (например, обучение против вывода, прямое распространение против обратного), в то время как наш метод одновременно выполняет непрерывную оптимизацию и дискретные операции в разных пространственных областях, что согласуется с пространственным распределением двух типов переменных в нашей RGB-T состязательной одежде..

⟦Table 3: Сравнение с другими методами оптимизации

Method	ASR (%) $\uparrow$
	Prob-E	Prob-M	Prob-L	YOLOv11
				RGB	T
Gumbel[16]	78.6	87.8	60.0	34.0	22.6
STE[3]	95.6	96.8	94.4	92.4	86.8
SDCO	100.0	100.0	99.8	98.8	99.4

⟦Figure 5: Визуализация физических RGB-T атак в различных сценах. Верхний ряд: сценарии в помещении. Нижний ряд: сценарии на открытом воздухе. O: обычная одежда. R: одежда со случайным узором. U: UAP патч. A: состязательная одежда. Смотрите SM для демонстрационного видео и дополнительных примеров.

4.8 Атаки на RGB-T детекторы в физическом мире

⟦Table 4: Сравнение различных методов в физическом мире

Method	ASR (%) $\uparrow$
	Prob-E	Prob-M	Prob-L	YOLOv11
				RGB	T
Clean	15.2	19.6	15.3	9.4	11.6
Random	15.6	21.5	15.3	8.8	9.7
UAP[35]	33.4	33.3	27.6	21.0	22.2
Ours	73.5	76.5	79.2	61.2	64.4

⟦Table 5: Переносимость в цифровом мире. Числа представляют собой ASR. Результаты для физического мира см. в SM..

	Prob-E[4]	Prob-M[4]	Prob-L[4]	YOLOv11[18]	RPN-E[22]	AR-CNN[45]	RPN-L[22]	D-DETR[51]
Prob-E[4]	100.0	99.0	11.2	1.0	95.4	67.8	96.2	48.6
Prob-M[4]	81.8	100.0	39.0	0.4	92.4	64.4	92.1	70.6
Prob-L[4]	92.8	94.6	99.8	0.8	91.2	71.2	97.0	91.8
YOLOv11[18]	61.0	86.4	38.2	98.4	87.0	42.0	78.6	70.4
Ensemble	99.8	100.0	99.4	96.2	94.8	76.4	97.4	99.0

На основе результатов 3D цифрового моделирования мы создали физическую RGB-T состязательную одежду в соответствии с процессом, описанным в разд. 3.7. Чтобы обеспечить объективное сравнение, мы выбрали обычную одежду, одежду со случайным RGB-T паттерном и новейший метод RGB-T атак UAP patch в качестве контрольных групп (MAP и MIC были исключены из-за отсутствия соответствующих специальных материалов, таких как низкоэмиссионные пленки, что затрудняет физическое воспроизведение). См. SM для просмотра фотографий нашей состязательной одежды и контрольных групп..

Мы протестировали эффективность атак в физическом мире с использованием состязательной одежды RGB-T и контрольных групп. Мы пригласили 5 добровольцев для участия в экспериментах. Эксперименты с участием людей были одобрены Институциональным наблюдательным советом (IRB). Добровольцы участвовали группами по два, три или четыре человека, надев нашу состязательную одежду RGB-T, одежду с произвольным узором RGB-T, обычную одежду или держа в руках патч UAP. Мы использовали iPhone 13 Pro и тепловизионную камеру FLIR T560 для одновременной съемки видимых и тепловых изображений этих добровольцев. Захваченные сцены включали как внутренние, так и внешние условия, охватывая разное время суток, включая утро, полдень, день и сумерки. Углы обзора камеры охватывали полный диапазон 0-360∘, а расстояния съемки варьировались от 2 до 15 метров. Мы записали 116 видеороликов и отобрали 5220 пар видимых и тепловых изображений с частотой 1 кадр в секунду. Собранные изображения затем подавались на соответствующие детекторы RGB-T для обнаружения, после чего рассчитывался ASR, как показано в табл. 4. Некоторые примеры показаны на рис. 1 и рис. 5. Смотрите дополнительный материал для демонстрационного видео..

Результаты показывают, что наша состязательная одежда успешно обходит многочисленные RGB-T детекторы с различными архитектурами слияния в различных сценах, ракурсах и на разных расстояниях, неизменно превосходя базовые методы..

4.9 Переносимость атак

Мы протестировали переносимость атак нашей RGB-T состязательной одежды на невидимые RGB-T детекторы как в цифровом, так и в физическом мире. Детали эксперимента описаны в SM. Стоит отметить, что большинство экспериментов проводилось в условиях атаки «черного ящика», что является более сложной, но практически значимой задачей для реальных приложений. Результаты цифровых экспериментов представлены в табл. 5, а результаты в физическом мире доступны в SM..

Результаты показывают, что наш метод успешно атаковал различные RGB-T детекторы как в условиях белого, так и черного ящика. Что еще более важно, наш метод ансамблирования на этапе слияния эффективно повысил ASR против ранее не встречавшихся RGB-T детекторов по сравнению с паттернами, оптимизированными для одной модели. Это говорит о том, что мы можем использовать всего один единственный паттерн одежды для атаки на не встречавшиеся ранее RGB-T детекторы с различными архитектурами слияния..

4.10 Методы защиты

Мы оценили эффективность восьми типичных методов защиты против нашего метода атаки. Они включали пять традиционных методов защиты: Adversarial Training [9], Total Variance Minimization [1], Bit Squeezing [42], JPEG Compression [10] и Pixel Mask [10], а также три современных метода, специально разработанных для защиты от атак на обнаружение объектов: PAD [17], NAPGuard [37] и Jedi [27]. Экспериментальные подробности этих методов приведены в SM. Результаты показывают, что, хотя эти методы имели некоторый защитный эффект, показатели ASR нашего метода после применения защиты все равно достигали как минимум 70%, что дополнительно подтверждает эффективность нашего подхода к атаке..

5 Заключение

В данной статье представлен новый метод физических атак на RGB-T детекторы с использованием состязательной одежды с применением NORP. Мы создаем 3D RGB-T модели для человека и состязательной одежды для симуляции полнообзорных (0∘–360∘) RGB-T атак. NORP — это новый дизайн состязательного паттерна, использующий различные видимые и тепловые материалы без наложения, что позволяет избежать снижения освещенности, характерного для ORP. Для одновременной оптимизации непрерывных RGB пикселей и дискретных тепловых пикселей в рамках NORP мы предлагаем метод SDCO. Кроме того, мы внедряем ансамблевый метод на этапе слияния для повышения переносимости атак на невидимые ранее RGB-T детекторы. Благодаря систематической оценке как в цифровом, так и в физическом мире, наша работа всесторонне раскрывает уязвимости RGB-T детекторов в различных архитектурах слияния, углах обзора и расстояниях, что важно для создания более устойчивых детекторов в будущем..

6 Благодарности

Данная работа была поддержана Национальным фондом естественных наук Китая (№ U2341228 и № 62576187)).