AdvScene: Переосмысление оценки состязательных патчей через робастность сцены
Аннотация.
Состязательные патчи — это физические шаблоны, прикрепляемые к реальным объектам для введения в заблуждение систем компьютерного зрения на базе ИИ. Их риск в реальных условиях определяется не единичным успешным предсказанием, а тем, сохраняют ли они эффективность после развертывания при изменении точек обзора, расстояний и условий сцены. Мы называем это свойство устойчивостью сцены — эффективностью развернутого патча в различных условиях реальной среды. Однако существующие методы оценки недостаточно хорошо измеряют устойчивость сцены: бенчмарки на основе реальных изображений реалистичны, но статичны, в то время как симуляторы позволяют управлять параметрами, но не привязаны к конкретной реальной сцене..
Мы представляем AdvScene, фреймворк на основе сцены для измерения устойчивости состязательных патчей в реконструированных реальных средах. AdvScene переосмысливает оценку как операционное измерение: для заданного развернутого патча он характеризует операционный конверт патча — где и когда атака достигает успеха — как функцию точки обзора, расстояния и контекста сцены. Ключевая проблема заключается в том, что атака обычно определяется только в одном опорном виде, в то время как оценка требует представления, которое остается достоверным при изменении точки обзора. Мы формализуем это как задачу ограниченного лифтинга и представляем Adversarial Patch-to-Scene Embedding (APSE), который разрешает неоднозначность между видами, сохраняя при этом критически важный для атаки внешний вид и обеспечивая локальность, привязку к целевой поверхности и согласованность между видами. Применяемый к реконструированным сценам с контролируемым рендерингом и откалиброванный с использованием сопоставленных реальных снимков, APSE позволяет проводить систематическую и поведенчески значимую оценку эффективности атаки. Мы валидируем AdvScene, используя реальные физические данные, и проводим всестороннюю оценку существующих состязательных патчей в задачах классификации изображений и обнаружения объектов, включая целевые, нецелевые и исчезающие настройки, на наборах данных CO3D и Waymo. Наши результаты показывают, что AdvScene выявляет существенные зависящие от сцены вариации в эффективности атаки, которые не фиксируются существующими оценками, ориентированными на изображения или основанными на симуляторах..
1. Введение
От физических атак к риску на уровне сцены. Состязательные атаки (Szegedy et al., 2013; Goodfellow et al., 2014; Carlini and Wagner, 2017; Athalye et al., 2018; Madry et al., 2018; Yuan et al., 2019) выявили значительные уязвимости в современных системах компьютерного зрения. Ранние работы в основном изучали цифровые возмущения, при которых злоумышленник напрямую изменяет пиксели изображения, чтобы вызвать сбой модели. Более поздние исследования сместили фокус этих атак в сторону физического развертывания, задаваясь вопросом, могут ли состязательные эффекты сохраняться после печати, захвата, изменения точки обзора и вариаций окружающей среды. Среди таких атак состязательные патчи вызывают особую обеспокоенность, поскольку их можно прикрепить к реальным объектам, и они могут многократно наблюдаться последующими системами компьютерного зрения после физического захвата (Brown et al., 2017; Liu et al., 2018). Предыдущие работы продемонстрировали атаки на основе патчей как на системы классификации изображений, так и на системы обнаружения объектов в ряде реальных или физически обоснованных условий (Kurakin et al., 2018; Eykholt et al., 2018; Chen et al., 2018; Hu et al., 2022, 2023; Zhang et al., 2023; Zhu et al., 2023; Cheng et al., 2024). Этот переход от цифровых возмущений к развертываемым артефактам меняет вопрос безопасности: центральная проблема заключается уже не только в том, удастся ли патчу сработать один раз, но и в том, где, когда и при каких условиях сцены он остается эффективным после развертывания..
Мы называем это свойство устойчивостью сцены: эффективность фиксированного развернутого патча в операционных условиях, обусловленных реальной сценой. Устойчивость сцены отличается от стандартной устойчивости на уровне изображений. Она формируется взаимодействием между патчем, целевым объектом, траекторией камеры, геометрией обзора, проекцией области патча и окружающим визуальным контекстом. Патч, который обманывает модель с одного тщательно выбранного ракурса, может представлять ограниченный практический риск, в то время как патч, остающийся эффективным в широком диапазоне естественно возникающих ракурсов, представляет собой существенно более серьезную угрозу. Таким образом, оценка физического патча должна характеризовать не только то, успешна ли атака, но и операционную область, в которой она успешна..
Разрыв между реалистичностью и управляемостью. Существующие методы оценки недостаточно хорошо измеряют устойчивость сцены. Оценка на основе преобразований плоскости изображения, включая развертки преобразований в стиле EOT (Athalye et al., 2018), является масштабируемой, поскольку патч можно поворачивать, масштабировать, подвергать перспективному искажению или изменять его яркость перед вставкой в изображение. Однако это рассматривает патч как двумерное наложение, а не как развернутый физический артефакт, и поэтому может сохранять фронтальный вид патча даже тогда, когда реальный патч стал бы наклонным, частично невидимым или слишком маленьким после проекции..
Эталонные наборы данных реальной съемки, такие как APRICOT (Braunegg et al., 2020) и REAP (Hingun et al., 2023), предоставляют ценные физические доказательства, однако каждая запись фиксирует только одну реализованную позу, дистанцию, условие освещения и фон. Плотное повторение одного и того же эксперимента с развернутым патчем на множестве траекторий камеры является трудоемким, сложным для воспроизведения и часто небезопасным в таких условиях, как восприятие при вождении. Платформы на основе симуляторов, включая фреймворки состязательной оценки на базе CARLA (Dosovitskiy et al., 2017; Nesti et al., 2022, 2024; Lan et al., 2024), обеспечивают контролируемый перебор позы камеры, погоды, освещения и дорожных условий, но их сцены являются нативными для симулятора и могут не соответствовать конкретному месту реального развертывания..
Данные настройки оставляют пробел в режиме оценки: привязанный к реальной сцене, контролируемый и соответствующий поведению одной и той же фиксированной развернутой атаки. Мы называем последнее требование точностью поведения атаки: оценка должна сохранять поведение успеха и неудачи развернутого патча при изменениях, вызванных сценой, вместо внесения артефактов от наложений изображений или специфических для симулятора допущений. Таблица 1 суммирует этот пробел..
Таким образом, мы формулируем оценку состязательных патчей как задачу операционного измерения. При заданном развернутом патче и реальной сцене цель состоит в том, чтобы охарактеризовать операционный конверт патча: область условий наблюдения, обусловленных сценой, при которых атака оказывается успешной. Устойчивость сцены — это свойство, которое мы стремимся оценить, а операционный конверт — это измеренная область, в которой данное свойство сохраняется..
Реконструированные сцены как основа для оценки. Естественный способ обеспечить такое измерение — реконструировать реальную сцену и оценить развернутый патч внутри этой реконструкции. Нейронный рендеринг и многоракурсная реконструкция сделали создание контролируемых представлений сцен на основе реальных съемок все более практичным (Mildenhall et al., 2021; Müller et al., 2022). Недавние достижения в 3D Gaussian Splatting (3DGS) (Kerbl et al., 2023; Huang et al., 2024) делают это направление еще более перспективным, поддерживая высокоточную реконструкцию и эффективный рендеринг новых ракурсов на основе многоракурсных съемок. В принципе, реконструированная сцена предоставляет цифровой двойник конкретной сцены, который сочетает в себе обоснованность реальной съемки с управляемостью симуляции. Однако оценка состязательного патча создает проблему, которая не решается стандартным редактированием 3DGS: как, имея только 2D-атакованный опорный ракурс, вставить патч в чистую реконструированную сцену так, чтобы полученная состязательная сцена оставалась верной атаке, локализованной на целевой поверхности и стабильной при смене ракурсов? Существующие методы редактирования 3DGS разработаны в основном для фотореалистичной или семантической модификации и часто полагаются на диффузионные или генеративные априорные модели (Chen et al., 2024; Cao et al., 2026; Xiao et al., 2025; Galerne et al., 2025). Такие методы могут создавать визуально правдоподобные правки, но состязательная оценка требует сохранения мелкозернистых структур изображения, которые определяют поведение модели..
Наш подход. Чтобы восполнить этот пробел, мы представляем AdvScene, основанную на сцене структуру для измерения операционной оболочки развернутых состязательных патчей в реконструированных реальных средах. AdvScene начинает работу с чистой многоракурсной съемки, генерирует фиксированный состязательный патч из опорного ракурса, внедряет этот патч в реконструированную 3DGS сцену и визуализирует полученную состязательную сцену при контролируемых изменениях точки обзора, расстояния, положения камеры и условий съемки. Основным техническим компонентом является Adversarial Patch-to-Scene Embedding (APSE) — гибридный метод встраивания Гауссианов, который повторно использует Гауссианы целевой поверхности для структурного обоснования и вводит новые Гауссианы патча для критически важного для атаки внешнего вида. APSE обеспечивает точность опорного ракурса, используя при этом ограничения вспомогательных ракурсов для подавления утечки в чистую сцену, поддержания привязки к поверхности и улучшения стабильности при изменении точки обзора. Это различие важно: AdvScene — это не более мощный генератор атак, а основанная на сцене структура измерения для фиксированных атак, созданных существующими конвейерами..
AdvScene обеспечивает иной подход к состязательной оценке. В нашей физической оценке AdvScene достигает 99,30% согласованности ASR с физическими захватами по сравнению с 93,54% для базового метода преобразования в плоскости изображения. Что еще важнее, это выявляет систематический режим отказа оценки в плоскости изображения: при близких косых ракурсах базовый метод может предсказывать высокий успех атаки даже тогда, когда физический патч почти никогда не срабатывает. На данных CO3D и Waymo мы обнаружили, что успех опорного ракурса часто падает за пределами узкого операционного конверта, сцены вождения могут создавать направленные и зависящие от модели конверты, а методы физических атак играют разные роли. Учет геометрии в EOT расширяет охват сцены, в то время как показатель непечатности (NPS) и полная вариация (TV) в основном влияют на печатность или гладкость, а может ограничивать амплитуду патча без существенного сужения оцениваемого конверта..
Вклад. В данной статье представлены следующие результаты:.
- ⟦• Мы определяем устойчивость сцены как недостающее измерение в оценке физических состязательных патчей и формулируем оценку фиксированного патча как измерение операционного конверта в реконструированных реальных сценах.
- ⟦• Мы представляем AdvScene, основанную на сценах структуру оценки, которая объединяет реконструкцию реальных сцен, встраивание фиксированных патчей и контролируемый рендеринг новых ракурсов для измерения поведения атаки при изменениях точки обзора, расстояния, проекционного масштаба, положения камеры и контекста сцены..
- ⟦• Мы представляем APSE, метод встраивания патчей в сцену с ограничениями для 3D Gaussian Splatting. APSE сохраняет внешний вид опорных видов, критически важных для атаки, одновременно обеспечивая локальность, сохранение чистой сцены, привязку к целевой поверхности и стабильность между видами..
- ⟦• Мы подтверждаем эффективность AdvScene с помощью сопоставленных физических захватов на сценах из реального мира. AdvScene достигает совокупной согласованности ASR с физическими захватами по сравнению с для базового метода преобразования плоскости изображения и позволяет избежать значительной переоценки, характерной для базового метода при близком косом обзоре..
- ⟦• Мы оцениваем состязательные патчи на сценах CO3D и сценах Waymo, охватывая целевую классификацию, нецелевую классификацию и исчезновение объектов при детекции. Мы проводим оценку по изображениям с различных ракурсов для каждой сцены. Результаты показывают, что успех на опорном ракурсе может искажать представление о риске при развертывании, что сцены вождения формируют направленные и зависящие от модели операционные конверты, а также что выбор параметров проектирования атаки играет различные роли: EOT с учетом геометрии расширяет охват сцены, в то время как NPS, TV и в основном влияют на пригодность к печати, гладкость или амплитуду..
2. Контекст и модель угроз
2.1. Физические атаки на основе патчей и проблема оценки ⟦K0⟧
Состязательные патчи представляют собой локализованные возмущения, предназначенные для вызова сбоев в работе модели после их размещения на целевом объекте или рядом с ним (Brown et al., 2017; Liu et al., 2018; Lee and Kolter, 2019; Lovisotto et al., 2021; Nassi et al., 2020). В отличие от цифровых возмущений, физические патчи должны сохранять эффективность после печати, захвата камерой, изменения точки обзора, варьирования расстояния, изменения освещенности и воздействия сенсорного шума. Предыдущие исследования продемонстрировали атаки с использованием физических патчей на дорожные знаки и детекторы объектов (Eykholt et al., 2018; Chen et al., 2018), детекторы людей посредством манипуляций с одеждой или текстурой (Hu et al., 2022, 2023), а также на другие критически важные для безопасности сценарии использования патчей (Zhang et al., 2023; Zhu et al., 2023; Cheng et al., 2024)⟧.
Для повышения физической устойчивости методы генерации патчей обычно используют Expectation over Transformation (EOT) (Athalye et al., 2018), который оптимизирует патч с учетом выборочных преобразований изображения, таких как вращение, масштабирование, перенос, изменение перспективы и яркости. Физические регуляризаторы, такие как маски объектов, полная вариация и Non-Printability Score (NPS), дополнительно ограничивают патч, чтобы он оставался локализованным, гладким и пригодным для печати (Eykholt et al., 2018). Эти механизмы улучшают процесс генерации патчей, но сами по себе не решают проблему оценки. После развертывания патч фиксируется, и его эффективность зависит от наблюдений сцены, формируемых траекторией камеры, позой цели, расстоянием, проекционным масштабом и визуальным контекстом..
Разрыв в оценке, обобщенный в таблице 1, обосновывает нашу постановку задачи: вместо оптимизации новой атаки для каждого отрендеренного вида или опоры на ограниченный набор физических захватов, мы оцениваем, как один фиксированный развернутый патч ведет себя при контролируемых изменениях наблюдения в той же реконструированной реальной сцене.
2.2. Оценка на основе сцены с использованием 3DGS
Основа для оценки, привязанная к сцене, должна быть реконструирована на основе реальных съемок, при этом допуская контролируемый рендеринг при новых ракурсах, расстояниях и условиях съемки. Классические методы структуры из движения и многоракурсного стерео оценивают позы камер и структуру сцены по коллекциям изображений (Schonberger and Frahm, 2016; Schönberger et al., 2016). Методы нейронного рендеринга, такие как NeRF и его эффективные варианты, превращают многоракурсные снимки в средства рендеринга новых ракурсов (Mildenhall et al., 2021; Müller et al., 2022; Barron et al., 2022; Haque et al., 2023). Мы используем 3D Gaussian Splatting (3DGS) (Kerbl et al., 2023; Huang et al., 2024), поскольку он обеспечивает высокоточную реконструкцию и эффективный рендеринг..
Сцена 3DGS представляет собой набор анизотропных гауссовых примитивов, где каждый гауссиан параметризуется своим центром , ковариацией или параметрами масштаба-поворота, непрозрачностью и коэффициентами внешнего вида . При заданной позе камеры дифференцируемый рендерер создает изображение Поскольку 3DGS может быть реконструирован на основе многоракурсных реальных съемок и отрендерен с новых точек обзора, он может, в принципе, сочетать привязку к реальным сценам с управляемостью, необходимой для операционных измерений.
Стандартное редактирование 3DGS недостаточно для оценки состязательных патчей. Существующие методы редактирования в первую очередь нацелены на фотореалистичную или семантическую модификацию, такую как вставка объектов, редактирование текстур или локализованный перенос внешнего вида (Chen et al., 2024; Cao et al., 2026; Xiao et al., 2025; Galerne et al., 2025). Напротив, состязательная оценка требует сохранения критически важных для атаки деталей изображения при сохранении локализации модификации и её привязки к поверхности. Небольшие изменения цвета, непрозрачности, выравнивания границ или размещения при смене ракурса могут изменить поведение модели, даже если редактирование выглядит визуально правдоподобным для человека..
2.3. Модель угроз и доступ оценщика
Мы изучаем риск безопасности, создаваемый фиксированным состязательным патчем после развертывания в реальной сцене. Центральный вопрос заключается в следующем: насколько эффективен развернутый состязательный патч в операционных условиях, обусловленных реалистичной сценой? Эквивалентно, с точки зрения защитника, мы задаемся вопросом, насколько устойчива модель компьютерного зрения к развернутому патчу при изменении точки обзора, расстояния, положения камеры и контекста сцены. Данная постановка рассматривает патч как фиксированный после развертывания и фокусируется на измерении его поведения при изменениях наблюдения, вызванных сценой..
Цель и возможности злоумышленника. Злоумышленник стремится вызвать специфический для задачи сбой модели компьютерного зрения после реальной съемки. Мы рассматриваем три часто исследуемые задачи: целевая атака на классификацию, нецелевая атака на классификацию и атака на исчезновение объекта при детекции. Злоумышленник размещает фиксированный состязательный патч на целевом объекте в реальной сцене. Патч генерируется с помощью существующего конвейера атак и может включать стандартные механизмы физической устойчивости, такие как EOT, NPS и TV регуляризация. После размещения патч остается неизменным: злоумышленник не адаптирует его в режиме реального времени, не изменяет его в зависимости от ракурса и не оптимизирует его совместно с представлением 3D сцены, используемым в нашем фреймворке..
Жертва и условия развертывания. Жертвой является модель компьютерного зрения , работающая с захваченными изображениями в формате RGB. Мы рассматриваем как задачи классификации изображений, так и задачи обнаружения объектов. После развертывания патч наблюдается в условиях реалистичных операционных вариаций, включая изменения расстояния, азимута, угла места, положения камеры и контекста сцены. Эти факторы не полностью контролируются злоумышленником во время тестирования, однако они определяют, останется ли развернутый патч видимым, геометрически выровненным и эффективным на практике..
Доступ оценщика. Мы предполагаем, что оценщик имеет доступ к чистой многоракурсной съемке целевой сцены или объекта, на основе которой может быть реконструировано чистое представление сцены. Оценщик также располагает атакованным изображением опорного ракурса , сгенерированным внешним конвейером атаки, и бинарной маской патча , определяющей область патча на этом ракурсе..
Область применения и допущения. Мы фокусируемся на фиксированных, пригодных для печати, прикрепляемых к поверхности 2D состязательных патчах в реконструированных, преимущественно статических сценах. Данная область соответствует распространенной модели развертывания физических патчей: злоумышленник оптимизирует патч один раз, прикрепляет его к целевому объекту, после чего развернутый патч наблюдается с различных точек обзора и расстояний. Мы не рассматриваем полноценные 3D состязательные объекты, состязательные изменения формы, объемные возмущения, изменяющиеся во времени дисплеи, динамическое редактирование сцен, нежесткие деформации или прямую переоптимизацию атаки в 3D. Это осознанный выбор области исследования. Наша цель — оценить надежность развертывания фиксированных патчей, созданных с помощью существующих 2D конвейеров физических атак, а не генерировать новую 3D атаку, оптимизированную под конкретную сцену. Трехмерные атаки требуют иных допущений относительно изготовления, геометрии, свойств материалов, замены объектов и оптимизации, специфичной для сцены. Мы оставляем это для будущих исследований..
Мы фокусируемся на угле обзора, физическом расстоянии, положении камеры, проецируемом масштабе и контексте сцены, поскольку они являются переменными развертывания первого порядка для 2D-патчей: они напрямую влияют на пиксельное разрешение патча, геометрию обзора, частичное самоперекрытие, искажение локального внешнего вида и размещение внутри изображения. Эти выборы отражают нашу цель измерения поведения развернутого патча при доминирующих операционных переменных, а не создание универсального симулятора для всех условий состязательных атак в физическом мире..
3. AdvScene: Методология операционных измерений
Учитывая вышеуказанную модель угроз, AdvScene превращает атаку с фиксированным опорным видом в конвейер измерений, основанный на сцене. Его входными данными являются чистый мультиракурсный захват, атакованное опорное изображение и маска фрагмента ; его выходными данными являются состязательная сцена и визуализированные наблюдения, используемые для оценки операционной оболочки.
3.1. Сквозной конвейер
AdvScene реализует эти требования посредством четырехэтапного конвейера, показанного на рисунке 2. Этап 1: Реконструкция сцены восстанавливает чистую 3DGS сцену на основе многоракурсных изображений чистой реальной сцены, обеспечивая обоснованную для сцены основу для контролируемого рендеринга. Этап 2: Инстанцирование якорной атаки выбирает якорный ракурс и применяет внешний конвейер генерации состязательного патча для получения атакованного изображения и маски патча . Этап 3: Внедрение состязательного патча в сцену (APSE) переносит внешний вид атакованного якорного ракурса в реконструированную сцену, создавая состязательную сцену , которая сохраняет критически важный для атаки внешний вид, удерживая при этом патч локализованным на целевой поверхности. Этап 4: Оценка устойчивости на уровне сцены выполняет рендеринг в контролируемых условиях наблюдения и оценивает целевую модель на полученных изображениях. Это дает обоснованное для сцены измерение того, где состязательный патч работает успешно, а где терпит неудачу..
3.2. Рабочий диапазон
Результатом AdvScene является не единичный показатель успешности атаки, а операционная оболочка, которая характеризует область, где развернутый патч остается эффективным. Пусть обозначает чистую реконструированную сцену, а обозначает фиксированный состязательный патч, оптимизированный извне в 2D. Начиная с изображения опорного вида, подвергшегося атаке, и маски , AdvScene конструирует состязательную сцену , которая сохраняет критически важный для атаки внешний вид патча, при этом поддерживая локализацию и геометрическую согласованность модификации..
Пусть обозначает условие наблюдения, вызванное сценой. Мы параметризуем каждое условие с помощью
| (1) |
где управляет ориентацией камеры, управляет положением камеры относительно целевого объекта, а управляет внутренними параметрами камеры. На рисунке 3 проиллюстрированы эти группы управления. Рендеринг состязательной сцены при условии дает Пусть обозначает, успешна ли атака при условии . Мы определяем операционный конверт патча как
| (2) |
Данная область является целевым показателем измерения на уровне сцены для AdvScene. Она фиксирует не только то, успешно ли работает патч при опорном угле обзора, но и область условий наблюдения, при которых он остается эффективным после развертывания. На практике мы оцениваем эту область путем выборки условий наблюдения и регистрации поведения атаки по соответствующим корзинам условий..
4. APSE: Точное встраивание патчей в сцену ⟦K0⟧
APSE реализует этап 3 в разделе 3.1. Учитывая атакованный опорный вид , маску патча и чистую сцену , APSE конструирует состязательную сцену для оценки на уровне сцены..
APSE должен удовлетворять трем целям встраивания. Во-первых, он должен сохранять состязательный патч: отрендеренный патч должен сохранять критически важный для атаки внешний вид патча опорного вида. Во-вторых, он должен сохранять чистую сцену: области вне патча должны оставаться неизменными, чтобы сбои в работе последующих систем можно было отнести на счет развернутого патча, а не несвязанных изменений сцены. В-третьих, он должен сохранять геометрию поверхности патча: патч должен оставаться прикрепленным к целевой поверхности, а не превращаться в плавающий слой или артефакт, зависящий от точки обзора..
Эта проблема фундаментально недоопределена: только опорный ракурс обеспечивает контроль над атакованным изображением, в то время как результирующая состязательная сцена должна оцениваться с новых точек обзора. Это ограничение является практическим и намеренным. Существующие конвейеры физических патчей обычно оптимизируют патч с одного выбранного ракурса, и наша цель — оценить фиксированную атаку, созданную такими конвейерами. Хотя можно было бы физически прикрепить оптимизированный патч и собрать атакованные изображения с множества ракурсов, это потребовало бы дополнительных физических экспериментов для каждого патча, сцены и варианта атаки, что неосуществимо для систематического анализа на уровне сцены. Поэтому APSE использует только атакованный опорный ракурс в качестве прямого контроля, используя при этом чистые вспомогательные ракурсы для ограничения локальности, сохранения сцены и привязки к поверхности..
APSE организован вокруг четырех компонентов. Раздел 4.1 представляет гибридное гауссово представление, которое объединяет повторно используемые гауссианы сцены с вновь созданными патч-гауссианами. Раздел 4.2 переносит состязательный внешний вид из опорного ракурса, сохраняя при этом чистую сцену за пределами патча. Раздел 4.3 использует вспомогательные ракурсы для подавления утечек и артефактов, специфичных для ракурса. Раздел 4.4 инициализирует и ограничивает созданные гауссианы таким образом, чтобы патч оставался прикрепленным к целевой поверхности, включая тонкие объекты, такие как дорожные знаки. Вместе эти компоненты превращают атаку с одного ракурса в локализованную, прикрепленную к поверхности состязательную сцену для измерения операционного конверта..
4.1. Гибридное гауссово представление
Пусть обозначает чистую реконструированную 3DGS сцену, — изображение с атакованным опорным ракурсом, а — маску патча. APSE конструирует путем редактирования выбранных гауссианов из и добавления новых гауссианов в область патча.
Наивный подход терпит неудачу по двум причинам. Повторное использование только существующих 3D Gaussian Splatting сцен сохраняет геометрию поверхности, однако эти гауссианы были оптимизированы для реконструкции чистого внешнего вида объекта. Их пространственная плотность, масштаб и непрозрачность могут не обладать достаточной локальной емкостью для воспроизведения высокочастотных состязательных паттернов в области заплатки. И наоборот, использование только вновь созданных гауссианов обеспечивает емкость для передачи внешнего вида, но результат оказывается слабо ограниченным единственным атакуемым опорным ракурсом. В таком случае новые гауссианы могут объяснить опорное изображение через отделенный слой переднего плана, утечку за пределы целевой поверхности или специфичный для ракурса трехмерный «короткий путь», который не соответствует физической заплатке..
Таким образом, APSE использует гибридное представление с двумя подмножествами Гауссианов: для повторно используемых Гауссианов целевой поверхности и для вновь созданных Гауссианов патча. APSE выбирает путем проецирования Гауссианов чистой сцены на атакуемый опорный вид и сохранения тех Гауссианов, центры которых проецируются внутрь , являются достаточно непрозрачными и имеют глубину, согласующуюся с глубиной отрендеренного опорного вида. Таким образом, сохраняет реконструированную поверхностную поддержку объекта. APSE плотно генерирует из маски патча для обеспечения дополнительной локальной емкости. Каждый созданный Гауссиан инициализируется на основе атакуемого опорного вида: его цвет инициализируется из , его непрозрачность инициализируется фиксированным значением, его масштаб инициализируется на основе целевого проецируемого радиуса, а его центр инициализируется на оцененной поверхности патча в 3D.
APSE оптимизирует два подмножества асимметрично. Для повторно используемых гауссианов обновляются только параметры внешнего вида, включая цвет и непрозрачность , в то время как геометрия остается фиксированной. Это сохраняет реконструированную поверхность объекта и предотвращает искажение геометрии чистой сцены для соответствия атакованному изображению. Для вновь созданных гауссианов APSE оптимизирует цвет, непрозрачность, центр и масштаб , сохраняя ориентацию фиксированной. Это дает патчу дополнительную локальную емкость внешнего вида без введения еще одной слабо ограниченной геометрической степени свободы при контроле со стороны атакованного изображения с одного ракурса..
Последующее перемещение вновь созданных гауссианов ограничивается механизмом прикрепления к поверхности, описанным в разделе 4.4. Таким образом, в этом разделе определяется редактируемое гауссово представление, в то время как в разделе 4.4 уточняется, каким образом созданные гауссианы удерживаются прикрепленными к целевой поверхности во время оптимизации..
4.2. Точность опорного вида и сохранение сцены
Гибридное представление определяет локальные степени свободы, которые может изменять APSE. Якорный вид является единственным видом с контролем по атакованному изображению, поэтому он должен одновременно переносить состязательный внешний вид внутри патча и предотвращать не связанные с ним изменения сцены вне патча.
Пусть обозначает чистый рендер в опорном ракурсе, а обозначает текущий состязательный рендер. Внутри маски патча APSE сопоставляется с атакованным опорным изображением:
| (3) |
За пределами маски патча APSE сохраняет чистую реконструкцию:
| (4) |
Эти две функции потерь формируют ограниченный перенос внешнего вида: внедряет критически важный для атаки сигнал только там, где разрешено появление патча, в то время как предотвращает глобальные цветовые сдвиги, утечки по границам или не относящиеся к делу изменения сцены. Оставшаяся неопределенность заключается в поведении при смене ракурса: множество 3D-эмбеддингов могут соответствовать одному и тому же опорному ракурсу, но вести себя по-разному при взгляде с новых точек обзора. APSE устраняет эту неопределенность с помощью метода удержания вспомогательного ракурса, который ограничивает поведение внедренного патча за пределами опорного ракурса..
4.3. Ограничение вспомогательного вида
Вспомогательные виды ограничивают встроенный патч при изменениях точки обзора без введения дополнительного контроля над атакованным изображением. Эти виды не имеют целевых атакованных изображений. Вместо этого они обеспечивают принцип локализации: патч должен появляться только там, где проецируется его обучаемая гауссова опора, а остальная часть сцены должна оставаться неизменной..
Для вспомогательного ракурса , пусть и обозначают состязательный и чистый рендеры соответственно. Пусть обозначает спроецированную область поддержки обучаемых патч-гауссианов в ракурсе . APSE использует два вспомогательных ограничения вне этой области поддержки: член сохранения RGB, который подавляет непреднамеренные изменения внешнего вида, и член подавления непрозрачности, который препятствует появлению артефактов в виде плавающих патчей. Член сохранения RGB определяется как
| (5) |
Этот термин предотвращает загрязнение оптимизацией патча несвязанных областей сцены.
Член подавления непрозрачности штрафует ложную непрозрачность переднего плана вне области поддержки проецируемого патча. Пусть обозначает карту непрозрачности, полученную методом рендеринга при угле обзора . Мы определяем
| (6) |
Этот член штрафует диффузные или плавающие артефакты в виде пятен, которые не совпадают с целевой поверхностью.
Вспомогательные функции потерь усредняются по всем вспомогательным видам: В совокупности эти функции потерь ограничивают допустимые 3D эмбеддинги теми, которые остаются локализованными в пределах проекции области поддержки, сохраняя при этом исходную сцену неизменной для всех вспомогательных точек обзора..
4.4. Прикрепление к поверхности и обработка тонких объектов
Ограничения вспомогательных видов удерживают патч локально в отрендеренных видах, но они не определяют полностью, где именно должны быть размещены вновь созданные Гауссианы в 3D. Это особенно важно для тонких объектов, таких как дорожные знаки, где небольшие ошибки глубины вблизи границ объекта или шум реконструкции могут привести к размещению Гауссианов перед знаком, позади него или на близлежащей фоновой геометрии. Такие ошибки могут сделать патч визуально отделенным, даже если рендер опорного вида выглядит корректно..
Затем APSE оценивает поверхность переднего плана перед созданием новых Гауссианов. Учитывая и чистую карту глубины , APSE собирает корректные пиксели глубины внутри маски и сохраняет ближайший квантиль глубины, который соответствует видимой передней поверхности. Обратная проекция этих пикселей дает трехмерные точки переднего плана, на основе которых APSE аппроксимирует плоскость. Новые Гауссианы инициализируются путем пересечения лучей камеры опорного вида с этой аппроксимированной плоскостью и небольшого смещения центров вдоль нормали к плоскости. Это позволяет получить согласованную поверхность переднего плана вместо копирования зашумленных значений глубины для каждого пикселя..
В процессе оптимизации APSE ограничивает каждый порожденный Gaussian вокруг его начального поверхностного якоря . Для каждого Gaussian APSE определяет локальную систему координат поверхности с двумя касательными направлениями и одним нормальным направлением. После каждого обновления оптимизатора APSE проецирует смещение центра в эту локальную систему координат, ограничивает касательные компоненты значением , а нормальный компонент — значением . Касательная граница ограничивает расстояние, на которое Gaussian может смещаться в пределах окрестности патча, в то время как нормальная граница предотвращает его «парение» перед поверхностью или за ней..
В дополнение к этому жесткому ограничению, APSE применяет функцию потерь мягкого прикрепления к нормали. Пусть — текущий центр созданного Гауссиана, — его начальный центр, а — локальная нормаль поверхности. Определим . APSE использует
| (7) |
Здесь управляет масштабом нормального расстояния, а ограничение предотвращает доминирование одного выброса в функции потерь. В совокупности инициализация переднего плана, фиксация локального кадра и функция потерь привязки к нормали удерживают патч на целевой поверхности, вместо того чтобы формировать плавающий слой или просачиваться на фоновую геометрию.
4.5. Общая цель
Целевая функция APSE объединяет перенос опорного вида, сохранение сцены, удержание вспомогательного вида и привязку к поверхности:
| (8) | ||||
Первые два слагаемых обеспечивают точность патча и сохранение сцены в опорном ракурсе согласно Eq. (3) и Eq. (4). Вспомогательные слагаемые сохраняют локальность между ракурсами согласно Eqs. (5) и (6), а нормальное слагаемое способствует привязке к поверхности согласно Eq. (7). Только опорный ракурс обеспечивает супервизию для атакованных изображений. Вспомогательные ракурсы предоставляют ограничения на сохранение и локализацию, при этом никакое целевое атакованное изображение не навязывается вне опорного ракурса. В результате APSE передает состязательный сигнал локально, избегая глобальных изменений сцены и оторванных геометрических артефактов..
5. Оценка
Наше исследование проверяет, обеспечивает ли AdvScene достоверное и полезное измерение устойчивости к состязательным патчам на уровне сцены. Мы фокусируемся на четырех основных вопросах.
- ⟦• RQ1: Поведенческая точность. Сохраняет ли AdvScene визуальный облик и атакующее поведение развернутого физического патча при сопоставлении физических и отрендеренных наблюдений??
- ⟦• RQ2: Измерение операционной оболочки. Как изменяется эффективность фиксированного развернутого патча при варьировании точки обзора, расстояния и условий наблюдения, обусловленных сценой?
- ⟦• RQ3: Факторы сцены. Какие факторы наблюдения, включая угол обзора, расстояние, масштаб проецируемого фрагмента и положение в плоскости изображения, наиболее сильно объясняют изменения в успешности атаки?
- ⟦• RQ4: Дизайн атаки. Какие распространенные методы генерации патчей, такие как EOT и регуляризационные члены, действительно расширяют операционный конверт после развертывания?
Эти вопросы отражают центральную цель AdvScene: оценку состязательного патча как фиксированного физического объекта, размещенного в реальной сцене, а не как изолированного возмущения изображения. Соответственно, наша оценка показывает, как поведение атаки варьируется в зависимости от условий, создаваемых сценой, и использует operational envelope для характеристики того, где развернутый патч остается эффективным.
Мы организуем оценку соответствующим образом в четыре этапа. Сначала мы проверяем AdvScene, используя сопоставленные физические захваты, чтобы проверить, сохраняет ли реконструированная состязательная сцена как визуальную точность, так и поведение атаки. Затем мы измеряем устойчивость сцены в масштабе для объектно-ориентированных сцен и сцен вождения. Далее мы анализируем, какие факторы сцены доминируют в снижении успеха атаки после развертывания. Наконец, мы изучаем, расширяют ли распространенные варианты проектирования физических атак операционную оболочку фиксированного развернутого патча.
5.1. Экспериментальный протокол и метрики
Цели атаки. Мы оцениваем три цели атаки. Для классификации изображений мы рассматриваем целевые атаки, при которых патч направлен на вызов заданной злоумышленником метки, и нецелевые атаки, при которых патч направлен на подавление правильного предсказания. Для обнаружения объектов мы рассматриваем атаки на исчезновение, при которых патч направлен на подавление выходных данных детектора для атакуемого объекта. Во всех случаях патч оптимизируется только с опорного ракурса, а затем остается неизменным во время оценки на уровне сцены..
Стандартные настройки. Если не указано иное, стандартный размер патча составляет целевого объекта. Стандартная целевая функция физической атаки включает EOT, показатель непечатности (NPS), полную вариацию (TV) и регуляризацию. Подробные настройки приведены в Приложении C. В разделе 5.4 сравниваются эти варианты проектирования атак, чтобы определить, какие из них повышают устойчивость на уровне сцены после развертывания..
Метрики оценки. Мы приводим показатели поведения атаки по интервалам обзора, а не в виде единого усредненного по сцене числа. Пусть обозначает набор наблюдений, соответствующих конкретному интервалу условий, такому как интервал расстояния-угла на тепловой карте или диапазон значений в одномерной развертке. Для типа наблюдения мы определяем коэффициент успешности атаки (ASR) как
| (9) |
где индексирует сцену, индексирует условие наблюдения, — соответствующее изображение, а — индикатор успешности атаки для конкретной задачи. При крупномасштабной оценке рендеринга . При оценке соответствия физических и отрендеренных данных . Для нецелевых атак на классификацию и атак на исчезновение объектов доброкачественные сбои могут возникать при сложных ракурсах даже без использования состязательного патча. Поэтому мы сообщаем о приросте атаки,
| (10) |
ASR измеряет чистый успех атаки в пределах одного интервала условий, в то время как AG изолирует дополнительный отказ, вызванный развернутым патчем.
5.2. Валидация точности ⟦K0⟧ AdvScene с использованием физических захватов
Сначала мы оцениваем, сохраняет ли AdvScene как внешний вид, так и атакующее поведение развернутого состязательного патча при сопоставлении физических и отрендеренных наблюдений. Эта проверка позволяет определить, может ли отрендеренная состязательная сцена служить надежным прокси-объектом для последующей оценки атак на уровне сцены..
Протокол оценки. Мы создаем физический набор валидации из сцен, каждая из которых содержит один целевой объект: знак «Стоп», знак «Тише», знак ограничения скорости, ноутбук, книгу, конверт или папку, в среднем по изображений на сцену с разных ракурсов. Для каждой сцены мы сначала захватываем доброкачественные многоракурсные изображения и реконструируем чистую модель 3DGS. Затем мы выбираем опорный ракурс и генерируем целевой состязательный патч. Патч внедряется в 3DGS с использованием APSE для получения состязательной сцены.
Независимо от этого, мы распечатываем и физически прикрепляем тот же патч к целевому объекту и собираем изображения при различных ракурсах камеры. Для каждого физического изображения мы оцениваем соответствующую позу камеры и выполняем рендеринг состязательной 3DGS с той же позиции, получая сопоставленные наблюдения Эти пары позволяют проводить прямое сравнение между физическим поведением и поведением при рендеринге в условиях совпадающих точек обзора. Для этого исследования сопоставления физических данных и рендеринга мы используем классификатор Vision Transformer (ViT) (Dosovitskiy et al., 2021) в качестве модели-жертвы как для оптимизации патча, так и для оценки сопоставления физических данных и рендеринга. В этих контролируемых условиях исследуется, сохраняет ли реконструированная состязательная сцена поведение атаки, наблюдаемое при физической съемке..
Визуальная точность. Мы сначала проверяем, сохраняет ли APSE внешний вид и расположение развернутого патча при сопоставлении физических и отрендеренных наблюдений. Цель состоит в том, чтобы убедиться, что отрендеренный патч остается прикрепленным к целевой поверхности и что окружающая сцена сохраняется перед оценкой поведения атаки на уровне принятия решений. Рисунок 4 показывает три парных сравнения: чистый физический захват и соответствующий ему чистый рендер, за которыми следуют два физических захвата с патчем и их соответствующие состязательные рендеры с тех же оценочных положений камеры. Таблица 2 дополнительно количественно оценивает это выравнивание путем измерения расстояний между исходным изображением, чистым рендером и состязательным рендером. APSE сохраняет внешний вид локального патча, оставляя окружающую сцену практически неизменной. Состязательный рендер достигает низкой ошибки в области патча относительно оптимизированного цифрового патча, а разница фона между чистым и состязательным рендерами остается незначительной. Это подтверждает возможность использования отрендеренной сцены для последующей проверки поведения атаки, поскольку сбои модели могут быть отнесены в первую очередь к развернутому патчу, а не к не связанным с ним изменениям сцены..
| Comparison | ||
|---|---|---|
| Full frame (clean render vs. raw image) | 0.137 | 0.117 |
| Patch region (clean render vs. raw image) | 0.119 | 0.113 |
| Non-patch region (clean render vs. raw image) | 0.137 | 0.116 |
| Patch region (adv render vs. digital patch) | 0.101 | 0.080 |
| Background (adv render vs. clean render) | 0.049 | 0.068 |
Точность поведения атаки при совпадающих ракурсах. Далее мы оцениваем, приводят ли визуализированные и физические наблюдения к согласованному поведению атаки при одних и тех же ракурсах камеры. Для пары физического и визуализированного изображений, соответствующих ракурсу , пусть будет физическим снимком, а — соответствующим рендером APSE. Для интервала условий мы приводим физический ASR, визуализированный ASR и их совокупную согласованность ASR. Согласованность ASR определяется как
| (11) |
Данная метрика измеряет совокупное согласие между результатами физических и отрендеренных атак в пределах одного и того же интервала условий. Более высокая согласованность указывает на то, что отрендеренная настройка лучше соответствует уровню успешности физической атаки в данном интервале..
Мы сравниваем APSE с базовым методом посредством преобразования плоскости изображения, что отражает общепринятую практику оценки (например, EOT), используемую в случаях, когда доступен только один атакованный ракурс. Учитывая оценочную позу, базовый метод геометрически преобразует оптимизированный 2D-патч в соответствии с этим ракурсом и накладывает его на соответствующий исходный 3DGS-рендер. Этот базовый метод использует тот же патч и тот же чистый рендер сцены, что и APSE, но не создает внедренный в сцену состязательный патч. Таким образом, он проверяет, достаточно ли простого преобразования патча в плоскости изображения для прогнозирования поведения физической атаки..
|
|
|
baseline | AdvScene | ||||||||
| 95.98 | ||||||||||||
| 98.51 | ||||||||||||
| 99.81 | ||||||||||||
| 96.97 | ||||||||||||
| 95.56 | ||||||||||||
| 94.74 | ||||||||||||
| 82.53 | ||||||||||||
| 85.45 | ||||||||||||
| all | all | 99.30 | ||||||||||
Результат 1. AdvScene лучше соответствует поведению физических атак, чем наложения на плоскости изображения. Таблица 3 показывает, что физический ASR составляет 45,26%, в то время как AdvScene сообщает о 45,96%, что дает совокупную согласованность 99,30%. Базовый метод преобразования плоскости изображения достигает лишь 93,54% согласованности и наиболее явно терпит неудачу при косых углах обзора. В диапазоне близких расстояний и больших углов физический ASR почти равен нулю, тогда как базовый метод плоскости изображения предсказывает высокий успех атаки. Это указывает на то, что оценка на основе наложений может приводить к галлюцинациям относительно риска развертывания, сохраняя фронтально-параллельный вид патча, который реальный прикрепленный к поверхности патч потерял бы при косом угле обзора..
AdvScene не является одинаково надежным во всех режимах. На больших дистанциях AdvScene переоценивает физический ASR, вероятно, из-за того, что цель занимает меньше пикселей, а ошибки реконструкции или позирования оказывают большее влияние на поведение. Поэтому мы рассматриваем сопоставленную физическую валидацию как этап калибровки. В следующих экспериментах мы фокусируемся на режимах ближней и средней дистанции с высокой степенью достоверности, где соответствие между физическим и отрендеренным ASR является наиболее сильным..
5.3. Устойчивость сцены в масштабе
После проверки поведенческой точности с помощью физических захватов мы используем AdvScene для измерения устойчивости состязательных сцен в масштабе.
Протокол оценки. Для каждой сцены мы выбираем опорный ракурс, генерируем один фиксированный состязательный патч с этого ракурса, внедряем патч в реконструированную сцену с использованием APSE и визуализируем как доброкачественные, так и состязательные наблюдения в контролируемых условиях, обусловленных сценой. Этот протокол сохраняет патч фиксированным и варьирует только условия наблюдения, что позволяет нам измерить операционный конверт развернутого патча. В соответствии с физической валидацией в разделе 5.2, мы интерпретируем основные тенденции устойчивости сцены в области высокой достоверности, где визуализированное поведение хорошо согласуется с соответствующими физическими захватами..
Наборы данных, задачи и целевые модели. Для оценки устойчивости сцен в крупном масштабе мы используем два взаимодополняющих набора данных реальных сцен. Набор данных CO3D (Reizenstein et al., 2021) предоставляет многоракурсные снимки, центрированные на объектах, где изменения точки обзора могут контролироваться вокруг доминирующего целевого объекта. Такая настройка позволяет изолировать то, как фиксированный патч переносится при изменениях ракурса относительно объекта. Набор данных Waymo (Sun et al., 2020) предоставляет сцены вождения, снятые с камер, установленных на транспортных средствах, где цель претерпевает естественные изменения расстояния, проекционного масштаба, точки обзора, фона и частичного перекрытия. Эта настройка проверяет то же допущение о фиксированном патче в более реалистичной для развертывания среде. Мы используем сцен CO3D и сцен Waymo, содержащих дорожные знаки. На CO3D мы оцениваем целевую классификацию, нецелевую классификацию и исчезновение детекции. Целевая классификация измеряет, вызывает ли патч метку, заданную атакующим; нецелевая классификация измеряет, подавляет ли он правильную метку; а исчезновение измеряет, подавляет ли он выход детектора для атакуемого объекта. На Waymo мы фокусируемся на атаках на исчезновение, которые наиболее актуальны для восприятия при вождении. Для классификации мы оцениваем ViT-B/16 (Dosovitskiy et al., 2021), ResNet-50 (He et al., 2016) и ConvNeXt (Liu et al., 2022). Для детекции мы оцениваем YOLOv8 (Jocher et al., 2023) и RT-DETR (Lv et al., 2024).⟧.
Генерация сцен. Для каждой сцены мы визуализируем как доброкачественные, так и состязательные виды в рамках контролируемых измерений: рыскание, тангаж, крен, азимут, угол места, радиус, масштаб фокусного расстояния, горизонтальный сдвиг и вертикальный сдвиг. Каждое измерение дискретизируется по значениям с вариантами шума для каждого значения, что приводит к визуализированным видам для каждой сцены. Поскольку расстояние до объекта может существенно варьироваться в разных сценах, мы представляем радиус как нормализованный множитель расстояния: радиус соответствует расстоянию до опорного вида, в то время как значения ниже или выше приближают или удаляют камеру от цели..
5.3.1. Результаты CO3D
На рисунках 5, 6 и 7 показана устойчивость, обусловленная сценой, в наборе данных CO3D применительно к целевой классификации, нецелевой классификации и атакам на исчезновение. Эти рисунки содержат полные одномерные развертки изменений, ориентированных на камеру (рыскание, тангаж, крен), изменений, ориентированных на объект (азимут, угол места, радиус), и внутренних изменений (фокусный масштаб, горизонтальный сдвиг, вертикальный сдвиг). На графиках целевой классификации приводится показатель ASR, в то время как на графиках нецелевой классификации и исчезновения приводится показатель прироста атаки для отделения состязательных сбоев от доброкачественных сбоев при сложных ракурсах..
Результат 2. Успешность с опорного ракурса является локальной и часто переоценивает устойчивость в условиях эксплуатации. Для целевой классификации на Рисунке 5 показано, что ASR достигает максимума вблизи условий, центрированных по опорному ракурсу, и снижается по мере удаления камеры или объекта от оптимизированной позы. Снижение особенно заметно для рыскания, тангажа, азимута, угла места, радиуса, масштаба фокуса и сдвигов в плоскости изображения, где изменения влияют на форму проецируемого патча, видимую область, масштаб или положение. Это доказывает, что патч, успешный на опорном изображении, не обязательно остается эффективным после развертывания. Результаты для нецелевых атак и атак на исчезновение на Рисунках 6 и 7 демонстрируют более широкую устойчивость, чем целевые атаки, но их эффективность все равно снижается при значительных изменениях ракурса, радиуса, масштаба фокуса и сдвигах изображения. Для нецелевой классификации выигрыш от атаки формирует концентрированные пики вокруг условий, центрированных по опорному углу и радиусу для ViT, ResNet и ConvNeXt, в то время как производительность падает при больших смещениях. Для атак на исчезновение YOLOv8 и RT-DETR показывают различные абсолютные выигрыши и паттерны чувствительности, но оба демонстрируют, что развернутый патч не сохраняет равномерную эффективность при различных ракурсах, обусловленных сценой..
Вывод 3. Устойчивость сцены неравномерно контролируется размерностями наблюдения. Рыскание, тангаж, азимут, угол места, радиус, фокусный масштаб и сдвиги плоскости изображения изменяют форму проецируемого патча, видимую область, положение на изображении или локальный контекст и, следовательно, вызывают явное падение ASR или AG. Напротив, крен оказывает более слабое влияние, поскольку он в значительной степени сохраняет площадь проецируемого патча и удерживает патч привязанным к той же области объекта. Фокусный масштаб демонстрирует еще одну отчетливую закономерность: уменьшение фокусного масштаба отдаляет изображение и сокращает пиксельную поддержку патча, в то время как увеличение фокусного масштаба расширяет проецируемую площадь и улучшает ASR до тех пор, пока эффект не насыщается или контекст не обрезается. Эти результаты показывают, что устойчивость сцены зависит от того, как каждая размерность наблюдения изменяет физическую видимость и эффективную площадь развернутого патча.
5.3.2. Результаты оценки Waymo
На рисунке 8 представлены результаты атаки на исчезновение в наборе данных Waymo. По сравнению с CO3D, прирост эффективности атаки более неравномерен при изменении ракурсов. Патч по-прежнему может увеличивать частоту исчезновений при благоприятных условиях камеры и масштаба, однако этот прирост быстрее снижается по мере того, как объект подвергается более значительным изменениям точки обзора, расстояния и положения в плоскости изображения. Это отражает дополнительную сложность дорожных сцен, где объект имеет меньший размер, чаще наблюдается под косыми углами и встроен в более сложные фоны..
Вывод 4. Сцены вождения создают направленные, асимметричные операционные конверты. В отличие от захватов CO3D, центрированных на объектах, наблюдения Waymo обусловлены траекториями транспортных средств, геометрией полос движения, креплением камер и расположением придорожных объектов. В наших экспериментах атакуемыми объектами являются преимущественно придорожные дорожные знаки, а выбранный опорный ракурс не является фронтальным каноническим видом. Следовательно, возмущения вокруг опорного состояния по своей природе являются направленными: перемещение камеры в одном направлении может сделать дорожный знак более наклонным, уменьшить площадь видимого участка или сместить цель к границе изображения. Эта асимметрия усиливается условиями вождения, поскольку транспортное средство наблюдает за знаком вдоль односторонней траектории, а не с равномерно распределенной сферы обзора. В результате несколько кривых на рисунке 8 не являются симметричными относительно опорного состояния. Это указывает на то, что развернутый конверт атаки в сценах вождения является направленным, а не симметричным..
Вывод 5. Операционные конверты зависят от модели даже при одинаковой траектории сцены. Сравнение детекторов дополнительно показывает, что YOLOv8 и RT-DETR демонстрируют различные паттерны чувствительности при одних и тех же изменениях отрендеренного вида. Правдоподобное объяснение заключается в том, что два детектора полагаются на разные механизмы локализации и агрегации признаков. YOLOv8 использует плотные локальные предсказания и может быть более чувствителен к нарушению локальной текстуры вблизи области знака, в то время как RT-DETR использует глобальное рассуждение на основе запросов и может в большей степени полагаться на контекстные и объектно-ориентированные признаки. Таким образом, один и тот же след проецируемого патча может по-разному влиять на два детектора при изменении расстояния, масштаба и точки обзора..
Этот результат также объясняет, почему оценка с одного ракурса ненадежна для измерения устойчивости сцены. Два детектора могут демонстрировать схожие результаты атаки при опорном ракурсе, но их области уязвимости могут расходиться, как только меняются расстояние, масштаб и точка обзора. Таким образом, успех только при опорном ракурсе не может определить, обладает ли развернутый патч широким, не зависящим от модели операционным конвертом..
5.3.3. Влияние размера и формы патча
На рисунке 9 показано, что патчи большего размера, как правило, достигают более высокого ASR, поскольку они сохраняют большую проекцию состязательного следа. Однако все размеры по-прежнему демонстрируют снижение эффективности за пределами благоприятного диапазона радиуса и при наклонном угле обзора. На рисунке 10 показана аналогичная закономерность для формы патча: круглые и квадратные патчи имеют сопоставимые операционные оболочки, лишь с незначительными различиями в пиковых значениях ASR. Таким образом, простые изменения геометрии патча влияют на силу сигнала, но не устраняют основные режимы отказа, связанные с расстоянием и углом обзора..
Вывод 6. Увеличение площади патча повышает силу атаки, но не устраняет геометрические режимы отказа. Увеличение размера патча, как правило, повышает ASR за счет сохранения большей проекции состязательной области. Однако на Рисунке 9 показано, что все протестированные размеры по-прежнему демонстрируют снижение эффективности за пределами благоприятных диапазонов радиуса и углов обзора. Аналогично, на Рисунке 10 видно, что круглые и квадратные патчи формируют схожие очертания операционной оболочки. Таким образом, простые изменения геометрии патча влияют на силу сигнала, но рабочая область остается ограниченной видимостью, проекцией и геометрией обзора..
5.4. Эффективность методов физических атак
Мы дополнительно используем AdvScene для изучения того, улучшают ли распространенные методы физических атак устойчивость сцены. Каждый вариант патча оптимизируется один раз с опорного ракурса, внедряется в реконструированную сцену с использованием той же процедуры APSE и оценивается в том же контролируемом пространстве ракурсов. Таким образом, сравнение определяет, улучшает ли метод состязательного патча операционную оболочку развернутого патча, а не только повышает успешность на опорном ракурсе. Это сравнения дизайна атак, а не абляции компонентов APSE: структура оценки остается неизменной. Все варианты используют одну и ту же целевую классификационную атаку на наборе данных CO3D.
5.4.1. Величина EOT.
Ожидание по преобразованиям (EOT) оптимизирует патч при выбранных преобразованиях таким образом, чтобы он оставался эффективным за пределами опорного ракурса. Мы варьируем величину преобразований EOT. Подробные настройки приведены в приложении C.2.1. Как показано на рисунке 11, без EOT развернутый патч практически не обладает устойчивостью сцены. Слабое EOT незначительно улучшает ASR, но этого остается недостаточно как по радиусу, так и по углу обзора. Сильное EOT существенно расширяет операционный конверт, обеспечивая более высокий ASR в благоприятном диапазоне радиусов и более широкую область эффективных углов обзора. Очень сильное EOT дает сопоставимый или немного более высокий ASR вблизи области, центрированной на опорном ракурсе, но его преимущество перед сильным EOT не является последовательным. Это указывает на пороговый эффект: EOT должно охватывать достаточно большие преобразования, чтобы соответствовать вариациям, вызванным сценой, но чрезмерное увеличение диапазона не гарантирует пропорционального улучшения..
5.4.2. Компоненты EOT.
Мы сравниваем три варианта компонентов EOT: геометрические возмущения, размытие и возмущения камеры. Геометрический компонент применяет преобразования обрезки, перспективы, вращения, сдвига и масштабирования; компонент размытия применяет размытие, шум и сжатие JPEG; а настройка только для камеры применяет понижение разрешения и квантование камеры. Рисунок 12 показывает, что геометрия является доминирующим компонентом EOT. Вариант только с геометрией достигает сильнейшего или почти сильнейшего ASR вокруг направления обзора, центрированного на опорной точке, и в значительной степени соответствует полному EOT при обзоре под разными углами. Напротив, возмущения только с размытием и только с камерой остаются близкими к нулю в большинстве условий радиуса и угла обзора, что показывает, что общее ухудшение изображения само по себе не обеспечивает значимого охвата сцены. Вдоль размерности радиуса полный EOT обеспечивает более широкую поддержку, чем только геометрия, что предполагает, что объединение возмущений может улучшить стабильность расстояния. В целом, основной выигрыш достигается за счет геометрически-ориентированных преобразований, которые подвергают патч изменениям позы, масштаба и проекции во время оптимизации..
5.4.3. Регуляризация показателя непечатности (NPS).
NPS поощряет использование оптимизированным патчем цветов, пригодных для печати. Мы установили вес для отсутствия NPS на , низкого NPS на , базового уровня на и высокого NPS на . Как показано на Рисунке 13, кривые при различных весах NPS близки друг к другу в зависимости от радиуса и угла обзора. Высокий NPS иногда дает немного более высокий ASR вблизи благоприятного диапазона радиусов или вокруг направления обзора, центрированного на опорной точке, но улучшение не является систематическим. NPS также заметно не сужает операционную область, что говорит о том, что ограничения на цвета, пригодные для печати, не обязательно ослабляют эффективность атаки на уровне сцены в наших условиях. Однако NPS сам по себе не расширяет эту область. Он в основном служит ограничением для физического развертывания, а не основным механизмом обеспечения устойчивости..
5.4.4. Регуляризация полной вариации (TV).
Регуляризация TV способствует пространственной гладкости в оптимизированном патче. Мы установили вес для отсутствия TV на , низкого TV на , базового уровня на и высокого TV на . Как показано на Рисунке 14, TV оказывает умеренный, но более заметный эффект, чем NPS, в некоторых областях. Более высокие веса TV имеют тенденцию улучшать ASR в пределах благоприятного диапазона радиуса и поддерживать несколько более высокий ASR по мере удаления камеры от опорного расстояния. Кривые углов обзора также показывают небольшие приросты вблизи области, центрированной на опорной точке, но общая форма операционной оболочки остается схожей при различных настройках TV. Таким образом, пространственная гладкость может улучшить локальную стабильность, но она не устраняет основные геометрические виды отказов, вызванные расстоянием и наклонным углом обзора..
Результат 7. Геометрически-ориентированный EOT расширяет границы, с убывающей отдачей после достижения достаточного диапазона. Среди методов физических атак, которые мы оцениваем, EOT является единственным, который существенно расширяет область на уровне сцены, где развернутый патч остается эффективным. В частности, геометрически-ориентированный EOT является необходимым, поскольку он напрямую моделирует изменения позы, масштаба и проекции, возникающие после развертывания. Напротив, NPS и TV регуляризация фундаментально не меняют того, где патч оказывается успешным или терпит неудачу в сцене. NPS в основном ограничивает пригодность для печати, в то время как TV поощряет пространственную гладкость и обеспечивает умеренную локальную стабильность в некоторых областях. Однако ни то, ни другое не преодолевает основные геометрические источники сбоев на уровне сцены. Этот результат подтверждает необходимость оценки операционного конверта: метод, который улучшает физическую правдоподобность или оптимизацию опорного вида, не обязательно улучшает развернутую устойчивость в реалистичных условиях просмотра..
5.4.5. Влияние Регуляризация
⟦ регуляризация ограничивает амплитуду оптимизированного патча на уровне пикселей и может сделать узор менее визуально агрессивным. Однако сильные ограничения амплитуды могут также подавлять состязательные признаки, необходимые для успешности атаки. Этот компромисс помогает объяснить, почему современные физические патч-атаки часто делают упор на задачи, ориентированные на развертывание, такие как EOT, ограничения на печать, полная вариация и натуралистические априорные распределения, вместо того чтобы рассматривать как основной механизм физической устойчивости (Eykholt et al., 2018; Thys et al., 2019; Hu et al., 2021; Zhu et al., 2023)⟧.
Наша оценка, обусловленная сценой, проясняет этот компромисс. Рисунок 15 показывает, что добавление регуляризации существенно не снижает эффективность развернутой атаки в пределах операционной оболочки. Кривые для отсутствующей, низкой, средней и высокой регуляризации в значительной степени перекрываются, что указывает на то, что операционная оболочка не определяется ограничением амплитуды на уровне пикселей. Хотя изменяет оптимизированный вид патча и может незначительно влиять на производительность опорного вида, его эффект гораздо слабее, чем факторы, обусловленные сценой, такие как проецируемая площадь, видимость и геометрия обзора..
Вывод 8. регуляризация не является узким местом устойчивости на уровне сцены для развернутых патчей. Недавние физические атаки часто отдают приоритет терминам устойчивости, ориентированным на развертывание, таким как EOT, NPS и TV, а не явной регуляризации. Хотя эта тенденция проектирования повышает физическую надежность, она может оставлять величину патча менее ограниченной и делать оптимизированный патч визуально менее скрытным. Наши результаты показывают, что добавление не приводит к значимому сужению операционного конверта в наших условиях оценки. Это предполагает, что может быть использована для ограничения величины патча без существенного ущерба для устойчивости атаки на уровне сцены..
6. Обсуждение и ограничения
6.1. Последствия для оценки и проектирования атак
AdvScene предполагает, что риск физических патчей следует оценивать как свойство, обусловленное сценой, а не как результат для отдельного изображения. Для оценщиков операционная оболочка определяет, где фиксированный развернутый патч остается эффективным и где оценка, ориентированная на изображение, может переоценить или недооценить риск. Для проектирования атак наши результаты разделяют методы, ориентированные на развертывание, на разные роли: геометрически-зависимый EOT расширяет оболочку, NPS и TV в основном влияют на пригодность для печати или гладкость, а регуляризация может ограничивать величину патча без уменьшения оцениваемой оболочки. Таким образом, физическая устойчивость должна быть оптимизирована с учетом вариаций развертывания, которые фактически доминируют в целевой сцене..
6.2. Ограничения
Область атаки. AdvScene оценивает фиксированные, пригодные для печати, прикрепляемые к поверхности 2D-патчи. Она не оценивает состязательные 3D-объекты, модификации формы, объемные возмущения или изменяющиеся во времени дисплеи. Это сделано намеренно: наша цель — измерить, как ведет себя существующий состязательный патч после развертывания, а не синтезировать более сильную 3D-атаку, специфичную для сцены. Трехмерные атаки требуют иных допущений относительно изготовления, свойств материалов, изменений геометрии и оптимизации под конкретную сцену, а потому требуют отдельного протокола оценки..
Качество реконструкции и позирования. AdvScene опирается на точность реконструированной 3DGS сцены и точность оценки положения камеры. Плохо реконструированные цели из-за разреженных данных могут повлиять как на визуальную точность, так и на поведение атаки. Наша сопоставленная физическая валидация частично калибрует эту проблему, но рендеринговая оценка остается аппроксимацией физического развертывания..
Физические и системные факторы, выходящие за рамки геометрии. Наша оценка сосредоточена на доминирующих геометрических и визуальных переменных, включая точку обзора, расстояние, проекционный масштаб, положение камеры и внутренние параметры камеры. Реальное развертывание может также включать изменения освещения, тени, погодные условия, размытие при движении, артефакты печати, отражательную способность поверхности, временную динамику и специфическую обработку сенсоров. Эти факторы дополняют изученные здесь эффекты геометрии сцены и могут быть включены в будущие расширения. Кроме того, в наших экспериментах оцениваются RGB классификаторы и детекторы, а не полноценные стеки автономного вождения с LiDAR, радар или сенсорной интеграцией..
7. Заключение
В данной статье представлена AdvScene, основанная на сцене структура для оценки устойчивости развернутых состязательных патчей. Вместо сообщения о коэффициенте успеха для одного вида, AdvScene измеряет операционный конверт патча: область условий наблюдения, вызванных сценой, при которых атака остается эффективной. Чтобы обеспечить это измерение, APSE переносит атаку с одного опорного вида в реконструированную 3DGS сцену, сохраняя при этом внешний вид патча, содержимое чистой сцены и привязку к целевой поверхности..
Наша оценка показывает, что AdvScene сохраняет поведение физической атаки при сопоставлении физических и отрендеренных наблюдений, а также выявляет зависящие от сцены типы сбоев, которые упускаются при тестировании, ориентированном на изображения. В сценах с центрированием на объектах и сценах вождения успех с опорного ракурса часто не означает широкую устойчивость при развертывании. Эффективность атаки варьируется в зависимости от расстояния, точки обзора, проекционной площади и геометрии сцены. Мы также обнаружили, что EOT с учетом геометрии расширяет операционный конверт более эффективно, чем обычные регуляризаторы. Примечательно, что регуляризация может ограничивать величину патча без существенного сокращения оцениваемого конверта, что говорит о том, что визуальная величина и устойчивость на уровне сцены не всегда находятся в прямом конфликте. В целом мы приходим к выводу, что риск физического патча лучше понимать как конверт, а не как точечную оценку. Делая этот конверт измеримым, AdvScene обеспечивает более достоверную основу для оценки физического состязательного риска в реальных сценах..
Список литературы
- ⟦ Синтез устойчивых состязательных примеров. В материалах 35-й Международной конференции по машинному обучению, стр. 284–293. Цитируется в: §A.1, Table 1, §1, §1, §2.1.
- ⟦ Mip-nerf 360: неограниченные поля нейронного излучения с защитой от наложения спектров. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 5470–5479. Цитируется в: §A.3, §2.2.
- ⟦ Apricot: набор данных физических состязательных атак на обнаружение объектов. В материалах Европейской конференции по компьютерному зрению, стр. 35–50. Цитируется в: §A.2, Table 1, §1⟧.
- ⟦ Состязательный патч. В материалах семинара NeurIPS по машинному обучению и компьютерной безопасности, Цитируется: §A.1, §1, §2.1⟧.
- ⟦ Обзор генерации сценариев на основе данных для тестирования автоматизированных транспортных средств. Machines 10 (11), стр. 1101. Цитируется: §A.2.
- ⟦ 3DOT: перенос текстур для объектов 3D Gaussian Splatting на основе одного эталонного изображения. Advances in Neural Information Processing Systems 38, стр. 156647–156667. Цитируется в: §A.3, §1, §2.2.
- ⟦ На пути к оценке устойчивости нейронных сетей. В материалах симпозиума IEEE по безопасности и конфиденциальности (SP) 2017 года, стр. 39–57. Цитируется в: §C.1, §1.
- ⟦ Tensorf: тензорные поля излучения. В Европейской конференции по компьютерному зрению, стр. 333–350. Цитируется в: §A.3.
- ⟦ ShapeShifter: устойчивая физическая состязательная атака на детектор объектов Faster R-CNN. В сборнике Объединенной европейской конференции по машинному обучению и поиску знаний в базах данных, стр. 52–68. Цитируется в: §A.1, §A.2, §1, §2.1⟧.
- ⟦ GaussianEditor: быстрое и контролируемое трехмерное редактирование с помощью гауссова сплэттинга. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 21476–21485. Цитируется: §A.3, §1, §2.2.
- ⟦ Полнодистанционное уклонение от детекторов пешеходов в физическом мире. В сборнике Advances in Neural Information Processing Systems, Цитируется: §A.1, §1, §2.1⟧.
- ⟦ Изображение стоит 16x16 слов: transformers для распознавания изображений в масштабе. В International Conference on Learning Representations, Цитируется: §5.2, §5.3.
- ⟦ CARLA: открытый симулятор городского вождения. В материалах конференции по обучению роботов, стр. 1–16. Цитируется в: §1.
- ⟦ Устойчивые атаки из физического мира на глубокое обучение в задачах визуальной классификации. В материалах конференции IEEE по компьютерному зрению и распознаванию образов, стр. 1625–1634. Цитируется в: §A.1, §A.1, §A.2, §1, §2.1, §2.1, §5.4.5.
- ⟦ Plenoxels: поля излучения без нейронных сетей. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 5501–5510. Цитируется в: §A.3.
- ⟦ SGSST: масштабирование переноса стиля методом гауссова сплэттинга. В материалах конференции по компьютерному зрению и распознаванию образов, стр. 26535–26544. Цитируется в: §A.3, §1, §2.2.
- ⟦ Объяснение и использование состязательных примеров. ICLR (стендовый доклад). Цитируется в: §1.
- ⟦ DAP: динамический состязательный патч для обхода детекторов людей. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 24595–24604. Цитируется в: §A.1.
- ⟦ Instruct-nerf2nerf: редактирование трехмерных сцен с помощью инструкций. В материалах международной конференции IEEE/CVF по компьютерному зрению, стр. 19740–19750. Цитируется: §2.2.
- ⟦ Глубокое остаточное обучение для распознавания изображений. В материалах конференции IEEE по компьютерному зрению и распознаванию образов, стр. 770–778. Цитируется в: §5.3.
- ⟦ REAP: крупномасштабный реалистичный бенчмарк состязательных патчей. В материалах международной конференции IEEE/CVF по компьютерному зрению, стр. 4640–4651. Цитируется в: §A.2, Table 1, §1⟧.
- ⟦ Натуралистичный физический состязательный патч для детекторов объектов. В материалах Международной конференции IEEE/CVF по компьютерному зрению, стр. 7848–7857. Цитируется в: §A.1, §5.4.5.
- ⟦ Физически реализуемые текстуры одежды с естественным видом позволяют обходить детекторы людей с помощью 3D-моделирования. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 16975–16984. Цитируется в: §A.1, §A.2, §1, §2.1.
- ⟦ Состязательная текстура для обмана детекторов людей в физическом мире. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 13307–13316. Цитируется в: §A.1, §A.2, §1, §2.1⟧.
- ⟦ Двумерный гауссов сплэттинг для геометрически точных полей излучения. В материалах конференции SIGGRAPH 2024, Внешние ссылки: Document Цитируется: §A.3, §1, §2.2⟧.
- ⟦ Универсальные физические маскировочные атаки на детекторы объектов. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 720–729. Цитируется: §A.2, Table 1.
- ⟦ Ultralytics yolov8 Внешние ссылки: Link Цитируется: §5.3.
- ⟦ Трехмерный гауссов сплэттинг для рендеринга полей излучения в реальном времени. ACM Transactions on Graphics 42 (4). Цитируется в: §A.3, §1, §2.2.
- ⟦ Состязательные примеры в физическом мире. В Безопасность и защищенность искусственного интеллекта, стр. 99–112. Цитируется в: §A.1, §1.
- ⟦ Демонстрация: оценка состязательных атак на автономные транспортные средства на базе CARLA. В материалах Симпозиума по безопасности и конфиденциальности транспортных средств (VehicleSec), Цитируется: §A.2, Table 1, §1.
- ⟦ О физических состязательных патчах для обнаружения объектов. arXiv preprint arXiv:1906.11897. Цитируется в: §2.1.
- ⟦ На пути к бенчмаркингу и оценке визуальной естественности состязательных атак в физическом мире. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 12324–12333. Цитируется в: §A.2.
- ⟦ Dpatch: состязательная патч-атака на детекторы объектов. arXiv preprint arXiv:1806.02299. Цитируется в: §A.1, §1, §2.1.
- ⟦ Сверточная нейронная сеть для 2020-х годов. Материалы конференции IEEE/CVF по компьютерному зрению и распознаванию образов (CVPR). Цитируется: §5.3.
- ⟦ Генерация устойчивого физического состязательного камуфляжа для нескольких ракурсов на основе 3D Gaussian Splatting. В материалах международной конференции IEEE/CVF по компьютерному зрению, стр. 28752–28762. Цитируется в: §A.4.
- ⟦ slap: Улучшение физических состязательных примеров с помощью кратковременных состязательных возмущений. В материалах 30-го симпозиума USENIX по безопасности (USENIX Security 21), стр. 1865–1882. Цитируется в: §2.1.
- ⟦ Rt-detrv2: улучшенный базовый метод с набором бесплатных приемов для трансформера обнаружения в реальном времени. arXiv preprint arXiv:2407.17140. Цитируется в: §5.3.
- ⟦ На пути к моделям глубокого обучения, устойчивым к состязательным атакам. В сборнике Международной конференции по представлениям в обучении, Цитируется: §1.
- ⟦ Атака гауссовым расщеплением: состязательная 3D-атака с нескольких ракурсов на основе гауссова сплэттинга. Распознавание образов, стр. 112466. Цитируется: §A.4.
- ⟦ Слияние локальных световых полей: практический синтез видов с предписанными рекомендациями по дискретизации. ACM Transactions on Graphics (ToG) 38 (4), стр. 1–14. Цитируется: §A.3⟧.
- ⟦ Nerf: представление сцен в виде нейронных полей излучения для синтеза видов. Communications of the ACM 65 (1), стр. 99–106. Цитируется в: §A.3, §1, §2.2.
- ⟦ Мгновенные нейронные графические примитивы с мультиразрешающим хеш-кодированием. Труды Ассоциации вычислительной техники по графике (TOG) 41 (4), стр. 1–15. Цитируется в: §A.3, §1, §2.2.
- ⟦ Сценарное тестирование автоматизированных систем вождения: обзор литературы. В материалах веб-конгресса FISITA, Том 10. Цитируется по: §A.2.
- ⟦ Призрак в системах помощи водителю: защита передовых систем помощи водителю от мгновенных фантомных атак. В материалах конференции 2020 ACM SIGSAC по компьютерной безопасности и безопасности коммуникаций, стр. 293–308. Цитируется в: §2.1.
- ⟦ CARLA-gear: генератор наборов данных для систематической оценки состязательной устойчивости моделей компьютерного зрения. IEEE Transactions on Intelligent Transportation Systems 25 (8), стр. 9840–9851. Цитируется в: §A.2, Table 1, §1⟧.
- ⟦ Оценка устойчивости семантической сегментации для автономного вождения к состязательным атакам с использованием патчей в реальных условиях. В материалах Зимней конференции IEEE/CVF по приложениям компьютерного зрения, стр. 2280–2289. Цитируется в: §A.2, Table 1, §1⟧.
- ⟦ Фундаментальные соображения относительно сценарного тестирования для автоматизированного вождения. В материалах IEEE intelligent vehicles symposium (IV) 2020 года, стр. 121–127. Цитируется в: §A.2.
- ⟦ Обычные объекты в трехмерном пространстве: масштабное обучение и оценка реконструкции трехмерных категорий в реальных условиях. В материалах международной конференции IEEE/CVF по компьютерному зрению, стр. 10901–10911. Цитируется в: §5.3.
- ⟦ Переосмысление структуры по движению. В материалах конференции IEEE по компьютерному зрению и распознаванию образов, стр. 4104–4113. Цитируется: §A.3, §2.2.
- ⟦ Попиксельный выбор ракурсов для неструктурированного многоракурсного стереозрения. В материалах Европейской конференции по компьютерному зрению, стр. 501–518. Цитируется в: §A.3, §2.2.
- ⟦ Аксессуары для преступления: реальные и скрытные атаки на современные системы распознавания лиц. В материалах конференции 2016 acm sigsac по компьютерной безопасности и безопасности коммуникаций, стр. 1528–1540. Цитируется в: §A.1.
- ⟦ Масштабируемость восприятия для автономного вождения: открытый набор данных Waymo. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов (CVPR), Цитируется: §5.3.
- ⟦ Интригующие свойства нейронных сетей. arXiv preprint arXiv:1312.6199. Цитируется в: §1.
- ⟦ Dreamgaussian: генеративный gaussian splatting для эффективного создания трехмерного контента. arXiv preprint arXiv:2309.16653. Цитируется в: §A.3.
- ⟦ Обман автоматизированных камер наблюдения: состязательные паттерны для атаки на обнаружение людей. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов (семинары), стр. 49–55. Цитируется в: §A.1, §5.4.5.
- ⟦ Gaussianeditor: деликатное редактирование 3d гауссианов с помощью текстовых инструкций. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 20902–20911. Цитируется в: §A.3.
- ⟦ Недавние достижения в области 3d gaussian splatting. Computational Visual Media 10 (4), стр. 613–642. Цитируется в: §A.3.
- ⟦ Meshadv: состязательные сетки для визуального распознавания. В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 6898–6907. Цитируется в: §A.1.
- ⟦ Локализованное редактирование гауссова сплэттинга с учетом контекста. В материалах Зимней конференции по приложениям компьютерного зрения, стр. 5207–5217. Цитируется в: §A.3, §1, §2.2⟧.
- ⟦ Состязательная футболка! Уклонение от детекторов людей в физическом мире. В Computer Vision – ECCV 2020, стр. 665–681. Цитируется в: §A.1.
- ⟦ Состязательные примеры: атаки и методы защиты для глубокого обучения. IEEE transactions on neural networks and learning systems 30 (9), стр. 2805–2824. Цитируется: §1.
- ⟦ capatch: Физический состязательный патч против систем описания изображений. В материалах 32-го симпозиума USENIX по безопасности (USENIX Security 23), стр. 679–696. Цитируется в: §A.1, §1, §2.1.
- ⟦ 3DGAA: реалистичная и устойчивая состязательная атака на основе 3D гауссианов для автономного вождения. arXiv preprint arXiv:2507.09993. Цитируется в: §A.4.
- ⟦ BiTAA: двухзадачная состязательная атака для обнаружения объектов и оценки глубины с помощью 3D Gaussian Splatting. Препринт arXiv:2509.19793. Цитируется в: §A.4⟧.
- ⟦ TPatch: триггерный физический состязательный патч. В материалах 32-го симпозиума по безопасности USENIX, стр. 661–678. Цитируется в: §A.1, §1, §2.1, §5.4.5⟧.
Appendix A Связанные работы
A.1. Физические состязательные атаки
Физические состязательные атаки направлены на создание возмущений, которые остаются эффективными после захвата в реальных условиях. Ранние исследования показали, что состязательные примеры могут сохраняться после печати и захвата камерой (Kurakin et al., 2018), а состязательные патчи дополнительно продемонстрировали, что локализованные, пригодные для печати шаблоны могут вызывать целевые сбои при размещении в сцене (Brown et al., 2017). Последующие работы распространили эти атаки на обнаружение объектов, включая DPatch (Liu et al., 2018), устойчивые физические возмущения для дорожных знаков (Eykholt et al., 2018) и ShapeShifter для атаки на детекторы в условиях физических преобразований (Chen et al., 2018), а также атаки на детекторы людей с использованием физических патчей или носимых шаблонов (Thys et al., 2019; Xu et al., 2020)⟧.
Центральной проблемой при проведении физических атак является устойчивость к изменениям окружающей среды, включая точку обзора, освещение, расстояние, артефакты печати и шум датчиков. Для решения этой задачи в предыдущих работах обычно используется метод Expectation over Transformation (EOT) (Athalye et al., 2018), который моделирует физическую изменчивость в процессе оптимизации путем выборки преобразований, таких как вращение, масштабирование, перенос и освещение. Физические ограничения и регуляризаторы, включая маскирование объектов, полную вариацию и показатель непечатности (NPS), предложенный в RP2 (Eykholt et al., 2018), дополнительно гарантируют, что возмущения остаются пригодными для изготовления и стабильными при печати..
Более поздние работы расширяют область физических атак, выходя за рамки жестких объектов в сторону нежестких и контекстно-зависимых сценариев. Состязательная одежда и камуфляжные атаки явно моделируют вариации позы, деформацию ткани и реалистичность текстур для атаки на детекторы людей в физическом мире (Hu et al., 2022, 2023; Guesmi et al., 2024). Другие исследования изучают практические ограничения развертывания, включая контекстно-зависимые патчи (Zhang et al., 2023), временные или траекторно-зависимые дизайны (Zhu et al., 2023), а также дистанционно-зависимые атаки, такие как FDA (Cheng et al., 2024), которые оценивают эффективность атаки на различных расстояниях обзора. Параллельно с этим, работы по скрытности и естественности внедряют состязательный камуфляж и натуралистичные дизайны патчей, которые сливаются со сценой (Hu et al., 2021). Помимо плоских патчей, физические состязательные артефакты были также распространены на аксессуары и 3D-объекты, включая состязательные очки и сетки (Sharif et al., 2016; Xiao et al., 2019)⟧.
Несмотря на эти достижения в разработке атак, их оценка остается ограниченной. Большинство исследований представляют результаты при небольшом количестве выборочных условий, таких как дискретные точки обзора или расстояния, вместо того чтобы характеризовать, как эффективность атаки варьируется в зависимости от непрерывных условий наблюдения, обусловленных реалистичной сценой. Это обосновывает необходимость более систематической, основанной на сцене структуры оценки..
A.2. Состязательная оценка в реальных и симулированных сценах
Растущий объем работ сосредоточен на оценке состязательных атак, выходящих за рамки мелкомасштабных демонстраций. Подходы, основанные на наборах данных, собирают состязательные примеры в реальных условиях. APRICOT (Braunegg et al., 2020) предоставляет более 1000 аннотированных изображений распечатанных состязательных патчей, снятых в естественных сценах, в то время как REAP (Hingun et al., 2023) создает крупномасштабный бенчмарк на реальных изображениях вождения с вставкой патчей, учитывающей геометрию и освещение. PAN (Li et al., 2023) дополняет эти усилия оценкой перцептивной естественности состязательных атак с использованием исследований на людях. Эти бенчмарки предоставляют важные доказательства того, что физические патчи могут влиять на реальные системы восприятия, дополняя исследования по генерации атак на дорожные знаки, детекторы объектов и детекторы людей (Eykholt et al., 2018; Chen et al., 2018; Hu et al., 2022, 2023). Несмотря на свой реализм, эти наборы данных остаются по своей сути ориентированными на изображения. Оценка выполняется на фиксированных захваченных изображениях или независимо преобразованных экземплярах, что ограничивает возможность систематического изменения точки обзора, траектории камеры или конфигурации сцены для одного и того же развернутого патча в рамках одной сцены..
Подходы, основанные на симуляторах, обеспечивают более строгий контроль над условиями оценки. AttackScenes (Huang et al., 2020) предоставляет эталонный тест с множеством точек обзора и условий освещения в виртуальных сценах. В автономном вождении фреймворки на базе CARLA позволяют проводить настраиваемую оценку с учетом ракурсов камер, погодных условий и дорожной обстановки (Nesti et al., 2022, 2024; Lan et al., 2024). Эти системы поддерживают воспроизводимые итерации по переменным среды, но опираются на сцены, встроенные в симулятор, где геометрия, текстуры и объекты создаются вручную и могут не соответствовать конкретному месту реального развертывания. В отличие от них, наш подход реконструирует сцены реального мира на основе захваченных изображений и позволяет проводить контролируемую оценку внутри этих сцен, преодолевая разрыв между реализмом и управляемостью..
Наш взгляд на операционную среду также связан со сценарным тестированием в автономном вождении, где поведение системы оценивается в параметризованных условиях эксплуатации, а не на изолированных примерах (Neurohr et al., 2020; Cai et al., 2022; Nalic et al., 2020). В отличие от этих работ, наше пространство условий ориентировано на атаки: результат заключается в том, остается ли фиксированный развернутый патч эффективным при каждом условии наблюдения..
A.3. 3D Gaussian Splatting и редактирование сцен
Реконструкция сцены и нейронный рендеринг обеспечивают естественную основу для контролируемой оценки в реальных сценах. Классические методы структуры из движения и многоракурсного стерео оценивают положение камер и геометрию сцены по коллекциям изображений (Schonberger and Frahm, 2016; Schönberger et al., 2016). Методы нейронного рендеринга, включая LLFF, NeRF и эффективные явные или факторизованные представления полей излучения, позволяют осуществлять синтез новых ракурсов на основе калиброванных снимков (Mildenhall et al., 2019, 2021; Fridovich-Keil et al., 2022; Chen et al., 2022; Müller et al., 2022; Barron et al., 2022). Последние достижения в области 3D Gaussian Splatting (3DGS) (Kerbl et al., 2023; Huang et al., 2024; Wu et al., 2024) дополнительно обеспечивают эффективную реконструкцию и высококачественный рендеринг по многоракурсным изображениям..
Однако прямое применение 3DGS для состязательной оценки является нетривиальной задачей. Стандартный 3DGS отдает приоритет фотореалистичному рендерингу и не гарантирует сохранение мелкозернистых возмущений, которые определяют состязательную эффективность. Существующие методы редактирования и генерации 3DGS поддерживают вставку объектов, перенос текстур, редактирование на основе инструкций и эффективное создание 3D-контента (Chen et al., 2024; Wang et al., 2024; Tang et al., 2023; Xiao et al., 2025; Galerne et al., 2025; Cao et al., 2026). Эти методы фокусируются на семантической правдоподобности или визуальном качестве, часто полагаясь на целевые функции, основанные на внешнем виде, или генеративные априорные знания, которые могут изменять тонкие структуры на уровне пикселей, критически важные для состязательных атак..
В результате существующие методы редактирования на основе 3DGS не подходят для оценки состязательных патчей, где критически важно сохранение возмущений, влияющих на атаку, при смене точек обзора..
A.4. Состязательные атаки на основе 3DGS
Недавние работы исследуют использование 3DGS для создания состязательных атак. PGA (Lou et al., 2025) использует 3DGS для оптимизации устойчивого состязательного камуфляжа с нескольких ракурсов на реконструированных объектах. Аналогичным образом, 3DGAA (Zhang et al., 2025a), BiTAA (Zhang et al., 2025b) и GSAttack (Meng et al., 2025) используют представления сцен в стиле 3DGS для генерации или оптимизации состязательных объектов с нескольких ракурсов. Эти подходы демонстрируют, что 3DGS может эффективно поддерживать состязательные возмущения, которые обобщаются на различные точки обзора..
Наша работа фундаментально отличается как по цели, так и по условиям. Вместо создания нового трехмерного состязательного объекта или оптимизации более сильной атаки с нескольких ракурсов, мы оцениваем фиксированный состязательный патч, созданный внешним двумерным конвейером атак. AdvScene использует 3DGS в качестве основы для оценки сцены, чтобы измерить, как эффективность развернутого патча меняется в зависимости от точки обзора, расстояния, проекционного масштаба и контекста сцены. Эта цель оценки не рассматривается в предыдущих методах генерации атак на основе 3DGS..
Appendix B AdvScene Визуализации.
В данном приложении представлены качественные примеры визуализированных сцен, использованных в нашей валидации и оценке. Если не указано иное, каждая тройка демонстрирует чистое опорное изображение, чистый рендер 3DGS и состязательный рендер 3DGS..
B.1. Примеры физической валидации
На рисунках 16–21 представлены репрезентативные сцены физической валидации. Эти примеры иллюстрируют, что APSE сохраняет целевой объект и окружающую сцену, вставляя локализованный состязательный патч в опорном ракурсе..
B.2. Примеры оценки CO3D
На рисунках 22–25 представлены репрезентативные сцены CO3D, используемые при оценке, ориентированной на объекты. Примеры охватывают различные категории объектов и демонстрируют то же сравнение чистого рендеринга и состязательного рендеринга, которое используется для измерения на уровне сцены..
B.3. Примеры оценки Waymo
На рисунках 26–29 представлены репрезентативные сцены Waymo, используемые при оценке вождения. Эти примеры иллюстрируют, как встроенный патч оценивается на реальных изображениях вождения с учетом специфического фона сцены, размещения цели и геометрии камеры..
Appendix C Подробные экспериментальные настройки
C.1. Оптимизация состязательных патчей
Мы оптимизируем двумерные состязательные патчи, используя метод ожидания по преобразованиям (EOT), чтобы повысить устойчивость к вариациям в физическом мире. На каждом шаге оптимизации мы оцениваем целевую функцию по пакету из восьми преобразованных наблюдений. Распределение преобразований моделирует как фотометрические, так и геометрические вариации. Фотометрические преобразования включают мультипликативные возмущения цвета, яркости и контрастности, каждое из которых выбирается из , а также гамма-коррекцию, выбираемую из . Геометрические преобразования включают повороты в плоскости, выбираемые из , сдвиги до пикселей и изотропное масштабирование, выбираемое из .
Для дальнейшего приближения к физическим эффектам визуализации мы дополнительно применяем случайную обрезку и обрезку по центру, гауссовы возмущения в пространстве изображения со стандартным отклонением , размытие по Гауссу, аддитивный шум с амплитудой до , сжатие JPEG с качеством, выбираемым в диапазоне от до , и деградацию разрешения камеры. Последнее моделируется путем уменьшения масштаба изображения с коэффициентом от до с последующим -битным квантованием..
Патч оптимизируется с помощью целевой функции потерь с отступом, предложенной в атаке Carlini-Wagner (Carlini and Wagner, 2017). Для каждого экземпляра атаки мы используем три независимых случайных перезапуска. Каждый перезапуск оптимизируется максимум за шагов Adam со скоростью обучения и параметрами момента . Мы применяем раннюю остановку с терпением и порогом минимального улучшения функции потерь . Полная целевая функция состоит из целевой функции потерь Carlini–Wagner вместе с регуляризационными членами полной вариации (TV), показателя непечатаемости (NPS) и . Если не указано иное, соответствующие веса составляют для TV, для NPS и для регуляризации . Параметр уверенности установлен на . Для члена NPS мы используем палитру из 30 цветов, пригодных для печати..
C.2. Настройки проектирования атак
C.2.1. Величина EOT
Мы оцениваем влияние интенсивности EOT путем варьирования количества преобразованных наблюдений и величины распределения преобразований. В конфигурации без EOT оптимизация выполняется только по опорному виду, без стохастических преобразований. В конфигурации со слабым EOT используется четыре преобразованных вида на шаг оптимизации и применяются умеренные фотометрические и геометрические возмущения: множители цвета, яркости и контрастности выбираются из , гамма из , возмущения обрезки применяются с вероятностью , перспективный шум имеет величину , повороты ограничены , смещения пикселями, а масштаб . Эта конфигурация также включает умеренное размытие, шум и сжатие JPEG, использует коэффициенты уменьшения масштаба в и не применяет квантование камеры..
Конфигурация strong-EOT соответствует нашим настройкам по умолчанию. Она использует восемь преобразованных видов на каждый шаг оптимизации, при этом множители цвета, яркости и контрастности выбираются из , гамма из , вероятность обрезки , величина перспективного шума , повороты ограничены , смещения до пикселей, а масштаб выбирается из . Она также включает размытие, аддитивный шум, сжатие JPEG, уменьшение масштаба до коэффициента и -битную квантование..
Настройка очень сильного EOT увеличивает как количество, так и серьезность преобразований. Она использует шестнадцать преобразованных видов на каждый шаг оптимизации, множители цвета, яркости и контрастности, выбранные из , гамму из , вероятность обрезки , величину перспективного шума , повороты, ограниченные , смещения до пикселей и масштаб, выбранный из . Эта настройка дополнительно применяет более сильное размытие, шум и сжатие JPEG, использует коэффициенты уменьшения масштаба вплоть до и включает -битную квантование..
Appendix D Результаты оценки
В данном приложении представлены полные кривые оценки по видам, опущенные в основном тексте из-за ограничений по объему. На каждом рисунке показана эффективность атаки по всему набору оцениваемых размерностей наблюдения, что дополняет сводные данные по радиусу и углам обзора, приведенные в основной статье..
D.1. Результаты CO3D
На рисунках 30–32 представлена полная оценка CO3D для целевой классификации, нецелевой классификации и атак на исчезновение. Эти кривые дают полное представление о поведении по видам, лежащем в основе вывода из основного текста о том, что эффективность атаки концентрируется вблизи благоприятных условий сцены и снижается при значительных изменениях точки обзора, расстояния или расположения изображения..
D.2. Результаты Waymo
На рисунке 33 представлены полные кривые атак на исчезновение для Waymo. По сравнению со сценами CO3D, сфокусированными на объектах, сценарий вождения демонстрирует более сильную зависимость от траектории, размещения цели и геометрии камеры, что приводит к большей направленной вариативности при смене ракурса..
D.3. Результаты геометрии патча
На рисунках 34 и 35 представлены полные сравнения размера и формы патчей. Увеличение размера патчей, как правило, повышает силу атаки за счет расширения проецируемой состязательной области, в то время как изменение формы с круглой на квадратную оказывает более слабый эффект. В обоих случаях сохраняются те же режимы отказа, связанные с дистанцией и косым углом обзора..
D.4. Результаты проектирования атак
На рисунках 36, 37, 38, 39, 40 представлены полные сравнения вариантов атак. Результаты подтверждают основной вывод статьи о том, что EOT с учетом геометрии является основным механизмом для расширения устойчивости на уровне сцены, в то время как , NPS и TV в основном влияют на амплитуду, пригодность к печати или гладкость, а не на устранение геометрических режимов отказа..
Appendix E Абляционное исследование компонентов APSE.
Мы проводим абляционное исследование для оценки эффективности каждого компонента APSE. Мы поочередно отключаем по одному компоненту в APSE, включая оптимизацию вновь созданных патч-гауссианов (раздел 4.1), оптимизацию существующих (старых) гауссианов целевой поверхности (раздел 4.1), функцию потерь без маски для опорного вида (уравнение 4 в разделе 4.2), ограничение вспомогательного вида (раздел 4.3) и привязку к поверхности (раздел 4.4).⟧).
Таблица 4 показывает, что каждый компонент вносит вклад в сбалансированное вложение APSE. Мы приводим ошибку реконструкции области патча, ошибку реконструкции области вне патча и ошибку глубины вспомогательного вида, где более низкие значения указывают на лучшую точность или согласованность. Отключение оптимизации вновь созданных гауссианов патча существенно ухудшает реконструкцию патча, подтверждая, что исходные гауссианы сцены сами по себе не обеспечивают достаточной локальной емкости для воспроизведения состязательного внешнего вида. Отключение оптимизации существующих гауссианов целевой поверхности также ослабляет точность патча и согласованность между видами, указывая на то, что созданным гауссианам требуется структурная поддержка реконструированной поверхности. Удаление функции потерь без маски для опорного вида оставляет контролируемую область патча практически неизменной, но ослабляет общую согласованность вложения. Удаление ограничения вспомогательного вида аналогичным образом сохраняет внешний вид опорного вида, но снижает стабильность при новых видах, показывая, что вспомогательные ограничения необходимы для подавления артефактов, специфичных для вида. Наконец, отключение привязки к поверхности улучшает соответствие опорному виду, но ценой ослабления геометрической согласованности, что предполагает, что не ограниченные гауссианы могут переобучаться под опорный вид вместо того, чтобы вести себя как привязанный к поверхности патч. В целом, абляционное исследование подтверждает, что APSE опирается на совместный эффект всех компонентов..
| patch region | patch region | non-patch region | non-patch region | auxiliary-view depth error | |
|---|---|---|---|---|---|
| APSE with all components | 0.127 | 0.114 | 0.028 | 0.026 | 0.124 |
| w/o new Gaussian ($4.1) | 0.333 | 0.268 | 0.030 | 0.034 | 0.046 |
| w/o old Gaussian ($4.1) | 0.180 | 0.162 | 0.028 | 0.026 | 0.140 |
| w/o anchor view non-mask fidelity ($4.2) | 0.128 | 0.115 | 0.001 | 0.011 | 0.140 |
| w/o auxiliary view ($4.3) | 0.128 | 0.115 | 0.028 | 0.027 | 0.127 |
| w/o surface attachment ($4.4) | 0.115 | 0.101 | 0.027 | 0.026 | 0.135 |
Appendix F Межсценовая оценка
Мы оцениваем, переносятся ли состязательные патчи между сценами. В этом эксперименте патч оптимизируется на основе опорного вида в одной исходной сцене, а затем оценивается в различных целевых сценах, содержащих ту же категорию объектов, например, оптимизация патча для книги в одной сцене и применение его к книгам в других сценах. Данная настройка проверяет, фиксирует ли фиксированный патч состязательные признаки на уровне объекта, которые обобщаются в контексте сцены, или же его эффективность привязана к исходной сцене. Мы проводим эту оценку на CO3D в рамках настройки целевой классификации..
На рисунке 41 представлены результаты для различных сцен. Мы сравниваем три настройки: чистую, которая измеряет коэффициент успеха целевой метки без состязательного патча; специфичную для сцены, где патч оптимизируется и оценивается в пределах одной и той же сцены; и кросс-сценарную, где патч оптимизируется в одной исходной сцене и оценивается в различных целевых сценах. Специфичная для сцены настройка достигает существенно более высокого ASR, чем кросс-сценарная, в то время как производительность в кросс-сценарном режиме падает почти до уровня чистого базового показателя. Этот результат показывает, что эффективность целевого патча сильно зависит от сцены. В частности, патч, оптимизированный для одной реконструированной сцены, как правило, не сохраняет свой operational envelope после переноса в другую сцену, даже если категория целевого объекта остается неизменной. Это подтверждает необходимость оценки, основанной на конкретной сцене, а не оценки устойчивости патча как свойства, присущего только объекту или только изображению..