Машинное обучение в поиске новой фундаментальной физики

Аннотация

Машинное обучение играет решающую роль в расширении и ускорении поиска новой фундаментальной физики. Мы рассматриваем современное состояние методов машинного обучения и их применение для поиска новой физики в контексте наземных экспериментов по физике высоких энергий, включая Большой адронный коллайдер, поиск редких событий и нейтринные эксперименты. Хотя машинное обучение имеет долгую историю в этих областях, революция в области deep learning (начало 2010-х годов) привела к качественному сдвигу в плане масштаба и амбициозности исследований. Эти современные разработки в области машинного обучения являются фокусом настоящего обзора..

I Введение

Физика высоких энергий (HEP) вступает в новую эру, основанную на данных. На протяжении многих десятилетий Стандартная модель (SM) физики элементарных частиц предоставляла четкие теоретические ориентиры для экспериментов, что привело к обширной программе исследований, кульминацией которой стало открытие бозона Хиггса Aad et al. 2012; Chatrchyan et al. 2012. Однако, несмотря на то что SM теперь завершена, существуют ключевые экспериментальные наблюдения, которые вынуждают научное сообщество расширять усилия по поиску новых частиц и сил природы за пределами SM (BSM). Например, существование темной материи и темной энергии хорошо обосновано Zyla et al. 2020, как и масса нейтрино Fukuda et al. 1998; Ahmad et al. 2002, а также барион-антибарионная асимметрия во Вселенной Canetti et al. 2012 — тем не менее, ни одно из этих наблюдений не объясняется в рамках SM. Кроме того, SM страдает от эстетических проблем, включая необъяснимую массу бозона Хиггса на слабом масштабе, существование трех поколений фермионов и малость дипольного момента нейтрона Abel et al. 2020. Текущие и перспективные эксперименты в области HEP обладают потенциалом пролить свет на все эти фундаментальные проблемы путем создания новых частиц в лабораторных условиях или посредством наблюдения взаимодействий новых частиц с обычной материей или другими новыми частицами..

Этот огромный потенциал для открытий сопряжен со значительными проблемами в области данных. Ожидается, что новые взаимодействия частиц будут редкими, а их сигнатура может лишь незначительно отличаться от SM. Это означает, что исследователи должны собирать и просеивать колоссальные объемы сложных данных, чтобы выделить потенциальную BSM физику. Machine Learning (ML) предлагает мощное решение этой задачи. Методы Deep learning11 1 Хотя термины Artificial Intelligence, Machine Learning и Statistical Learning часто используются для обозначения различных концепций, единого мнения не существует, и многие считают их синонимами, различия между которыми возникают в основном из-за социологии. Deep Learning здесь используется для обозначения Modern Machine Learning с глубокими нейронными сетями и другими передовыми инструментами, которые содержат (намного) больше десятков тысяч настраиваемых параметров. хорошо подходят для анализа больших объемов данных во многих измерениях с целью поиска тонких закономерностей. Многомерный анализ был обычным явлением в HEP на протяжении десятилетий (см., например, тысячи цитирований Ref. Hocker et al. 2007), но новейшие инструменты качественно расширят чувствительность до гипервариативного анализа, при котором все фазовое пространство доступной экспериментальной информации может быть проанализировано целостно..

Наряду с растущим объемом данных, сопутствующей проблемой является возрастающая потребность в эффективной (с точки зрения вычислительного времени, энергопотребления и использования ресурсов) и точной обработке данных для высокопроизводительных приложений. Усилия в этом направлении включают разработку и ускорение алгоритмов обработки на основе deep learning на энергоэффективных аппаратных платформах.

Помимо растущей проблемы данных, существует также комплексная проблема моделирования ожиданий относительно того, что могут наблюдать эксперименты. Эксперименты в области HEP в значительной степени опираются на симуляции во всех аспектах исследований, от проектирования эксперимента вплоть до анализа данных. Построенные на глубоком понимании SM и фундаментальных законов природы, эти симуляции являются чрезвычайно всеобъемлющими и сложными, но они все еще остаются лишь приближением к природе. Поэтому часто возникает необходимость объединять симуляции с информацией, полученной непосредственно из данных, для повышения точности моделирования. Соответствующие ML модели должны быть устойчивы к неточностям и способны интегрировать неопределенности.

Физика BSM также может быть точно смоделирована, и большинство поисков разрабатываются, оптимизируются и интерпретируются в контексте конкретной модели BSM. Невозможно протестировать каждую возможную модель в рамках одного поиска, и даже если бы это можно было сделать, в программе поиска все равно остались бы слепые зоны. Здесь, опять же, ML и, в частности, методы unsupervised ML начинают предоставлять дополнительную стратегию поиска, которая свободна от модельной зависимости по сравнению с традиционными поисками..

В данном обзоре основное внимание уделяется применению современных ML для поиска новой фундаментальной физики22 2 Применение ML в физике SM см., например, в Ref. Radovic et al. 2018. Живой обзор ML для физики элементарных частиц, который постоянно обновляется с учетом новейших методов и результатов, можно найти в Ref. Feickert and Nachman 2021. Далее мы выделим первую статью (или статьи) по различным темам; полный список можно найти в Живом обзоре. Чтобы сохранить объем в разумных пределах, мы сосредоточимся на наземных экспериментах, которые непосредственно исследуют эффекты BSM и направлены на выяснение природы частиц BSM. Сюда относится рождение новых массивных частиц на Large Hadron Collider (LHC), поиск редких событий — например, прямое обнаружение темной материи — в лабораторных условиях, а также поиск слабо взаимодействующих частиц, таких как стерильные нейтрино. Эти три рубежа научной области (энергия, редкие события, нейтрино) имеют много общего, начиная с их фундаментальных единиц данных: все три рубежа основаны на событиях, где каждое событие представляет собой (почти) независимую и одинаково распределенную выборку из ансамбля физических процессов (как правило, взаимодействия частиц с другими частицами или веществом в детекторе). Хотя структура и формат записанных событий могут различаться между рубежами, аналогичный конвейер обработки данных используется во всех экспериментах.

Первым этапом конвейера обработки данных является запись потенциально интересных событий с помощью алгоритмов реального времени или онлайн-алгоритмов (сбор данных). Затем используются различные алгоритмы распознавания образов для реконструкции и калибровки свойств записанных событий (реконструкция данных). Наконец, определенные события отбираются на основе их свойств и используются для статистического анализа (окончательный анализ данных). Параллельно также выполняется моделирование, при котором генерируются синтетические события, а затем проходят через те же этапы. Машинное обучение активно внедряется на каждом из трех этапов, при этом ученые в области HEP вносят значительные инновации для разработки специализированных решений наших уникальных задач..

Ниже мы осветим достижения ML во всех аспектах конвейера обработки данных с ориентацией на поиск новых частиц. Сначала мы представим общий обзор методов ML для поиска новой физики, многие из которых все еще находятся на стадии проверки концепции. Затем мы перейдем к основным достижениям в конкретных пограничных областях, описывая методы ML, которые активно применяются к данным. Хотя многие инновации в реконструкции на основе ML сейчас интегрируются в экспериментальные рабочие процессы, инструменты сбора данных и окончательного анализа данных еще не получили широкого распространения из-за новизны разрабатываемых методов и времени, необходимого для их превращения из проверок концепции в полноценные анализы..

II Основы машинного обучения для фундаментальной физики

Машинное обучение включает до пяти компонентов: входные признаки $x\in\mathbb{X}=\mathbb{R}^{N}$, целевые значения $y\in\mathbb{Y}=\mathbb{R}^{M}$, модель $f:\mathbb{R}^{N}\rightarrow\mathbb{R}^{M}$ с настраиваемыми параметрами, функционал потерь $L[f]:\mathbb{X}^{\mathbb{Y}}\rightarrow\mathbb{R}$ и стратегию оптимизации. Для многих приложений $N=\mathcal{O}(1)$, поскольку признаки представляют собой фиксированный набор, построенный на основе полного фазового пространства с опорой на физическую интуицию. В этом случае бустинг над решающими деревьями (пример «поверхностного» ML) долгое время оставался предпочтительным инструментом для машинного обучения в HEP. Тем временем методы deep learning, то есть нейронные сети, теперь способны легко обрабатывать высокоразмерные пространства признаков, где $N$ может составлять многие тысячи и более. Кроме того, $N$ может быть не фиксированным для каждой точки данных. Например, протон-протонные столкновения на LHC или события взаимодействия нейтрино/темной материи естественным образом порождают переменное количество частиц..

II.1 Представления данных

Выбор способа представления данных (например, четырехмерные векторы каждой частицы в событии, энергии отложений в калориметре и т. д.) может играть важную роль в проектировании (архитектуре) алгоритма deep learning и оказывать существенное влияние на его производительность..

Наиболее гибкой и универсальной архитектурой является полносвязная или плотная нейронная сеть (DNN), где признаки $x$ просто преобразуются в вектор-столбец и подаются в DNN, которая определяется количеством скрытых слоев, количеством узлов в каждом скрытом слое и т. д. Часто простой DNN оказывается достаточно мощной для многих приложений в HEP. Однако фундаментальные физические события часто подчиняются различным симметриям, которые могут быть встроены в архитектуры машинного обучения для уменьшения количества параметров и повышения производительности..

Если $x$ может быть представлено в виде тензора фиксированного размера с трансляционной инвариантностью по индексам, то $f$ обычно представляет собой сверточную нейронную сеть (CNN) Fukushima and Miyake 1982; LeCun et al. 1989. Например, часто бывает естественно представлять фундаментальные физические события в виде изображений, где интенсивность пикселя определяется количеством энергии, выделенной в заданной области детектора (например, ячейке калориметра). Если конкретная физическая сигнатура может быть зарегистрирована в любой части детектора, то трансляционная инвариантность является хорошей симметрией. Первые применения CNN в физике элементарных частиц de Oliveira et al. 2016; Baldi et al. 2016 показали, что CNN могут быть полезны, даже если трансляционная симметрия нарушается при предварительной обработке (центрировании изображения). Исследования однородных детекторов, подобных тем, что распространены в физике нейтрино, стали первыми, где использовалась трансляционная инвариантность этих методов Aurisano et al. 2016.

Другие архитектуры хорошо подходят, когда $x$ имеет структуру, отличную от трансляционно-инвариантного тензора. Если $x$ представляет собой последовательность, то рекуррентные нейронные сети (RNN) особенно эффективны Rumelhart et al. 1986; Hochreiter and Schmidhuber 1997. В то время как CNN разделяют веса в пространстве, RNN разделяют веса во времени (положение в последовательности). Поскольку последовательности могут варьироваться по длине, RNN были первыми инструментами для обработки признаков переменной размерности в физике высоких энергий (для классификации ароматов струй Guest et al. 2016). Когда $x$ представляет собой иерархию последовательностей (называемую деревом), рекурсивные нейронные сети могут использоваться аналогично RNN. Древовидные структуры естественным образом возникают при кластеризации струй в физике высоких энергий и впервые были изучены в этом контексте для идентификации Лоренц-бустированных $W$ бозонов, распадающихся на адроны Louppe et al. 2019⟧.

Одной из проблем при использовании представлений данных в виде изображений, последовательностей и деревьев является то, что они требуют пространственного или временного порядка для размерностей $x$. Хотя это часто является естественным, во многих случаях внутренний порядок отсутствует. Например, частицы одного типа, рожденные в коллайдерных экспериментах и экспериментах на неподвижной мишени, неразличимы согласно квантовой механике. Можно навязать определенный порядок (например, сортировку по энергии), но это не обязательно отражает лежащие в основе физические процессы или взаимосвязи. В настоящее время существует множество архитектур, способных обрабатывать множества переменной длины и инвариантные к перестановкам33 3 Нейронная сеть $f$ является инвариантной относительно действия группы $G$, если $f(g(x))=f(x)$ для всех $g\in G$, в то время как сеть является эквивариантной, если $f(g(x))=g(f(x))$. См., например, Ref. Dolan and Ore 2021; Serviansky et al. 2020; Bogatskiy et al. 2020; Shimmin 2021 для примеров эквивариантных сетей в физике высоких энергий. множества. Одной из возможностей являются deep sets Zaheer et al. 2017, впервые адаптированные для физики частиц как Particle Flow Network Komiske et al. 2019. В этой структуре нейронные сети разделены на две части: сеть, которая вкладывает каждый из $N/n$ компонентов $x_{i}$ в латентное пространство $\Phi:\mathbb{R}^{n}\rightarrow\mathbb{R}^{k}$, и вторая сеть $F$, которая обрабатывает сумму векторов латентного пространства: $f(x)=F(\sum\Phi(x_{i}))$. Второй архитектурой, инвариантной к перестановкам, является графовая нейронная сеть (впервые примененная в физике частиц в Refs. Henrion et al. 2017; Choma et al. 2018a; Qu and Gouskos 2020 и рассмотренная в Ref. Shlomi et al. 2021), которая использует локальность при передаче информации между узлами графа и слоями сети.

II.2 Задачи машинного обучения

Задачи машинного обучения классифицируются по целевой переменной обучения $y$. Когда $y$ является дискретной и конечной, задача называется классификацией, а типичным функционалом потерь является перекрестная энтропия: $L[f]=\sum_{i}\sum_{j}\mathbb{I}[y_{i}=i]\log(f_j(x_i))$ для классов $j$, индикаторная функция $\mathbb{I}$ и $\sum_{j}f_{j}=1$. Для непрерывной (или дискретной и бесконечной) $y$ задача называется регрессией, а распространенным функционалом потерь является среднеквадратичная ошибка: $L[f]=\sum_{i}(f(x_{i})-y_{i})^{2}$. Другие функционалы потерь соответствуют различным целевым переменным обучения (среднее, медиана, мода и т. д.); подробности см. в Ref. Cheong et al. 2020 в контексте физики высоких энергий. Как задачи классификации, так и задачи регрессии, описанные выше, называются обучением с учителем, поскольку каждая точка данных $x_{i}$ сопровождается меткой $y_{i}$⟧.

Все остальные случаи называются слабоконтролируемыми. Обучение без учителя происходит без каких-либо меток. Такие подходы обычно предназначены для неявного или явного изучения плотности вероятности данных $p(x)$. Это может быть полезно для различных задач, включая генеративное моделирование и обнаружение аномалий. Три стандартных подхода к глубокому обучению без учителя включают генеративно-состязательные сети (GANs) Goodfellow et al. 2014; Creswell et al. 2018, (вариационные) автокодировщики (VAEs) Kingma and Welling 2014; Kingma and Welling 2019 и нормализующие потоки (NFs) Rezende and Mohamed 2015; Kobyzev et al. 2020, впервые изученные в физике высоких энергий в работах de Oliveira et al. 2017; Mustafa et al. 2019, ATL 2018a; Hajer et al. 2020; Farina et al. 2020; Heimel et al. 2019 и Albergo et al. 2019; Gao et al. 2020a; Gao et al. 2020b; Bothmann et al. 2020; Nachman and Shih 2020 соответственно. Каждый44 4 В случае автокодировщиков это верно только для вариационных архитектур. из этих методов учится отображать случайную величину $Z\in\mathbb{R}^{k}$ с известной плотностью вероятности в данные. Для GANs вторая сеть $h$ обучается одновременно, чтобы отличать $f(Z)$ от $X$; когда эта сеть работает плохо, тогда $f$ является хорошей моделью данных. Для VAEs $f$ является декодером в двухсетевой конфигурации энкодер-декодер. Данные отображаются из пространства данных в латентное пространство через энкодер, а затем обратно в пространство данных через декодер, пытаясь сохранить распределение данных и статистические свойства латентного пространства. Нормализующий поток представляет собой серию обратимых функций $f_{i}$ с вычислимыми якобианами для преобразования $Z$ в $X$: $p_{f}(f(z))=p(z)\prod_{i}|\partial f_{i+1}^{-1}/f_{i}|$ для $f_{0}=z$. NFs оптимизируются путем максимизации правдоподобия данных: $L[f]=\log p_{f}$.

Отчасти из-за квантовой механики часто невозможно узнать метки отдельных примеров из реальных данных. Однако симуляции (с помощью методов Монте-Карло) играют ключевую роль в разработке и проведении поисков новых частиц, и обычно можно получить метки для каждого экземпляра, изучив запись истинных значений Монте-Карло. В дополнение к чисто неконтролируемым и контролируемым методам существует спектр подходов с разным уровнем контроля, некоторые из которых используют сочетание информации из данных и симуляций. Полуконтролируемые методы55 5 Такая классификация не является единственной, см., например, Zhou 2017 для альтернативного способа определения слабого контроля. Мы следуем устоявшемуся использованию в приложениях машинного обучения для физики частиц. имеют метки, доступные для некоторых, но не для всех данных. Слабоконтролируемые методы имеют метки для всех данных, но каждая метка является зашумленной. Эти подходы были впервые изучены в HEP в ссылках Dery et al. 2017; Metodiev et al. 2017; Cohen et al. 2018; Komiske et al. 2018. Например, если известно, что набор событий состоит из двух классов, а пропорции классов равны $p_{0}$ и $p_{1}=1-p_{0}$, то случайное присвоение метки $0$ с вероятностью $p_{0}$ будет представлять собой зашумленные метки. Это предположение лежит в основе обучения по пропорциям меток Dery et al. 2017. Обучение все еще может быть возможным, даже если пропорции неизвестны, как в случае классификации без меток Metodiev et al. 2017⟧.

III Поиск новой физики с помощью машинного обучения

В этом разделе мы рассматриваем современное состояние методов прямого поиска новой физики на детекторах частиц. Многие из представленных здесь идей все еще находятся на стадии проверки концепции; в разделе IV мы описываем статус методов, которые были применены к реальным данным.

Поиск новой физики требует двух основных компонентов. Первый — это метод достижения чувствительности к сигналу путем отбора событий, которые преимущественно содержат новую физику, с удалением как можно большего числа (как правило, гораздо более многочисленных) событий фонового SM. Вторая часть — это тщательная и точная оценка фонового SM. События в данных, прошедшие отбор, сравниваются с предсказанием фонового SM для того же отбора. Если количество событий или их распределение по некоторой наблюдаемой величине не согласуются между данными и предсказанием фонового SM, это является свидетельством новых явлений. Если данные согласуются с конкретной теорией BSM, то параметры этой модели могут быть оценены; в противном случае устанавливаются ограничения на параметры новых частиц..

Роль моделирования SM и BSM (часто посредством симуляций) как в достижении чувствительности к сигналу, так и в оценке фона SM может быть использована для классификации различных стратегий поиска, как показано на рис. 1. В настоящее время большинство поисков достигают чувствительности к сигналу на основе симуляций и с учетом конкретной модели. Эти поиски начинаются с постулирования существования новых частиц с определенными теоретически обоснованными параметрами (массы, константы связи и т. д.). Учитывая такую модель, симуляции могут быть использованы для прогнозирования того, как новые явления будут выглядеть в детекторе. В сочетании с симуляциями SM, часто дополненными подходами на основе данных для оценки фона, может быть разработана стратегия поиска, которая позволит отсеивать процессы SM и усиливать присутствие процессов новых частиц в заданном наборе данных. Все чаще в поисках используется современное машинное обучение для обучения классификаторов с учителем для этой цели, и они применяются на всех этапах конвейера обработки данных для повышения чувствительности к предсказуемым сигнатурам новой физики. Некоторые аспекты этих поисков описаны в разд. III.1⟧.

Тем временем предлагается все больше методов, использующих техники машинного обучения с частичным обучением для более независимых от моделей и симуляций поисков новой физики.66 6 Серия поисков с использованием полуавтоматизированных методов без машинного обучения проводилась в последние десятилетия на установках D0 Knuteson; Abbott et al. 2000; Abazov et al. 2001; Abbott et al. 2001, H1 Aaron et al. 2009; Aktas et al. 2004, ALEPH Cranmer 2005, CDF Aaltonen et al. 2008; Aaltonen et al. 2007; Aaltonen et al. 2009, CMS CMS Collaboration 2017; CMS 2011; CMS Collaboration 2020a; Sirunyan et al. 2021a и ATLAS Aaboud et al. 2019; ATL 2014; ATL 2012. Все эти поиски по сути используют один и тот же подход: сравнение (множества) гистограмм данных с гистограммами симуляций Стандартной модели и поиск расхождений. Например, были предложены различные методы, использующие сами данные для повышения чувствительности к сигналу. Данные по своей природе не размечены, поэтому любой подход такого типа неизбежно является методом с частичным обучением. Эти и другие идеи будут описаны в разд. III.2.

⟦Figure 1: Схематические диаграммы ландшафта модельной зависимости для достижения чувствительности к сигналу (вверху) и для калибровки фона SM (внизу). Обучение с учителем относится к типу информации о метках, доступной во время обучения. Поиск с учителем использует симуляцию (размеченную по построению) для сигнала и фона Стандартной модели. Частично контролируемый поиск использует данные (неразмеченные по построению) либо для фона, либо для выборки, чувствительной к сигналу. Слабо контролируемый поиск имеет метки для каждого примера, но эти метки зашумлены. Наконец, методы без учителя не используют никакой информации о метках. В редких случаях с относительно простыми процессами симуляции SM могут быть использованы напрямую для оценки фона. В большинстве случаев для оценки фона SM используется комбинация данных и симуляций. Метод контрольной области использует вспомогательное измерение в области с низким содержанием сигнала для ограничения симуляции. Различные матричные методы (такие как метод ABCD) используют два независимых признака, которые оба чувствительны к сигналу, для прогнозирования фона. Поиск пиков предполагает, что сигнал локализован в одном измерении (часто инвариантная масса), где подгонка боковой полосы может быть использована для прогнозирования фона в резонансной области. Рисунок адаптирован из Ref. Nachman and Shih 2020.

III.1 Поиск, основанный на сигнальных моделях / полностью контролируемое обучение

Используя симуляции Стандартной модели и новых частиц, обучаются полностью контролируемые классификаторы для различения чистого сигнала от чистого фона. Полученные классификаторы затем применяются к данным и используются для усиления присутствия потенциального сигнала. Как правило, существует два способа обучения таких контролируемых классификаторов. Один подход заключается в обучении с использованием всей информации о событии, в то время как другой подход заключается в обучении с использованием конкретных объектов. Например, новая тяжелая частица $X$, рожденная на коллайдере и распадающаяся на пару бозонов Хиггса с $m_{X}\gg m_{h}$, приведет к образованию двух коллимированных потоков частиц (называемых струями), по одному для каждого бозона Хиггса. Один из вариантов заключается в том, что классификатор может быть обучен с использованием полного события для использования свойств рождения и распада $X$. Второй вариант заключается в том, что может быть сконструирован специализированный теггер для классификации Лоренц-бустированных струй бозона Хиггса от обычных кварковых и глюонных струй. Теггеры частиц затем могут быть объединены с другими инструментами для формирования классификатора на уровне события. В разделах ниже обсуждаются чувствительность к сигналу (тегирование объектов в разд. III.1.1 и классификация на уровне события в разд. III.1.2) и оценка фона (разд. III.1.3) для контролируемых поисков..

III.1.1 Маркировка объектов

Тегирование струй стало движущей силой многих инноваций в классификации сигналов благодаря их сложности и повсеместному распространению на коллайдерах частиц высоких энергий. Струя может состоять из десятков или сотен частиц, и каждая частица обладает четырехмерным импульсом и такими атрибутами, как электрический заряд. В результате струи существуют в пространстве высокой и переменной размерности, и deep learning используется для их изучения в виде изображений, последовательностей, деревьев, множеств и графов. Тегирование струй топ-кварков стало эталонной задачей для изучения новых методов, как описано в отчете сообщества, Ref. Butter et al. 2019. Machine learning также широко используется для тегирования отдельных частиц, таких как электроны, мюоны и пионы в коллайдерных, фиксированно-мишенных и нейтринных экспериментах (см., например, Abratenko et al. 2021a). При измерении с помощью множественных сегментированных детекторов эти объекты могут быть представлены множеством признаков, и machine learning может стать мощным инструментом для решения различных задач классификации и регрессии. Примеры тегирования составных и одиночных объектов в экспериментальном контексте будут приведены ниже в разделе Frontier Highlights.

III.1.2 Классификация событий

Многочисленные классификаторы на уровне событий использовались для повышения чувствительности к сигналу в физике высоких энергий. Особенно распространены градиентный бустинг над решающими деревьями. Первым исследованием, сравнивающим deep learning с более традиционными методами поверхностного обучения, была работа Baldi et al. 2014. Вывод этого исследования, который с тех пор многократно повторялся, заключается в том, что методы deep learning могут обрабатывать низкоуровневые входные данные (например, четырехвекторы частиц) и достигать сопоставимой или превосходящей производительности по сравнению с поверхностными методами, которые принимают на вход физически спроектированные высокоуровневые признаки. Переход от $\mathcal{O}(10)$ признаков к многим сотням или тысячам входных признаков впервые произошел в работах Aurisano et al. 2016; Bhimji et al. 2018, в которых целые нейтринные/коллайдерные события представлялись в виде изображений и обрабатывались с использованием CNN. Подобно более ранним исследованиям, было обнаружено, что deep learning на низкоуровневых входных данных способно превзойти чувствительность стандартных подходов и не улучшается при добавлении в нейронные сети сконструированных вручную наблюдаемых величин, построенных на основе низкоуровневых входных данных..

III.1.3 Оценка фоновых процессов

Машинное обучение было предложено для улучшения каждой из стратегий оценки фона, выделенных на рис. 1. Стратегии, полностью основанные на моделировании, могут быть оптимизированы сквозным образом с использованием подхода, учитывающего вывод Wunsch et al. 2021; Elwood et al. 2020; Xia 2019; De Castro and Dorigo 2019; Charnock et al. 2018; Alsing and Wandelt 2019; Heinrich and Simpson 2020; Dorigo and de Castro 2020, так что обучение учитывает итоговую статистику критерия и проверку гипотез. Гибридные методы, использующие вспомогательные измерения для ограничения моделирования, могут быть сделаны устойчивыми к неопределенностям Kasieczka et al. 2020a; Bollweg et al. 2020; Araz and Spannowsky 2021; Bellagente et al. 2021; Brehmer et al. 2020a; Brehmer et al. 2020b; Brehmer et al. 2018a; Brehmer et al. 2018b; Nachman 2019; Ghosh et al. 2021 путем включения аспектов статистической и систематической неопределенности в процессе обучения. Коррекции моделирования (называемые в машинном обучении адаптацией домена) также могут быть получены из вспомогательных измерений во многих измерениях с использованием методов машинного обучения Rogozhnikov 2016; Andreassen and Nachman 2020; Cranmer et al. 2015; Diefenbacher et al. 2020; Nachman and Thaler 2021; Clavijo et al. 2020; Perdue et al. 2018. Матричные методы опираются на независимость признаков, которая может быть либо принята физически, а затем объединена с машинным обучением Lin et al. 2019, либо обеспечена с помощью машинного обучения Kasieczka et al. 2020b; Mikuni et al. 2021. Поиск резонансов (bump hunts) может быть улучшен с помощью машинного обучения, но при этом нельзя допускать формирования искусственных локализованных особенностей. Этого можно достичь с помощью методов декорреляции Blance et al. 2019; Englert et al. 2019; Louppe et al. 2017; Dolen et al. 2016; Moult et al. 2018; Stevens and Williams 2013; Shimmin et al. 2017; Bradshaw et al. 2019; ATL 2018b; Kasieczka and Shih 2020; Wunsch et al. 2019; Rogozhnikov et al. 2015; CMS Collaboration 2020b; Kasieczka et al. 2020b; Kitouni et al. 2020; Estrade et al. 2019; Aguilar-Saavedra et al. 2017; Aguilar-Saavedra et al. 2020, которые автоматически гарантируют, что классификаторы имеют контролируемую зависимость от резонансного признака (признаков). Хорошо изученным случаем является отсутствие зависимости (независимость) от резонансного признака. Эти инструменты также были предложены для уменьшения неопределенностей Englert et al. 2019; Wunsch et al. 2019, хотя к этому следует подходить с осторожностью Ghosh and Nachman 2021. Существует также связь с областью машинного обучения, посвященной справедливости, которая стремится сделать классификаторы равными (инвариантными) или равноправными для различных совокупностей Chouldechova and Roth 2018; Mehrabi et al. 2019. Машинное обучение также изучалось для других аспектов поиска резонансов, включая высокогибкие аппроксимации фона Frate et al. 2017; Di Sipio et al. 2019; Chisholm et al. 2021⟧.

III.2 Поиск с неполным контролем обучения

Поиски с учителем часто строятся как простые проверки гипотез, где наличие сигнала является одной гипотезой, а другая — гипотезой только Стандартной Модели. Когда гипотеза о сигнале отвергается, то предполагаемая модель исключается, как правило, с уровнем достоверности 90% или 95%. При отсутствии мешающих параметров оптимальной тестовой статистикой для этой гипотезы является отношение правдоподобия $p_{\text{SM+BSM}}(x)/p_{\text{SM}}(x)$ Neyman and Pearson 1933.77 7 Оптимальность в данном контексте означает, что при фиксированной вероятности отклонения заданной гипотезы, когда она верна (уровень), вероятность отклонения заданной гипотезы, когда верна альтернативная (мощность), максимизируется с помощью тестовой статистики отношения правдоподобия. При наличии мешающих параметров не существует равномерно наилучшей тестовой статистики, но отношение правдоподобия по-прежнему остается очень мощным и широко используемым инструментом. Заметим, что любая тестовая статистика, являющаяся монотонной функцией отношения правдоподобия, будет обладать теми же статистическими свойствами..

Поиски с частичным обучением не имеют конкретной гипотезы о сигнале. В этом случае невозможно построить статистический критерий, оптимальный для всех потенциальных сигналов. Тем не менее, все еще возможно разработать методы для обнаружения новых физических сигнатур, которые имеют статистическое обоснование. Поиски без учителя обычно нацелены на события с низким $p_{\text{SM}}$. Слабо- и полуконтролируемые методы используют некоторую информацию о метках и поэтому способны конструировать альтернативные статистики отношения правдоподобия, такие как $p_{\text{data}}(x)/p_{\text{SM}}(x)$. Этот статистический критерий является оптимальным для проверки гипотезы о данных против фона, и когда ML методы обучаются на выборках, взятых из точного $p_{\text{SM}}$, статистический критерий иногда называют идеализированным детектором аномалий..

Большинство методов поиска с частичным обучением в физике высоких энергий отличаются от типичных задач обнаружения аномалий в индустрии, поскольку $p_{\text{SM}}$ обычно не равно нулю. Ни одно отдельное событие не может быть с уверенностью помечено как сигнал, поэтому в физике высоких энергий часто ориентируются на групповые или коллективные аномалии, в отличие от точечных или вне-многообразных аномалий, которые распространены в других областях. Многие примеры методов с частичным обучением можно дополнительно найти в недавних отчетах сообществ LHC Olympics и Dark Machines Kasieczka et al. 2021; Aarrestad et al. 2021a.

III.2.1 Неконтролируемое

Стратегия методов обучения без учителя для обнаружения аномалий заключается в поиске точек данных, которые значительно удалены от основной массы фоновых событий. Распространенным подходом является архитектура сети автокодировщика Hinton and Salakhutdinov 2006. Здесь пара сетей образует алгоритм сжатия с потерями. Одна сеть (кодировщик) отображает данные в представление латентного пространства, в то время как вторая сеть (декодировщик) выполняет обратное отображение из этого латентного пространства в данные. Эти сети обучаются минимизировать функцию потерь, такую как абсолютная разность между входными данными и выходом декодировщика. Ограничивая емкость этого преобразования, можно предотвратить обучение автокодировщика тождественной функции и вместо этого заставить его выявлять релевантные признаки данных. Если автокодировщик обучен на данных, в которых преобладает фоновый процесс, он соответствующим образом научится минимизировать потери для него, при этом возвращая более высокие потери для ранее не встречавшихся сигнальных данных..

С момента первых предложений по использованию автокодировщиков для обнаружения аномалий Heimel et al. 2019; Farina et al. 2020; Hajer et al. 2020, был предложен ряд улучшений и модификаций. Важным наблюдением является то, что автокодировщики могут быть смещены из-за относительной сложности аномальных и фоновых данных, что потенциально приводит к выбросам с меньшими потерями, чем у фона Finke et al. 2021; Dillon et al. 2021; Fraser et al. 2021. Поскольку латентное пространство в VAE Kingma and Welling 2014; Kingma and Welling 2019 оптимизировано для следования известному распределению для фоновых данных, оно также может быть использовано в качестве оценки аномальности Cerri et al. 2019; Govorkova et al. 2021⟧.

Помимо семейства автокодировщиков, был исследован ряд других подходов без учителя, основанных на методе опорных векторов Romao et al. 2020, латентном анализе Дирихле (LDA) Dillon et al. 2019; Caron et al. 2021, кластеризации Mikuni and Canelli 2020 и GANs Knapp et al. 2020..

III.2.2 Слабо- и полуконтролируемое

В отличие от обучения без учителя, слабоконтролируемое и полуконтролируемое обучение используют некоторую информацию о метках для настройки процесса обучения. Это может привести к повышению чувствительности к частицам BSM ценой дополнительных допущений Amram and Suarez 2020; Collins et al. 2021. Аспект, который отличает слабоконтролируемое обучение от полуконтролируемого обучения, заключается в точности меток. Слабоконтролируемое обучение использует зашумленные метки, в то время как полуконтролируемое обучение использует точные метки, но только для подмножества обучающих примеров..

В физике элементарных частиц обычное применение слабого обучения заключается в выделении двух наборов данных (назовем их $A$ и $B$), каждый из которых состоит из одних и тех же двух классов $1$ и $0$ (1 для сигнала и 0 для фона). Плотности вероятности смесей $A$ и $B$ тогда задаются как $p_{A}=\epsilon_{A}p_{1}+(1-\epsilon_{A})p_{0}$ и $p_{B}=\epsilon_{B}p_{1}+(1-\epsilon_{B})p_{0}$ для некоторых неизвестных долей сигнала $\epsilon_{A}$ и $\epsilon_{B}$. Если $\epsilon_{A}>\epsilon_{B}$, то смеси $A$ присваивается зашумленная метка «похожий на сигнал», а смеси $B$ присваивается зашумленная метка «похожий на фон». Если классификатор обучается с использованием этих зашумленных меток, он выучит функцию, монотонно связанную с $p_{A}/p_{B}$, которая сама по себе монотонно связана с $p_{1}/p_{0}$ и, следовательно, является оптимальной для целевой задачи..

Этот слабо контролируемый подход работает хорошо только тогда, когда классы $1$ и $0$ в $A$ и $B$ статистически идентичны. В противном случае классификатор будет отвлекаться на различия между $A$ и $B$, которые не связаны с сигналом. Это означает, что любые признаки, используемые для построения $A$ и $B$, не должны существенно искажать признаки, используемые для классификации. Одной из широко изученных сред, где это применимо, являются резонансные поиски. Такие поиски определяются признаком $m$ (часто инвариантной массой), который является резонансным для потенциального сигнала и не имеет локализованных признаков для фона. В подходе Classification Without Labels из работы Collins et al. 2018; Collins et al. 2019 предложено использовать область вблизи потенциального сигнала для построения $A$, а боковую область использовать для определения $B$. Другой вариант — построить $B$, используя чистую D’Agnolo and Wulzer 2019; D’Agnolo et al. 2019; d’Agnolo et al. 2021 или дополненную данными Andreassen et al. 2020; Benkendorfer et al. 2021 симуляцию, которая по построению состоит только из класса $0$. Симуляции также могут быть использованы для добавления меток, подобных сигналу, для $A$ Park et al. 2020; Khosa and Sanz 2020. Также были предложены гибридные подходы, которые используют параметризованную оценку плотности из боковой области для оценки плотности фона в сигнальной области Nachman and Shih 2020; Stein et al. 2020; Hallin et al. 2021 или автокодировщики для первоначального обучения на зашумленных метках Amram and Suarez 2020. Многие из этих методов также естественно устойчивы к корреляциям между $m$ и признаками классификации..

IV Основные достижения на переднем крае науки

В этом разделе представлено состояние машинного обучения на рубежах физики высоких энергий, нейтринной физики и физики редких событий. События в экспериментах на рубеже высоких энергий (разд. IV.1) происходят в одной и той же точке пространства (центр детектора) с фиксированной частотой и позволяют напрямую исследовать самые высокие энергии в наземных экспериментах. Текущие эксперименты на рубеже высоких энергий проводятся на Большом адронном коллайдере (LHC). События в нейтринных экспериментах (разд. IV.2) обычно синхронизированы по времени с реакторным или ускорительным источником нейтрино, но могут происходить в любой точке детектора. Пространство и время событий в экспериментах по поиску редких событий (разд. IV.3) не контролируются экспериментаторами. Эти поиски прямого детектирования темной материи, астрофизических нейтрино, а также других слабо взаимодействующих явлений, как правило, требуют использования крупных детекторов, построенных глубоко под землей..

В этом разделе будут освещены применения ML на всех трех этапах конвейера обработки данных, включая сбор данных, реконструкцию данных и итоговый анализ данных.

IV.1 Энергетический рубеж

Цель прямого поиска новой физики на Большом адронном коллайдере заключается в проверке Стандартной модели на энергетическом рубеже путем рождения новых BSM частиц с последующей попыткой обнаружения их характерных сигнатур (например, через их распады на частицы Стандартной модели) на фоне процессов Стандартной модели. Примеры сценариев новой физики, поиск которых ведется на Большом адронном коллайдере, включают суперсимметрию (мотивированную проблемой иерархии), дополнительные измерения, черные дыры, темную материю, новые поколения кварков и лептонов, а также новые фундаментальные переносчики взаимодействий ($Z^{\prime}$’s).

Машинное обучение нашло широкое применение в экспериментах на LHC. На самых низких уровнях машинное обучение используется для калибровки детекторов, сбора данных, распознавания образов, подавления шумов, идентификации частиц и моделирования детекторов. На уровне отдельных анализов машинное обучение применяется для оценки фоновых процессов, а также для построения финальных дискриминантов анализа. В этом разделе будут освещены несколько примеров из этих областей..

Сбор данных. Одной из ключевых проблем на LHC является экстремальная скорость потока данных: столкновения происходят с частотой 40 МГц, и каждое событие требует $\mathcal{O}(\text{MB})$ памяти. Запись каждого события на диск невозможна, поэтому требуется значительная оперативная обработка. Эксперименты ATLAS и CMS используют двухэтапную обработку, чтобы отсеивать более 99,99% событий и снижать скорость потока данных до 1 кГц. Для достижения необходимой низкой задержки первый этап (называемый триггером первого уровня, L1T) реализован с использованием аппаратного обеспечения FPGA, в то время как второй этап (называемый триггером высокого уровня, HLT) выполняется на компьютерном оборудовании, таком как CPU или GPU. Учитывая менее строгие временные ограничения и наличие более мощного оборудования, ML впервые был применен на этапе HLT. Например, алгоритм CSVv2, основанный на простой нейронной сети для идентификации $b$-кварков, был принят для использования в HLT в эксперименте CMS Sirunyan et al. 2018. Для предстоящих периодов сбора данных существуют планы по включению машинного обучения — включая глубокие сети — также на уровне L1T Duarte et al. 2018; Nottbeck et al. 2019; Zabi et al. 2020; Summers et al. 2020; Aarrestad et al. 2021b; Hong et al. 2021; Deiana et al. 2021, чтобы повысить эффективность селекции..

Особо интересная стратегия удаления первой аппаратной ступени триггера и обработки всех событий программной ступенью триггера, работающей на частоте 30 МГц, рассматривается в эксперименте LHCb LHCb Collaboration 2020. Использование возможностей распараллеливания GPU-hardware позволяет выполнять реконструкцию треков, а также отбор на основе физических критериев при полной входной частоте 30 МГц, что соответствует 40 Тбит/с необработанных данных, тем самым сокращая объем входных данных для последующих этапов отбора в 20-40 раз Aaij et al. 2020. Наличие GPU-hardware также позволяет относительно просто адаптировать высокоточные ML алгоритмы в триггере для дальнейшего повышения эффективности отбора..

Глубокие генеративные модели в настоящее время внедряются для создания больших синтетических наборов данных, которые будут использоваться для всех аспектов задач последующего вывода ATL 2018a; Chekalina et al. 2018; ATL 2020a; Aad et al. 2021a.

Тегирование объектов. Идентификация известных частиц Стандартной модели для обогащения выборок, содержащих конкретный интересующий физический процесс, является общепринятой практикой на Большом адронном коллайдере, а основанные на ML теггеры изучаются — и во многих случаях применяются — практически для всех подобных задач тегирования объектов. Одним из примеров теггера одиночных объектов является тегирование струй, происходящих от $b$-кварка ($b$-тегирование). Алгоритм DL1, используемый коллаборацией ATLAS Aad et al. 2019, представляет собой полносвязную глубокую нейронную сеть (DNN), достигающую частоты ложноположительных срабатываний для легких ароматов 1/390 при сохранении 70% частоты истинно положительных срабатываний (эффективности) для струй истинных $b$-кварков, что значительно превосходит более простые подходы. Эти методы широко используются, причем большая часть анализов требует хотя бы некоторой информации об аромате. В то же время архитектуры, адаптированные для использования низкоуровневых свойств и симметрий данных, обещают дальнейший прирост производительности Bols et al. 2020; ATL 2020b.

Схожая ситуация наблюдается и для более сложных сигналов. Рассмотрение активности детектора в более широкой геометрической области с использованием так называемых струй большого радиуса Larkoski et al. 2020; R. Kogler 2019 позволяет идентифицировать адронно распадающиеся, Лоренц-бустированные тяжелые резонансы, такие как $W$, $Z$, или бозоны Хиггса и топ-кварки. Например, в Ref. Sirunyan et al. 2020a представлен обзор методов теггирования, рассматриваемых коллаборацией CMS. Опять же, такие стандартные теггеры используются в большом количестве приложений Sirunyan et al. 2020b; CMS 2021a; CMS 2021b; CMS 2021c для увеличения относительной доли искомой частицы или для проектирования сигнальных областей при проведении поисков.

Как для узких, так и для широких струй эти методы могут быть откалиброваны, а масштабные коэффициенты могут быть предоставлены путем сравнения записанных данных и моделирования методом Монте-Карло Aad et al. 2019; Sirunyan et al. 2020a; Sirunyan et al. 2018; Sirunyan et al. 2021b; ATL 2021a. Наконец, теггеры также разрабатываются для гипотетических, ненаблюдаемых сигнальных частиц. В этом случае обучение должно опираться на моделирование, а калибровка по данным возможна только для фоновых процессов Sirunyan et al. 2020c, что делает дополнительный акцент на надежных методах оценки фона..

Оценка фона. Стратегии декорреляции широко используются в ATLAS, CMS и LHCb для обеспечения поиска резонансов с помощью машинного обучения; см. Ref. Sirunyan et al. 2020a; ATL 2018b для исследований производительности и недавние примеры физических результатов в Ref. Tumasyan et al. 2021a; Aaij et al. 2021; ATLAS Collaboration 2020. Все большее число поисков, использующих методы контрольных областей, применяют машинное обучение для выполнения многомерного перевзвешивания с целью лучшего соответствия фоновых данных в областях, чувствительных к сигналу Aaboud et al. 2018; ATL 2021b. Устранение различий между данными и моделированием также может быть частью обучения классификатора напрямую Sirunyan et al. 2020c.

Дискриминанты финального анализа. Поверхностное, полностью контролируемое машинное обучение (например, с использованием BDT) повсеместно применяется в исследованиях на LHC. Например, ATLAS и CMS опубликовали более 600 статей с поиском новых частиц, и пакет многомерного анализа TMVA Hocker et al. 2007 цитируется более чем в 10% из них. Сюда не входят анализы, использующие классификаторы на основе ML для отдельных объектов (описанные выше), которые, вероятно, составляют значительную часть всех поисковых исследований. Все большее число исследований используют deep learning для настройки финального анализа, применяя различные комбинации подходов к чувствительности к сигналу и специфичности фона, выделенные на рис. 1.

Наиболее распространенные применения глубокого обучения для анализа на уровне событий используют методы с учителем. Например, недавний поиск ATLAS с использованием нескольких заряженных лептонов в Ref. Aad et al. 2021b является полностью контролируемым, и, учитывая точно известное конечное состояние с несколькими лептонами, симуляции используются непосредственно для оценки фона. Поиск, проведенный CMS в конечном состоянии $bb\tau\tau$, использует классификатор на уровне событий с учителем, который в основном калибруется с использованием метода контрольной области Tumasyan et al. 2021b. Примером поиска с использованием матричных методов для оценки фона является недавний поиск ATLAS экзотического распада бозона Хиггса на бозон $Z$ и легкий псевдоскаляр Aad et al. 2020. Чтобы сохранить чувствительность к массам псевдоскаляров, классификационная нейронная сеть объединяется с сетью регрессии массы перед оценкой фона с использованием метода ABCD. Существует множество поисков резонансов, в которых используется обучение с учителем, но все они в настоящее время применяют машинное обучение через объектные классификаторы..

Несмотря на то, что было предложено множество методов поиска с частичным обучением, количество результатов анализа данных по-прежнему ограничено из-за времени, необходимого для выполнения полного анализа данных. Существует традиция проведения полуавтоматизированных анализов, в которых используются симуляции сигналов и данные контрольных областей для построения дискриминантов анализа. Недавним результатом такого типа с использованием современного machine learning является поиск дифотонных событий в эксперименте ATLAS Aad et al. 2021c, в котором применяется XGBoost Chen and Guestrin 2016. Первый анализ со слабым обучением был выполнен коллаборацией ATLAS для диджетного конечного состояния с использованием протокола Classification Without Labels ATLAS Collaboration 2020. Хотя в этом первоначальном результате использовались только два признака, он все же позволил расширить чувствительность инклюзивных поисков за счет автоматического определения аномальных областей фазового пространства.

Хотя в этом разделе основное внимание уделялось LHC, современные инструменты машинного обучения также применяются в Belle II (например, для трекинга Bertacchi et al. 2021), а более старые алгоритмы машинного обучения имеют долгую историю использования на предыдущих коллайдерах и будут необходимы для физической программы будущих коллайдеров.

IV.2 Нейтринные эксперименты

Открытие масс нейтрино (посредством их осцилляции ароматов) является одним из немногих прямых наблюдений физики BSM. Текущие исследования в физике нейтрино направлены на понимание происхождения масс нейтрино и поиск отклонений от трехнейтринной парадигмы, например, предсказываемых легкими стерильными нейтрино Abazajian et al. 2012; Dentler et al. 2018, новыми фундаментальными посредниками сил Bertuzzo et al. 2018; Ballett et al. 2019, дополнительными измерениями Adamson et al. 2016, нарушением симметрии Лоренца и CPT Kostelecky and Mewes 2004 или нестандартными взаимодействиями нейтрино с веществом Miranda and Nunokawa 2015; de Gouvêa and Kelly 2016. Ключевым требованием для этих анализов является классификация аромата взаимодействующего нейтрино путем идентификации конечных состояний взаимодействия, что используется для исследования отклонений от стандартной картины осцилляций. Идентификация объектов конечного состояния также важна для широкого спектра анализов, исследующих нейтрино как портал в физику темной материи. Феноменология этих моделей часто предсказывает нестандартные объекты конечного состояния, такие как распады долгоживущих частиц на пары $e^{+}e^{-}$ Bertuzzo et al. 2018; Ballett et al. 2019. Как следствие, методы, подобные тегированию объектов для коллайдеров, вызывают растущий интерес и находят применение, особенно для детекторов с высоким пространственным и калориметрическим разрешением..

В связи с необходимостью повышения точности использование ML растет в нейтринных экспериментах на всех этапах конвейера обработки данных. За последние пять лет алгоритмы deep learning стали все более популярными и позволили значительно улучшить производительность и физический охват по сравнению с традиционными методами. Приложения deep learning теперь охватывают весь спектр обработки данных для нейтринных экспериментов, включая сбор данных Jwa et al. 2019; Acciarri et al. 2021; Uboldi et al. 2021; Anker et al. 2021, финальный анализ данных (см., например, Acero et al. 2021; Abratenko et al. 2021b) и, в частности, реконструкцию данных (см., например, Baldi et al. 2019; Abratenko et al. 2021c; Aiello et al. 2020), что обусловлено растущим использованием крупных трековых калориметров высокого разрешения в качестве нейтринных детекторов..

По сравнению с коллайдерными экспериментами, нейтринные детекторы обычно представляют собой большую и однородную мишень, где нейтринные взаимодействия могут происходить равномерно, что приводит к появлению сигналов взаимодействия, обладающих трансляционной инвариантностью. Интересующими признаками являются топологические характеристики освещенных пикселей в фиксированной сегментированной (2D или 3D) геометрии, при этом пространственно и временно связанные пиксели соответствуют определенному «треку» частицы — форма и длина трека, а также интенсивность пикселей указывают на тип частицы и ее кинематические свойства. Таким образом, CNN и другие алгоритмы deep learning, связанные с компьютерным зрением, приобрели большое значение и стали особенно распространенным и важным инструментом в нейтринных экспериментах Radovic et al. 2018. Пионерская демонстрация применения CNN для классификации нейтринных событий на основе их топологии без необходимости детальной реконструкции была выполнена в Aurisano et al. 2016, что продемонстрировало улучшение физических показателей по сравнению с традиционными алгоритмами для случая эксперимента NO$\nu$A Ayres et al. 2007. Исчерпывающий обзор машинного обучения в нейтринных экспериментах представлен в Ref. Psihas et al. 2020; в последующих абзацах освещаются некоторые из более недавних достижений.

Распознавание изображений. Технология детекторов, идеально подходящая для приложений компьютерного зрения в нейтринной физике, — это жидкоаргоновые время-проекционные камеры (LArTPCs), используемые в будущем эксперименте DUNE Abi et al. 2020a, текущем MicroBooNE Acciarri et al. 2017a и предстоящих экспериментах SBN Antonello et al. 2015. Эти детекторы функционируют как устройства для потоковой передачи стереоскопических изображений, предлагая возможность прямого применения распознавания изображений уже на этапе сбора данных. Однако в настоящее время применение алгоритмов deep learning для этих экспериментов преимущественно сосредоточено на задачах реконструкции данных и финального анализа..

Коллаборация DUNE изучает использование CNN для классификации взаимодействий нейтрино, что позволяет одновременно идентифицировать и классифицировать конечные состояния взаимодействий нейтрино и тип взаимодействия нейтрино Abi et al. 2020b, в то время как реконструкция кинематики с использованием 2D и 3D регрессионных CNN была предложена в Liu et al. 2020. Эксперимент MicroBooNE первым продемонстрировал успешное использование и преимущества CNN для классификации изображений сигнала и фона, где изображения сигнала содержат частицы, рожденные в результате взаимодействия нейтрино Acciarri et al. 2017b. Переходя в большей степени к внедрению алгоритмов deep learning для задач реконструкции, а не для задач конечного анализа, MicroBooNE дополнительно продемонстрировал идентификацию типов множественных частиц Acciarri et al. 2017b; Abratenko et al. 2021a, а также попиксельное предсказание объектов Adams et al. 2019 посредством успешного первого применения архитектуры CNN в стиле UNet и методов семантической сегментации к данным LArTPC о нейтрино. В стремлении минимизировать вычислительные потребности для применения CNN к анализу (особенно разреженных) данных LArTPC, MicroBooNE также продемонстрировал использование семантической сегментации с помощью sparse CNN для реконструкции событий Abratenko et al. 2021d. Это было мотивировано работой Ref.Dominé and Terao 2020, предлагающей пространственно разреженную архитектуру в стиле UResNet для меток сегментации частиц для наборов данных типа LArTPC Dominé and Terao 2020. Ближний детектор SBN (SBND) также применил сеть UResNet для удаления космического фона Acciarri et al. 2020, продемонстрировав масштабируемость более крупных CNN для задачи попиксельного разделения сигнала и фона на изображениях большего размера Acciarri et al. 2020. Данная методика также была использована MicroBooNE в рамках флагманского поиска BSM физики в эксперименте Abratenko et al. 2021d⟧.

В работе Drielsma et al. 2021a недавно была продемонстрирована многозадачная сквозная оптимизация полной цепочки реконструкции данных для детекторов изображений с использованием разреженных CNN и графовых нейронных сетей. Эта цепочка состоит из нескольких модулей нейронных сетей, где каждый модуль выполняет традиционную задачу реконструкции данных (например, кластеризацию пикселей, оценку типа и импульса частицы, реконструкцию потока частиц и иерархии между родительскими и дочерними элементами) Dominé and Terao 2020; Dominé and Terao 2020; Koh et al. 2020; Drielsma et al. 2021b, и она интегрируется в анализ ближнего детектора DUNE и другие эксперименты этого класса Adams et al. 2020.

Помимо экспериментов с LArTPC, дополнительные новаторские приложения глубокого обучения использовали уникальную геометрию детектора, принцип работы или структуру необработанных данных конкретного эксперимента. Например, принцип 2D-визуализации детектора NO$\nu$A также способствовал разработке и использованию CNN для идентификации и реконструкции нейтринных событий Psihas 2017, объединяя две ортогональные визуальные проекции заданных нейтринных взаимодействий в детекторе в структуре сиамской сети и позволяя сети обучаться на независимых 2D-изображениях 3D-выделений энергии при нейтринных взаимодействиях. Детектор Kamland-Zen, который является приблизительно сферическим детектором, использовал сферические CNN для своих физических анализов Gando et al. 2016. MINERvA адаптировала CNN с использованием доменно-состязательных нейронных сетей как способ смягчения неизвестных смещений во входных данных для обучения Perdue et al. 2018. Наконец, Daya-Bay, в одной из первых демонстраций применения обучения без учителя DNN для распознавания образов, продемонстрировала использование снижения размерности как метода интерпретации признаков, извлеченных CNN, используемой для отделения нейтринных взаимодействий от шума в их детекторе Racah et al. 2016⟧.

Уникальным случаем применения глубокого обучения для реконструкции является эксперимент IceCube, чья неоднородная конфигурация детектора делает его менее подходящим для CNN. В связи с этим в IceCube перешли к использованию графовых нейронных сетей, которые способны более эффективно работать с нерегулярными геометрией и размерами данных, демонстрируя значительное улучшение физических показателей по сравнению с традиционными алгоритмами Choma et al. 2018b; Abbasi et al. 2021.

Сбор данных. С использованием все более крупных объемов мишеней для взаимодействия нейтрино и более детальной сегментации считывания, проблемы обработки данных для нейтринных экспериментов начинают приближаться к таковым в современных коллайдерных экспериментах. Например, каждый из множества дальних детекторов DUNE Abi et al. 2020c будет генерировать необработанные данные со скоростью несколько терабайт в секунду и планируется к эксплуатации в течение как минимум десятилетия, что также требует 100% времени работы для обеспечения чувствительности к нейтрино от близлежащих вспышек сверхновых или других стохастических сигналов BSM. Поскольку ML становится все более распространенным в нейтринных экспериментах, сообщество все больше обращает свое внимание на аппаратное ускорение вывода на основе ML. GPU-ускоренный вывод ML как сервис для вычислений в нейтринных экспериментах обсуждается в Wang et al. 2020, в то время как новые разработки также нацелены на ускорение на базе GPU или FPGA для использования алгоритмов машинного обучения, таких как 1D или 2D CNN, в режиме реального времени или при онлайн-обработке необработанных данных LArTPC на уровне сбора данных и триггера Jwa et al. 2019; Acciarri et al. 2021; Uboldi et al. 2021.

IV.3 Поиск редких событий

Эксперименты по прямому обнаружению темной материи (DM) и безнейтринному двойному бета-распаду ($0\nu\beta\beta$) имеют своей основной целью наблюдение процессов BSM, чаще всего в форме рассеяния слабо взаимодействующих массивных частиц или $0\nu\beta\beta$ посредством обмена легкими майорановскими нейтрино соответственно. Хотя машинное обучение в таких поисках не так распространено, как в физике коллайдеров или нейтринных экспериментах, возможно, отчасти из-за его особой чувствительности к неточностям моделирования на уровне нескольких событий, его использование в последние годы возросло. В настоящее время области применения в основном состоят из методов улучшения реконструкции событий или дискриминации сигнала и фона..

Поверхностные дискриминаторы. Относительно простые методы, такие как BDT, остаются популярными, вероятно, из-за своей устойчивости и простоты использования. BDT применялись для эффективного удаления редких фоновых событий в ксеноновых детекторах темной материи, таких как LUX Akerib et al. 2021a; Akerib et al. 2021b; Rossiter 2021 и XENON1T Aprile et al. 2021, с использованием высокоуровневых сконструированных признаков в качестве входных данных и применением порогового значения к выходному сигналу перед последующими этапами анализа. Аналогичные подходы использовались для удаления шумовых импульсов в твердотельных детекторах темной материи, таких как SuperCDMS Agnese et al. 2019 и COSINE-100 Adhikari et al. 2021a. В эксперименте EXO-200 $0\nu\beta\beta$ этот подход был развит дальше путем объединения выходных данных BDT с другими переменными, такими как измеренная энергия, в итоговой двумерной аппроксимации Albert et al. 2016; Albert et al. 2018; Anton et al. 2019.

Анализ временных рядов. Машинное обучение также было задействовано для более полного анализа данных временных рядов (форм сигналов). Более точное извлечение параметров импульса, таких как высота и время начала, было продемонстрировано в твердотельных детекторах с использованием PCA Yu 2019, CNN и RNN Wagner 2020, в то время как эффективные (низкоразмерные) сводки формы импульса были получены с использованием BDT Akerib et al. 2021a и сверточных автокодировщиков Holl et al. 2019. Дискриминация фона по форме импульса показала многообещающие результаты при использовании полносвязных нейронных сетей или CNN для экспериментов по поиску темной материи в пузырьковых камерах, таких как PICO Matusch et al. 2018; Matusch and Cao 2020, германиевых детекторов безнейтринного двойного бета-распада Holl et al. 2019 и криогенных детекторов темной материи на основе вольфрамата кальция, таких как CRESST Mühlmann 2019⟧.

Распознавание изображений. Опираясь на успешные методы распознавания изображений в промышленности и нейтринных экспериментах Acciarri et al. 2017b, в поиске редких событий были внедрены 2D CNN для полноценного использования пространственной (или пространственно-временной) информации с помощью паттернов попаданий света и заряда в детекторе. Этот подход особенно эффективен для топологической дискриминации сигнала и фона в ксеноновых время-проекционных камерах (TPCs) для $0\nu\beta\beta$ Ai et al. 2018, включая NEXT Renner et al. 2017; Kekic et al. 2021, nEXO Li et al. 2019a; Adhikari et al. 2021b и PandaX-III Qiao et al. 2018, а также в сцинтилляционном эксперименте KamLAND-Zen $0\nu\beta\beta$ Li et al. 2019b и даже в поиске темной материи с помощью ядерных эмульсий Golovatiuk et al. 2021. 2D паттерны попаданий в детекторе также использовались непосредственно в качестве входных данных для CNN, полносвязных сетей или методов байесовской оптимизации Simola et al. 2019 для более точной реконструкции положения в TPCs на благородных элементах, таких как EXO-200 Delaquis et al. 2018, XENON1T Aprile et al. 2019 и эксперименты по поиску темной материи DarkSide на основе аргона Goicoechea-Casanueva et al. 2021; Grobov and Ilyasov 2020⟧.

Поиск с частичным использованием обучающей выборки. Общей темой для экспериментов по поиску редких событий является стремление к снижению зависимости от симуляций посредством полностью основанного на данных обучения, полуавтоматического обучения или методов обучения без учителя. Эксперименты на ксеноновых времяпроекционных камерах, такие как EXO-200 и LUX, обучали ML модели для более точной реконструкции событий с отсутствующим сигналом заряда или света, используя события из данных, в которых присутствуют оба сигнала, для обеспечения меток при обучении с учителем после перевзвешивания, чтобы уменьшить зависимость от признаков, характерных исключительно для исходного домена обучения, таких как энергетический спектр Delaquis et al. 2018; Akerib et al. 2021a. Неточные метки, полученные при отборе событий из данных с уникальными сигнатурами, такими как пики выхода гамма-квантов, могут быть использованы для более точной идентификации событий с одним или несколькими рассеяниями в германиевых детекторах Holl et al. 2019. Было показано, что дополнение симулированных событий неразмеченными событиями из данных с использованием уверенных предсказаний сети в качестве истинных меток в последующих итерациях обучения повышает производительность в PICO Matusch and Cao 2020; Matusch et al. 2018; в NEXT было обнаружено, что признаки, извлеченные с помощью сверточных слоев, более точно совпадают в симуляциях и данных при дополнении обучающих событий путем их повторения после физически инвариантных преобразований, таких как вращение Kekic et al. 2021. Полностью неконтролируемые методы, такие как tSNE, PCA и автокодировщики, были успешно применены для отделения нежелательного фона посредством кластеризации в CRESST Wagner 2020⟧.

Во многих случаях выбор представления данных оказывает большее влияние на результаты, чем алгоритм или архитектура. В эксперименте PICO было замечено, что простая полносвязная сеть, примененная к первым нескольким компонентам данных в пространстве Фурье, обеспечивает лучшее разделение частиц, чем CNN во временной области Matusch et al. 2018. В эксперименте EXO-200 наблюдается минимальное улучшение разделения при использовании классификатора CNN по сравнению с BDT с разработанными признаками Anton et al. 2019, в то время как в DarkSide-20k достигается более высокая производительность при использовании полносвязной сети по сравнению с CNN Goicoechea-Casanueva et al. 2021. Напротив, предварительное обучение сверточного автокодировщика с последующим обучением полносвязной сети на его закодированном латентном пространстве показало хорошие результаты в германиевых детекторах Holl et al. 2019, что позволяет предположить, что разделение задач представления и классификации может быть более надежным..

В ближайшем будущем повышенное внимание к извлечению физических выводов из методов обучения без учителя, тщательной количественной оценке неопределенностей и продуманному формированию обучающих выборок для уменьшения доменных расхождений будет иметь решающее значение для полноценного использования преимуществ deep learning в поиске редких событий..

V Перспективы и проблемы

Разработка и внедрение методов машинного обучения в поиске новой фундаментальной физики становятся актуальными ввиду отсутствия доказательств, полученных традиционными методами. Новые частицы могут быть обнаружены в ходе существующих и планируемых в ближайшем будущем экспериментов, однако нам может потребоваться исследовать наши данные в их естественной высокой размерности и снизить зависимость от моделей, чтобы раскрыть новые явления. Новые методы разрабатываются быстрыми темпами (как внутри, так и вне экспериментальных коллабораций), и мы начинаем видеть множество инновационных приложений как для обработки данных, так и для анализа данных..

Приложения машинного обучения в фундаментальной физике сопряжены с уникальными проблемами, которые могут не решаться в индустрии. Как правило, мы ищем крайне редкие и едва уловимые отклонения от Стандартной модели. Более того, зачастую ни один отдельный фрагмент данных не является уникально аномальным — только в контексте множества примеров мы можем собрать статистические доказательства для открытия. В то же время будет крайне важно интегрировать передовые инструменты deep learning, такие как TensorFlow Abadi et al. 2015 и PyTorch Paszke et al. 2019, в рабочие процессы анализа, чтобы наилучшим образом использовать новые методы. Существуют также серьезные вычислительные проблемы, связанные с обучением и инференсом. Например, пределы исключения BSM в Ref. ATLAS Collaboration 2020 потребовали обучения 20 тысяч нейронных сетей. Это связано с тем, что отбор событий зависит от данных, а данные меняются всякий раз, когда вводится другое количество сигнала. Особенно для поисков с частичным обучением (less-than-supervised) потребуется радикально новый подход к сохранению данных и переинтерпретации анализа..

Хотя в данном обзоре основное внимание уделялось прямым поискам новых частиц, существует также множество косвенных поисков в форме измерений Стандартной модели. Анализы, исследующие небольшие различия между Стандартной моделью и данными, также все чаще применяют стратегии машинного обучения для коррекции данных при наличии BSM Bellagente et al. 2020; Komiske et al. 2021, анализа эффективной теории поля Brehmer et al. 2020a; Brehmer et al. 2020b; Brehmer et al. 2018a; Brehmer et al. 2018b; Chatterjee et al. 2021; Chen et al. 2021; Erbin and Krippendorf 2020, переинтерпретации Caron et al. 2017; Bertone et al. 2019; Kronheim et al. 2021 и многого другого Feickert and Nachman 2021.

Астрономия и космология также предлагают уникальные и мощные возможности для изучения многих типов физики за пределами Стандартной модели (например, темная материя, темная энергия, бариогенезис, аксионы). Эти области также генерируют огромные и сложные наборы данных с помощью действующих и будущих обсерваторий, таких как Gaia Lindegren et al. 2018, Large-aperture Synoptic Survey Telescope Ivezić et al. 2019, Laser Interferometer Gravitational-Wave Observatory Abbott et al. 2009 и Square Kilometer Array Weltman et al. 2020. Значительные усилия уже направлены на применение методов ML для ускорения анализа данных и совершения открытий в этих областях; см., например, Ref. Stein 2020, где представлен исчерпывающий список приложений ML в космологии. Связи между этими областями и физикой элементарных частиц будут чрезвычайно интересными и важными для изучения в будущем..

Хотя многие проблемы, связанные с машинным обучением, носят технический характер, для полноценного использования новых инструментов также потребуется новое мышление сообщества. Как мы можем совершать открытия, используя представления, которые мы не можем легко визуализировать или понять? Объединение физики со статистическим обучением открывает новый путь к надежным, чувствительным и достоверным методам раскрытия фундаментальной структуры природы..