RobustSHAP.

RoSHAP: распределительный фреймворк и робастная метрика для стабильной атрибуции признаков^†^†thanks: Code is available at https://github.com/Lanxin-Xiang/RobustSHAP.

Ланьсинь Сян
Кафедра статистики
Виргиния Тек
francesx@vt.edu
&Лян Ши
Кафедра статистики
Транспортный институт Виргинского технологического университета
Вирджиния Тек
sliang@vt.edu
&Юхуй Е
Кафедра статистики
Виргиния Тек
yye1997@vt.edu
&Бою Цзян
Кафедра статистики
Вирджиния Тек
boyuj@vt.edu
&Давэй Чжоу
Кафедра компьютерных наук
Виргинский технологический университет
zhoud@vt.edu
&Фэн Го
Кафедра статистики
Транспортный институт Виргинского политехнического университета
Виргинский технологический институт
feng.guo@vt.edu Автор для корреспонденции.

Аннотация

Анализ атрибуции признаков критически важен для интерпретации моделей машинного обучения и поддержки надежных решений, основанных на данных. Однако меры атрибуции признаков часто демонстрируют стохастическую вариативность: различные разбиения на обучающую и тестовую выборки, случайное начальное число (random seed) или процедуры подгонки модели могут давать существенно различающиеся значения атрибуции и ранжирования признаков. В данной статье предлагается фреймворк для учета стохастической природы атрибуции признаков и устойчивая метрика атрибуции RoSHAP для стабильного ранжирования признаков на основе метрики SHAP. Предложенный фреймворк моделирует распределение оценок атрибуции признаков и оценивает его с помощью бутстреп-ресемплинга и оценки плотности ядра (bootstrap resampling and kernel density). Мы показываем, что при соблюдении некоторых условий регулярности агрегированная оценка атрибуции признаков асимптотически соответствует нормальному распределению, что значительно снижает вычислительные затраты на оценку распределения. RoSHAP обобщает распределение SHAP в устойчивый критерий ранжирования признаков, который одновременно вознаграждает признаки, которые являются активными, сильными и стабильными. С помощью симуляций и экспериментов на реальных данных предложенный фреймворк и RoSHAP превосходят стандартные одноразовые меры атрибуции в выявлении сигнальных признаков. Кроме того, модели, построенные с использованием признаков, отобранных с помощью RoSHAP, достигают прогностической производительности, сравнимой с моделями, использующими все признаки, при этом используя существенно меньше предикторов. Предложенный подход RoSHAP улучшает стабильность и интерпретируемость моделей машинного обучения, обеспечивая надежные и согласованные выводы для анализа..

1 Введение

Атрибуция признаков обеспечивает количественную основу для интерпретации моделей машинного обучения (ML) путем присвоения оценок вклада отдельным предикторам. Однако для многих современных ML-моделей эти оценки не могут быть напрямую получены из структуры модели и вместо этого должны оцениваться с помощью пост-хок методов атрибуции. Эта задача становится особенно сложной, когда данные являются многомерными, зашумленными и коррелированными, или когда связь между предиктором и откликом является сложной. В таких условиях результаты атрибуции может быть трудно интерпретировать, и они могут не обеспечивать стабильную основу для научных или практических выводов..

В рамках большого количества исследований были разработаны методы атрибуции признаков для объяснения результатов работы моделей, в том числе SHapley Additive exPlanations (SHAP) [14], Local Interpretable Model-agnostic Explanations (LIME) [18], DeepLIFT [22] и меры на основе прироста информации. Эти метрики отражают различные аспекты вклада признаков, каждый с различными теоретическими свойствами и практическими компромиссами. SHAP, например, создает аддитивные оценки атрибуции на уровне экземпляров, основанные на кооперативной теории игр, и является единственным аддитивным методом атрибуции, удовлетворяющим локальной точности, отсутствию и согласованности [14]. Эти гарантии сделали SHAP популярным выбором в различных областях, включая медицину [1, 17, 24, 12], обработку естественного языка [16] и анализ пространственных данных [11].⟧.

Хотя существующие методы атрибуции признаков ценны, остаются проблемы с оценкой и интерпретацией значений атрибуции. Стандартный рабочий процесс разделяет данные на обучающую и тестовую выборки, подгоняет модель и вычисляет значения атрибуции на основе обученной модели. Каждый шаг может вносить стохастическую вариацию, включая случайное разбиение данных, случайную инициализацию и стохастическую оптимизацию. Следовательно, значения атрибуции не являются фиксированными величинами; разные разбиения на обучающую и тестовую выборки или случайные начальные значения могут давать существенно различающиеся ранжировки признаков [6]. Эта неопределенность особенно выражена в постановках с высокой размерностью, таких как геномика, где количество признаков значительно превышает количество образцов. Рисунок 1 иллюстрирует эту проблему: три главных гена, ранжированных по SHAP для классификации рака, различаются в зависимости от разбиений на обучающую и тестовую выборки, а также сильно различаются величины их атрибуции. Такая случайность представляет собой ненадежную основу для дорогостоящего последующего тестирования генов..

Мы предлагаем фреймворк на основе бутстрепа для оценки распределения показателей важности признаков. На основе этого фреймворка мы представляем RoSHAP (Robust SHAP) — устойчивую метрику атрибуции для стабильного ранжирования признаков. Фреймворк многократно перевыбирает данные и переобучает модель для учета изменчивости в оценках важности признаков. Полученные оценки атрибуции обобщаются с помощью оценки плотности ядра, что дает оценку распределения, отражающего как величину атрибуции, так и изменчивость. Кроме того, мы выводим гауссову аппроксимацию для агрегированной оценки атрибуции на уровне признаков при соблюдении небольшого условия регулярности, что существенно снижает вычислительные затраты на оценку распределения.

RoSHAP обобщает оцененное распределение атрибуции через три компонента: активность, силу и стабильность. Активность измеряет долю ненулевых значений атрибуции, сила измеряет медианную величину ненулевых значений атрибуции, а стабильность измеряет отношение сигнал-шум распределения атрибуции. Поощряя признаки, которые часто вносят вклад, имеют большие величины атрибуции и остаются стабильными при повторных выборках, RoSHAP обеспечивает надежную основу для ранжирования и интерпретации признаков..

Результаты как на синтетических, так и на реальных наборах данных показывают, что RoSHAP обеспечивает стабильные интерпретации в задачах регрессии и классификации, а также в различных модальностях данных. RoSHAP эффективно выявляет наиболее влиятельные признаки, и модели, обученные только на этих выбранных признаках, достигают производительности, сравнимой с моделями, обученными на полном наборе признаков..

Оставшаяся часть этой статьи организована следующим образом. В разделе 2 рассматриваются связанные работы по SHAP и другим методам вклада признаков. В разделе 4 сообщается об имитационных исследованиях в различных условиях. В разделе 5 представлены три мотивирующих примера и сравнения производительности. Раздел 6 завершается обсуждением основных результатов и будущих направлений..

2 Связанные работы

Атрибуция признаков и аддитивная атрибуция.

Атрибуция признаков широко используется для интерпретации прогностических моделей. Для классических линейных моделей $p$ -значения, $t$ -тесты и $F$ -тесты обеспечивают вывод на уровне признаков в рамках параметрических предположений. Для моделей машинного обучения распространенные меры важности включают показатели на основе прироста, примесей и энтропии, а также апостериорные методы, такие как SHAP [14], LIME [18] и DeepLIFT [22]. SHAP основан на кооперативной теории игр, рассматривая предикторы как игроков, а предсказание модели как выигрыш; каждому признаку присваивается его средний предельный вклад по всем коалициям. Эта аддитивная формулировка делает SHAP широко применимым для различных классов моделей. TreeSHAP [13] обеспечивает эффективные вычисления для ансамблей деревьев, таких как случайные леса, XGBoost [4] и LightGBM [9], в то время как KernelSHAP и DeepSHAP расширяют возможности SHAP для общих моделей «черного ящика» и глубокого обучения.

стабильность SHAP и неопределенность предсказаний.

Растущее число исследований изучает, как атрибуции признаков варьируются в зависимости от случайности данных и модели. Shaikhina et al. [20] показали, что предсказательная неопределенность может распространяться на неопределенность объяснения, создавая нестабильные оценки атрибуции, особенно для выборок, выходящих за пределы распределения. Другие исследования используют повторную передискретизацию или вложенную перекрестную проверку для обобщения значений SHAP по фолдам через средние значения, частоты отбора или распределения рангов [19, 8, 6]. Связанные работы объясняют предсказательную неопределенность: Watson et al. [26] расширили SHAP с помощью теоретико-информационных функций ценности для атрибуции эпистемической и алеаторной неопределенности. Однако большинство подходов сосредоточены на средних значениях или ранжированиях, а не на полной структуре распределения оценок атрибуции..

SHAP для отбора признаков.

SHAP также используется для отбора признаков, обычно путем ранжирования переменных по средним абсолютным значениям SHAP и сохранения верхней подвыборки. Эта стратегия была принята в различных областях применения [15, 5, 21]. Сравнительные исследования оценили отбор признаков на основе SHAP по сравнению со встроенными показателями важности модели и другими правилами отбора [25]. Хотя часто эффективны, эти подходы остаются в значительной степени основанными на величине, с ограниченным вниманием к нестабильности повторной выборки, точным нулям и корреляции предикторов..

В целом, предыдущие работы установили SHAP как полезный инструмент для интерпретации, анализа неопределенности и выбора признаков. Однако существующие подходы в основном сосредоточены на средней величине атрибуции, стабильности ранжирования или прогностической неопределенности, а не на полном эмпирическом распределении оценок атрибуции по выборкам и повторным выборкам. Этот пробел мотивирует основу, предложенную в данной статье..

3 Методология

Чтобы учесть стохастическую природу атрибуции признаков, мы принимаем дистрибутивный взгляд на атрибуцию признаков и вводим новую метрику под названием RoSHAP. Поскольку большинство аддитивных методов атрибуции являются результатом сложных вычислительных процедур, базовое распределение недоступно в замкнутой форме. Мы предлагаем использовать бутстреп для аппроксимации этих распределений, а затем оценивать результирующее эмпирическое распределение с помощью оценки плотности ядра (KDE). При соблюдении некоторых условий регулярности распределение атрибуции можно аппроксимировать распределением Гаусса, что снижает вычислительную нагрузку, связанную с бутстрэппингом. RoSHAP затем количественно определяет атрибуцию признаков, совместно учитывая неактивность, сигнал и уровень шума. Общий конвейер проиллюстрирован на рисунке 2.⟧.

Алгоритм 1. Оценка распределения SHAP на основе бутстрепа

1:Данные

\mathcal{D}

; запуски бутстрапа

B

2:Распределения SHAP на уровне выборки и признаков

3:Предобработка

\mathcal{D}

; опционально отбирать предикторы

4:для

b=1,\ldots,B

делать

5: Рисовать

\mathcal{D}^{(b)}_{\mathrm{train}}

из

\mathcal{D}

6: Определите множество вне бэггинга

\mathcal{D}^{(b)}_{\mathrm{oob}}=\mathcal{D}\setminus\mathcal{D}^{(b)}_{\mathrm{train}}

7: Обучение модели

\hat{f}^{(b)}

на

\mathcal{D}^{(b)}_{\mathrm{train}}

8: Вычислить OOB SHAP

T^{(b)}_{ij}

9:конец для

10:Суммировать

U_{j}^{(b)}

от

\sum_{i}|T_{ij}|

11:Оцените распределение для

T_{ij}

U_{j}

Бутстреп-оценка атрибуций признаков.

Пусть $\mathcal{D}_{n}=\{(x^{(i)},y_{i}):i=1,\dots,n\}$ обозначает размеченный набор данных с $n$ наблюдениями и $p$ признаками, где $x^{(i)}=(x_{i1},\dots,x_{ip})^{\top}\in\mathbb{R}^{p}$ и $y_{i}$ является откликом. Пусть $\hat{f}(\cdot)$ обозначает подогнанную модель, с предсказанием $\hat{f}(x^{(i)})$ для наблюдения $i$ . Для каждого наблюдения $i$ и признака $j$ , обозначим через $T_{ij}$ вклад признака $j$ в $x^{(i)}$ .

Мы оцениваем распределение значений атрибуции с помощью бутстрэпа. Путем многократной перевыборки обучающих данных, переобучения модели и пересчета атрибуций мы получаем множество реализаций $T_{ij}$ , которые служат выборками из базового распределения. Алгоритм 3 обобщает процедуру оценки распределения на основе бутстрэпа.

Моделирование с избыточными нулями и гауссово приближение атрибуций на уровне признаков.

Наша структура применима к любому аддитивному методу атрибуции, и мы используем SHAP в качестве репрезентативного примера на протяжении всей работы. На практике значения SHAP часто содержат точные нули, особенно в моделях на основе деревьев, где признаки, отсутствующие в пути предсказания, не получают атрибуции [14, 13]. Чтобы учесть такое поведение, мы моделируем значение SHAP для признака-образца $T_{ij}$ в виде смеси с нулевой инфляцией,

T_{ij}\sim w_{ij}\,\delta_{0}+(1-w_{ij})\,G_{ij},

где $\delta_{0}$ — точечная масса в нуле, $w_{ij}=\Pr(T_{ij}=0)$ , а $G_{ij}$ обозначает ненулевую компоненту $T_{ij}$ .⟧.

Мы определяем атрибуцию на уровне признаков как агрегированную величину

U_{j}=\sum_{i=1}^{n}|T_{ij}|=\sum_{i=1}^{n}(1-B_{ij})H_{ij}.

Для асимптотического анализа удобно разложить

|T_{ij}|=(1-B_{ij})H_{ij},\qquad B_{ij}\sim\mathrm{Bernoulli}(w_{ij}),

где $B_{ij}=1$ указывает на $T_{ij}=0$ , а $H_{ij}=|G_{ij}|$ — это ненулевая величина. Это представление отделяет разреженность от величины, сохраняя распределение $|T_{ij}|$ . Мы оцениваем распределение $U_{j}$ непараметрически с помощью KDE..

При выполнении слабых условий регулярности распределение $U_{j}$ может быть хорошо аппроксимировано гауссовским распределением и, следовательно, описано своим средним и стандартным отклонением. Данная аппроксимация обосновывается аргументом, основанным на центральной предельной теореме Ляпунова..

Среднее и дисперсия $U_{j}$ задаются

\begin{gathered}\mu_{j}:=E(U_{j})=\sum_{i=1}^{n}(1-w_{ij})E(H_{ij}),\\[-3.99994pt] s_{j}^{2}:=\operatorname{Var}(U_{j})=\sum_{i=1}^{n}(1-w_{ij})\operatorname{Var}(H_{ij})+\sum_{i=1}^{n}w_{ij}(1-w_{ij})\{E(H_{ij})\}^{2}.\end{gathered}

Assumption.

Для фиксированного признака $j$ пары $(B_{ij},H_{ij})$ , $i=1,\dots,n$ взаимно независимы, причем $B_{ij}\perp H_{ij}$ для каждого $i$ . Кроме того, для некоторого $\delta>0$ выполняется условие Ляпунова.:

\frac{1}{s_{j}^{2+\delta}}\sum_{i=1}^{n}E\left||T_{ij}|-E[|T_{ij}|]\right|^{2+\delta}\to 0.

Это предположение гарантирует, что совокупный вклад $U_{j}$ определяется множеством малых слагаемых, а не несколькими доминирующими, что важно для гауссовского приближения..

Theorem.

При вышеуказанном предположении,

\frac{U_{j}-\mu_{j}}{s_{j}}\xrightarrow{d}N(0,1).

Этот результат оправдывает аппроксимацию распределения $U_{j}$ гауссианом, когда $n\to\infty$ . На практике это означает, что для признаков с достаточно стабильными агрегированными вкладами неопределенность может быть эффективно обобщена с использованием только среднего и дисперсии, что существенно уменьшает количество бутстреп-ресэмплов. Доказательство приведено в Приложении A.1. Когда условия регулярности приближенно выполняются, мы обобщаем $U_{j}$ с использованием его среднего и стандартного отклонения..

Робастная метрика.

На основе оцененного распределения атрибуции на уровне признаков мы определяем несколько дополнительных метрик для оценки признаков. Для признака $j$ определяем

P_{0j}:=\Pr(U_{j}=0),\qquad m_{j}:=\operatorname{Median}(U_{j}\mid U_{j}>0),\qquad s_{j}:=\operatorname{SD}(U_{j}).

Робастная оценка атрибуции признаков, RoSHAP, определяется как

\mathrm{RoSHAP}_{j}:=(1-P_{0j})\frac{m_{j}^{2}}{s_{j}}.

Здесь, $P_{0j}$ измеряет бездействие, в то время как $\mathrm{RoSHAP}_{j}$ поощряет признаки, которые активны, сильны и стабильны.

4 Симуляция

Данное имитационное исследование демонстрирует, что предложенный метод обеспечивает более надежные и интерпретируемые оценки вклада признаков. С распределительной точки зрения метод помогает выявлять стабильные сигналы и отличать их от шумовых признаков, отобранных случайно. Результаты подтверждают, что распределения вклада признаков являются приблизительно нормальными, что позволяет сократить количество бустрэп-повторений и снизить вычислительные затраты..

Настройка симуляции.

Рассматривалась задача бинарной классификации с $n$ наблюдениями и $d$ предикторами, где первые $s$ предикторов были истинными сигналами, а остальные $d-s$ предикторов — шумом, с $s<d$ . Для имитации ситуаций, в которых признак информативен на уровне популяции, но может мало способствовать для некоторых отдельных наблюдений, предикторы генерировались из распределений Гаусса с нулевым смещением..

Для каждого сигнального признака $j=1,\ldots,s$ ,

X_{j}\mid Y=y\sim\pi_{\text{signal}}\delta_{0}+(1-\pi_{\text{signal}})N(\mu_{jy},\sigma_{\text{signal}}^{2}),

где $Y\in\{0,1\}$ , $P(Y=1)=0.5$ и $\mu_{j1}=-\mu_{j0}$ . Таким образом, характеристики сигналов различались между двумя классами через их ненулевые средние компоненты..

Для шумовых признаков $j=s+1,\ldots,d$ , классно-условные распределения имели ту же нуль-инфлированную гауссову форму, но с нулевым средним в обоих классах.:

X_{j}\mid Y=y\sim\pi_{\text{noise}}\delta_{0}+(1-\pi_{\text{noise}})N(0,\sigma_{\text{noise}}^{2}).

Следовательно, шумовые признаки не имели зависящего от класса сдвига среднего. При таком подходе сигнальные признаки могут быть локально неактивными, когда принимают нулевое значение, оставаясь при этом глобально информативными благодаря зависящим от класса ненулевым средним..

В этом эксперименте $n$ , $d$ и $s$ были установлены на 600, 1000 и 10 соответственно. Для сигнальных признаков — $\sigma_{\text{signal}}=3$ и $\pi_{\text{signal}}=0.3$ . Для шумовых признаков — $\sigma_{\text{noise}}=1$ и $\pi_{\text{noise}}=0.2$ . Силы сигналов были определены с помощью $\mu_{j1}=-\mu_{j0}$ , причем $\mu_{j1}$ равномерно распределены от 1,5 до 0,4 среди десяти сигнальных признаков. Затем был обучен классификатор XGBoost с использованием одних и тех же параметров модели во всех сравниваемых настройках..

Результаты.

На рисунке 3 показаны эмпирические распределения оценок важности по 1000 бутстреп-прогонам. Среди выбранных предикторов распределения для $x_{1}$ и $x_{3}$ приблизительно гауссовы, тогда как распределение для $x_{7}$ слегка смещено вправо. В целом ненулевые части распределений близки к гауссовым, что подтверждает использование сводок неопределенности на основе гауссова распределения с меньшим числом повторений бутстрепа..

Были сравнены три настройки: бутстреп с 1000 запусков, бутстреп с 10 запусками и стандартное разделение на обучающую и тестовую выборки SHAP. Как показано в таблице 1, бутстреп с 1000 запусков обеспечивает наиболее надежное ранжирование: восемь сигнальных признаков восстановлены в первой дюжине, а самый низкоранговый сигнальный признак $x_{9}$ занимает 85-е место среди 1000 признаков на основе устойчивой метрики важности. Бутстреп с 10 запусками также показывает хорошие результаты, восстанавливая восемь сигнальных признаков в первой дюжине, хотя самый низкоранговый сигнальный признак опускается на 317-е место среди 1000 признаков. Процент нулевых значений $P_{0}$ дает дополнительное понимание стабильности. Сильные сигнальные признаки имеют почти нулевой $P_{0}$ , что указывает на постоянный вклад по всем бутстреп-запускам. Напротив, более слабые или менее стабильные признаки, такие как $x_{8}$ и $x_{9}$ , демонстрируют больший $P_{0}$ , что предполагает более частые нулевые вклады..

Table 1: Сравнение ранжирования признаков на основе робастной важности с бутстрепом, однораундового SHAP, информационного выигрыша, прироста XGBoost и метрик скрининга LIME.

1000 Runs				10 Runs				XGBoost SHAP			Information Gain			XGBoost Gain			LIME
Rank	ID	RoSHAP	$P_{0}$	Rank	ID	RoSHAP	$P_{0}$	Rank	ID	Score	Rank	ID	Score	Rank	ID	Score	Rank	ID	Score
1	$x_{1}$	512.66	0.00	1	$x_{4}$	779.54	0.00	1	$x_{2}$	35.24	1	$x_{4}$	0.090	5	$x_{1}$	1.826	1	$x_{3}$	0.077
2	$x_{3}$	347.21	0.00	2	$x_{1}$	767.57	0.00	2	$x_{6}$	25.86	48	$x_{2}$	0.043	6	$x_{2}$	1.782	2	$x_{1}$	0.075
3	$x_{4}$	339.45	0.00	3	$x_{2}$	433.42	0.00	3	$x_{4}$	15.38	187	$x_{5}$	0.024	10	$x_{3}$	1.696	3	$x_{2}$	0.055
4	$x_{2}$	270.75	0.00	4	$x_{3}$	430.41	0.00	4	$x_{3}$	15.14	235	$x_{6}$	0.021	13	$x_{4}$	1.450	4	$x_{4}$	0.036
5	$x_{6}$	120.99	0.20	5	$x_{6}$	271.18	0.00	12	$x_{5}$	4.12	259	$x_{1}$	0.019	26	$x_{6}$	1.069	5	$x_{6}$	0.035
6	$x_{5}$	80.65	0.40	6	$x_{5}$	104.68	0.00	31	$x_{10}$	0.14	281	$x_{3}$	0.017	41	$x_{7}$	0.887	7	$x_{7}$	0.008
9	$x_{7}$	14.73	7.20	7	$x_{7}$	60.94	0.00	333	$x_{7}$	0.00	292	$x_{7}$	0.015	74	$x_{10}$	0.686	15	$x_{10}$	0.004
12	$x_{10}$	10.65	11.00	10	$x_{10}$	25.85	0.00	387	$x_{8}$	0.00	329	$x_{9}$	0.012	131	$x_{5}$	0.555	58	$x_{9}$	0.000
53	$x_{8}$	1.92	27.60	95	$x_{9}$	2.64	30.00	669	$x_{1}$	0.00	658	$x_{10}$	0.000	159	$x_{8}$	0.494	960	$x_{8}$	0.000
85	$x_{9}$	1.08	37.00	317	$x_{8}$	0.32	40.00	670	$x_{9}$	0.00	744	$x_{8}$	0.000	707	$x_{9}$	0.063	999	$x_{5}$	0.000

Другие метрики значительно менее стабильны. Только четыре сигнальных признака восстанавливаются в топ-12, в то время как четыре сигнальных признака неактивны, включая $x_{1}$ , который по построению имеет самый сильный сигнал. Это подчеркивает, что один запуск SHAP может не выявить важные предикторы, в то время как бутстреп-основанияя робастная важность более эффективно улавливает стабильные сигнальные признаки..

Альтернативные метрики значительно менее эффективны. Однораундовый SHAP идентифицирует только четыре сигнальных признака в топ-12 и присваивает нулевую или близкую к нулю важность нескольким истинным сигналам, включая $x_{1}$ , самый сильный сигнал по построению. Информационный выигрыш и важность на основе выигрыша также показывают ненадежные ранжирования, помещая несколько истинных сигналов значительно ниже шумовых переменных. Несмотря на достаточно хорошее восстановление первых семи сигнальных признаков, LIME считает оставшиеся три сигнала неактивными. Напротив, RoSHAP идентифицирует сигнальные признаки при повторных подгонках модели более последовательно..

Вычислительное сравнение.

TreeSHAP имеет вычислительную сложность примерно $O(TLD^{2})$ , где $T$ — количество деревьев, $L$ — максимальное количество листьев на дерево, а $D$ — максимальная глубина дерева [13]. При $B$ бутстреп-повторениях общий объем вычислений составляет примерно $B\,O(TLD^{2})$ , поэтому уменьшение $B$ с 1000 до 10 сокращает вычисления SHAP примерно в 100 раз. Каждая бутстреп-выборка охватывает около $1-(1-1/n)^{n}\approx 63.2\%$ исходных наблюдений. За $B$ прогонов вероятность того, что наблюдение будет выбрано хотя бы один раз, составляет примерно $1-0.368^{B}$ , что близко к 1, когда $B=10$ . Таким образом, меньшее количество бутстреп-прогонов все еще может обеспечить широкий охват данных и полезные сводки неопределенности на основе гауссовского распределения при гораздо меньшем времени выполнения..

5 Эксперименты

Четыре эксперимента демонстрируют предложенную структуру на различных типах данных. Набор данных Golub [7] представляет собой высокоразмерную классификацию с малым объемом выборки, Musk (версия 2) [3] представляет собой умеренную по размеру высокоразмерную молекулярную классификацию, UJIIndoorLoc [23] представляет собой высокоразмерную регрессию, а CIFAR-10 представляет собой классификацию изображений на 10 классов..

Для табличных данных интерпретируемость на уровне признаков оценивается на нейронных сетях, моделях на основе деревьев, включая LightGBM, XGBoost, случайный лес (RF) и CatBoost, а также логистическую регрессию (LR). Поскольку истинные важные признаки неизвестны, предлагаемые результаты выбора признаков сравниваются с информационным выигрышем (IG), модельным выигрышем или коэффициентами LR, LIME и SHAP. Производительность классификации оценивается по точности, F1-мере, средней точности (AP) и AUC-ROC; производительность регрессии оценивается по среднеквадратической ошибке (RMSE), средней абсолютной ошибке (MAE) и средней абсолютной процентной ошибке (MAPE). Для каждого метода $k$ лучших отобранных признаков используются для переобучения той же прогностической модели с фиксированными параметрами. Все сравнения используют одно и то же разбиение на обучающую и тестовую выборки, процедуру кросс-валидации и отложенные тестовые данные, поэтому различия в производительности отражают качество подмножества признаков, а не различия в модели или разбиении данных. В основном тексте приводятся результаты одной репрезентативной модели, остальные модели приведены в приложении. Для данных изображений фреймворк применяется на уровне образца. В эксперименте CIFAR-10 классификатор ViT-base с атрибуцией на уровне патчей используется для определения областей изображения, вносящих наибольший вклад в предсказанный класс..

5.1 Классификация: Golub

Набор данных Golub [7] содержит $72$ образцов и $7{,}129$ зондов экспрессии генов. Интересующий отклик — подтип лейкемии: острый лимфобластный лейкоз (ALL), включая allB и allT, в сравнении с острым миелобластным лейкозом (AML). Набор данных содержит $47$ образцов ALL и $25$ образцов AML. В данном эксперименте изучается оценка важности признаков на уровне генов с использованием классификатора XGBoost. Цель состоит в том, чтобы определить не только гены, которые вносят наибольший вклад в предсказание, но и гены, которые вносят наиболее стабильный вклад при многократном переобучении модели. Набор данных Golub представляет собой типичный пример высокой размерности при малом количестве выборок, где интерпретация затруднена, а нестабильность атрибуции является обычным явлением..

Рисунок 4 показывает распределения топ-10 генов, ранжированных по метрике RoSHAP, по 500 бутстреп-запускам. После гена, занявшего восьмое место, большинство генов показывают малый или нулевой вклад в прогнозирование рака. По сравнению с результатами SHAP для конкретных начальных значений на Рисунке 1, предлагаемый метод дает более четкое резюме того, какие гены стабильно важны в рамках обученной модели XGBoost..

В этом случае небольшое количество наблюдений может доминировать над дисперсией, поэтому условие Ляпунова не выполняется. Распределения, следовательно, оцениваются непараметрически с помощью ядерной оценки плотности..

Рисунок 5 сравнивает производительность выбора признаков между методами. Поскольку экспериментальная валидация генов-кандидатов часто дорогостояща, оценка сосредоточена на первых 1–15 выбранных признаках из каждого метода. Для каждой метрики столбцы показывают среднюю производительность по размерам наборов признаков-кандидатов, а столбцы ошибок показывают соответствующую вариативность. Предложенный метод, показанный фиолетовым, достигает высокой точности и F1-меры. RoSHAP также сохраняет сопоставимые AP и AUC-ROC, что предполагает стабильный и надежный выбор признаков..

5.2 Классификация: Маск (Версия 2))

Набор данных Musk (версия 2) [3] содержит 6 598 экземпляров и 166 непрерывных признаков. Задача бинарной классификации заключается в различении молекул мускуса и не-мускуса, где каждый экземпляр представляет одну молекулярную конформацию, описанную физико-химическими дескрипторами. Набор данных несбалансирован: 5 581 экземпляр не-мускуса и 1 017 экземпляров мускуса, что делает его полезным для оценки устойчивости вклада признаков в многомерной молекулярной классификации..

Эксперимент Musk изучает атрибуцию на уровне признаков с помощью классификатора CatBoost. На рисунке 6 показаны распределения оценок вклада 15 лучших признаков CatBoost для набора данных Musk. Несколько признаков имеют схожие величины вклада и изменчивость, что указывает на то, что предиктивный сигнал распределен по нескольким признакам, а не доминируется одним признаком..

Для отбора переменных сравниваются только 30 лучших выбранных признаков для набора данных Musk, поскольку после этого момента точность прогнозирования остается высокой. На рисунке 7 показана производительность отбора признаков для набора данных Musk. Производительность по метрикам отбора в значительной степени сопоставима. Распределение вклада признаков показывает, что многие признаки имеют схожий уровень важности. В результате различия в выбранных подмножествах признаков оказывают ограниченное влияние на точность прогнозирования..

5.3 Регрессия: UJIIndoorLoc

Набор данных UJIIndoorLoc используется для оценки предложенной структуры в задаче регрессии. Это общедоступный эталонный набор данных для indoor-локализации, собранный в Университете Жауме I для оценки систем позиционирования на основе отпечатков WLAN/WiFi [23]. Набор данных содержит 21 048 наблюдений, включая 19 937 обучающих/эталонных записей и 1 111 проверочных/тестовых записей. Каждое наблюдение включает измерения интенсивности принимаемого сигнала (RSSI) от 520 беспроводных точек доступа (WAP), а также переменные местоположения и метаданные..

Значения RSSI варьируются от приблизительно $-104$ до $0$ dBm, при этом $100$ указывает на необнаруженную точку доступа. В этом исследовании 520 переменных силы сигнала WAP используются в качестве предикторов, а долгота используется в качестве непрерывного отклика. Значение $100$ перекодируется как $-110$ для представления очень слабого или необнаруженного сигнала..

В данном эксперименте изучается атрибуция на уровне признаков с использованием регрессионной модели LightGBM. На рисунке 8 показаны распределения 15 наиболее значимых оценок атрибуции признаков LightGBM для набора данных UJIIndoorLoc. Два наиболее значимых признака имеют схожие паттерны атрибуции, в то время как остальные признаки демонстрируют различные уровни изменчивости: одни распределения более сконцентрированы, другие — более разбросаны. На рисунке 9 сравнивается производительность отбора признаков различных мер важности в задаче регрессии UJIIndoorLoc с использованием LightGBM. В целом, RoSHAP демонстрирует конкурентоспособную и стабильную производительность по всем метрикам оценки..

5.4 Классификация: CIFAR-10

Этот эксперимент расширяет предложенную структуру за пределы табличных данных до интерпретации изображений на уровне выборок. Набор данных CIFAR-10 содержит 60 000 $32\times 32$ цветных изображений из 10 классов, с 50 000 обучающих и 10 000 тестовых изображений [10]. Мы проводим 50 анализов SHAP на основе бутстрепа с использованием модели ViT-base. Для каждого тестового изображения массив SHAP имеет размерность $50\times p\times 10$ , где $p=24\times 24$ — количество патчей изображения, а 10 — количество классов. Результаты сосредоточены на распределении SHAP для предсказанного класса.

В качестве иллюстративного примера выбрано одно изображение корабля, которое было правильно предсказано большинством моделей, подогнанных с помощью бутстрепа. На рисунке 10 показаны карты SHAP на уровне патчей для трех случайно выбранных бутстреп-прогонов, где красный цвет указывает на положительные значения SHAP, синий — на отрицательные, а белый — на значения, близкие к нулю. Хотя предсказание точное, вклад патчей заметно различается между прогонами, что говорит о чувствительности объяснений изображений на основе одного прогона к случайности обучения. Например, в Раунде 1 at Например, наибольшее значение SHAP появляется в области воды в Раунде 1, но смещается к корпусу корабля в Раунде 3. После агрегации надежная карта атрибуции на рисунке 11(a) показывает, что предсказание в основном приписывается патчам на корпусе корабля..

Предложенная структура обеспечивает дополнительное понимание паттернов атрибуции, лежащих в основе предсказаний изображений. Рисунок 11 иллюстрирует два характерных случая: правильное предсказание с атрибуцией, сосредоточенной на целевом объекте, и неправильное предсказание, в котором атрибуция сконцентрирована на нерелевантных областях. Слева направо каждая строка показывает исходное изображение, медианную карту SHAP для предсказанного класса, стандартное отклонение значений SHAP по бутстреп-прогонам и устойчивую карту SHAP. В медианной карте SHAP красный цвет указывает на положительный вклад, синий — на отрицательный, а белый — на вклад, близкий к нулю; на карте стандартного отклонения красный цвет указывает на большую вариацию, а белый — на малую вариацию; на устойчивой карте SHAP зеленый цвет указывает на больший вклад, а белый — на отсутствие вклада. На рисунке 11(a) модель фокусируется в основном на правильной области объекта. На рисунке 11(b), однако, модель в значительной степени фокусируется на небе, а не на автомобиле, что приводит к неправильному предсказанию птицы. Эти примеры показывают, что структура может помочь диагностировать ошибки предсказания, выявляя, обращает ли модель внимание на соответствующие области изображения..

6 Обсуждение

Это исследование рассматривает ключевое ограничение существующих методов атрибуции признаков: оценки атрибуции часто рассматриваются как фиксированные величины, несмотря на их стохастическую природу. Мы предлагаем дистрибутивный фреймворк для характеристики неопределенности атрибуции и представляем RoSHAP — надежную метрику на основе SHAP для стабильного ранжирования признаков и оценки вклада. RoSHAP отдает приоритет признакам, которые последовательно активны, сильны и стабильны при повторных анализах. Мы всесторонне тестируем нашу модель на реалистичных наборах данных и демонстрируем, что предложенная надежная метрика улучшает стабильность интерпретации, помогает отличать устойчивые сигналы от случайно выбранных признаков и может применяться к различным типам данных. Хотя процедура бутстрепа остается более затратной, чем однократная атрибуция, аппроксимация Гаусса помогает существенно снизить это бремя, когда это применимо. Будущие работы могут расширить фреймворк от случайности выборки данных до случайности на уровне модели. В целом, RoSHAP служит полезным дополнением к существующим методам атрибуции признаков, способствуя более стабильной и надежной интерпретации..

Список литературы

[1] P. Bhattarai, D. S. Thakuri, Y. Nie, and G. B. Chand (2024) Объяснимый ИИ на основе Deep-SHAP для отображения многомерных связей между региональными нейровизуализационными биомаркерами и когнитивными функциями. Европейский журнал радиологии 174, стр. 111403. Цитируется: §1.
[2] П. Биллингсли (1995) Вероятность и мера. 3-е издание, Wiley, Нью-Йорк. Цитировано: Lemma 1.
[3] Д. Чепмен и А. Джайн (1994) Musk (Версия 2). Примечание: UCI Machine Learning Repository Внешние ссылки: Document Цитируется: §5.2, §5.
[4] T. Chen and C. Guestrin (2016) Xgboost: a scalable tree boosting system. In Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining, pp. 785–794. Цитируется по: §2.
⟦[5] Y. Gebreyesus, D. Dalton, S. Nixon, D. De Chiara, and M. Chinnici (2023) Машинное обучение для оптимизации центров обработки данных: выбор признаков с использованием Shapley Additive Explanation (shap). Future Internet 15 (3), стр. 88. Цитируется по: §2⟧.
[6] Дж. Голдвассер и Г. Хукер (2024) Статистическая значимость рейтингов важности признаков. Препринт arXiv:2401.15800. Цитируется: §1, §2.
[7] T. R. Golub, D. K. Slonim, P. Tamayo, C. Huard, M. Gaasenbeek, J. P. Mesirov, H. Coller, M. L. Loh, J. R. Downing, M. A. Caligiuri, et al. (1999) Молекулярная классификация рака: обнаружение классов и предсказание классов по мониторингу экспрессии генов. Science 286 (5439), сс. 531–537. Цитируется: §5.1, §5.
[8] Р. Халаби, Б. Х. Мулсант, М. Толенд, Д. М. Блумбергер, А. ДеШоу, А. Хинце, К. Гонсалес-Торрес, М. И. Хусейн, Х. К. Ким, К. О’Донован и др. (2026) Систематическое исследование цифровых биомаркеров для выявления депрессивных эпизодов при биполярном расстройстве. npj Mental Health Research 5 (1), стр. 13. Цитируется в: §2⟧.
[9] G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen, W. Ma, Q. Ye, and T. Liu (2017) Lightgbm: высокоэффективный градиентный бустинг деревьев решений. Достижения в области нейронных систем обработки информации 30. Цитируется: §2.
[10] А. Крижевский, Г. Хинтон и др. (2009) Изучение множества слоев признаков из крошечных изображений. Цитируется: §5.4.
[11] Z. Li (2022) Извлечение пространственных эффектов из модели машинного обучения с использованием метода локальной интерпретации: пример shap и xgboost. Компьютеры, окружающая среда и городские системы 96, с. 101845. Цитируется: §1⟧.
[12] Y. Liu, Z. Liu, X. Luo, and H. Zhao (2022) Диагностика болезни Паркинсона на основе выбора признаков по значению SHAP. Биокибернетика и биомедицинская инженерия 42 (3), стр. 856–869. Цитируется в: §1.
⟦[13] S. M. Lundberg, G. Erion, H. Chen, A. DeGrave, J. M. Prutkin, B. Nair, R. Katz, J. Himmelfarb, N. Bansal, and S. Lee (2020) От локальных объяснений к глобальному пониманию с помощью объяснимого ИИ для деревьев. Nature machine intelligence 2 (1), pp. 56–67. Цитируется: §2, §3, §4.
[14] S. M. Lundberg и S. Lee (2017) Единый подход к интерпретации предсказаний моделей. Advances in neural information processing systems 30. Цитируется в: §1, §2, §3.
⟦[15] У. Э. Марсилио и Д. М. Элер (2020) От объяснений к отбору признаков: оценка значений SHAP как механизма отбора признаков. В 2020 году на 33-й конференции SIBGRAPI по графике, шаблонам и изображениям (SIBGRAPI), стр. 340–347. Цитируется: §2⟧.
[16] E. Mosca, F. Szigeti, S. Tragianni, D. Gallagher, and G. Groh (2022) Методы объяснения на основе SHAP: обзор для интерпретируемости NLP. В трудах 29-й международной конференции по компьютерной лингвистике, сс. 4593–4603. Цитируется: §1.
[17] A. V. Ponce-Bobadilla, V. Schmitt, C. S. Maier, S. Mensing, and S. Stodtmann (2024) Практическое руководство по анализу SHAP: объяснение прогнозов модели машинного обучения с учителем в разработке лекарств. Клиническая и трансляционная наука 17 (11), стр. e70056. Цитируется: §1.
[18] M. T. Ribeiro, S. Singh, and C. Guestrin (2016) " Why should i trust you?" explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining, pp. 1135–1144. Cited by: §1, §2.
[19] R. Scheda and S. Diciotti (2022) Объяснения моделей машинного обучения в повторной вложенной перекрестной проверке: применение в прогнозировании возраста с использованием характеристик сложности мозга. Applied Sciences 12 (13), стр. 6681. Цитируется: §2.
[20] T. Shaikhina, U. Bhatt, R. Zhang, K. Georgatzis, A. Xiang, and A. Weller (2021) Влияние неопределенности на качество объяснений важности признаков. В семинаре AAAI по объяснимому агенту в искусственном интеллекте, Цитируется: §2.
[21] А. Шен, Дж. Сан, К. Чен и К. Гао (2025) Ориентированный на данные и интерпретируемый электроэнцефалографический фреймворк для оценки степени тяжести депрессии с использованием SHAP-анализа. Journal of NeuroEngineering and Rehabilitation 22 (1), стр. 116. Цитировано: §2.
[22] А. Шрикумар, П. Гринсайд, А. Кундадже (2017) Изучение важных признаков путем распространения различий активаций. В Международной конференции по машинному обучению, стр. 3145–3153. Цитируется: §1, §2.
[23] J. Torres-Sospedra, R. Montoliu, A. Martínez-Usó, T. Arnau, and J. P. Avariento (2014) UJIIndoorLoc. Примечание: UCI Machine Learning RepositoryПолучено из UCI Machine Learning Repository Внешние ссылки: Document Цитируется: §5.3, §5.
[24] V. Vimbi, N. Shaffi, and M. Mahmud (2024) Интерпретация моделей искусственного интеллекта: систематический обзор применения LIME и SHAP в обнаружении болезни Альцгеймера. Brain informatics 11 (1), pp. 10. Цитируется: §1.
[25] H. Wang, Q. Liang, J. T. Hancock, and T. M. Khoshgoftaar (2024) Стратегии отбора признаков: сравнительный анализ методов, основанных на SHAP-значениях и важности. Журнал Big Data 11 (1), стр. 44. Цитируется: §2.
[26] Д. Уотсон, Дж. О’Хара, Н. Такс, Р. Мадд и И. Гай (2023) Объяснение прогностической неопределенности с помощью информационно-теоретических значений Шепли. Достижения в системах обработки нейронной информации 36, стр. 7330–7350. Цитируется: §2.

Appendix A Приложение / дополнительный материал

A.1 Доказательство теоремы

Lemma 1 (Центральная предельная теорема Ляпунова [2, Theorem 27.3]).

Пусть $Z_{n1},\dots,Z_{nn}$ — независимые случайные величины с $E[Z_{ni}]=0$ , дисперсиями $\sigma_{ni}^{2}$ и $s_{n}^{2}=\sum_{i=1}^{n}\sigma_{ni}^{2}$ . Если для некоторого $\delta>0$ ⟧,

\frac{1}{s_{n}^{2+\delta}}\sum_{i=1}^{n}E|Z_{ni}|^{2+\delta}\to 0,

затем

\frac{\sum_{i=1}^{n}Z_{ni}}{s_{n}}\xrightarrow{d}N(0,1).

Доказательство.

Поскольку

|T_{ij}|=(1-B_{ij})H_{ij},

независимость $B_{ij}$ и $H_{ij}$ дает

E(|T_{ij}|)=E(1-B_{ij})E(H_{ij})=(1-w_{ij})E(H_{ij}).

Следовательно,

\mu_{j}=E(U_{j})=\sum_{i=1}^{n}E(|T_{ij}|)=\sum_{i=1}^{n}(1-w_{ij})E(H_{ij}).

Далее, по закону полной дисперсии,

\operatorname{Var}(|T_{ij}|)=E(\operatorname{Var}(|T_{ij}|\mid B_{ij}))+\operatorname{Var}(E(|T_{ij}|\mid B_{ij})).

При условии $B_{ij}$ ,

E(|T_{ij}|\mid B_{ij})=(1-B_{ij})E(H_{ij}),\qquad\operatorname{Var}(|T_{ij}|\mid B_{ij})=(1-B_{ij})\operatorname{Var}(H_{ij}).

Следовательно

\operatorname{Var}(|T_{ij}|)=(1-w_{ij})\operatorname{Var}(H_{ij})+w_{ij}(1-w_{ij})\{E(H_{ij})\}^{2}.

Поскольку пары $(B_{ij},H_{ij})$ взаимно независимы, переменные $|T_{ij}|$ взаимно независимы, и поэтому

s_{j}^{2}=\operatorname{Var}(U_{j})=\sum_{i=1}^{n}\operatorname{Var}(|T_{ij}|)=\sum_{i=1}^{n}(1-w_{ij})\operatorname{Var}(H_{ij})+\sum_{i=1}^{n}w_{ij}(1-w_{ij})\{E(H_{ij})\}^{2}.

Теперь определите центрированные слагаемые

Z_{ni}:=|T_{ij}|-E(|T_{ij}|).

По указанному условию Ляпунова с $\delta>0$ ,

\frac{1}{s_{j}^{2+\delta}}\sum_{i=1}^{n}E\left||T_{ij}|-E(|T_{ij}|)\right|^{2+\delta}\to 0.

Таким образом, центральная предельная теорема Ляпунова применима, давая

\frac{\sum_{i=1}^{n}\{|T_{ij}|-E(|T_{ij}|)\}}{s_{j}}\xrightarrow{d}N(0,1).

Поскольку $U_{j}=\sum_{i=1}^{n}|T_{ij}|$ и $\mu_{j}=\sum_{i=1}^{n}E(|T_{ij}|)$ , это именно то

\frac{U_{j}-\mu_{j}}{s_{j}}\xrightarrow{d}N(0,1).

∎

Remark 1 (Об условии Ляпунова).

Естественным выбором является $\delta=1$ , что сводит условие к

\frac{1}{s_{j}^{3}}\sum_{i=1}^{n}E\bigl||T_{ij}|-E(|T_{ij}|)\bigr|^{3}\to 0.

Простое достаточное условие состоит в том, что третьи моменты равномерно ограничены, $\sup_{i}E|T_{ij}|^{3}<\infty$ , и ни один отдельный член не доминирует над дисперсией, т.е..,

\max_{1\leq i\leq n}\operatorname{Var}(|T_{ij}|)=o(s_{j}^{2}).

При таких условиях числитель растет максимум линейно по $n$ , в то время как $s_{j}^{2}$ растет пропорционально количеству вносящих вклад членов, что дает

\frac{n}{s_{j}^{3}}\to 0,

и, следовательно, условие Ляпунова выполняется..

A.2 Дополнительные результаты данных Голуба

We employed the same six classifiers as in the previous experiments, with hyperparameters re-tuned to suit the characteristics of the Golub dataset. The tree-based ensemble models were configured as follows: LightGBM (binary objective, binary logloss metric, learning rate 0.1, max depth 8, 31 leaves, minimum 15 samples per leaf, 80% feature and bagging fractions with bagging frequency of 1, 150 boosting rounds); XGBoost (binary logistic objective, logloss evaluation metric, learning rate 0.1, max depth 6, 80% subsample and 60% column sampling, 100 boosting rounds); and CatBoost (logloss metric, learning rate 0.1, depth 6, default iterations); Random Forest used 100 trees with max depth 6, while Gradient Boosting used 200 trees with max depth 3 at the default learning rate. As a linear baseline, Logistic Regression was trained with a maximum of 200 iterations using default regularization. All models were initialized with a fixed random seed to ensure reproducibility, and feature contribution was extracted using tree-based explainers for the ensemble models and a linear (coefficient-based) explainer for Logistic Regression. The XGBoost results are presented in the main text, while the feature selection performance for the remaining classifiers on the Golub dataset is shown in Figures 12, 13, 14, 15, and 16.

A.3 Дополнительные результаты данных Musk (Версия 2)

В предыдущих экспериментах использовались те же шесть классификаторов, с перенастройкой гиперпараметров под характеристики набора данных Musk (Version 2). Ансамблевые модели на основе деревьев были настроены следующим образом: LightGBM (бинарная цель, метрика binary logloss, скорость обучения 0.1, максимальная глубина 8, 31 лист, минимум 15 образцов на лист, 80% доля признаков и доля бэггинга с частотой бэггинга 1, 150 раундов бустинга); XGBoost (бинарная логистическая цель, метрика оценки logloss, скорость обучения 0.1, максимальная глубина 6, 80% подвыборка и 60% выборка столбцов, 100 раундов бустинга); и CatBoost (метрика logloss, скорость обучения 0.1, глубина 6, итерации по умолчанию); Random Forest использовал 100 деревьев с максимальной глубиной 6, а Gradient Boosting использовал 200 деревьев с максимальной глубиной 3 при скорости обучения по умолчанию. Логистическая регрессия была обучена с максимум 200 итераций с регуляризацией по умолчанию. Все модели были инициализированы с фиксированным зерном случайности для обеспечения воспроизводимости, и вклад признаков был извлечен с помощью объяснителей на основе деревьев для ансамблевых моделей и линейного (на основе коэффициентов) объяснителя для логистической регрессии. Результаты CatBoost представлены в основном тексте, а производительность выбора признаков для остальных классификаторов на наборе данных Musk Version 2 показана на рисунках 17, 18, 19, 20 и 21.⟧.

A.4 Дополнительные UJIIndoorLoc Результаты

Для эксперимента с регрессией на наборе данных UJIIndoorLoc, за исключением модели случайного леса, использовались те же прогностические модели, что и в предыдущих экспериментах, с перенастройкой гиперпараметров под характеристики набора данных UJIIndoorLoc. Целевой переменной была долгота. Ансамблевые модели на основе деревьев были сконфигурированы следующим образом: LightGBM использовала регрессионную цель с метрикой RMSE, скорость обучения 0.03, максимальную глубину 7, 63 листа, минимум 30 образцов на лист, 70% долю признаков, 80% долю бэггинга с частотой бэггинга 1, регуляризацию $\ell_{1}$ 0.01, регуляризацию $\ell_{2}$ 1.0 и 300 раундов бустинга; XGBoost использовала регрессионную цель с квадратичной ошибкой и метрикой оценки RMSE, скорость обучения 0.03, максимальную глубину 6, 80% долю подвыборки, 70% выборку столбцов, минимальный вес потомка 10, регуляризацию $\ell_{1}$ 0.01, регуляризацию $\ell_{2}$ 2.0, построение деревьев на основе гистограмм и 300 раундов бустинга; CatBoost использовала функцию потерь RMSE и метрику оценки, скорость обучения 0.03, глубину 6, 300 итераций, регуляризацию листьев $\ell_{2}$ 5.0 и 70% случайное подпространство. Гребневая регрессия была включена в качестве линейного базового метода с параметром регуляризации $\alpha=10$ . Все модели были инициализированы с фиксированным случайным зерном для обеспечения воспроизводимости, а вклад признаков был извлечен с помощью объяснителей на основе деревьев для ансамблевых моделей и линейного объяснителя для гребневой регрессии. Результаты LightGBM представлены в основном тексте, а производительность отбора признаков для остальных моделей на наборе данных UJIIndoorLoc показана на рисунках 22, 23, 24 и 25.⟧.

A.5 Дополнительные результаты данных CIFAR 10

В данном эксперименте используется ViT-Base/16, предобученный на ImageNet-21k. Модель принимает входные изображения размером 384×384, разбитые на патчи 16×16 (сетка 24×24, всего 576 патчей), с 12 слоями трансформера, 12 головами внимания и скрытым измерением 768 (86M параметров). Классификационная головка заменяется линейным слоем, отображающим на 10 классов CIFAR-10, и дообучается в течение 10 эпох с использованием Adam (lr=1e-4, косинусное затухание) с размером батча 128..