Переосмысление ранней остановки: уточните, затем откалибруйте

Аннотация

Классификаторы машинного обучения часто выдают вероятностные прогнозы, которые критичны для точного и интерпретируемого принятия решений в различных областях. Качество этих прогнозов обычно оценивают с помощью корректных потерь, таких как cross-entropy, которые раскладываются на две составляющие: calibration error оценивает общую недо- или переуверенность, тогда как refinement error измеряет способность различать разные классы. В этой статье мы приводим теоретические и эмпирические свидетельства того, что эти две ошибки не минимизируются одновременно в процессе обучения. Выбор наилучшей эпохи обучения по величине валидационной потери приводит тем самым к точке компромисса, которая является неоптимальной как для calibration error, так и, что особенно важно, для refinement error. Для решения этой задачи мы вводим новую метрику для ранней остановки и настройки гиперпараметров, которая позволяет минимизировать refinement error во время обучения. Calibration error минимизируется после завершения обучения с использованием стандартных методов. Наш метод без труда встраивается в любую архитектуру и стабильно улучшает качество работы на разнообразных задачах классификации.

1 Введение

Figure 1: Декомпозиция калибровки и уточнения во время обучения. Мы строим графики членов, отвечающих за калибровку и уточнение, для валидационной кросс-энтропии — измеренной с помощью нашего оценивателя из Section 3 — для ResNet18 на наборе данных CIFAR10 (подробности обучения доступны в Appendix F). Калибровка и уточнение не минимизируются одновременно, поэтому минимизатор потерь является, таким образом, неоптимальным для обеих ошибок.

Точное классифицирование лежит в основе многих задач машинного обучения — от медицинской диагностики до систем автономного вождения. Современные классификаторы предсказывают не только метку класса, но и вектор вероятностей, отражающий уверенность модели в том, что данный объект относится к каждому из классов. Такая вероятностная выдача критически важна для последующего принятия решений. Несмотря на широкое применение, многие модели машинного обучения, особенно сложные, такие как нейронные сети, склонны формировать плохо откалиброванные вероятности (Guo et al., 2017), то есть предсказанная уверенность не соответствует реальным вероятностям.

Этот вопрос в основном рассматривался через призму постфактумной калибровки, которая заключается в настройке предсказанных вероятностей после обучения с использованием небольшой выделенной части набора данных. Упущенным аспектом проблемы является то, что ошибка калибровки вносит вклад в общую функцию потерь классификатора (Bröcker, 2009). В Figure 1 мы показываем разложение классификационной функции потерь (здесь перекрёстная энтропия) на ошибку калибровки и ошибку уточнения в ходе обучения для глубокой нейронной сети. Мы наблюдаем, что две величины не минимизируются одновременно. В результате минимизатор функции потерь на валидации имеет ненулевую ошибку калибровки и является неоптимальным для уточнения. Это наблюдение указывает на возможность улучшения того, как мы обучаем классификаторы машинного обучения.

В разделах 2 и 3 мы предлагаем минимизировать только ошибку уточнения во время обучения и ошибку калибровки после обучения. Эта новая парадигма может быть безупречно использована с любой моделью машинного обучения, просто используя наш новый оцениватель уточнения, приведенный в пакете github.com/dholzmueller/probmetrics, в качестве метрики остановки. В Section 4 мы приводим эмпирические доказательства снижения потерь, достигнутого на различных задачах. В разделах 5 и 6 мы изучаем логистическую регрессию на двоичной гауссовой модели данных, показывая, что эта проблема существует даже в простых условиях, и что наш метод минимизирует как ошибки уточнения, так и ошибки калибровки.

2 Декомпозиция калибровка-уточнение

Мы начинаем с обзора разложения собственных (корректных) потерь на ошибки калибровки и уточнения. Также мы представляем новую вариационную формулировку этого разложения, которая позволяет по-новому интерпретировать уточнение как потери после оптимальной постобработки.

Обозначение.

Рассмотрим классификацию с $k$ классами. Пусть $\Delta_{k}$ обозначает вероятностный симплекс $\{p\in[0,1]^{k}\;|\;\mathbf{1}^{\top}p=1\}$, а $\mathcal{Y}_{k}\subset\Delta_{k}$ — пространство однохотированных меток $y\in\{0,1\}^{k}$, где $y_{i}=1$, если истинный класс равен $i$, и $y_{i}=0$ в противном случае. Предположим, что имеется случайная величина $X\in\mathcal{X}$ (вектор признаков), такая что существует неизвестное совместное распределение вероятностей $\mathcal{D}$ на $(X,Y)$. Мы делаем вероятностные предсказания $p\in\Delta_{k}$ относительно значения истинной метки $Y$, используя статистическую модель $f:\mathbb{R}^{p}\rightarrow\Delta_{k}$.

2.1 Разложение потерь

Мы оцениваем предсказания с помощью функции потерь $\ell:\Delta_{k}\times\mathcal{Y}_{k}\rightarrow\mathbb{R}_{+}$. $\ell$ является неотрицательной функцией $p$ и $y$, такой что $\ell(p,y)$ оценивает качество предсказания $p$ для метки $y$. Известные примеры включают оценку Брайера $\ell(p,y)=\|y-p\|_{2}^{2}$ и кросс-энтропию (logloss) $\ell(p,y)=-\sum_{i=1}^{k}y_{i}\log(p_{i})$. Предположим, что метка $y$ выбирается из распределения $q\in\Delta_{k}$. Мы используем ту же нотацию для обозначения ожидаемой величины потерь, получаемых при выполнении предсказания $p$: $\ell(p,q)=\mathbb{E}_{y\sim q}[\ell(p,y)]$. Естественным требованием является то, что $\ell(\cdot,q)$ минимизируется (только) в $q$; в этом случае $\ell$ называется (строго) правильной.

Пусть $C=\mathbb{E}_{\mathcal{D}}[Y|f(X)]$ — случайная величина, измеряющая математическое ожидание $Y$ при заданном предсказании. Надлежащие потери удовлетворяют следующему разложению риска (Bröcker, 2009):

$$\mathbb{E}[\ell(f(X),Y)]=\mathbb{E}[d_{\ell}(f(X),C)]+\mathbb{E}[e_{\ell}(C)]\;,$$ (1)

где $d_{\ell}(p,q)\coloneqq\ell(p,q)-\ell(q,q)$ и $e_{\ell}(q)\coloneqq\ell(q,q)$ соответственно являются дивергенцией и энтропией, связанными с $\ell$ (мы называем их $\ell$-дивергенцией и $\ell$-энтропией). Для различных выборов функции потерь классификации мы восстанавливаем хорошо известные функции энтропии и дивергенции.

Proper loss $\ell$	Divergence $d_{\ell}$	Entropy $e_{\ell}$
Logloss	KL divergence	Shannon entropy
$-\sum_{i}y_{i}\log(p_{i})$	$\sum_{i}q_{i}\log\frac{q_{i}}{p_{i}}$	$-\sum_{i}q_{i}\log q_{i}$
Brier score	Squared distance	Gini index
$\|y-p\|_{2}^{2}$	$\|p-q\|_{2}^{2}$	$\sum_{i}q_{i}(1-q_{i})$

Первый член в разложении (1) — это калибровочная ошибка $\mathcal{K}_{\ell}(f)$, связанная с $\ell$. Второй член, обозначаемый $\mathcal{R}_{\ell}(f)$, — это ошибка уточнения для $\ell$. Ошибка уточнения иногда дополнительно разлагается на неприводимую ошибку (риск оптимального классификатора $f^{*}$) и ошибку группировки (Kull & Flach, 2015; Perez-Lebel et al., 2023).

2.2 Ошибка калибровки

Калибровке уделялось много внимания само по себе, не всегда в контексте разложения калибровки и уточнения. Модель $f$ считается откалиброванной, если $f(X)=C$ почти наверное. Когда это выполняется, для заданного прогноза $f(X)=p$ ожидаемый исход $C=\mathbb{E}[Y|f(X)]$ согласован с $p$. Это желательное свойство, поскольку оно позволяет интерпретировать предсказания модели как вероятности того, что $Y$ принадлежит каждой из $k$ классов.

Ошибка калибровки.

Таким образом, ошибка неверной калибровки измеряется ожидаемым разрывом между $f(X)$ и $C$. Выбор функции расстояния или расхождения $d$ порождает различные понятия ошибки калибровки: $\mathcal{K}^{(d)}(f)=\mathbb{E}[d(f(X),C)]$. Популярным выбором для $d$ является расстояние $L^{1}$, что приводит к ожидаемой ошибке калибровки (ECE, Naeini et al., 2015). Отметим, что при выборе расстояния $L^{2}$ или расхождения KL мы получаем «корректные» ошибки калибровки (Gruber & Buettner, 2022), которые появляются в разложении показателя Brier score и logloss. На практике распределение данных $\mathcal{D}$ известно лишь через конечный набор выборок $(x_{i},y_{i})_{1\leq i\leq n}$ и $f$ делает непрерывные прогнозы $f(x_{i})\in\Delta_{k}$. Для вычисления ошибки калибровки $C$ часто оценивают путем группирования (binning) прогнозов на симплексе, что приводит к оценкам, которые смещены и несостоятельны (Kumar et al., 2019; Vaicenavicius et al., 2019; Roelofs et al., 2022). В многоклассовом случае проклятие размерности делает оценивание еще более сложным. Более слабые понятия, такие как поклассовая или калибровка по верхней метке (top-label calibration error), часто используются (Kumar et al., 2019; Kull et al., 2019).

Постфактум калибровка.

Многие классификаторы машинного обучения страдают от проблем с калибровкой, что привело к появлению семейства методов, известных как «постфактум калибровка». Эти методы уменьшают ошибку калибровки после обучения с использованием выделенного набора образцов $\mathcal{C}$, называемого «набор калибровки». Среди прочего, изотоническая регрессия и температурное масштабирование широко используются.

Изотоническая регрессия (IR, Zadrozny & Elkan, 2002) находит монотонную функцию $g^{*}$, которая минимизирует риск $g\circ f$ на калибровочном наборе. Это популярная калибровочная техника для двоичных классификаторов. Однако многоклассовые расширения имеют существенные недостатки, однако.

Температурное масштабирование (TS, Guo et al., 2017) оптимизирует скалярный параметр $\beta$ для перерасчета лог-вероятностей. Формально, оно обучает функцию $g_{\beta^{*}}$ на калибровочном наборе со {IEEEeqnarray*}+rCl+x* g_β(p) & ≔ softmax(βlog(p)), β^* ≔ argmin_β∈R_+ L(β), L(β) ≔ ∑_(x, y) ∈C ℓ(g_β(f(x)), y) . \IEEEyesnumber Для нейронных сетей это сводится к масштабированию последнего слоя на $\beta^{*}$. TS имеет множество преимуществ: оно эффективно, применимо к многоклассовым задачам, не влияет на точность и устойчиво к переобучению, поскольку имеет только один параметр.

Заинтересованного читателя отсылаем к Silva Filho et al. (2023) для подробного обзора калибровки. В Appendix A мы также более внимательно рассматриваем литературу по данной теме и другие связанные работы.

2.3 Ошибка уточнения

Учитывая привлекательность откалиброванных предсказаний, было приложено значительное усилие для оценивания и уменьшения ошибки калибровки. Однако тот факт, что она взаимодействует с другим членом, образуя общую величину риска классификатора, получил гораздо меньше внимания. отчасти это связано с тем, что ошибка уточнения почти не известна. Так что же такое ошибка уточнения??

При разложении (1) это выглядит как ожидаемая $\ell$-энтропия $Y$ при заданном $f(X)$: $\mathcal{R}_{\ell}(f)=\mathbb{E}[e_{\ell}(\mathbb{E}[Y|f(X)])]$. При наличии простого интуитивного понимания функций энтропии мы видим, что если $Y$ полностью определяется $f(X)$, то $Y|f(X)$ не имеет энтропии, и ошибка уточнения равна нулю. Напротив, если $Y|f(X)$ столь же случайно, как $Y$, оно максимально. Таким образом, ошибка уточнения количественно оценивает, сколько вариативности в $Y$ захвачено $f(X)$: меньшая ошибка указывает на большую информативность. Подобно ошибке классификации, она оценивает способность различать классы независимо от калибровочных проблем, таких как пере-/недоувренность. Однако она обеспечивает гораздо более всеобъемлющую меру, поскольку рассматривает всю распределённость $f(X)$, а не одну дискретизацию. Это достигается ценой того, что, как и ошибка калибровки, её гораздо труднее оценить.

2.4 Вариационная формулировка

В Приложении B мы представляем новые вариационные формулировки для членов разложения (1), наиболее важно:

Theorem 2.1.

Ошибка уточнения для правильной функции потерь $\ell$ заключается в

$$\mathcal{R}_{\ell}(f)=\min_{g}\mathbb{E}[\ell(g(f(X)),Y)]\quad,$$

где минимум берется по всем измеримым функциям $g:\Delta_{k}\rightarrow\Delta_{k}$. Он достигается в ⟦K1⟩⟧.

Калибровочная ошибка оценивает, насколько популяционный риск можно уменьшить оптимальным переназначением меток исходных прогнозов. Это оптимальное переназначение меток задается калиброванной оценкой $C=\mathbb{E}[Y|f(X)]$. Это вполне интуитивно: такое переназначение меток устанавливает калибровочную ошибку в ноль, оставляя только член уточнения в разложении риска (1). Таким образом, ошибка уточнения измеряет оставшийся риск после оптимального переназначения меток, что соответствует риску калиброванных оценок. Эта новая вариационная формулировка показывает, что ошибку уточнения можно оценивать, используя риск после постфактумной калибровки.

3 Наша методика: остановка на основе уточнения

⟦Figure 2: риск-ориентированная ранняя остановка по сравнению с ранней остановкой, основанной на уточнении, до и после постфактум калибровки. Точки обозначают ошибки риска (зелёный), уточнения (красный) и калибровки (синий).

3.1 Остановка обучения по ранней проверке на основе уточнения: интуиция

Два различных минимизатора.

Минимизация риска классификатора сводится к одновременной минимизации ошибок уточнения и калибровки. Эмпирически эти две ошибки не минимизируются одновременно в процессе обучения, как в Figure 1. Один возможный сценарий состоит в том, что обучающая выборка становится хорошо разделимой, заставляя модель делать весьма уверенные предсказания, чтобы удерживать калибровочную ошибку обучения небольшой. В случае разрыва обобщения train-test модель становится чрезмерно уверенной (Carrell et al., 2022), в то время как ошибка уточнения может продолжать уменьшаться. Мы наблюдаем раздельные точки-минимумы у различных моделей машинного обучения, будь то при итеративном обучении или при настройке параметра регуляризации. В Section 6 мы теоретически анализируем это явление для высокомерной логистической регрессии, показывая, что оно проявляется даже в очень простых условиях. Следствием является то, что ранняя остановка, основанная на риске, находит компромиссную точку между двумя конфликтующими целями: минимизацией калибровочной ошибки и минимизацией ошибки уточнения. Это подтверждает широко известное наблюдение о том, что многие модели оказываются плохо откалиброванными после обучения (Guo et al., 2017).

Уточните, затем откалибруйте.

Возникает вопрос: как получить модель, оптимальную и для калибровки, и для уточнения? В целом строго возрастающие постобработочные техники калибровки, такие как TS, оставляют уточнение неизменным. Berta et al. (2024) показало, что бинарное IR сохраняет ROC выпуклую оболочку, являющуюся приближением для уточнения. Учитывая, что ошибка калибровки минимизируется после обучения, без влияния на уточнение, мы утверждаем, что обучение следует посвятить только последнему. Мы предлагаем выбирать лучший эпох по ошибке уточнения на валидации вместо потерь на валидации как новую парадигму обучения для классификаторов машинного обучения. Как показано на рисунке 2, эта процедура приводит к меньшим потерям после постобработочной калибровки. По сравнению со стандартной парадигмой, которая минимизирует и уточнение, и калибровку во время обучения, мы предлагаем уточнять во время обучения, затем выполнять калибровку постфактум.

Early stopping	Training minimizes	Post hoc minimizes
Risk	Cal. + Ref.	Cal.
Refinement	Ref.	Cal.

3.2 Остановка на основе уточнения, реализованная на практике

Оценка уточнения.

Как обсуждалось ранее, оценщики ошибки калибровки смещены, непоследовательны и дают сбой в многоклассовом случае. Поскольку уточнение равно разности между риском и калибровкой, эти проблемы переносятся и на оценивание уточнения. Можно обойти это, используя прокси, например точность на валидации. Теорема 2.1 дает более удачную альтернативу: ошибка уточнения равна риску после оптимального перевыставления меток $g^{*}\circ f$. Таким образом, нам нужно оценить, насколько малым может стать риск на валидации при перевыставлении меток предсказаний. Поскольку валидационный набор $(x_{i},y_{i})_{1\leq i\leq n}$ конечен, минимизация по всем измеримым функциям $g:\Delta_{k}\rightarrow\Delta_{k}$ привела бы к резкому переобучению. Однако, учитывая класс функций $\mathcal{G}$, который мы намерены использовать для постфактум калибровки, мы можем оценить ошибку уточнения, решая:

$$\hat{\mathcal{R}_{\ell}}(f)=\min_{g\color[rgb]{1,0,0}\definecolor[named]{pgfstrokecolor}{rgb}{1,0,0}\in\color[rgb]{1,0,0}\definecolor[named]{pgfstrokecolor}{rgb}{1,0,0}\mathcal{G}}\frac{1}{n}\sum_{i=1}^{n}\ell(g(f(x_{i})),y_{i})$$

после каждой эпохи. Это сводится к ранней остановке на основе валидационной “loss после постфактум калибровки”, которая является смещённой оценкой ошибки уточнения. По сравнению с Theorem 2.1, мы ограничиваемся функциями класса $\mathcal{G}$. Возникает компромисс по отношению к размеру $\mathcal{G}$. Чем больше класс, тем меньше смещение нашей оценки, но тем выше вероятность переобучения на валидационном наборе, что приводит к плохой оценке истинной ошибки уточнения. Для работы нашего метода нам нужно выбрать небольшой класс $\mathcal{G}$, который насколько возможно близок к оптимальному ре-мэппингу $g^{*}(f)=\mathbb{E}[Y|f(X)]$.

Уточнение TS для нейронных сетей.

Мы называем TS-refinement оценивателем, получаемым, когда $\mathcal{G}$ — это класс функций, порождаемых температурным масштабированием. Он параметризован одним скалярным параметром, что существенно ограничивает способность к переобучению на валидационном наборе. Кроме того, TS очень эффективно снижает калибровочную ошибку нейронных сетей (какой бы большой она ни была), не изменяя уточнение. Это подтверждается множеством эмпирических свидетельств (Guo et al., 2017; Wang et al., 2021). Мы показываем в Section 5, что при сделанных предположениях о распределении логитов оптимальное повторное отображение $g^{*}$ достигается с помощью TS, делая TS-refinement несмещённым оценивателем. На практике при обучении нейронной сети мы рекомендуем выбирать лучший эпоху с точки зрения валидационной потери после температурного масштабирования. Возвращаясь к примеру в Figure 1, эта процедура выбрала бы более позднюю эпоху (красная точка), для которой валидационная потеря (зелёная кривая) выше, но валидационная потеря после TS (красная кривая) меньше. Поскольку в любом случае нам предстояло использовать TS для постфактумной калибровки, эта простая процедура гарантирует меньший валидационный риск.

Figure 3: Время выполнения по сравнению со средними значениями оценок бенчмарка для различных реализаций TS. Время выполнения усредняется по наборам валидации, содержащим 10K+ примеров. Оценка выполняется на моделях XGBoost, обученных с параметрами по умолчанию, с использованием эпохи с наилучшей точностью на валидации.

Улучшение реализаций TS.

Использование TS-refinement для ранней остановки требует быстрой и надежной реализации масштабирования температуры. Анализ существующих кодовых баз показал, что есть существенное поле для улучшений как с точки зрения скорости, так и с точки зрения производительности. Для logloss целевая функция $\mathcal{L}(\beta)$ в уравнении (2.2) является выпуклой. Существующие реализации применяют L-BFGS (Liu & Nocedal, 1989) для оптимизации $\mathcal{L}(1/T)$, что является унимодальным, но невыпуклым. Кроме того, выбор шага для L-BFGS иногда приводил к неоптимальной производительности. Вместо этого, поскольку $\mathcal{L}^{\prime}$ возрастает вследствие выпуклости $\mathcal{L}$, мы предлагаем использовать двоичный поиск, чтобы найти ноль $\mathcal{L}^{\prime}$. Figure 3 показывает, что на бенчмарке из Section 4 наша реализация обеспечивает меньшую тестовую потерю и существенно быстрее альтернатив из Guo et al. (2017), TorchUncertainty и AutoGluon (Erickson et al., 2020). Подробности приведены в Приложении E.

Другие оценщики.

Наш метод применим к широкому спектру моделей машинного обучения. Он может помочь выбрать наилучший шаг в любой итерационной процедуре обучения (например, бустинге) или величину регуляризации для неитерационных моделей. Уточнение не обязательно должно оцениваться с помощью TS-refinement; может быть выбрана любая доступная прокси-оценка. Для не нейронных сетей TS может быть менее эффективным. В бинарном случае использование риска после изотонической регрессии (IR-refinement) может быть хорошим вариантом. Он существенно менее смещён, чем TS-refinement, поскольку класс $\mathcal{G}$ содержит все монотонные функции. Однако риск переобучения становится больше, и это необходимо тщательно учитывать.

⟦Figure 4: Относительные различия в тестовой logloss (ниже лучше) между logloss+TS и другими процедурами на наборах данных по зрению. «+TS» указывает на применение масштабирования температуры к итоговой модели. Каждая точка представляет собой один обучающий прогон на одном наборе данных. Диаграммы размаха показывают квантилей 10%, 25%, 50%, 75% и 90%. Относительные различия (ось y) построены с использованием логарифмического масштаба.

4 Эксперименты

Компьютерное зрение.

Мы оцениваем наш метод, обучая ResNet-18 (He et al., 2016) и WideResNet (WRN) (Zagoruyko, 2016) на наборах данных CIFAR-10, CIFAR-100 и SVHN (Krizhevsky et al., 2009; Netzer et al., 2011). Мы выделяем 10% обучающего набора для валидации. Мы обучаем в течение 300 эпох, используя SGD с моментумом, затуханием весов и планировщиком пошаговой скорости обучения. Мы применяем случайное обрезание, горизонтальные отражения и cutout (DeVries, 2017). Для справки: эти процедуры обучения позволяют достичь $95\%$ точности на CIFAR-10 для ResNet-18 и более $96\%$ для WRN. Мы обучаем модели десять раз на каждом наборе данных. Код для запуска бенчмарка доступен по адресу github.com/eugeneberta/RefineThenCalibrate-Vision. На графических процессорах NVIDIA V100 бенчмарк занял около 300 GPU-часов. Мы приводим в Figure 4 относительные различия в тестовой logloss, полученные при использовании различных процедур обучения. После ранней остановки по потере на валидации (первый столбец) использование TS приводит к значительному улучшению (второй столбец). Ранняя остановка по TS-refinement вместо потери на валидации дает еще более хорошие результаты (третий столбец). Мы также сравниваем с ранней остановкой, основанной на точности валидации (четвертый столбец), еще одним прокси для уточнения, показывая, что TS-refinement более последовательно приводит к меньшей потере.

Мы эмпирически наблюдали, что планировщик скорости обучения и сила регуляризации влияют на поведение ошибки калибровки во время обучения. Это отражается на эффекте, наблюдаемом с нашим методом. В целом, однако, уточнение TS на валидации остается наилучшей доступной оценкой для тестовой потери после temperature scaling. Brier score, еще одна корректная функция потерь, менее чувствителен к резким вариациям ошибки калибровки, чем logloss, и может быть хорошей альтернативой для ранней остановки для практиков, которые хотят избежать подгонки TS на каждой эпохе. Заинтересованного читателя мы отсылаем к Приложению F для подробностей о нашей процедуре обучения и полных результатах.

Табличные данные, где $X$ — это вектор разнородных числовых и/или категориальных признаков, повсеместны в приложениях ML. Мы берем 196 наборов данных для бинарной и многоклассовой классификации из бенчмарка по Ye et al. (2024), содержащих от 1K до 100K примеров после подсэмплинга крупнейших наборов данных, см. Appendix G. Мы оцениваем три метода:

• ⟦XGBoost (Chen & Guestrin, 2016) — популярная реализация градиентного бустинга решающих деревьев, демонстрирующая высокие результаты на табличных бенчмарках (Grinsztajn et al., 2022). Из‑за итеративной оптимизации ранняя остановка релевантна и для XGBoost.
• MLP — это простая многослойная персептронная сеть, аналогичная популярной базовой модели MLP от Gorishniy et al. (2021).
• ⟦RealMLP (Holzmüller et al., 2024) — это недавняя модель глубокого обучения на уровне современного состояния для табличных данных (Ye et al., 2024), которая улучшает стандартный MLP во многих аспектах.

Для каждого набора данных сообщаем среднее значение потерь по пяти случайным разбиениям на 64% обучающих, 16% валидационных и 20% тестовых данных. Для каждого разбиения запускаем 30 случайных конфигураций гиперпараметров и выбираем ту, которая дает наилучший показатель на валидации. Валидационный набор данных также используется для остановки и постфактум калибровки. Вычисления заняли около 40 часов на процессоре с 32 ядрами (для XGBoost) и на четырех видеокартах RTX 3090 (для НС).).

⟦Figure 5: Относительные различия в test logloss (ниже лучше) между logloss+TS и другими процедурами на табличных наборах данных. «+TS» указывает на temperature scaling, применённый к итоговой модели. Каждая точка соответствует одному набору данных из Ye et al. (2024), использованы 65 наборов данных с 10K+ примерами. Проценты обрезаны до $[-100,100]$ из-за одного выброса почти с нулевой потерей. Box-plots показывают квантильные значения 10, 25, 50, 75 и 90%. Относительные различия (ось y) построены с использованием логарифмического масштаба.

⟦Figure 5 показывает результаты на наборах данных с как минимум 10K образцами. В целом мы наблюдаем, что TS, а также остановка/настройка на TS-Refinement помогают на большинстве наборов данных, тогда как остановка по точности часто приводит к плохому logloss даже после TS. Наш расширенный анализ в Appendix G показывает, что результаты более шумные и менее ясные для небольших или простых наборов данных. Однако остановка на TS-Refinement часто дает лучшую точность и AUC, чем остановка на logloss, и тем самым обеспечивает отличное равновесие между различными метриками.

5 Разложение в гауссовой модели данных

В этом разделе и в следующем мы приступаем к теоретическому анализу, который дает понимание декомпозиции калибровка—уточнение. Мы показываем, что даже при простой модели данных и предикторе ошибки калибровки и уточнения не минимизируются одновременно. Это подчеркивает значимость ранней остановки на основе уточнения и указывает на широкое влияние проблемы, которую мы рассматриваем.

Мы используем следующую упрощенную модель. Рассмотрим случайные величины признаков и меток $X\in\mathbb{R}^{p},Y\in\{-1,1\}$ в рамках двухклассовой гауссовой модели $X\sim\mathcal{N}(\mu,\Sigma)$, если $Y=1$ и $X\sim\mathcal{N}(-\mu,\Sigma)$, если $Y=-1$ для некоторого среднего $\mu\in\mathbb{R}^{p}$ и ковариации $\Sigma\in\mathbb{R}^{p\times p}$. Кроме того, мы предполагаем, что классы сбалансированы, $\mathbb{P}(Y=1)=\mathbb{P}(Y=-1)=\frac{1}{2}$. В рамках этой модели данных $\mathbb{P}(Y=1|X=x)=\sigma({w^{*}}^{\top}x)$ с $w^{*}=2\Sigma^{-1}\mu$ и $\sigma(x)=\frac{1}{1+e^{-x}}$ обозначает сигмоидальную функцию. Форма сигмоидальной функции хорошо подходит для описания апостериорной вероятности $Y$ по $X$. Отметим, что это верно для любой пары $P(X|Y=\pm 1)$ из одного и того же экспоненциального семейства (Jordan, 1995). Доказательства для этого раздела отложены до Appendix C⟧.

Мы заинтересованы в калибровочных и уточняющих ошибках линейной модели $f(x)=\sigma(w^{\top}x)$. Вектор весов $w$ можно изучить с помощью таких методов, как логистическая регрессия или линейный дискриминантный анализ (Fisher, 1936). Обозначая $a_{w}=\langle w,w^{*}\rangle_{\Sigma}/\|w\|_{\Sigma}$ через $\langle w,w^{*}\rangle_{\Sigma}=w^{\top}\Sigma w^{*}$ и $\|w\|_{\Sigma}=\sqrt{w^{\top}\Sigma w}$, частота ошибок линейной модели записывается $\operatorname{err}(w)=\Phi(-\frac{a_{w}}{2})$, где $\Phi(x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}\exp(-\frac{t^{2}}{2})dt$ является функцией кумулятивного распределения стандартного нормального распределения. Обратите внимание, что $a_{w}$ инвариантна при масштабировании $w$. Она измеряет согласованность с наилучшей моделью $w^{*}$ независимо от нормы вектора весов. Мы называем $a_{w}$ «уровнем экспертизы» нашей модели $f$. Интересно, что $a_{w}$ также появляется в калибровочных и уточняющих ошибках для этой простой модели.

Theorem 5.1.

Для надлежащей функции потерь $\ell$, ошибки калибровки и уточнения нашей модели

$$\mathcal{K}_{\ell}(w) =\mathbb{E}\Big{[}d_{\ell}\Big{(}\sigma\Big{(}\|w\|_{\Sigma}\Big{(}z+\frac{a_{w}}{2}\Big{)}\Big{)},\sigma\Big{(}a_{w}\Big{(}z+\frac{a_{w}}{2}\Big{)}\Big{)}\Big{)}\Big{]}$$

$$\mathcal{R}_{\ell}(w) =\mathbb{E}\Big{[}e_{\ell}\Big{(}\sigma\Big{(}a_{w}\Big{(}z+\frac{a_{w}}{2}\Big{)}\Big{)}\Big{)}\Big{]}\,,$$

где матожидание взято по $z\sim\mathcal{N}(0,1)$.

Обратите внимание, что ошибка уточнения является убывающей функцией $a_{w}$, точно так же, как и частота ошибок. Более того, она зависит от $w$ только через $a_{w}$, и поэтому инвариантна при пере масштабировании вектора весов. В отличие от этого, ошибка калибровки не инвариантна при пере масштабировании $w$. Она минимизируется и достигает нуля при $\|w\|_{\Sigma}=a_{w}$. Чем больше норма вектора весов $\|w\|_{\Sigma}$, тем больше предсказанные вероятности $\sigma(w^{\top}x)$, поэтому $\|w\|_{\Sigma}$ можно интерпретировать как «уровень уверенности» модели. Модель калибрована, когда этот уровень уверенности равен уровню экспертности $a_{w}$. Следствием является то, что всегда существует такое пере масштабирование вектора весов, при котором ошибка калибровки обнуляется.

Theorem 5.2.

Пере шкалированный вектор весов $w_{s}\leftarrow sw$ с $s=\langle w,w^{*}\rangle_{\Sigma}/\|w\|_{\Sigma}^{2}$ дает нулевую ошибку калибровки $\mathcal{K}(w_{s})=0$ при сохранении ошибки уточнения $\mathcal{R}(w_{s})=\mathcal{R}(w)$⟧.

Обратите внимание, что такое перенормирование вектора весов точно соответствует масштабированию температуры. Для классификаторов вроде логистической регрессии или нейронных сетей, использующих сигмоиду для получения вероятностей, Theorem 5.2 устанавливает, что при допущении, будто распределение логитов является смесью гауссианов, TS задаёт калибровочную ошибку, равную нулю, при сохранении уточнения. Насколько нам известно, это первая теоретическая гарантия для масштабирования температуры. Немедленное следствие этого и Theorem 2.1 состоит в том, что ошибка уточнения равна риску после масштабирования температуры: $\mathcal{R}(w)=\min_{s\in\mathbb{R}}\operatorname{Risk}(sw)$.

Remark 5.3.

Для нецентрированных или несбалансированных данных добавление параметра свободного члена в TS необходимо для достижения того же результата. Аналогичный анализ можно вывести для многоклассового случая, что приводит к постфактум калибровке с матричным масштабированием.

Это поддерживает идею о том, что в процессе обучения мы должны минимизировать уточнение. Масштабирование вектора весов до корректного уровня доверия достаточно, чтобы устранить калибровочную ошибку после обучения. По нашему анализу, кажется очевидным, что минимизаторы калибровочной и уточняющей ошибок не должны совпадать. Уровень доверия $\|w\|_{\Sigma}$ ни в какой мере не ограничен равенством экспертности $a_{w}$. Мы эмпирически наблюдали, что минимизаторы потерь и уточнения можно разделить. Можем ли мы продвинуть анализ дальше, чтобы теоретически продемонстрировать это?

6 Высокомерные асимптотики логистической регрессии

В этом разделе мы помещаем себя в условия регуляризованной логистической регрессии, чтобы изучить влияние калибровки и уточнения на риск в ходе обучения. Доказательства и отсутствующие технические детали приведены в Appendix D.

⟦Figure 6: Перекрестная энтропия, ошибки калибровки и уточнения при $\lambda$ различаются. Спектральное распределение $F$ является равномерным ($\alpha=\beta=1$), $e^{*}=10\%$, и $r=\frac{1}{2}$. Мы подгоняем логистическую регрессию по 2000 случайным выборкам из нашей модели данных, чтобы получить $\hat{w}_{\lambda}$. Мы вычисляем получившиеся ошибки калибровки и уточнения, используя Theorem 5.1, и строим $95\%$ доверительные интервалы погрешностей после 50 заездов. Теория хорошо согласуется с эмпирическими наблюдениями.

Рассмотрите пары $n$ $(x_{i},y_{i})_{1\leq i\leq n}$ из бимодели модели данных Section 5 и $w_{\lambda}$, а также вектор весов, выученный при решении регуляризованной логистической регрессии

$$\min_{w\in\mathbb{R}^{p}}\frac{1}{n}\sum_{i=1}^{n}\log(1+\exp(-y_{i}w^{\top}X_{i}))+\frac{\lambda}{2}\|w\|^{2}\;,$$

для заданной силы регуляризации $\lambda\in\mathbb{R}_{+}$.

Мы воспользуемся известными результатами по $w_{\lambda}$ в высокоразмерной асимптотической постановке $n,p\rightarrow\infty$ при постоянном соотношении $p/n\rightarrow r>0$. Мы предполагаем, что средние значения классов по каждой размерности $(\mu_{i})_{1\leq i\leq p}$ выбираются независимо и одинаково распределёнными из распределения, удовлетворяющего $\mathbb{E}[\mu_{i}^{2}]=\frac{c^{2}}{p}$, так что $\|\mu\|_{2}\xrightarrow{p\rightarrow\infty}c$ для некоторой константы $c>0$, которая задаёт разделимость классов в задаче. Чтобы упростить формулы, мы предполагаем, что $\Sigma$ диагональная. Мы также предполагаем, что её собственные значения $(\sigma_{i})_{1\leq i\leq p}$ выбираются независимо и одинаково распределёнными из положительного ограниченного спектрального распределения $F$. Mai et al. (2019) дают следующую характеристику $w_{\lambda}$

$$w_{\lambda}\sim\mathcal{N}\Big{(}\eta(\lambda I_{p}+\tau\Sigma)^{-1}\mu,\frac{\gamma}{n}(\lambda I_{p}+\tau\Sigma)^{-1}\Sigma(\lambda I_{p}+\tau\Sigma)^{-1}\Big{)},$$

где $\tau,\eta,\gamma$ являются единственными решениями нелинейной системы уравнений, параметризованной $r,c,\lambda$ и $F$. Для вычисления ошибок калибровки и уточнения, появляющихся в Theorem 5.1, нас интересуют $\langle w_{\lambda},w^{*}\rangle_{\Sigma}$ и $\|w_{\lambda}\|_{\Sigma}$⟧.

Proposition 6.1.

Для $n,p\to\infty$,

$$\langle w_{\lambda},w^{*}\rangle_{\Sigma}\xrightarrow{P}\mathbb{E}_{\sigma\sim F}\Big{[}\frac{2\eta c^{2}}{\lambda+\tau\sigma}\Big{]}\,,$$

$$\|w_{\lambda}\|_{\Sigma}^{2}\xrightarrow{P}\mathbb{E}_{\sigma\sim F}\Big{[}\frac{\gamma r\sigma^{2}+\eta^{2}c^{2}\sigma}{(\lambda+\tau\sigma)^{2}}\Big{]}\,,$$

где сходимость происходит по вероятности.

Remark 6.2.

Результаты из Dobriban & Wager (2018) позволяют получить аналогичные результаты для регуляризованного LDA и Ridge, что приводит к более простым формулировкам ошибок уточнения и калибровки. Мы опускаем эти результаты из соображений ограниченного объема.

Параметр отделимости данных $c$ трудно интерпретировать; вместо этого мы используем $e^{*}$, долю ошибок оптимального классификатора $w^{*}$.

Proposition 6.3.

Поскольку $n,p\rightarrow\infty$,

$$e^{*}\xrightarrow{a.s.}\Phi\big{(}-c\sqrt{\mathbb{E}_{\sigma\sim F}[\sigma^{-1}]}\big{)}\,.$$

⟦$e^{*}$ обеспечивает общую и интерпретируемую шкалу сложности задачи независимо от формы спектрального распределения. Для заданного спектрального распределения $F$ Proposition 6.3 дает простое соотношение между $e^{*}$ и $c$. Мы можем выбрать любое ограниченное и положительное распределение $F$ в наших формулах для вычисления $\langle w_{\lambda},w^{*}\rangle_{\Sigma}$ и $\|w_{\lambda}\|_{\Sigma}^{2}$. Мы выбираем $\sigma=\varepsilon+B(\alpha,\beta)$, где $B$ обозначает распределение Beta с параметрами формы $(\alpha,\beta)$, а $\varepsilon$ — небольшой параметр сдвига, чтобы $F$ было строго положительным (при том, что $e^{*}$ всегда конечно, мы фиксируем $\varepsilon=10^{-3}$). Это позволяет нам исследовать различные формы спектральных распределений с помощью единой математической модели, изменяя $\alpha$ и $\beta$. Используя предложения 6.1 и 6.3, мы получаем формулы для $\langle w_{\lambda},w^{*}\rangle_{\Sigma},\|w_{\lambda}\|_{\Sigma}^{2}$ и $e^{*}$, см. Appendix D.

Для заданной силы регуляризации $\lambda$, отношения размерностей к объему выборки $r$, оптимальной частоты ошибок $e^{*}$ и спектрального распределения $F$ (управляемого $\alpha,\beta$), мы можем вычислить $\eta,\tau,\gamma$, решив систему, заданную Mai et al. (2019). Используя Proposition 6.1 и Theorem 5.1, мы получаем ошибки калибровки и уточнения. Мы приводим быстрое внедрение этого метода при github.com/eugeneberta/RefineThenCalibrate-Theory. Для фиксированного набора параметров $F,r,e^{*}$ мы можем построить кривую обучения для логистической регрессии, изменяя величину регуляризации $\lambda$. Мы наблюдаем вклад ошибок калибровки и уточнения в общую logloss модели, как в Figure 6⟧.

В этом примере ошибки калибровки и уточнения не минимизируются совместно, в результате чего минимизатор потерь оказывается где-то между ними, что приводит к неоптимальности для обеих ошибок. Поскольку мы можем легко установить ошибку калибровки равной нулю (Theorem 5.2), наша математическая модель предсказывает, что уточняющая по основе ранняя остановка дает снижение на $2\%$ в последующей кросс-энтропии на этом примере.

Мы можем исследовать влияние параметров задачи на это явление. Мы исследуем три формы спектрального распределения (первая строка). Для каждой из них мы строим в Figure 7 разрыв между минимизатором ошибки калибровки и минимизатором ошибки уточнения (вторая строка) и относительные выигрыши по перекрёстной энтропии ($\%$), полученные при остановке на уточнении вместо потерь (третья строка), как функцию от отношения $r=p/n$ (ось x) и сложности задачи $e^{*}$ (ось y)).

⟦Figure 7: Влияние параметров задачи на калибровку и минимизаторы уточнения. Первая строка: форма спектрального распределения. Вторая строка: логарифмический разрыв между двумя минимизаторами. В зеленых областях калибровка минимизируется раньше, тогда как в красных областях — уточнение. Третья строка: относительный выигрыш по logloss ($\%$), полученный при ранней остановке на основе уточнения.

Чтобы интерпретировать формы спектрального распределения, отметим, что небольшое собственное значение соответствует малой «внутриклассовой дисперсии» и, следовательно, более разделимым данным на соответствующей оси. Меньшие собственные значения соответствуют более информативным признакам. Левая колонка изображает сценарий, в котором большинство признаков одинаково информативны. Центральная колонка имеет широкое распределение как хороших, так и плохих признаков. В правой колонке большинство признаков плохие, а лишь несколько «скрытых» хороших компонент. В первом сценарии калибровка сходится раньше почти везде в пространстве параметров; это соответствует режиму, который мы наблюдаем в компьютерном зрении. Однако когда информативных признаков мало, уточнение минимизируется раньше (правая колонка). Это может повлиять на практические настройки, такие как геномика или гистопатология. Когда спектральное распределение более сбалансировано, мы видим сосуществование обоих сценариев в зависимости от параметров задачи. Прекращение обучения по ранней остановке на основе уточнения всегда дает меньшую потерю; в областях, где два минимизатора находятся далеко друг от друга (какая бы ошибка ни минимизировалась первой), выигрыши являются существенными, с уменьшением потерь до $25\%$.

Remark 6.4.

⟦Bartlett et al. (2020) устанавливают, что доброкачественное переобучение возникает для линейной регрессии в сходной модели данных при некоторых условиях на спектральное распределение матрицы ковариаций. Перспективное направление для будущих исследований — изучить, как это переносится на классификацию, и связь с разложением калибровки и уточнения.

7 Заключение

Мы показали, что выбор наилучшей эпохи и гиперпараметров на основе ошибки уточнения решает проблему, возникающую при использовании валидационной потери. Мы установили, что ошибку уточнения можно оценивать по потере после постфактум калибровки. Это позволило нам использовать TS-уточнение для ранней остановки, обеспечив улучшение тестовой потери на различных задачах машинного обучения. Наш оцениватель доступен в пакете probmetrics github.com/dholzmueller/probmetrics и может использоваться без ощутимых затруднений с любой архитектурой. Одно ограничение состоит в том, что TS-уточнение может быть более чувствительным к переобучению на небольших наборах валидации. В этом случае могут быть полезны кросс-валидация, ансамблирование и регуляризованные постфактум калибраторы. Еще одна малоисследованная область — влияние параметров обучения, таких как оптимизаторы, планировщики и регуляризация, на калибровочную и уточняющую ошибки во время обучения. Это поднимает вопрос о том, как интегрировать раннюю остановку, основанную на уточнении, с этими параметрами, чтобы максимизировать эффективность. Хотя остановка, основанная на уточнении, релевантна в сценариях, где данные ограничены и высок риск переобучения, она также может оказаться полезной для донастройки foundation models, где обучение намного дольше минимума потери может быть полезным (Ouyang et al., 2022; Carlsson et al., 2024). Кроме того, хотя мы исследуем ее полезность для оптимизации моделей, наш оцениватель уточнения может быть ценным диагностическим показателем, особенно в несбалансированных многоклассовых настройках, где точность и площадь под ROC-кривой менее уместны.

Благодарности

Авторы хотели бы поблагодарить Сашу Брауна, Этьена Готье, Себастьяна Грубера и Александра Переса-Лебеля за плодотворные обсуждения, касающиеся данной работы.

Эта публикация является частью кафедры «Рынки и обучение», поддерживаемой Air Liquide, BNP PARIBAS ASSET MANAGEMENT Europe, EDF, Orange и SNCF, спонсорами Фонда Inria.

Эта работа получила поддержку от правительства Франции, осуществляемую Национальным агентством исследований, в рамках программы France 2030 по грантовому соглашению с номером “PR[AI]RIE-PSAI” (ANR-23-IACL-0008).

Профинансировано Европейским союзом (ERC-2022-SYG-OCEAN-101071601). Высказанные взгляды и мнения принадлежат исключительно(целиком) автору(ам) и не обязательно отражают точку зрения Европейского союза или Европейского исследовательского совета Исполнительного агентства. Ни Европейский союз, ни орган, предоставивший грант, не несут ответственности за них.

Appendix A Сопутствующие работы

Правила пропорционального начисления баллов.

Правильные правила скоринга использовались в метеорологии для оценки качества прогнозов, см. Gneiting & Raftery (2007) для обзора. Их также можно обосновать с точки зрения теории принятия решений: последующая функция потерь для лица, принимающего решения, которое выбирает Bayes, то есть действия, оптимальные если предсказание верно, является правильным правилом скоринга (Grünwald & Dawid, 2004). Эта конструкция также позволяет привести к правильности непарные правила скоринга (Brehmer & Gneiting, 2020)⟧.

Разложения корректных оценок.

Для Brier score (Brier, 1950) была предложена декомпозиция calibration-refinement, представленная Sanders (1963), а декомпозиция calibration-sharpness (см. Appendix B) была предложена Murphy (1973). Bröcker (2009) обобщил эти декомпозиции для других корректных правил скоринга. Kull & Flach (2015) переписывает эти декомпозиции исключительно в терминах дивергенций между различными случайными величинами и вводит больше членов, таких как irreducible, epistemic и grouping loss. Pohle (2020) также предоставляет альтернативные формулировки. Однако ни одна из этих формулировок не является вариационной.

Калибровка.

⟦Guo et al. (2017) отметил, что в то время нейронные сети часто были неверно откалиброваны, и что logloss может переобучаться намного раньше, чем accuracy, хотя степень неверной калибровки может зависеть от архитектурных и других деталей (Minderer et al., 2021; Tao et al., 2024). Многие последующие калибровки предложены для решения этой проблемы. Некоторые методы представляют собой формы логистической регрессии, как в Platt scaling (Platt et al., 1999), Temperature/Vector/Matrix scaling (Guo et al., 2017), Beta calibration (Kull et al., 2017) и Dirichlet calibration (Kull et al., 2019). Другая группа методов берет начало в изотонической регрессии (Robertson et al., 1988; Zadrozny & Elkan, 2002; Oron & Flournoy, 2017; Vovk et al., 2015; Manokhin, 2017; Berta et al., 2024). Подходы, основанные на группировке по бинам, также существуют (e.g., Naeini et al., 2015), но, возможно, они более популярны для оценки калибровочных ошибок. Wang et al. (2021) показывают, что изменение функции потерь может улучшить калибровку до, но не после пост-обработочной калибровки.

Постобработка калибровки и корректные оценки.

⟦Gruber & Buettner (2022) использует величину, подобную потере, для сравнения постфактум методов калибровки, и Gruber & Bach (2024) предлагает вариационную постановку для оптимизации оценок квадратичных ошибок калибровки. Ferrer & Ramos (2024) предлагает рассматривать улучшение значения потери при постфактум перекалибровке как меру ошибки калибровки. Подчеркивается важность оптимизации общей потери, а не только ошибки калибровки, например, Perez-Lebel et al. (2023), Chidambaram & Ge (2024) и Ferrer & Ramos (2024). В то время как мы используем уточняющую оценку, Perez-Lebel et al. (2023) предлагает оценку групповой потери, которая может быть применима в нашем случае, поскольку невосстанавливаемая в нашем случае потеря не зависит от $f$. Однако оценка групповой потери труднее в оценивании, чем оценка уточнения, поскольку оценка групповой потери может быть использована для оценки невосстанавливаемой потери $\inf_{f}\operatorname{Risk}(f)$.

Высокомерные асимптотики классификации.

Наш анализ ошибок классификации и уточнения для регуляризованной логистической регрессии в многомерной постановке опирается на богатую литературу. В частности Dobriban & Wager (2018); Mai et al. (2019) изучает ошибку классификации с той же моделью данных и предоставляет асимптотические результаты, непосредственно применимые к нашему анализу. Couillet et al. (2018); Salehi et al. (2019) исследует смежные сценарии, которые мы экспериментально проверяли. Bach (2024) предлагает новый взгляд на эти многомерные результаты через призму самовозникающей регуляризации, что может оказаться релевантным для интерпретации формул, полученных для ошибок калибровки и уточнения.

Appendix B Калибровка, уточнение и резкость

⟦Figure B.1: Связь между различными терминами, относящимися к правилам правильного оценивания, доказанная в Theorem B.1. Здесь инфимумы берутся по измеримым функциям. Строка $A\stackrel{{\scriptstyle u}}{{\rule[1.93748pt]{18.00003pt}{0.4pt}}}B$ означает $u=B-A$. “irred.” означает irreducible и “grp.” означает grouping. Для определений см. Remark B.2.

Далее мы доказываем Theorem B.1, что является более общей версией Theorem 2.1. Figure B.1 иллюстрирует связь между терминами в этих разложениях. В частности, она включает калибровочно-резкостное разложение (Bröcker, 2009), задаваемое {IEEEeqnarray*}+rCl+x* Risk(f) = E[ℓ(f(X), Y)] = e_ℓ(E[Y]) -⏟E[d_ℓ(E[Y], C)])_Sharpness S_ℓ(f) + ⏟E[d_ℓ(f(X), C)]_Calib. error K_ℓ(f) .

Для следующих результатов мы используем более технически точное определение корректных потерь. Мы следуем (Gneiting & Raftery, 2007), но меняем знак на противоположный так, чтобы корректные потери следовало минимизировать, а не максимизировать. Мы рассматриваем потери $\ell:\Delta_{k}\times\mathcal{Y}_{k}\to\mathbb{R}\cup\{\infty\}$ такие, что $\ell(P,\cdot)$ является $Q$-квазиинтегрируемой для всех $P,Q\in\Delta_{k}$. Последнее условие необходимо, чтобы $\ell(P,Q)$ было определено. Условия можно дополнительно ослабить, чтобы использовать выпуклые подмножества $\Delta_{k}$, однако мы опускаем это для простоты.

Theorem B.1 (Расширенные вариационные переформулировки).

Пусть $k\geq 2$, пусть $\ell:\Delta_{k}\times\mathcal{Y}_{k}\to\mathbb{R}\cup\{\infty\}$ образуют корректную функцию потерь, и пусть $f:\mathcal{X}\to\Delta_{k}$ измерима, где $\Delta_{k}$ снабжено борелевской $\sigma$-алгеброй. Тогда, {IEEEeqnarray*}+rCl+x* R_ℓ(f) & = min_g Risk(g ∘f) , K_ℓ(f) = Risk(f) - min_g Risk(g ∘f) , S_ℓ(f) = min_c constant Risk(c) - min_g Risk(g ∘f) , e_ℓ(E[Y]) = min_c constant Risk(c) . Здесь минимумы берутся по измеримым функциям $g:\Delta_{k}\to\Delta_{k}$ и $c:\mathcal{X}\to\Delta_{k}$. Они достигаются $g^{*}(q)\coloneqq\mathbb{E}[Y|f(X)=q]$ и $c^{*}(x)\coloneqq\mathbb{E}[Y]$. Если $\ell$ строго корректна, минимизаторы единственны с точностью до $P_{f(X)}$-нулевых множеств.

Доказательство.

Пусть $g_{C}(q)\coloneqq\mathbb{E}[Y|f(X)=q]$, так что $C=\mathbb{E}[Y|f(X)]=g_{C}(f(X))$ почти наверное. Тогда, {IEEEeqnarray*}+rCl+s* R_ℓ(f) & = E[e_ℓ(C)] = E[ℓ(C, C)] = E[ℓ(g_C(f(X)), E[Y—f(X)])] (по определению) = E[ℓ(g_C(f(X)), Y)] (по Lemma B.6) = min_g E[ℓ(g(f(X)), Y)] . (по Lemma B.7 с $Z=f(X)$)

Это показывает представление ошибки уточнения, и Lemma B.7 также показывает, что $g^{*}$ является минимизатором, который почти наверное единственный. Представление калибровочной ошибки следует непосредственно из разложения калибровки-уточнения $\operatorname{Risk}(f)=\mathcal{R}_{\ell}(f)+\mathcal{K}_{\ell}(f)$ (Bröcker, 2009).

Теперь пусть $Z\in\Delta_{k}$ будет равномерным распределением (следует интерпретировать как константную случайную величину). Тогда для $\bar{p}\coloneqq\mathbb{E}[Y]$ {IEEEeqnarray*}+rCl+s* e_ℓ(E[Y]) & = ℓ(E[Y], E[Y]) = ℓ(¯p, E[Y]) = E[ℓ(¯p, Y)] ($\ell$ аффинно по второму аргументу) = min_g E[ℓ(g(Z), Y)] (по Lemma B.7) = min_c константная E[ℓ(c(f(X)), Y)] . Снова Lemma B.7 показывает, что минимизатор есть $c^{*}(q)=\mathbb{E}[Y|Z]=\mathbb{E}[Y]$.

Для резкости, мы имеем {IEEEeqnarray*}+rCl+s* S_ℓ(f) & = E[d_ℓ(E[Y], C)] = E[ℓ(E[Y], C)] - E[ℓ(C, C)] = E[ℓ(E[Y], E[Y—f(X)])] - R_ℓ(f) по определению. Мы уже показали выше, что $\mathcal{R}_{\ell}(f)=\min_{g}\operatorname{Risk}(g\circ f)$. Для другого члена мы используем то, что $\ell$ является аффинной функцией по второму аргументу, чтобы получить {IEEEeqnarray*}+rCl+x* E[ℓ(E[Y], E[Y—f(X)])] & = ℓ(E[Y], E[E[Y—f(X)]]) = e_ℓ(E[Y]) . ∎

Remark B.2 (Альтернативные разложения по Kull & Flach (2015)).

⟦Kull & Flach (2015) обеспечивает немного иную декомпозицию калибровка-уточнение:

$$\mathbb{E}[d_{\ell}(f(X),Y)]=\underbrace{\mathbb{E}[d_{\ell}(f(X),C)]}_{\mathcal{K}_{\ell}(f)}+\underbrace{\mathbb{E}[d_{\ell}(C,Y)]}_{\eqqcolon\tilde{\mathcal{R}}_{\ell}(f)}~.$$

Альтернативная ошибка уточнения {IEEEeqnarray*}rCl ~R_ℓ(f) = E[d_ℓ(C, Y)] & = E[ℓ(C, Y)] - E[ℓ(Y, Y)] = R_ℓ(f) - E[ℓ(Y, Y)] равно $\mathcal{R}_{\ell}(f)$ если $\mathbb{E}[\ell(Y,Y)]=0$, что имеет место для logloss и Brier loss. В этом случае неснижаемая и группировочная ошибка в Figure B.1 также равны определениям Kull & Flach (2015) в их разложении

$$\mathbb{E}[d_{\ell}(C,Y)]=\underbrace{\mathbb{E}[d_{\ell}(C,\mathbb{E}[Y|X])]}_{\text{grouping loss}}+\underbrace{\mathbb{E}[d_{\ell}(\mathbb{E}[Y|X],Y)]}_{\text{irreducible loss}}~.$$

Интуитивно, группирующая потеря описывает потерю, которая возникает, когда $f(x_{1})=f(x_{2})$ но $\mathbb{E}[Y|X=x_{1}]\neq\mathbb{E}[Y|X=x_{2}]$.

Редуцируемая потеря в Figure B.1 называется эпистемической потерей в Kull & Flach (2015)⟧.

Remark B.3 (Расширение определений калибровки, уточнения и резкости).

⟦Theorem 2.1 показывает, что для корректных потерь ошибка калибровки является не только расхождением относительно заданной целевой величины ($C$), но также потенциальным уменьшением потерь за счет постобработки. Последняя точка зрения была предложена Ferrer & Ramos (2024) без демонстрации эквивалентности первой. С одной стороны, преимущество первой точки зрения состоит в том, что она распространяется на недивергенции, такие как расстояние $L^{1}$. С другой стороны, преимущество второй точки зрения заключается в том, что она может быть использована для расширения понятия ошибки калибровки, ошибки уточнения и остроты на некорректные потери (при изменении заданной цели) или даже на непро- вероятностные условия, такие как регрессия с loss MSE. Более того, ошибку уточнения и остроту можно определить даже тогда, когда $f(X)$ не принадлежит нужному пространству для функции потерь, например потому что это представление скрытого слоя в нейронной сети. Вариационная постановка также позволяет определить более связанные величины, используя различные классы функций $\mathcal{G}$ и рассматривая {IEEEeqnarray*}rCl inf_g ∈G Risk(g ∘f) . Например, рассматривая соответствующий вариант ошибки калибровки для функций 1-Lipschitz, мы получаем разрыв постобработки из Blasiok et al. (2024). В бинарном случае, используя возрастающие функции, мы получаем наилучший возможный риск, достижимый с помощью изотонической регрессии.

⟦Theorem B.1 также подразумевает некоторые дополнительные свойства калибровки, уточнения и резкости:

Corollary B.4.

Пусть $k\geq 2$, пусть $\ell:\Delta_{k}\times\mathcal{Y}_{k}\to\mathbb{R}\cup\{\infty\}$ будет надлежащей функцией потерь, и пусть $f:\mathcal{X}\to\Delta_{k}$ будет измеримой, где $\Delta_{k}$ снабжено борелевской $\sigma$-алгеброй.

1. ⟦ Если $f$ откалиброван, то его популяционный риск нельзя уменьшить посредством постобработки, то есть $\operatorname{Risk}(f)=\inf_{g}\operatorname{Risk}(g\circ f)$. Обратное верно, если $\ell$ строго собственный (Blasiok et al., 2024)⟧.
2. ⟦ Пусть $g:\Delta_{k}\to\Delta_{k}$ измерима. Тогда, $\mathcal{R}_{\ell}(g\circ f)\geq\mathcal{R}_{\ell}(f)$, и $\mathcal{S}_{\ell}(g\circ f)\leq\mathcal{S}_{\ell}(f)$.
3. ⟦Пусть $g:\Delta_{k}\to\Delta_{k}$ будет измеримой и инъективной. Тогда $\mathcal{R}_{\ell}(g\circ f)=\mathcal{R}_{\ell}(f)$, и $\mathcal{S}_{\ell}(g\circ f)=\mathcal{S}(f)$. (Похожий результат был показан в Предложении 4.5 из Gruber & Buettner (2022).)
4. ⟦Предположим, что $f$ является инъективным и имеет измеримую левую обратную (см. Theorem B.5 для достаточного условия). Тогда группировочная потерь равна нулю, то есть $\mathcal{R}_{\ell}(f)=\inf_{\tilde{f}}\mathcal{R}_{\ell}(\tilde{f})$ и $\mathcal{S}_{\ell}(f)=\sup_{\tilde{f}}\mathcal{R}_{\ell}(\tilde{f})$.

Доказательство.

1. ⟦По определению, $f$ калибрована тогда и только тогда, когда $f(X)=\mathbb{E}[Y|f(X)]$ почти наверное. По Theorem B.1, $\operatorname{Risk}(g\circ f)$ минимизируется $g^{*}(q)=\mathbb{E}[Y|f(X)=q]=q$, при этом равенство выполняется $P_{f(X)}$ почти наверное. Следовательно, $\operatorname{Risk}(f)=\inf_{g}\operatorname{Risk}(g\circ f)$. Для обратного утверждения, по Theorem B.1, если $\ell$ строго корректна, минимизатор $\operatorname{Risk}(g\circ f)$ единственен с точностью до $P_{f(X)}$-нулевых множеств; отсюда $\mathbb{E}[Y|f(X)=q]=g^{*}(q)=q$ для $P_{f(X)}$ почти всех $q$, следовательно, $\mathbb{E}[Y|f(X)]=f(X)$ почти наверное.
2. ⟦Так как $h\circ g$ измерима для всех измеримых $h$, получаем

   $$\mathcal{R}_{\ell}(g\circ f)=\inf_{h}\operatorname{Risk}((h\circ g)\circ f)\geq\inf_{h}\operatorname{Risk}(h\circ f)=\mathcal{R}_{\ell}(f)~.$$

   Неравенство на остроту следует аналогично.
3. Пусть $h^{*}\in\operatorname{argmin}_{h}\operatorname{Risk}(h\circ f)$. Тогда по Theorem B.5 существует измеримая левая обратная матрица $g^{-1}$ для $g$. Тогда,

   $$\mathcal{R}_{\ell}(g\circ f)\leq\operatorname{Risk}((h^{*}\circ g^{-1})\circ(g\circ f))=\operatorname{Risk}(h^{*}\circ f)=\mathcal{R}_{\ell}(f)~,$$

   которая вместе с (b) дает утверждение для уточнения. Довод о точности аналогичен.
4. Это следует аналогично (c). ∎

Theorem B.5 (Существование измеримых левых обратных отображений).

Пусть $(X,\mathcal{B}_{X}),(Y,\mathcal{B}_{Y})$ будут полными сепарабельными метрическими пространствами с соответствующей борелевской $\sigma$-алгеброй, и пусть $f:X\to Y$ будет измеримым и инъективным. Тогда существует $g:Y\to X$ измеримое с $g\circ f=\operatorname{id}$.

Доказательство.

По следствию 15.2 в (Kechris, 1995), $f$ является борелевым изоморфизмом из $X$ в $f(X)$, значит, его обратное отображение $f^{-1}:f(X)\to X$ измеримо. Но тогда, для фиксированного $y_{0}\in Y$,

$$g:Y\to X,y\mapsto\begin{cases}f^{-1}(y)&,y\in f(X)\\ y_{0}&,y\not\in f(X)\end{cases}$$

является измеримой левой обратной функцией к $f$, доказывая утверждение. ∎

Lemma B.6.

Пусть $(Z,Y)\in\mathcal{Z}\times\mathcal{Y}_{k}$ — случайные величины с распределением $P$ и пусть $\ell$ — собственная величина. Тогда,

$$\mathbb{E}[\ell(g(Z),\mathbb{E}[Y|Z])]=\mathbb{E}[\ell(g(Z),Y)]~.$$

Доказательство.

Так как $\mathcal{Y}_{k}$ является пространством Радона, существует регулярное условное распределение вероятностей $P_{Y|Z}$, с помощью которого мы получаем {IEEEeqnarray*}+rCl+x* E[ℓ(g(Z), E[Y—Z])] & = ∫ℓ(g(z), ∫y P_Y—Z( dy—z))  dP_Z(z) = ∬ℓ(g(z), y) P_Y—Z( dy—z)  dP_Z(z) (так как $\ell$ является аффинной функцией во втором аргументе) = ∫ℓ(g(z), y)  dP(y, z) = E[ℓ(g(Z), Y)] . ∎

Следующая лемма, используемая в доказательстве Theorem B.1, дает формальную версию хорошо известного результата.

Lemma B.7.

Пусть $(Z,Y)\in\mathcal{Z}\times\mathcal{Y}_{k}$ будут случайными величинами, а $\ell$ — правильными. Тогда для измеримых $g:\mathcal{Z}\to\mathcal{Y}$, {IEEEeqnarray*}+rCl+x* Risk(g) ≔E[ℓ(g(Z), Y)] минимизируется с помощью $g^{*}(z)\coloneqq\mathbb{E}[Y|Z=z]$. Если $\ell$ строго правильная, то $g^{*}$ является единственным минимизатором с точностью до множеств нулевой меры относительно $P_{Z}$.

Доказательство.

Мы имеем {IEEEeqnarray*}+rCl+s* E[ℓ(g(Z), Y)] & = E[ℓ(g(Z), E[Y—Z])] (по Lemma B.6) ≥ E[ℓ(E[Y—Z], E[Y—Z])] ($\ell$ является корректным) = E[ℓ(E[Y—Z], Y)] (по Lemma B.6) = E[ℓ(g^*(Z), Y)] .

Если для $\operatorname{Risk}(g)=\operatorname{Risk}(g^{*})$ неравенство выше может быть строгим только для $z$ в множестве меры $P_{Z}$, равном нулю. Если $\ell$ строго правильно, то неравенство нарушается всякий раз, когда $g^{*}(z)\neq g(z)$. ∎

Appendix C Доказательства для раздела 5

Под моделью данных, введенной в Section 5, $\mathbb{P}(Y=1|X=x)=\sigma({w^{*}}^{\top}x)$ с $w^{*}=2\Sigma^{-1}\mu$ и $\sigma(x)=\frac{1}{1+e^{-x}}$.

Доказательство.

$$\mathbb{P}(Y=1|X=x) =\frac{\mathbb{P}(X=x|Y=1)\mathbb{P}(Y=1)}{\mathbb{P}(X=x)}\quad\text{using Bayes' theorem.}$$

$$=\frac{\mathbb{P}(X=x|Y=1)\mathbb{P}(Y=1)}{\mathbb{P}(X=x|Y=1)\mathbb{P}(Y=1)+\mathbb{P}(X=x|Y=-1)\mathbb{P}(Y=-1)}\quad\text{using the law of total probability.}$$

$$=\frac{\mathcal{N}(x|\mu,\Sigma)}{\mathcal{N}(x|\mu,\Sigma)+\mathcal{N}(x|-\mu,\Sigma)}\quad\text{using that $\mathbb{P}(Y=1)=\mathbb{P}(Y=-1)$ and our data model.}$$

$$=\sigma\Big{(}\frac{1}{2}(x^{\top}\Sigma^{-1}\mu+\mu^{\top}\Sigma^{-1}x+x^{\top}\Sigma^{-1}\mu+\mu^{\top}\Sigma^{-1}x)\Big{)}\quad\text{dividing up and down by $\mathcal{N}(x|\mu,\Sigma)$.}$$

$$=\sigma(2\mu^{\top}\Sigma^{-1}x)=\sigma({w^{*}}^{\top}x)$$

С $w^{*}=2\Sigma^{-1}\mu$. ∎

Мы теперь доказываем следующие леммы, которые мы будем использовать для демонстрации Theorem 5.1.

Lemma C.1.

$\mathbb{P}(Y=1|f(X)=\sigma(z))=\sigma\Big{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}^{2}}z\Big{)}$.

Lemma C.2.

$\mathbb{P}(f(X)=\sigma(z))=\frac{1}{2}\mathcal{N}(z|\frac{\langle w,w^{*}\rangle_{\Sigma}}{2},\|w\|_{\Sigma}^{2})+\frac{1}{2}\mathcal{N}(z|-\frac{\langle w,w^{*}\rangle_{\Sigma}}{2},\|w\|_{\Sigma}^{2})$.

Доказательство.

$$\mathbb{P}(Y=1|f(X)=\sigma(z)) =\mathbb{P}(Y=1|\sigma(w^{\top}X)=\sigma(z))$$

$$=\mathbb{P}(Y=1|w^{\top}X=z)$$

$$=\frac{\mathbb{P}(w^{\top}X=z|Y=1)\mathbb{P}(Y=1)}{\mathbb{P}(w^{\top}X=z)}$$

$$=\frac{\mathbb{P}(w^{\top}X=z|Y=1)\mathbb{P}(Y=1)}{\mathbb{P}(w^{\top}X=z|Y=1)\mathbb{P}(Y=1)+\mathbb{P}(w^{\top}X=z|Y=-1)\mathbb{P}(Y=-1)}$$

Using that the affine transformation of a multivariate normal dist. is a normal dist. ($$w^{\top}X\sim\mathcal{N}(\pm w^{\top}\mu,w^{\top}\Sigma w)$$)

$$=\frac{\mathcal{N}(z|w^{\top}\mu,w^{\top}\Sigma w)}{\mathcal{N}(z|w^{\top}\mu,w^{\top}\Sigma w)+\mathcal{N}(z|-w^{\top}\mu,w^{\top}\Sigma w)}$$

$$=\sigma\Bigg{(}\frac{(z+w^{\top}\mu)^{2}-(z-w^{\top}\mu)^{2}}{2w^{\top}\Sigma w}\Bigg{)}=\sigma\Bigg{(}\frac{2w^{\top}\mu}{w^{\top}\Sigma w}z\Bigg{)}=\sigma\Bigg{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}^{2}}z\Bigg{)}$$

По пути мы вывели распределение $f(X)$:

$$\mathbb{P}(f(X)=\sigma(z)) =\mathbb{P}(w^{\top}X=z|Y=1)\mathbb{P}(Y=1)+\mathbb{P}(w^{\top}X=z|Y=-1)\mathbb{P}(Y=-1)$$

$$=\frac{1}{2}\mathcal{N}(z|w^{\top}\mu,w^{\top}\Sigma w)+\frac{1}{2}\mathcal{N}(z|-w^{\top}\mu,w^{\top}\Sigma w)$$

$$=\frac{1}{2}\mathcal{N}(z|\frac{\langle w,w^{*}\rangle_{\Sigma}}{2},\|w\|_{\Sigma}^{2})+\frac{1}{2}\mathcal{N}(z|-\frac{\langle w,w^{*}\rangle_{\Sigma}}{2},\|w\|_{\Sigma}^{2})$$

∎

См. 5.1

Доказательство.

Ошибка уточнения записывает

$$\mathcal{R}(w) =\mathbb{E}_{f(X)}[e_{\ell}(\mathbb{E}[Y|f(X)])]$$

Using Lemma C.1 and Lemma C.2,

$$=\frac{1}{2}\int e_{\ell}\Bigg{(}\sigma\Big{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}^{2}}z\Big{)}\Bigg{)}\mathcal{N}\Big{(}z\Big{|}\frac{\langle w,w^{*}\rangle_{\Sigma}}{2},\|w\|_{\Sigma}^{2}\Big{)}dz+\frac{1}{2}\int e_{\ell}\Bigg{(}\sigma\Big{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}^{2}}z\Big{)}\Bigg{)}\mathcal{N}\Big{(}z\Big{|}-\frac{\langle w,w^{*}\rangle_{\Sigma}}{2},\|w\|_{\Sigma}^{2}\Big{)}dz$$

Taking $$u=(z-\frac{\langle w,w^{*}\rangle_{\Sigma}}{2})/\|w\|_{\Sigma} u=(z+\frac{\langle w,w^{*}\rangle_{\Sigma}}{2})/\|w\|_{\Sigma}$$ in the first integral and in the second, we get

$$\mathcal{R}(w) =\frac{1}{2}\int e_{\ell}\Bigg{(}\sigma\Big{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}}u+\frac{\langle w,w^{*}\rangle_{\Sigma}^{2}}{2\|w\|_{\Sigma}^{2}}\Big{)}\Bigg{)}\mathcal{N}(u|0,1)du+\frac{1}{2}\int e_{\ell}\Bigg{(}\sigma\Big{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}}u-\frac{\langle w,w^{*}\rangle_{\Sigma}^{2}}{2\|w\|_{\Sigma}^{2}}\Big{)}\Bigg{)}\mathcal{N}(u|0,1)du$$

$\sigma$ является антисимметричным относительно нуля; предполагая, что $e_{\ell}$ симметричен относительно $\frac{1}{2}$, два члена равны, что упрощает выражение,

$$\mathcal{R}(w)=\mathbb{E}_{z\sim\mathcal{N}(0,1)}\Big{[}e_{\ell}\Big{(}\sigma\Big{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}}\Big{(}z+\frac{\langle w,w^{*}\rangle_{\Sigma}}{2\|w\|_{\Sigma}}\Big{)}\Big{)}\Big{)}\Big{]}\,.$$

Аналогично для ошибки калибровки

$$\mathcal{K}(w) =\mathbb{E}_{f(X)}[d_{\ell}(f(X),\mathbb{E}[Y|f(X)])]$$

$$=\frac{1}{2}\int d_{\ell}\Big{(}\sigma(z),\sigma\Big{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}^{2}}z\Big{)}\Big{)}\mathcal{N}\Big{(}z\Big{|}\frac{\langle w,w^{*}\rangle_{\Sigma}}{2},\|w\|_{\Sigma}^{2}\Big{)}dz$$

$$+\frac{1}{2}\int d_{\ell}\Big{(}\sigma(z),\sigma\Big{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}^{2}}z\Big{)}\Big{)}\mathcal{N}\Big{(}z\Big{|}-\frac{\langle w,w^{*}\rangle_{\Sigma}}{2},\|w\|_{\Sigma}^{2}\Big{)}dz$$

$$=\frac{1}{2}\int d_{\ell}\Big{(}\sigma\Big{(}\|w\|_{\Sigma}z+\frac{\langle w,w^{*}\rangle_{\Sigma}}{2}\Big{)},\sigma\Big{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}}z+\frac{\langle w,w^{*}\rangle_{\Sigma}^{2}}{2\|w\|_{\Sigma}^{2}}\Big{)}\Bigg{)}\mathcal{N}(z|0,1)dz$$

$$+\frac{1}{2}\int d_{\ell}\Big{(}\sigma\Big{(}\|w\|_{\Sigma}z-\frac{\langle w,w^{*}\rangle_{\Sigma}}{2}\Big{)},\sigma\Big{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}}z-\frac{\langle w,w^{*}\rangle_{\Sigma}^{2}}{2\|w\|_{\Sigma}^{2}}\Big{)}\Big{)}\mathcal{N}(z|0,1)dz$$

$\sigma$ является антисимметричным относительно нуля, при условии $d_{\ell}$, симметричного относительно $\frac{1}{2}$, два члена равны,

$$\mathcal{K}(w)=\mathbb{E}_{z\sim\mathcal{N}(0,1)}\Big{[}d_{\ell}\Big{(}\sigma\Big{(}\|w\|_{\Sigma}\Big{(}z+\frac{\langle w,w^{*}\rangle_{\Sigma}}{2\|w\|_{\Sigma}}\Big{)}\Big{)},\sigma\Big{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}}\Big{(}z+\frac{\langle w,w^{*}\rangle_{\Sigma}}{2\|w\|_{\Sigma}}\Big{)}\Big{)}\Big{)}\Big{]}\,.$$

∎

См. 5.2

Доказательство.

$a_{w}=\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|_{\Sigma}}$ не меняется при масштабировании. При наличии $s\in\mathbb{R},w_{s}=sw$ имеем, что $a_{w_{s}}=\frac{\langle sw,w^{*}\rangle_{\Sigma}}{\|sw\|_{\Sigma}}=\frac{s\langle w,w^{*}\rangle_{\Sigma}}{s\|w\|_{\Sigma}}=a_{w}$. Выражение для погрешности уточнения в Theorem 5.1 зависит от $w$ только через $a_{w}$, поэтому уточнение не меняется при масштабировании.

Калибровочная ошибка записывает:

$$\mathcal{K}(w)=\mathbb{E}_{z\sim\mathcal{N}(0,1)}\Big{[}d_{\ell}\Big{(}\sigma\Big{(}\|w\|_{\Sigma}\Big{(}z+\frac{a_{w}}{2}\Big{)}\Big{)},\sigma\Big{(}a_{w}\Big{(}z+\frac{a_{w}}{2}\Big{)}\Big{)}\Big{)}\Big{]}$$

Поскольку $a_{w}$ инвариантна при масштабировании, взятие $w_{s}=\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|^{2}_{\Sigma}}w$ дает

$$\mathcal{K}(w_{s}) =\mathbb{E}_{z\sim\mathcal{N}(0,1)}\Big{[}d_{\ell}\Big{(}\sigma\Big{(}\frac{\langle w,w^{*}\rangle_{\Sigma}}{\|w\|^{2}_{\Sigma}}\|w\|_{\Sigma}\Big{(}z+\frac{a_{w}}{2}\Big{)}\Big{)},\sigma\Big{(}a_{w}\Big{(}z+\frac{a_{w}}{2}\Big{)}\Big{)}\Big{)}\Big{]}$$

$$=\mathbb{E}_{z\sim\mathcal{N}(0,1)}\Big{[}d_{\ell}\Big{(}\sigma\Big{(}a_{w}\Big{(}z+\frac{a_{w}}{2}\Big{)}\Big{)},\sigma\Big{(}a_{w}\Big{(}z+\frac{a_{w}}{2}\Big{)}\Big{)}\Big{)}\Big{]}$$

$$=0\quad\text{since $\ell$ is a proper score ($d_{\ell}(p,p)=0$).}$$

∎

Appendix D Доказательства для Section 6

В этом разделе мы в значительной степени опираемся на следующий результат от Mai et al. (2019) о предельном распределении вектора весов для регуляризованной логистической регрессии при силе регуляризации $\lambda$, когда $n,p\rightarrow\infty$ при фиксированном отношении $p/n\rightarrow r$⟧:

$$w_{\lambda}\sim\mathcal{N}\Big{(}\eta(\lambda I_{p}+\tau\Sigma)^{-1}\mu,\frac{\gamma}{n}(\lambda I_{p}+\tau\Sigma)^{-1}\Sigma(\lambda I_{p}+\tau\Sigma)^{-1}\Big{)}.$$

Смотри 6.1

Доказательство.

⟦$\langle w_{\lambda},w^{*}\rangle_{\Sigma}$ следует нормальному распределению со средним $2\eta\mu^{\top}(\lambda I_{p}+\tau\Sigma)^{-1}\mu$ и дисперсией $\frac{4\gamma}{n}\mu^{\top}(\lambda I_{p}+\tau\Sigma)^{-1}\Sigma(\lambda I_{p}+\tau\Sigma)^{-1}\mu$. Сначала рассмотрим дисперсию:

$$\mathbb{V}(\langle w_{\lambda},w^{*}\rangle_{\Sigma})=\frac{4\gamma}{n}\sum_{i=1}^{p}\frac{\sigma_{i}\mu_{i}^{2}}{(\lambda+\tau\sigma_{i})^{2}}$$

Используя независимость между $\mu_{i}$ и $\sigma_{i}$ и сильный закон больших чисел

$$\mathbb{V}(\langle w_{\lambda},w^{*}\rangle_{\Sigma})\xrightarrow{p\rightarrow\infty} \frac{4\gamma}{n}p\mathbb{E}[\mu_{i}^{2}]\mathbb{E}\Big{[}\frac{\sigma_{i}}{(\lambda+\tau\sigma_{i})^{2}}\Big{]}$$

$$= \frac{4\gamma c^{2}}{n}\mathbb{E}\Big{[}\frac{\sigma_{i}}{(\lambda+\tau\sigma_{i})^{2}}\Big{]}\xrightarrow{n\rightarrow\infty}0$$

Так $\langle w_{\lambda},w^{*}\rangle_{\Sigma}$ сосредоточен на своем среднем:

$$\mathbb{E}(\langle w_{\lambda},w^{*}\rangle_{\Sigma})=2\eta\sum_{i=1}^{p}\frac{\mu_{i}^{2}}{\lambda+\tau\sigma_{i}}\xrightarrow{p\rightarrow\infty}2\eta p\mathbb{E}[\mu_{i}^{2}]\mathbb{E}\Big{[}\frac{1}{\lambda+\tau\sigma_{i}}\Big{]}=2\eta c^{2}\mathbb{E}\Big{[}\frac{1}{\lambda+\tau\sigma_{i}}\Big{]}$$

Изучение $w_{\lambda}^{\top}\Sigma w_{\lambda}$ требует немного больше работы. Обозначая $\varepsilon=\mathcal{N}(0,1)$,

$$w_{\lambda}^{\top}\Sigma w_{\lambda} \sim\sum_{i=1}^{p}\sigma_{i}{w_{\lambda}}_{i}^{2}$$

$$=\sum_{i=1}^{p}\sigma_{i}\Big{(}\frac{\eta\mu_{i}}{\lambda+\tau\sigma_{i}}+\varepsilon\sqrt{\frac{\gamma\sigma_{i}}{n(\lambda+\tau\sigma_{i})^{2}}}\Big{)}^{2}$$

$$=\sum_{i=1}^{p}\frac{\eta^{2}\mu_{i}^{2}\sigma_{i}}{(\lambda+\tau\sigma_{i})^{2}}+\sum_{i=1}^{p}\frac{2\eta\mu_{i}\sqrt{\gamma}\sigma_{i}^{3/2}}{\sqrt{n}(\lambda+\tau\sigma_{i})^{2}}\varepsilon+\sum_{i=1}^{p}\frac{\gamma\sigma_{i}^{2}}{n(\lambda+\tau\sigma_{i})^{2}}\varepsilon^{2}$$

$$\xrightarrow{p\rightarrow\infty}p\eta^{2}\frac{c^{2}}{p}\mathbb{E}\Big{[}\frac{\sigma}{(\lambda+\tau\sigma)^{2}}\Big{]}+0+p\frac{\gamma}{n}\mathbb{E}\Big{[}\frac{\sigma^{2}}{(\lambda+\tau\sigma)^{2}}\Big{]}$$

$$=\eta^{2}c^{2}\mathbb{E}\Big{[}\frac{\sigma}{(\lambda+\tau\sigma)^{2}}\Big{]}+\gamma r\mathbb{E}\Big{[}\frac{\sigma^{2}}{(\lambda+\tau\sigma)^{2}}\Big{]}$$

∎

См. 6.3

Доказательство.

$$\operatorname{err}(w^{*})=\Phi(-\frac{\langle w^{*},w^{*}\rangle_{\Sigma}}{2\|w^{*}\|_{\Sigma}})=\Phi(-\frac{\sqrt{{w^{*}}^{\top}\Sigma w^{*}}}{2})=\Phi(-\sqrt{\mu^{\top}\Sigma^{-1}\mu})\xrightarrow{a.s}\Phi(-\sqrt{p\mathbb{E}[\mu^{2}]\mathbb{E}[\frac{1}{\sigma}]})=\Phi(-c\sqrt{\mathbb{E}[\sigma^{-1}]})$$

∎

Вывод формул для $\operatorname{err}(w^{*})$, $\langle w_{\lambda},w^{*}\rangle_{\Sigma}$ и $\|w_{\lambda}\|_{\Sigma}$⟧

$$\mathbb{E}[\sigma^{-1}] =\int_{0}^{1}\frac{1}{u+\varepsilon}\frac{u^{\alpha-1}(1-u)^{\beta-1}}{B(\alpha,\beta)}du$$

$$=\frac{1}{\varepsilon B(\alpha,\beta)}\int_{0}^{1}(1+\frac{u}{\varepsilon})^{-1}u^{\alpha-1}(1-u)^{\beta-1}du$$

$$=\frac{{}_{2}F_{1}(1,\alpha,\alpha+\beta,-\frac{1}{\varepsilon})}{\varepsilon}$$

Вместе с тем

$$\operatorname{err}(w^{*})=\Phi\Bigg{(}-c\sqrt{\frac{1}{\varepsilon}{}_{2}F_{1}(1,\alpha,\alpha+\beta,-\frac{1}{\varepsilon})}\Bigg{)}$$

Lemma D.1.

Обозначая ${}_{2}F_{1}$ гипергеометрическую функцию, $\mathcal{B}$ бета-распределение и $B$ бета-функцию,

$$\mathbb{E}_{u\sim\mathcal{B}(\alpha,\beta)}\Big{[}\frac{1}{\lambda+\tau(\varepsilon+u)}\Big{]} =\int_{0}^{1}\frac{1}{\lambda+\tau(\varepsilon+u)}\frac{u^{\alpha-1}(1-u)^{\beta-1}}{B(\alpha,\beta)}du$$

$$=\frac{1}{(\lambda+\tau\varepsilon)B(\alpha,\beta)}\int_{0}^{1}(1+\frac{\tau}{\lambda+\tau\varepsilon}u)^{-1}u^{\alpha-1}(1-u)^{\beta-1}du$$

$$=\frac{{}_{2}F_{1}(1,\alpha,\alpha+\beta,-(\frac{\lambda}{\tau}+\varepsilon)^{-1})}{\lambda+\tau\varepsilon}$$

$$\mathbb{E}_{u\sim\mathcal{B}(\alpha,\beta)}\Big{[}\frac{1}{(\lambda+\tau(\varepsilon+u))^{2}}\Big{]} =\int_{0}^{1}\frac{1}{(\lambda+\tau(\varepsilon+u))^{2}}\frac{u^{\alpha-1}(1-u)^{\beta-1}}{B(\alpha,\beta)}du$$

$$=\frac{1}{(\lambda+\tau\varepsilon)^{2}B(\alpha,\beta)}\int_{0}^{1}(1+\frac{\tau}{\lambda+\tau\varepsilon}u)^{-2}u^{\alpha-1}(1-u)^{\beta-1}du$$

$$=\frac{{}_{2}F_{1}(2,\alpha,\alpha+\beta,-(\frac{\lambda}{\tau}+\varepsilon)^{-1})}{(\lambda+\tau\varepsilon)^{2}}$$

$$\mathbb{E}_{u\sim\mathcal{B}(\alpha,\beta)}\Big{[}\frac{u}{(\lambda+\tau(\varepsilon+u))^{2}}\Big{]} =\int_{0}^{1}\frac{u}{(\lambda+\tau(\varepsilon+u))^{2}}\frac{u^{\alpha-1}(1-u)^{\beta-1}}{B(\alpha,\beta)}du$$

$$=\frac{1}{(\lambda+\tau\varepsilon)^{2}B(\alpha,\beta)}\int_{0}^{1}(1+\frac{\tau}{\lambda+\tau\varepsilon}u)^{-2}u^{\alpha}(1-u)^{\beta-1}du$$

$$=\frac{B(\alpha+1,\beta)}{B(\alpha,\beta)(\lambda+\tau\varepsilon)^{2}}{}_{2}F_{1}(2,\alpha+1,\alpha+\beta+1,-(\frac{\lambda}{\tau}+\varepsilon)^{-1})$$

$$\mathbb{E}_{u\sim\mathcal{B}(\alpha,\beta)}\Big{[}\frac{u^{2}}{(\lambda+\tau(\varepsilon+u))^{2}}\Big{]} =\int_{0}^{1}\frac{u^{2}}{(\lambda+\tau(\varepsilon+u))^{2}}\frac{u^{\alpha-1}(1-u)^{\beta-1}}{B(\alpha,\beta)}du$$

$$=\frac{1}{(\lambda+\tau\varepsilon)^{2}B(\alpha,\beta)}\int_{0}^{1}(1+\frac{\tau}{\lambda+\tau\varepsilon}u)^{-2}u^{\alpha+1}(1-u)^{\beta-1}du$$

$$=\frac{B(\alpha+2,\beta)}{B(\alpha,\beta)(\lambda+\tau\varepsilon)^{2}}{}_{2}F_{1}(2,\alpha+2,\alpha+\beta+2,-(\frac{\lambda}{\tau}+\varepsilon)^{-1})$$

Используя уравнения в Lemma D.1 и линейность матожидания, получаем, что

$$\langle w_{\lambda},w^{*}\rangle_{\Sigma}\xrightarrow{(n,p)\rightarrow\infty}2\eta c^{2}\mathbb{E}\Big{[}\frac{1}{\lambda+\tau\sigma}\Big{]}=2\eta c^{2}\frac{{}_{2}F_{1}(1,\alpha,\alpha+\beta,-(\frac{\lambda}{\tau}+\varepsilon)^{-1})}{\lambda+\tau\varepsilon}\,.$$

Аналогично,

$$\|w_{\lambda}\|_{\Sigma}^{2} \xrightarrow{(n,p)\rightarrow\infty}\eta^{2}c^{2}\mathbb{E}\Big{[}\frac{\sigma}{(\lambda+\tau\sigma)^{2}}\Big{]}+\gamma r\mathbb{E}\Big{[}\frac{\sigma^{2}}{(\lambda+\tau\sigma)^{2}}\Big{]}$$

$$=\frac{\eta^{2}c^{2}}{(\lambda+\tau\varepsilon)^{2}}\Bigg{(}\varepsilon{}_{2}F_{1}(2,\alpha,\alpha+\beta,-(\frac{\lambda}{\tau}+\varepsilon)^{-1})+\frac{B(\alpha+1,\beta)}{B(\alpha,\beta)}{}_{2}F_{1}(2,\alpha+1,\alpha+\beta+1,-(\frac{\lambda}{\tau}+\varepsilon)^{-1})\Bigg{)}$$

$$+\frac{\gamma r}{(\lambda+\tau\varepsilon)^{2}}\Bigg{(}\frac{B(\alpha+2,\beta)}{B(\alpha,\beta)}{}_{2}F_{1}(2,\alpha+2,\alpha+\beta+2,-(\frac{\lambda}{\tau}+\varepsilon)^{-1})+2\varepsilon\frac{B(\alpha+1,\beta)}{B(\alpha,\beta)}{}_{2}F_{1}(2,\alpha+1,\alpha+\beta+1,-(\frac{\lambda}{\tau}+\varepsilon)^{-1})$$

$$+\varepsilon^{2}{}_{2}F_{1}(2,\alpha,\alpha+\beta,-(\frac{\lambda}{\tau}+\varepsilon)^{-1})\Bigg{)}\,.$$

Решение нелинейной системы в (Mai et al., 2019) также требует вычисления $\kappa$:

$$\kappa \xrightarrow{(n,p)\rightarrow\infty}r\mathbb{E}\Big{[}\frac{\sigma}{\lambda-e\sigma}\Big{]}$$

$$=r\mathbb{E}_{u\sim\mathcal{B}(\alpha,\beta)}\Big{[}\frac{u+\varepsilon}{\lambda-e(\varepsilon+u)}\Big{]}$$

$$=r\Bigg{(}\int_{0}^{1}\frac{u}{\lambda-e(\varepsilon+u)}\frac{u^{\alpha-1}(1-u)^{\beta-1}}{B(\alpha,\beta)}du+\varepsilon\int_{0}^{1}\frac{1}{\lambda-e(\varepsilon+u)}\frac{u^{\alpha-1}(1-u)^{\beta-1}}{B(\alpha,\beta)}du\Bigg{)}$$

$$=\frac{r}{B(\alpha,\beta)(\lambda-e\varepsilon)}\Bigg{(}\int_{0}^{1}(1-\frac{e}{\lambda-e\varepsilon}u)^{-1}u^{\alpha}(1-u)^{\beta-1}du+\varepsilon\int_{0}^{1}(1-\frac{e}{\lambda-e\varepsilon}u)^{-1}u^{\alpha-1}(1-u)^{\beta-1}du\Bigg{)}$$

$$=\frac{r}{\lambda-e\varepsilon}\Bigg{(}\frac{B(\alpha+1,\beta)}{B(\alpha,\beta)}{}_{2}F_{1}(1,\alpha+1,\alpha+\beta+1,(\frac{\lambda}{e}-\varepsilon)^{-1})+\varepsilon\cdot{}_{2}F_{1}(1,\alpha,\alpha+\beta,(\frac{\lambda}{e}-\varepsilon)^{-1})\Bigg{)}\,.$$

Мы предоставляем эффективную реализацию решателя нелинейных систем с нашей конкретной моделью данных и функциями для вычисления результирующих ошибок калибровки и уточнения в github.com/eugeneberta/RefineThenCalibrate-Theory.

Appendix E Реализация масштабирования температуры и TS-уточнение

Для логлосса целевая функция $\mathcal{L}(\beta)=\sum_{(x,y)\in\mathcal{D}}-y^{\top}\log(\operatorname{softmax}(\beta\log(f(x)))$ является выпуклой, что следует из того, что $-\log(\operatorname{softmax}(x))=\operatorname{logsumexp}(x)-x$ является выпуклой (Boyd & Vandenberghe, 2004). В частности, мы используем 30 шагов бисекции, чтобы приблизить $b^{*}\coloneqq\operatorname{argmin}_{b\in[-16,16]}\mathcal{L}(\exp(b))$, а затем найти $\beta^{*}\coloneqq\exp(b^{*})$. Если требуются реализации еще быстрее, могут помочь более продвинутые методы линейного поиска для выпуклых функций (Orseau & Hutter, 2023), методы второго порядка, стохастическая оптимизация или дообучение с прогревом (warm-starting). Чтобы защититься от переобучения в случаях с 100% точностью на валидации, где бисекция может эффективно приближать $\beta^{*}=\infty$, мы вводим некоторую форму сглаживания Лапласа (LS) как $g(p)\coloneqq\frac{N_{\mathrm{cal}}}{N_{\mathrm{cal}}+1}g_{\beta^{*}}(p)+\frac{1}{N_{\mathrm{cal}}+1}u$, где $u$ — равномерное распределение, а $N_{\mathrm{cal}}$ — число образцов в калибровочном наборе. Эта версия используется для наших основных экспериментов за исключением Figure 3.

Расширенное сравнение.

⟦Figure E.1 показывает сравнение большего числа методов постобработочной калибровки. В то время как Figure 3 использует среднее logloss для простоты, это может чрезмерно выделять многоклассовые наборы данных, тогда как в несбалансированных наборах данных им уделяется меньше веса. Чтобы компенсировать это, в Figure E.1 мы делим потери (logloss или Brier loss) для каждого набора данных на потери лучшего константного предиктора, которые можно записать как $e_{\ell}(\mathbb{E}[Y])$.

Наша добавка сглаживания Лапласа (LS) к TS дает небольшую выгоду для логлосса. Мы также сравниваем наши результаты с изотонической регрессией, где мы включаем LS, чтобы избежать бесконечного логлосса, поскольку IR может предсказать вероятность ноль.111IVAP (Vovk et al., 2015) — это вариант изотонической регрессии, который не предсказывает нулевые вероятности, но мы обнаружили, что он примерно на два порядка медленнее, чем изотоническая регрессия, поэтому не считали его особенно привлекательным компонентом уточняющего оценивателя. Хотя реализация IR из scikit-learn (Pedregosa et al., 2011) почти так же быстра, как наша реализация TS, она заметно хуже работает на нашем наборе тестов. Для Brier loss преимущество TS в целом выражено менее заметно, и лишь хорошие реализации улучшают результаты по сравнению с отсутствием постобработочной калибровки.

⟦Figure E.1: Время выполнения по сравнению со средними оценками на контрольных тестах для различных реализаций TS и изотонической регрессией для logloss (слева) и Brier loss (справа). Времена выполнения усредняются по наборам валидации, содержащим не менее 10K образцов. Оценивание проводится на моделях XGBoost, обученных с параметрами по умолчанию, с использованием эпохи, обеспечивающей наилучшую точность на валидации. Ось $y$ показывает среднее значение нормализованного logloss (слева) или Brier loss (справа), где нормализация означает деление на значение потерь $e_{\ell}(\mathbb{E}[Y])$ лучшего постоянного предиктора на каждом наборе данных.

Валидация.

Мы заинтересованы в минимизации популяционного риска откалиброванных оценивателей. Чтобы достоверно оценить популяционный риск, можно использовать кросс-валидацию или метод удержания, обучая калибратор на части валидационного набора, а его потери на оставшейся части использовать в качестве оценки для уточнения. Однако в Figure G.2 мы экспериментально наблюдаем, что аппроксимация и оценивание температурного масштабирования на всем валидационном наборе работает столь же хорошо, возможно, потому что при этом подбирается только один параметр. Ниже мы используем последний подход, поскольку он более эффективен по сравнению с кросс-валидацией.

Appendix F Эксперименты по компьютерному зрению

Мы обучаем ResNet-18 (He et al., 2016) и WideResNet (Zagoruyko, 2016) на наборах данных CIFAR-10, CIFAR-100 и SVHN (Krizhevsky et al., 2009; Netzer et al., 2011). Мы обучаем в течение 300 эпох, используя SGD с моментумом $=0.9$, затуханием весов $=10^{-4}$ и планировщиком скорости обучения, который делит скорость обучения на десять каждые 100 эпох. Мы используем случайное обрезание ($32\times 32$ обрезков после дополнения изображений отступом $4$ пикселей), горизонтальные отражения (pytorch значение по умолчанию) и cutout (DeVries, 2017) (одно $16\times 16$ отверстие на изображение во время обучения). Мы обучаем каждую модель десять раз на каждом наборе данных. 10% обучающего набора сохраняется для валидации. Мы выбираем лучшую эпоху на основе различных метрик, вычисляемых на валидационном наборе: logloss, Brier score, точность и logloss после уточнения с помощью temperature scaling (TS-refinement). Для Table F.1 (ResNet-18) и Table F.2 (WideResNet) мы сообщаем средние значения logloss, brier score, точности, ECE и smooth ECE (Błasiok & Nakkiran, 2024), полученные для каждой метрики остановки. Figure 1 генерируется с тем же обучающим рецептом, но с планировщиком cosine annealing вместо него, чтобы избежать больших скачков в ландшафте потерь, и без затухания весов, чтобы усилить калибровочное переобучение. Смотрите github.com/eugeneberta/RefineThenCalibrate-Vision.

		Logloss	Brier	Accuracy	ECE	smECE
Dataset	Stopping metric
CIFAR-10	Logloss	$0.161$ $\pm 0.004$	$0.080$ $\pm 0.002$	$94.6\%$ $\pm 0.2$	$\bf 0.006$ $\pm 0.001$	$\bf 0.008$ $\pm 0.001$
	Brier score	$\bf 0.154$ $\pm 0.005$	$\bf 0.073$ $\pm 0.003$	$\bf 95.1\%$ $\pm 0.2$	$0.007$ $\pm 0.001$	$\bf 0.008$ $\pm 0.001$
	Accuracy	$0.155$ $\pm 0.005$	$0.074$ $\pm 0.003$	$\bf 95.1\%$ $\pm 0.2$	$0.007$ $\pm 0.001$	$0.009$ $\pm 0.001$
	TS-refinement	$\bf 0.154$ $\pm 0.005$	$0.074$ $\pm 0.003$	$\bf 95.1\%$ $\pm 0.2$	$0.007$ $\pm 0.002$	$\bf 0.008$ $\pm 0.001$
CIFAR-100	Logloss	$1.015$ $\pm 0.008$	$0.367$ $\pm 0.003$	$\bf 73.2\%$ $\pm 0.3$	$0.019$ $\pm 0.002$	$0.019$ $\pm 0.001$
	Brier score	$1.014$ $\pm 0.007$	$0.367$ $\pm 0.002$	$73.1\%$ $\pm 0.3$	$0.020$ $\pm 0.002$	$0.019$ $\pm 0.001$
	Accuracy	$1.001$ $\pm 0.012$	$\bf 0.366$ $\pm 0.003$	$73.1\%$ $\pm 0.3$	$0.018$ $\pm 0.001$	$0.018$ $\pm 0.001$
	TS-refinement	$\bf 0.983$ $\pm 0.008$	$\bf 0.366$ $\pm 0.003$	$73.0\%$ $\pm 0.2$	$\bf 0.016$ $\pm 0.001$	$\bf 0.016$ $\pm 0.001$
SVHN	Logloss	$0.120$ $\pm 0.003$	$\bf 0.048$ $\pm 0.001$	$96.9\%$ $\pm 0.1$	$\bf 0.006$ $\pm 0.001$	$\bf 0.007$ $\pm 0.001$
	Brier score	$\bf 0.118$ $\pm 0.002$	$\bf 0.048$ $\pm 0.001$	$\bf 97.0\%$ $\pm 0.1$	$\bf 0.006$ $\pm 0.001$	$\bf 0.007$ $\pm 0.001$
	Accuracy	$0.124$ $\pm 0.005$	$0.049$ $\pm 0.002$	$96.9\%$ $\pm 0.1$	$\bf 0.006$ $\pm 0.001$	$0.008$ $\pm 0.001$
	TS-refinement	$0.119$ $\pm 0.002$	$\bf 0.048$ $\pm 0.001$	$\bf 97.0\%$ $\pm 0.1$	$\bf 0.006$ $\pm 0.001$	$\bf 0.007$ $\pm 0.001$

⟦Table F.1: Результаты бенчмарка для ResNet-18. Мы строим средние значения, полученные по 10 запускам, и 95% доверительные интервалы, вычисленные с использованием t-распределения. Остановочные метрики оцениваются на валидационном наборе (10% данных обучения). Все метрики сообщаются для лучшей модели, выбранной соответствующей остановочной метрикой, после TS (подгоняемой с использованием валидационного набора).

		Logloss	Brier	Accuracy	ECE	smECE
Dataset	Stopping metric
CIFAR-10	Logloss	$0.123$ $\pm 0.004$	$0.061$ $\pm 0.002$	$95.9\%$ $\pm 0.2$	$\bf 0.006$ $\pm 0.001$	$\bf 0.008$ $\pm 0.000$
	Brier score	$0.121$ $\pm 0.002$	$\bf 0.056$ $\pm 0.001$	$\bf 96.4\%$ $\pm 0.1$	$\bf 0.006$ $\pm 0.001$	$\bf 0.008$ $\pm 0.001$
	Accuracy	$0.122$ $\pm 0.002$	$\bf 0.056$ $\pm 0.001$	$\bf 96.4\%$ $\pm 0.1$	$\bf 0.006$ $\pm 0.001$	$\bf 0.008$ $\pm 0.001$
	TS-refinement	$\bf 0.120$ $\pm 0.002$	$\bf 0.056$ $\pm 0.001$	$96.3\%$ $\pm 0.1$	$0.007$ $\pm 0.001$	$\bf 0.008$ $\pm 0.001$
CIFAR-100	Logloss	$0.798$ $\pm 0.007$	$0.300$ $\pm 0.002$	$78.4\%$ $\pm 0.3$	$0.020$ $\pm 0.002$	$0.020$ $\pm 0.002$
	Brier score	$0.803$ $\pm 0.003$	$\bf 0.298$ $\pm 0.001$	$\bf 78.8\%$ $\pm 0.1$	$0.021$ $\pm 0.002$	$0.020$ $\pm 0.001$
	Accuracy	$0.791$ $\pm 0.011$	$0.300$ $\pm 0.002$	$78.6\%$ $\pm 0.2$	$0.020$ $\pm 0.003$	$0.019$ $\pm 0.002$
	TS-refinement	$\bf 0.771$ $\pm 0.004$	$\bf 0.298$ $\pm 0.002$	$78.5\%$ $\pm 0.2$	$\bf 0.016$ $\pm 0.002$	$\bf 0.016$ $\pm 0.001$
SVHN	Logloss	$\bf 0.109$ $\pm 0.002$	$0.043$ $\pm 0.001$	$\bf 97.3\%$ $\pm 0.1$	$\bf 0.007$ $\pm 0.001$	$\bf 0.008$ $\pm 0.001$
	Brier score	$0.110$ $\pm 0.003$	$\bf 0.042$ $\pm 0.001$	$\bf 97.3\%$ $\pm 0.1$	$\bf 0.007$ $\pm 0.001$	$\bf 0.008$ $\pm 0.001$
	Accuracy	$0.112$ $\pm 0.002$	$\bf 0.042$ $\pm 0.001$	$\bf 97.3\%$ $\pm 0.1$	$0.008$ $\pm 0.001$	$0.009$ $\pm 0.001$
	TS-refinement	$\bf 0.109$ $\pm 0.001$	$\bf 0.042$ $\pm 0.000$	$\bf 97.3\%$ $\pm 0.1$	$\bf 0.007$ $\pm 0.001$	$\bf 0.008$ $\pm 0.001$

⟦Table F.2: Результаты бенчмарка для WideResNet. Мы строим средние значения, полученные в ходе 10 запусков, и доверительные интервалы уровня 95%, вычисленные с использованием распределения Стьюдента. Показатели остановки оцениваются на валидационном наборе (10% от обучающих данных). Все метрики сообщаются для лучшей модели, выбранной соответствующим показателем остановки, после TS (подгоняется с использованием валидационного набора).

Appendix G Табличные эксперименты

Далее мы приводим дополнительные сведения и анализы для наших табличных экспериментов. Эксперименты заняли около 40 часов на рабочей станции с процессором AMD Threadripper PRO 3975WX с 32 ядрами и четырьмя графическими процессорами NVidia RTX 3090. Код бенчмарка доступен по адресу github.com/dholzmueller/pytabkit.

G.1 Зависимость размера набора данных

⟦Figure G.1 показывает, как относительная эффективность остановки на основе уточнения по сравнению с остановкой по logloss зависит от размера набора данных. Хотя для небольших наборов данных ситуация весьма шумная, для более крупных наборов данных ухудшение в худшем случае гораздо менее выражено, чем улучшения в лучшем случае. Преимущества TS-уточнения становятся заметными примерно при 10K образцов, что соответствует размеру валидационного набора 1,600. Для XGB и MLP есть один крупный выбросной набор данных, где остановка на основе уточнения и остановка по logloss обе дают низкую величину потерь, но отношение потерь является высоким.

Figure G.1: Относительные различия в logloss при использовании TS-Refinement по сравнению с Logloss для выбора лучшей эпохи и гиперпараметров. Каждый метод применяет масштабирование по температуре к итоговой модели. Каждая точка соответствует одному набору данных. Значения ниже нуля означают, что TS-refinement работает лучше. Светлый цвет указывает на наборы данных, где методы достигают очень низких потерь.

G.2 Другие показатели остановки

В Figure G.2 мы приводим результаты для дополнительных метрик остановки, таких как AUROC, Brier loss, Brier loss после температурного масштабирования, а также вариант TS-Refinement из Appendix E с пятикратной перекрёстной проверкой. TS-Refinement и его более дорогая версия с перекрёстной проверкой показывают наилучшие результаты. Из остальных метрик Brier loss до или после температурного масштабирования сопоставим с logloss, тогда как AUROC хуже, чем logloss для RealMLP.

⟦Figure G.2: Относительные различия в logloss для различных методов остановки по сравнению с Logloss+TS. Brier-Ref. относится к Brier loss после temperature scaling. AUROC использует вариант «один против остальных» для многоклассовых наборов данных. TS-Ref.-5CV — это метрика из Appendix E, вычисляющая out-of-fold loss после temperature scaling в конфигурации с пятиfold crossvalidation. Методы с пометкой «+TS» используют temperature scaling для финальной модели. Каждая точка представляет один набор данных из Ye et al. (2024), использующий только 65 наборов данных с не менее чем 10K выборок. Проценты обрезаются до $[-100,100]$. Box-plots показывают квантили 10%, 25%, 50%, 75% и 90%.

G.3 Влияние на другие метрики

⟦Figure G.3 показывает, что настройка TS-Refinement в среднем может улучшить точность на последующих этапах по сравнению с настройкой logloss, а иногда даже по сравнению с настройкой accuracy напрямую. То же самое справедливо для AUROC в Figure G.4, где настройка accuracy часто работает очень плохо. Проведение temperature scaling не влияет на точность на последующих этапах, но может влиять на AUROC на последующих этапах в наборах данных с несколькими классами.

⟦Различия в ошибке последующей классификации между logloss + TS и другими процедурами на табличных наборах данных. Каждая точка представляет один набор данных из Ye et al. (2024), использующий только 65 наборов данных с по меньшей мере 10K образцов. Проценты обрезаны до $[-100,100]$. Диаграммы размаха показывают квантильные значения 10%, 25%, 50%, 75% и 90%.

⟦Figure G.4: Различия в итоговом AUROC (один-против-остальных для многоклассовых наборов данных) между logloss + TS и другими процедурами на табличных наборах данных. Каждая точка представляет один набор данных из Ye et al. (2024), с использованием только 65 наборов данных, имеющих как минимум 10K примеров. Проценты обрезаны до $[-100,100]$. Диаграммы размаха показывают квантили 10%, 25%, 50%, 75% и 90%.

G.4 Времена остановки

⟦Figure G.5 показывает лучшие эпохи или итерации, найденные для различных метрик для моделей с параметрами по умолчанию. Мы можем заметить несколько тенденций в разных моделях:

• ⟦ Logloss останавливается первым в среднем.
• ⟦Brier loss останавливается позже, чем logloss, также при рассмотрении потерь после масштабирования температуры.
• Потери после масштабирования температуры останавливаются позже, чем потери до масштабирования температуры.
• ⟦Точность перестает расти поздно, а AUROC — где-то посередине.

(a) RealMLP (default)

(b) MLP (default)

(c) XGBoost (default)

⟦Figure G.5: Лучшие эпохи/итерации в моделях по умолчанию для различных метрик остановки. Каждая точка соответствует одной модели, обученной на одном из пяти разбиений обучающая часть/проверочная часть на одном из 65 наборов данных с как минимум 10K образцами. Brier-Ref. относится к Brier loss после температурного масштабирования. AUROC использует вариант «один против всех» для многоклассовых наборов данных. Несколько кластеров в эпохах остановки RealMLP, вероятно, обусловлены использованием многократного циклического расписания функции потерь.

G.5 Методы

Из одного обучения метода мы извлекаем результаты для наилучшей эпохи (для НС) или итерации (для XGBoost) с учетом всех рассмотренных метрик. Для этого мы всегда обучаем на максимальное число эпох/итераций и не прерываем обучение досрочно на основании одной из метрик.

Параметры по умолчанию

Для MLP мы немного упрощаем параметры по умолчанию (Gorishniy et al., 2021), как показано в Table G.3. Для XGBoost мы берем параметры по умолчанию библиотеки. Для RealMLP мы берем параметры по умолчанию из Holzmüller et al. (2024), но отключаем сглаживание меток, поскольку это приводит к тому, что функция потерь становится некорректной.

Настройка гиперпараметров

Для настройки гиперпараметров мы применяем 30 шагов случайного поиска, сопоставимого с McElfresh et al. (2024). Использование случайного поиска позволяет обучить 30 случайных моделей один раз, а затем выбрать наилучшую для каждой метрики. Для MLP мы выбираем небольшое пространство поиска, показанное в Table G.4, чтобы охватить настройки простого базового уровня. Для XGBoost мы выбираем типичное, относительно крупное пространство поиска, показанное в Table G.1. Для RealMLP мы слегка изменяем исходное пространство поиска из Holzmüller et al. (2024).

⟦Table G.1: Гиперпараметрическое пространство поиска для XGBoost, адаптированное из Grinsztajn et al. (2022). Мы используем метод hist, который является новым значением по умолчанию в XGBoost 2.0 и поддерживает нативную обработку категориальных значений, при этом старый автоматический выбор метода не доступен в XGBoost 2.0. Мы отключаем early stopping, поскольку хотим выбрать лучшую эпоху для разных метрик в одном и том же обучающем прогоне. Некоторые пространства поиска адаптированы на основе предыдущего опыта.

Hyperparameter	Distribution
tree_method	hist
n_estimators	1000
early_stopping_rounds	1000
max_depth	UniformInt[1, 11]
learning_rate	LogUniform[1e-3, 0.7]
subsample	Uniform[0.5, 1]
colsample_bytree	Uniform[0.5, 1]
colsample_bylevel	Uniform[0.5, 1]
min_child_weight	LogUniformInt[1e-5, 100]
alpha	LogUniform[1e-5, 5]
lambda	LogUniform[1e-5, 5]
gamma	LogUniform[1e-5, 5]

⟦Table G.2: Пространство поиска гиперпараметров для RealMLP, адаптированное из Holzmüller et al. (2024). По сравнению с исходным пространством поиска мы делаем более вероятной опцию без сглаживания меток, поскольку она оптимизирует корректную функцию потерь, и мы вставляем третью опцию для weight decay.

Hyperparameter	Distribution
Num. embedding type	Choice([None, PBLD, PL, PLR])
Use scaling layer	Choice([True, False], p=[0.6, 0.4])
Learning rate	LogUniform([2e-2, 3e-1])
Dropout prob.	Choice([0.0, 0.15, 0.3], p=[0.3, 0.5, 0.2])
Activation fct.	Choice([ReLU, SELU, Mish])
Hidden layer sizes	Choice([[256, 256, 256], [64, 64, 64, 64, 64], [512]], p=[0.6, 0.2, 0.2])
Weight decay	Choice([0.0, 2e-3, 2e-2])
Num. emb. init std.	LogUniform([0.05, 0.5])
Label smoothing $\varepsilon$	Choice([0.0, 0.1])

⟦Table G.3: Параметры гиперпараметров по умолчанию для MLP, адаптированные из (Gorishniy et al., 2021).

Hyperparameter	Distribution
Number of layers	4
Hidden size	256
Activation function	ReLU
Learning rate	1e-3
Dropout	0.0
Weight decay	0.0
Optimizer	AdamW
Preprocessing	Quantile transform + one-hot encoding
Batch size	256
Number of epochs	256
Learning rate schedule	constant

⟦Table G.4: Пространство поиска гиперпараметров для MLP.

Hyperparameter	Distribution
Learning rate	LogUniform[1e-4, 1e-2]
Dropout	Choice([0.0, 0.1, 0.2, 0.3])
Weight decay	Choice([0.0, 1e-5, 1e-4, 1e-3])

G.6 Наборы данных

Мы берем наборы данных из Ye et al. (2024) и применяем следующие изменения:

• ⟦ Образцы, содержащие отсутствующие значения в числовых признаках, удаляются, поскольку не все методы нативно поддерживают обработку этих значений.
• ⟦ Наборы данных, содержащие менее 1K образцов после предыдущих шагов, удаляются. Удаляются следующие наборы данных: analcatdata_authorship, Pima_Indians_Diabetes_Database, vehicle, mice_protein_expression и eucalyptus. Два последних набора данных содержали образцы с отсутствующими числовыми признаками.
• ⟦Наборы данных с более чем 100K образцами подвергаются по выборке до 100K образцов.