Учетная тождественность для алгоритмической справедливости

Аннотация

Мы выводим тождество учета для предиктивных моделей, которое связывает точность с общими критериями справедливости. Это тождество показывает, что для глобально откалиброванных моделей взвешенные суммы несоответствия калибровки внутри групп и дисбаланса ошибок между группами равны «общему бюджету несправедливости». Для бинарных исходов этот бюджет равен среднеквадратичной ошибке модели, умноженной на разность в распространенности групп между классами исходов. Тождество вкладывает стандартные результаты о невозможности как частные случаи, при этом также описывает присущие компромиссы, когда один или несколько показателей справедливости не удовлетворяются идеально. Полученные результаты предполагают, что точность и справедливость лучше рассматривать как взаимодополняющие в задачах бинарного прогнозирования: повышение точности неизбежно уменьшает общий бюджет несправедливости и наоборот. Эксперименты на эталонных данных подтверждают теорию и показывают, что многие вмешательства в справедливость в значительной степени подменяют нарушения справедливости друг другом, а когда они снижают точность, они, как правило, расширяют общий бюджет несправедливости. Результаты естественно распространяются на задачи прогнозирования с небинарными исходами, иллюстрируя, как дополнительная информация об исходах может ослаблять несовместимости справедливости, и выявляя условия, при которых бинарно-стильовая невозможность либо распространяется на регрессию, либо не распространяется на нее.

1 Введение

Поскольку предиктивные алгоритмы все чаще используются для распределения выгод и издержек в современном обществе, обширная и растущая научная литература изучает, как эти инструменты могут непреднамеренно закреплять существующие модели социального неравенства. Центральная тема этой литературы состоит в том, что существует множество правдоподобных способов формализовать «алгоритмическую справедливость» по отношению к некоторой защищаемой группе. Среди наиболее часто изучаемых критериев выделяются (i) калибровка внутри групп, (ii) баланс между группами по положительному классу и (iii) баланс между группами по отрицательному классу. Влиятельный набор результатов задает общие условия, при которых эти интуитивно привлекательные критерии оказываются несовместимыми: за исключением вырожденных случаев, ни одна предиктивная модель не может идеально удовлетворить каждое требование справедливости в заданном приложении (Chouldechova, 2017; Kleinberg et al., 2016).

Столкнувшись с этой невозможностью, естественный вопрос заключается в том, как эти аспекты справедливости взаимно ограничивают друг друга в допустимой области — то есть когда нарушается по меньшей мере одна метрика справедливости. Мы изучаем этот вопрос для глобально калиброванных предиктивных моделей. Наша главная отправная точка по сравнению с предшествующей литературой состоит в том, чтобы исследовать величину отклонений от идеальной справедливости по каждому измерению, а не рассматривать справедливость как свойство по принципу «всё или ничего». Этот сдвиг акцента обусловлен нормативными и практическими соображениями. Нормативно, те опасения, которые лежат в основе общих критериев алгоритмической справедливости, по своей природе являются непрерывными: например, если человек беспокоится о том, что алгоритм систематически концентрирует завышенные оценки риска на представителях недостаточно обеспеченной группы, то это беспокойство, как правило, более серьёзно, когда возникающий дисбаланс в частоте ошибок больше. В терминах моральной философии измерения справедливости, на которых мы сосредоточиваемся — несоответствие калибровки по группам и дисбаланс между группами, — лучше рассматривать как скалярные характеристики алгоритма, а не как бинарные суждения (Alexander, 2008). Практическая мотивация сосредоточиться на степени нарушений справедливости заключается в том, что поскольку идеальное выполнение всех критериев справедливости обычно недостижимо, для проектирования и регулирования релевантным вопросом становится то, насколько много несправедливости каждого типа порождает алгоритм.

Мы показываем, что метрики справедливости, на которых мы сосредоточены, связаны простой бухгалтерской тождественностью. Это тождество утверждает, что для глобально калиброванной модели взвешенная сумма несправедливости — то есть степень, в которой каждое критерий справедливости нарушается (в чистом виде) — равна величине, которую мы называем общим бюджетом несправедливости. Веса в этом тождестве определяются тем, где сосредоточена масса популяции и где имеется взаимное пересечение между группами относительно уровней исходов и оценок риска.

В самой общей формулировке идентичности общий бюджет несправедливости определяется связью между погрешностью предсказания модели и вариацией распространенности групп, обусловленной различиями групп по исходам. Общая несправедливость против группы больше, когда представители этой группы непропорционально сосредоточены в областях исходов, где погрешности предсказаний модели, как правило, велики. Идентичность учета показывает, что эта связь определяет, сколько общей несправедливости необходимо выделить в рамках различных форм несправедливости в любой глобально откалиброванной модели.

В случае бинарного исхода общий бюджет несправедливости принимает особенно простую форму: произведение разности распространенности групп между классами исхода и среднеквадратической ошибки модели (эквивалентно, Brier score). Это тождество приравнивает общий бюджет несправедливости к взвешенной сумме трех знакомых форм несправедливости — несогласованности калибровки по группе, дисбаланса на положительном классе и дисбаланса на отрицательном классе. Следовательно, улучшение точности предсказаний механически уменьшает общий бюджет несправедливости, который должен быть распределен между различными формами несправедливости.

Получаемое нами тождество бухгалтерского учета дает ряд полезных выводов для изучения глобально калиброванных предиктивных моделей. Начиная со случая бинарного исхода:

• ⟦ Бухгалтерская тождественность задает простую и общую связь между распространенными метриками справедливости, различиями между базовыми группами и точностью модели.
• Идентичность усиливает и обобщает результат о невозможности Kleinberg et al. (2016), характеризуя допустимую степень нарушений справедливости вдали от граничного случая, в котором каждое условие справедливости выполнено безупречно.
• ⟦ Прямое следствие заключается в том, что вмешательства для обеспечения справедливости, сохраняющие точность модели (для глобально откалиброванных моделей), не изменяют общий бюджет несправедливости: они могут только заменять один вид несправедливости на другой. И наоборот, корректировки справедливости, которые уменьшают точность, не только перераспределяют несправедливость между разными измерениями, но и расширяют общий бюджет несправедливости, который должен быть выделен.
• ⟦ Следовательно, тождество проясняет взаимосвязь между точностью и справедливостью. Хотя возможны компромиссы между точностью и отдельными измерениями справедливости, повышение точности неизбежно снижает общий бюджет несправедливости. В этом смысле точность и справедливость являются взаимодополняющими, а не заменяющими друг друга для глобально калиброванных двоичных моделей предсказаний.

Общая версия нашего бухгалтерского тождества также дает представление о настройках, в которых исход является недвоичным:

• ⟦ Мы обеспечиваем естественные обобщения метрик справедливости, которые обычно применяются в бинарной классификации.
• ⟦ Общая бухгалтерская идентичность явно показывает, как эти метрики справедливости совместно определяются распределением принадлежности к группам и распределением ошибок предсказания по пространству исходов.
• ⟦ Идентичность подчеркивает, что результаты о несовместимости справедливости для бинарных исходов не обязаны механически распространяться на задачи регрессии. Мы приводим стилизованный контрпример, в котором и калибровка внутри групп, и баланс между группами выполняются для не-оракуловского регрессора, даже когда средние исходы различаются по группам. Затем мы указываем достаточное условие, при котором существуют такие контрпримеры, а также достаточное условие, при котором результат невозможности переносится на регрессию.

Смежные работы

Классические результаты невозможности, относящиеся к групповой калибровке и балансу, обусловлены Chouldechova (2017) (с фокусом на бинарные классификаторы) и Kleinberg et al. (2016) (с фокусом на оценках риска).111 Между этими полярными фокусами Reich and Vijaykumar (2020) показывают, что групповая калибровка оценки риска может быть совместима с равными ошибками у последующего классификатора, если обеспечить выполнение двух критериев на разных стадиях конвейера принятия решений. Большая последующая литература прояснила, что эти противоречия отражают структурную несовместимость критериев типа «достаточность» (например, предиктивное равенство / калибровка внутри групп) и критериев типа «разделение» (например, выровненные шансы / баланс частот ошибок между группами), когда группы различаются по исходной распространенности исходов. См. Hardt et al. (2016), а также обзоры Hellman (2025), Mitchell et al. (2021) и Mehrabi et al. (2021)⟧.

Тесно связана с нашей работой Pleiss et al. (2017), который характеризует компромисс между ошибками ложноположительного и ложноотрицательного срабатывания при ограничении, что идеальная калибровка внутри групп выполняется строго. Аналогично, наше тождество для учета показывает, как, когда значение риска удовлетворяет калибровке по группам, общий бюджет несправедливости должен быть распределен между дисбалансом по положительным и отрицательным классам. Мы опираемся на Pleiss et al. (2017), выводя связь между мерами несправедливости, когда калибровка внутри групп не обязана строго выполняться, и характеризуя, как общий бюджет несправедливости зависит от точности в контексте значения риска для двоичного классификатора. Bell et al. (2023) исследуют невозможность теоремы эмпирически и обнаруживают, что разрешение небольших нарушений может сделать возможным приблизительное выполнение нескольких критериев справедливости на практике, и что осуществимость, как правило, расширяется с ростом качества модели. Наше тождество для учета проливает свет на эти результаты теоретически, показывая, что более высокая предсказательная точность механически уменьшает общее количество несправедливости, которое необходимо распределить между конкурирующими формами несправедливости. В последнее время Zehlike et al. (2025) разрабатывают инструменты из optimal transport для корректировки алгоритмов в направлении заданной пользователем приоритизации калибровки по группам и баланса. Наш подход дополняющий: вместо предложения конкретной процедуры корректировки мы характеризуем реализуемые сочетания типов несправедливости, которым должна удовлетворять любая такая процедура.

Наконец, небольшая, но растущая литература изучает справедливость в условиях прогнозирования для небинарных классов (например, Berk et al. (2017); Agarwal et al. (2018)). Мы вносим вклад в эту литературу, предоставляя тождество учета, которое применимо к естественным обобщениям компонентов справедливости из бинарного случая. Мы также показываем, почему результаты о невозможности, выведенные для бинарных исходов, не обязательно переносятся на задачи регрессии, а также выявляем условия, при которых аналогичные компромиссы возникают вновь.

Оставшаяся часть статьи устроена следующим образом. Раздел 2 описывает нашу постановку и задает определения наших условий справедливости. Раздел 3 устанавливает и интерпретирует учетное тождество, с акцентом на задачи бинарного предсказания. Раздел 4 иллюстрирует и исследует результат на тестовых наборах данных. Раздел 5 фокусируется на задачах не бинарного предсказания и на применимости (или неприменимости) результата о невозможности для бинарного случая. Раздел 6 расширяет учетное тождество на классификаторы, а не на оценки риска. Раздел 7 завершает изложение обсуждением ограничений. Формальные доказательства для всех результатов приведены в Приложении A; подробности экспериментов — в Приложении B⟧.

2 Постановка задачи и определения

Этот раздел описывает нашу постановку задачи и определяет метрики справедливости, на которых мы сосредоточены.

2.1 Проблемная постановка

Людей характеризует группа, $G\in\{0,1\}$, результат, $Y\in\mathbb{R}$, и вектор наблюдаемых характеристик, $X\in\mathbb{R}^{k}$, которые будут использоваться для прогнозирования $Y$. В зависимости от условий, $G$ может быть включен в $X$ или не включен⟧.

Оценка риска $Z\in\mathbb{R}$ является прогнозом для $Y$ на основе информации в $X$. Например, когда $Y$ бинарный, $Z$ представляет собой предсказанную вероятность того, что $Y$ принимает значение $1$. В регрессионной постановке $Z$ представляет собой прогноз модели для $Y$. Мы предполагаем существование конечных первых и вторых моментов для совместного распределения $(Y,G,Z)$.

Наше основное содержательное допущение заключается в том, что $Z$ глобально откалиброван:

$$\mathbb{E}[Y|Z=z]=z\,\text{ for all }\,z.$$

Хотя наше внимание сосредоточено на оценках риска, мы расширяем наши результаты на классификаторы в разделе 6.

2.2 Метрики справедливости

Мы сосредоточиваемся на двух типах несправедливости в отношении производительности алгоритма между группами.

Несогласованность внутри групп

Наша первая метрика справедливости — несоответствие калибровки внутри групп по оценке риска $z$, которую мы определяем как:

$$\delta_{C}(z)=\mathbb{E}[Y|Z=z,G=1]-\mathbb{E}[Y|Z=z,G=0].$$ (1)

Если показатель риска идеально откалиброван для каждой группы, то показатель риска является достаточной статистикой для ожидаемого значения результата — информация о принадлежности к группе не должна давать дополнительной информации, то есть $(Y\perp G)|Z=z$. Это означает $\mathbb{E}[Y|Z=z,G=1]=\mathbb{E}[Y|Z=z,G=0]$, так что $\delta_{C}(z)=0$. В отличие от этого, $\delta_{C}(z)$ будет отличным от нуля, если при фиксированном $Z$ у людей в одной группе значения $Y$, как правило, выше, чем у людей в другой группе. Чем больше эти различия, тем больше по модулю $\delta_{C}(z)$.

По определению $\delta_{C}(z)$ является покомпонентной мерой несоответствия калибровки алгоритма при заданном уровне риска $z$. Также удобно определить итоговую меру несоответствия калибровки по всем уровням риска:

$$\delta_{C}=\sum_{z}\,\delta_{C}(z)\,\omega_{Z}(z)$$ (2)

где

$$\omega_{Z}(z):=\operatorname{Var}(G|Z=z)\,\text{P}(Z=z).$$ (3)

В условиях, в которых $Z$ является непрерывной, мы определяем $\delta_{C}$, подставляя интеграл в (2) вместо суммирования и функцию плотности для $Z$ вместо $\text{P}(Z)$ в (3). Говоря словами, $\delta_{C}$ представляет собой взвешенную сумму разностей внутри-оценки в результате между группами, где веса отражают степень, в которой обе группы представлены при заданном значении риск-показателя. В условиях, в которых направление некалиброванности различается по значениям риск-показателя, $\delta_{C}$ суммирует общую степень некалиброванности, учитывая различия в распределении групп при разных значениях риск-показателя.

Большая литература рассматривает калибровку внутри групп как важный компонент справедливости (см. Corbett-Davies et al. (2023); Hedden (2021); Hellman (2025)). Часто нормативным основанием для этого утверждения является то, что если показатель неверно откалиброван по группе, то два человека с одинаковым прогнозируемым риском сталкиваются с разными истинными рисками в зависимости от принадлежности к группе, что, в свою очередь, подразумевает, что решения, основанные на алгоритме, систематически менее обоснованы для одной группы, чем для другой. Кроме того, когда алгоритм по-разному неверно откалиброван по группам, лицо, принимающее решения, заинтересованное в прогнозируемом результате, сталкивается со стимулом относиться к людям по-разному в зависимости от принадлежности к группе, когда этот признак может наблюдаться (то есть заниматься статистической дискриминацией).

Хотя несоответствие калибровки по группам обычно обсуждается как свойство «всё или ничего», алгоритмы, нарушающие это свойство, могут делать это в разной степени. Кроме того, нормативные соображения, которые питают обеспокоенность групповой несоответствующей калибровкой, как правило, тем больше, чем в большей степени алгоритм имеет несоответствие калибровки по группам. То есть если беспокоит алгоритм, который не имеет идеальной калибровки по группам, то эта обеспокоенность обычно тем сильнее, чем в большей степени алгоритм имеет несоответствие калибровки по группам. С этой точки зрения привлекательной особенностью $\delta_{C}(z)$, нашей меры несоответствия калибровки внутри групп, является то, что она не бинарная, позволяя ей отражать непрерывный характер несправедливости, возникающей, когда алгоритм имеет несоответствие калибровки внутри групп.

Наконец, хотя неправильная калибровка по группам обычно обсуждается в контексте алгоритмов, которые предсказывают бинарный результат, определение $\delta_{C}(z)$ не требует, чтобы $Y$ был бинарным. Таким образом, $\delta_{C}(z)$ обеспечивает естественную меру неправильной калибровки внутри групп как в задачах регрессии, так и в задачах классификации.

Дисбаланс между группами

Наша вторая метрика справедливости фиксирует различия по группам в оценках риска у людей с одинаковым истинным исходом:

$$\delta_{B}(y)=\mathbb{E}[Z|Y=y,G=1]-\mathbb{E}[Z|Y=y,G=0].$$ (4)

Когда оценки риска идеально сбалансированы между группами на некотором уровне исхода $y$, не существует систематической связи между принадлежностью к группе и оценками риска, то есть $(Z\perp G)|Y=y$. В этом случае $\mathbb{E}[Z|Y=y,G=1]=\mathbb{E}[Z|Y=y,G=0]$, так что $\delta_{B}(y)=0$. В то время как $\delta_{C}(z)$ измеряет степень, в которой принадлежность к группе предсказывает исходы после учета оценки риска, $\delta_{B}(y)$ измеряет степень, в которой принадлежность к группе предсказывает оценки риска после учета исхода. Когда $Y$ является двоичной, $\delta_{B}(0)$ измеряет степень дисбаланса для отрицательного класса, а $\delta_{B}(1)$ измеряет степень дисбаланса для положительного класса.

Как и при калибровке, полезно определить обобщенную меру дисбаланса между уровнями результата:

$$\delta_{B}=\sum_{y}\,\delta_{B}(y)\,\omega_{Y}(y)$$ (5)

где

$$\omega_{Y}(y):=\operatorname{Var}(G|Y=y)\,\text{P}(Y=y).$$ (6)

Когда $Y$ является непрерывной, мы определяем $\delta_{B}$, подставляя интеграл в (5) вместо суммирования и функцию плотности для $Y$ вместо $\text{P}(Y)$ в (6). Проще говоря, $\delta_{B}$ — это взвешенное среднее дисбаланса в оценке риска между группами, причем среднее берется по уровням исхода, а веса отражают частоту уровней исхода и степень, в которой обе группы представлены на рассматриваемом уровне исхода. Например, когда $Y$ является бинарной, $\delta_{B}$ агрегирует дисбаланс как в положительном классе $\delta_{B}(1)$, так и в отрицательном классе $\delta_{B}(0)$, взвешивая каждый с учетом доли населения в каждом классе, умноженной на распространенность перекрытия групп внутри этого класса. Когда $Y$ является небинарной, интерпретация $\delta_{B}$ та же самая — просто усредненная по большему числу значений исхода. В условиях, когда направление дисбаланса различается на разных уровнях исхода, $\delta_{B}$ суммирует общую степень дисбаланса, учитывая различия в распределениях групп на разных уровнях исхода.

Как и при калибровке, существует обширная литература, рассматривающая баланс между группами как важный компонент алгоритмической справедливости. И так же, как и при калибровке, нормативные соображения, поддерживающие баланс между группами, тем сильнее затрагиваются, чем выше степень несбалансированности алгоритма. Интуитивно, баланс между группами отражает принцип горизонтального равенства: когда правило принятия решения обусловливает обращение тем, какой исход следует предсказать, людей, которые в этом соответствующем отношении схожи, следует относиться одинаково независимо от принадлежности к группе. Если одна группа систематически получает более благоприятные оценки, чем другая, среди людей с одним и тем же исходом, то решения, основанные на этих оценках, навязывают неодинаковое обращение, которое не может быть оправдано различиями в самой целевой переменной. Чем больше одна группа систематически получает более благоприятные оценки риска, чем другая группа, после учета предсказываемого исхода, тем хуже проявляется эта форма несправедливости, и тем больше по величине будет наша мера несбалансированности.

Понятие баланса, отраженное в $\delta_{B}(y)$, тесно связано с критерием справедливости, известным как separation или equalized odds (Hardt et al., 2016; Chouldechova, 2017; Kleinberg et al., 2016). Equalized odds требует, чтобы предиктор был условно независим от принадлежности к группе при заданном исходе — то есть $(Z\perp G)|Y=y$ для всех $y$. Когда это условие выполняется точно, мы имеем $\delta_{B}(y)=0$ для всех $y$, и, следовательно, $\delta_{B}=0$ также. В этом смысле $\delta_{B}$ обеспечивает непрерывную, скалярную меру степени нарушения equalized odds, агрегируя условные несоответствия по уровням исхода.

3 Бухгалтерское тождество

В этом разделе мы выводим уравнение, связывающее несоответствие калибровки, дисбаланс, точность и различия базового уровня в распределении группы по исходу. Сначала мы выводим результаты для случая, когда $Y$ является бинарным. Мы возвращаемся к случаю небинарного $Y$ в Разделе 5⟧.

Наш первый шаг — установить ковариационное представление для наших обобщённых показателей несправедливости, $\delta_{B}$ и $\delta_{C}$⟧.

Lemma 1.

Определите $\delta_{C}$ как в (2) и $\delta_{B}$ как в (5). Затем $\delta_{B}=\mathbb{E}[\operatorname{Cov}(Z,G|Y)]$ и $\delta_{C}=\mathbb{E}[\operatorname{Cov}(Y,G|Z)]$

Лемма 1 позволяет нам выразить наши обобщающие меры поэлементной несогласованности калибровки и поэлементного дисбаланса как условные ковариации. Тогда тождество бухгалтерского учета следует из последовательных применений закона полной ковариации: сначала разложим $\operatorname{Cov}(Y,G)$ вдоль скоринга $Z$, а затем разложим $\operatorname{Cov}(Z,G)$ вдоль результата $Y$⟧.

Proposition 1.

Предположим, что $Y\in\{0,1\}$ и $\,\mathbb{E}[Y|Z=z]=z$ для всех $z$. Тогда

$$\underbrace{\delta_{B}(0)\,\omega_{Y}(0)+\delta_{B}(1)\,\omega_{Y}(1)}_{\delta_{B}}+\underbrace{\sum_{z}\,\delta_{C}(z)\,\omega_{Z}(z)}_{\delta_{C}}=\text{MSE}(Z)\,\left(\text{P}(G=1|Y=1)-\text{P}(G=1|Y=0)\right).$$ (7)

Предложение 1 раскрывает поразительно простое ограничение, которому должна удовлетворять любая глобально откалиброванная оценка риска для двоичного предсказания. Правая часть представляет собой величину, которую мы будем называть общим бюджетом несправедливости: она велика, когда (i) оценка неточна (высокое MSE) и (ii) принадлежность к группе сильно сосредоточена в одном классе исходов по сравнению с другим. Левая часть описывает, как этот бюджет распределяется по трем хорошо знакомым формам несправедливости: дисбаланс на отрицательном классе $\delta_{B}(0)$, дисбаланс на положительном классе $\delta_{B}(1)$ и рассогласование по калибровке внутри групп, $\delta_{C}(z)$, причем каждая из них входит с весом, который отражает то, где фактически лежит основная плотность населения и пересечение групп.

Несколько особенностей Пропозиции 1 стоит подчеркнуть. Во-первых, если мы потребуем идеальную калибровку внутри групп и идеальный баланс для положительных и отрицательных классов — $\delta_{C}(z)=0$ для всех $z$ и $\delta_{B}(y)=0$ для $y\in\{0,1\}$ — тогда вся левая часть ограничения в Пропозиции 1 равна нулю. Затем предложенная формулировка заставляет правую часть ограничения тоже быть равной нулю, что означает либо $\text{MSE}(Z)=0$ (то есть $Z$ является оракулом), либо отсутствие базовой разницы в распространенности исхода между группами (эквивалентно, равные базовые частоты). Таким образом, невозможность, установленная Kleinberg et al. (2016), следует из Пропозиции как прямое следствие. В более общем смысле, Пропозиция 1 задаёт геометрию допустимых компромиссов по справедливости вдали от эталонного случая идеальной справедливости, который и приводит к результату о невозможности. В частности, Пропозиция показывает, как сдвиг одного компонента несправедливости обязательно перераспределяет остальные.

Во-вторых, веса проясняют, где несправедливость важна для идентичности. Дисбаланс на конкретном уровне исхода вносит наибольший вклад, когда этот уровень исхода встречается часто и когда обе группы представлены в нем в значительной степени. Аналогично, веса подчеркивают ошибочную калибровку по уровням рисков, где две группы пересекаются. В разреженных областях (мало людей) или в почти однородных областях (почти все принадлежат к одной группе) соответствующий термин несправедливости имеет небольшое значение и поэтому расходует мало бюджета. Иными словами, формы несправедливости в областях с небольшим пересечением групп вносят меньший вклад в бюджет, чем формы несправедливости в областях, где обе группы присутствуют.

Третье, предложение 1 является подписанной тождественностью: несправедливость в одном направлении может механически компенсировать несправедливость в другом. Это не нормативное утверждение о том, что такие компенсации этически приемлемы; это описательное следствие множества допустимых решений, порожденного глобальной калибровкой. В приложениях, где лицо, принимающее решения, или регулятор вместо этого заботится о (например) максимальном дисбалансе на любом уровне исходов, или о сумме абсолютных дисбалансов по уровням, эти критерии могут быть непосредственно включены в целевую функцию — оптимизируемую с учетом ограничения в предложении 1.

Наконец, предложение 1 подчеркивает тесную связь между точностью и справедливостью. Вместо того чтобы существовал общий компромисс между этими свойствами, тождество учета подчеркивает их взаимодополняющую природу: при фиксировании среды задачи механическое повышение точности сокращает общий бюджет несправедливости, который необходимо распределять между различными формами несправедливости. И наоборот, вмешательства, уменьшающие точность алгоритма, могут снизить некоторые формы несправедливости, но лишь ценой еще большего увеличения других форм несправедливости (по меньшей мере в взвешенных чистых терминах). Мы иллюстрируем эти динамики в наших экспериментах в следующем разделе.

4 Эмпирический анализ

Здесь мы приводим обзор высокого уровня нашего эмпирического подтверждения, включая набор данных COMPAS Angwin et al. (2016); мы приводим дополнительные сведения и результаты для Adult, German Credit и Bank Marketing в Приложении B). Мы используем версии наборов данных из AI Fairness 360 Bellamy et al. (2018) и исключаем защищаемый признак из обучающих признаков. Для всех величин мы используем встраиваемые оценщики. Модели перекалибруются с помощью изотонической регрессии, чтобы обеспечить глобальную калибровку. Мы оцениваем $\hat{\delta}_{C}(z)$ и $\hat{\delta}_{B}(y)$ как выборочные ковариации внутри интервалов (20 интервалов равной частоты для $Z$).

Эксперимент 1: Гарантия корректности в конечной выборке Мы проверяем, что (7) выполняется примерно в конечных выборках с помощью абляции признаков. То есть мы обучаем модели для предсказания результата с различным числом признаков; по мере увеличения числа используемых признаков точность возрастает, уменьшая общую несправедливость. Мы используем логистическую регрессию, деревья решений, случайные леса и градиентный бустинг.

Рисунок 1(a) показывает общую несправедливость $\hat{\delta}_{B}+\hat{\delta}_{C}$ в зависимости от MSE. Экспериментальные значения близко следуют теоретическому предсказанию (пунктирная линия). Панель (b) демонстрирует трехстороннее разложение: по мере увеличения признаков общая несправедливость (черная линия) уменьшается, но распределение между $\hat{\delta}_{C}$, $\hat{\delta}_{B}(0)$ и $\hat{\delta}_{B}$ смещается.

⟦Figure 1: эксперименты COMPAS. (a) Проверка тождественности: $\delta_{B}+\delta_{C}$ vs MSE для четырех классификаторов с числом различных признаков, включенных в модель. (b) Разложение несправедливости на составляющие части ($\delta_{C}$, $\delta_{B}(0)$, взвешенные на $\omega(0)$ и $\delta_{C}(0)$, масштабированные на $\omega(1)$, как оценено в рамках каждой модели) в зависимости от числа признаков для логистической регрессии. (c) Разложение общей несправедливости среди методов обеспечения справедливости из AIF360/FairLearn. (d) Разложение несправедливости из штрафной регрессии при изменении $\lambda$ на $\delta_{B}$⟧.

Эксперимент 2: Методы справедливости перераспределяют несправедливость Мы оцениваем методы из FairLearn Weerts et al. (2023) и AIF360 Bellamy et al. (2018), а также пенализированную логистическую регрессию, нацеленную на $\delta_{B}$. На рисунке 1(c) показано, что методы, уменьшающие одну метрику справедливости, как правило, увеличивают другую, при этом увеличивая и общий бюджет несправедливости. В панели (d) изменяется штраф $\lambda$ для $\delta_{B}(1)$: по мере роста $\lambda$ дисбаланс уменьшается (как и ожидалось), но растет несогласованность (miscalibration), и общая несправедливость увеличивается из-за деградации точности.

5 Задачи прогнозирования с небинарными исходами

В этом разделе мы возвращаемся к случаю, когда результат $Y$ является не бинарным (то есть регрессией или не бинарной классификацией). Следующий результат приводит общую форму учетного тождества.

Proposition 2.

Предположим, что $\mathbb{E}[Y|Z=z]=z$ для всех $z$. Тогда

$$\underbrace{\sum_{y}\,\delta_{B}(y)\,\omega_{Y}(y)}_{\delta_{B}}+\underbrace{\sum_{z}\,\delta_{C}(z)\,\omega_{Z}(z)}_{\delta_{C}}=\operatorname{Cov}(\mathbb{E}[G|Y]\,,\,Y-\mathbb{E}[Z|Y]).$$

Как в Пропозиции 1, бухгалтерская тождественность в Пропозиции 2 связывает взвешенную сумму каждой покомпонентной формы несправедливости (левая часть ограничения, равная $\delta_{B}+\delta_{C}$) с общим бюджетом несправедливости (правая часть ограничения). В общем случае общий бюджет несправедливости — это ковариация между распространённостью группы при заданном уровне исхода, $\mathbb{E}[G|Y]$, и средним значением ошибки предсказания при этом уровне исхода, $Y-\mathbb{E}[Z|Y]$. Интуитивно, это измеряет связь между тем, где ошибка предсказания сосредоточена вдоль распределения исхода, и тем, где принадлежность к группе сосредоточена вдоль распределения исхода. Например, общая несправедливость против неблагополучной группы больше ровно тогда, когда эта группа непропорционально сосредоточена на уровнях исхода, где алгоритм систематически имеет большее среднее значение ошибки предсказания. Напротив, общая несправедливость будет небольшой, когда распространённость группы незначительно систематически меняется по исходу (так что $\mathbb{E}[G|Y]$ почти постоянна) или когда ошибки предсказания модели имеют тенденцию быть сходными на разных уровнях исхода (в этом случае $Z$ близко к тому, чтобы быть оракулом для $Y$).

В общем виде бухгалтерского тождества ключевая особенность алгоритма, который определяет общий бюджет несправедливости, заключается не просто в величине его ошибок предсказания — как это происходит в задаче с бинарным исходом, — а в том, как эти ошибки предсказания совместно меняются с принадлежностью к группе на разных уровнях исхода. Следовательно, тесная связь между MSE алгоритма и его общим бюджетом несправедливости, которую мы наблюдали в случае бинарных исходов, не обязательно должна сохраняться в задачах регрессии.

Чтобы понять это, отметим, что мы можем разложить MSE:

$$\mathbb{E}[(Y-Z)^{2}]=\mathbb{E}\Big[\mathbb{E}\big[(Y-Z)^{2}\mid Y\big]\Big]=\operatorname{Var}\Big(Y-\mathbb{E}[Z\mid Y]\Big)\;+\;\mathbb{E}\Big[\operatorname{Var}(Z\mid Y)\Big].$$ (8)

Второй член, $\mathbb{E}[\operatorname{Var}(Z\mid Y)]$, отражает внутристепенной шум в оценке риска среди людей с одинаковым уровнем исхода. Прирост точности, который возникает исключительно за счет сжатия $\operatorname{Var}(Z\mid Y)$, уменьшит MSE без изменения общего бюджета, $\operatorname{Cov}(\mathbb{E}[G|Y],\,Y-\mathbb{E}[Z\mid Y])$, поскольку общий бюджет зависит только от систематических предсказательных ошибок на каждом уровне исхода. В отличие от этого, вмешательство, улучшающее точность таким образом, что уменьшает разброс таких ошибок между исходами (то есть что уменьшает первый член), может как увеличить, так и уменьшить общий бюджет справедливости; направление эффекта зависит от того, в каких уровнях исхода с относительно высокой или относительно низкой распространенностью ошибок предсказания становится меньше в большей степени.

Таким образом, в отличие от бинарного случая, возможно, что повышение точности регрессионного алгоритма может увеличить общий бюджет несправедливости, и наоборот. При этом даже в небинарном случае общая несправедливость количественно ограничена точностью, что установлено в следующем Предложении

Proposition 3.

Предположим, что $Z$ глобально откалиброван. Тогда:

$$\big|\delta_{B}+\delta_{C}\big|\;\leq\;\sqrt{\operatorname{Var}(\mathbb{E}[G|Y])}\;\sqrt{\operatorname{Var}\big(Y-\mathbb{E}[Z\mid Y]\big)}\;\leq\;\sqrt{\operatorname{Var}(\mathbb{E}[G|Y])}\;\sqrt{MSE(Z)}.$$

Ослабление связи между точностью и справедливостью в условиях не бинарности потенциально ослабляет строгие результаты невозможности, которые характеризуют задачи бинарного прогнозирования; эту возможность мы исследуем в следующем разделе.

5.1 Примеры возможности для не бинарных $Y$

Теперь мы приводим достаточные условия, при которых глобально откалиброванный регрессор может полностью удовлетворять калибровке в группах и балансу по уровню ошибок поэлементно, при этом не являясь ни оракулом, ни независимым от принадлежности к группе.

Proposition 4 (Достаточные условия для точностной справедливости).

Пусть $W\subseteq X$ обозначает подмножество доступных признаков. Определите оценку $Z=\mathbb{E}[Y|W]$. Предположим, что выполнены следующие условия:

1. $\mathbb{E}[\operatorname{Var}(Y|W)]>0$.
2. $Y\perp G\mid W$.
3. $W\perp G\mid Y$.
4. $\operatorname{Var}(\mathbb{E}[G|W])>0$.

Тогда: $Z$ глобально откалиброван; $G\not\perp Y$; $Z$ не является оракулом; и для всех $z$ и всех $y$, $\delta_{C}(z)=\delta_{B}(y)=0$.

В Предложении 4 глобальная калибровка следует из построения $Z$. A1 гарантирует, что $Z$ не является оракулом. Условия A2 и A3 ограничивают рассмотрение тех случаев, в которых связь между принадлежностью к группе и исходами действует через тот же канал, что и связь между принадлежностью к группе и признаками, используемыми алгоритмом. В таких условиях условие либо устраняет остаточную информацию о группе, гарантируя калибровку и баланс по группам. Наконец, A1 задаёт, что $G$ систематически изменяется вместе с $Y$; в сочетании с A2 и A3 это подразумевает $G\not\perp Y$.

Теперь мы приводим стилизованный пример, чтобы проиллюстрировать, что условия в Предложении 4 не являются взаимно несовместимыми. Пусть $Y\sim\text{Unif}[0,1]$. Пусть $X\in\{0,1\}$ будет грубой наблюдаемой характеристикой, порожденной $X:=\mathbf{1}\{Y>1/2\}$. Определим оценку риска $Z$ как байесовский регрессор: $Z=\mathbb{E}[Y|X]$, так что $Z=0.25$ если $X=0$ и $Z=0.75$ если $X=1$. По построению, $E[Y|Z=z]=z$ для каждого $z$, следовательно, глобальная калибровка выполняется. Поскольку $Z$ принимает только два значения, тогда как $Y$ является недвоичным, $Z$ не является оракулом.

Предположим, что принадлежность к группе зависит только от признака $X$: $\text{P}(G=1|X=0)=0.1$ и $\text{P}(G=1|X=1)=0.9$, с $(G\perp Y)|X$. Поскольку $P(G=1|X)$ возрастает по $X$, и поскольку $X$ детерминированно (слабо) возрастает по $Y$, мы знаем, что $Y$ и $G$ положительно коррелируют.

Чтобы установить калибровку внутри групп, отметим, что $Z$ является детерминированной функцией от $X$. Следовательно, тот факт, что $(G\perp Y)|X$ влечёт $(G\perp Y)|Z$, который влечёт $\mathbb{E}[Y|Z,G]=E[Y|Z]$. Поэтому $\delta_{C}(z)=\mathbb{E}[Y|Z=z,G=1]-\mathbb{E}[Y|Z=z,G=0]=0$.

Чтобы обеспечить баланс между группами, отметим, что поскольку $Z$ является детерминированной функцией от $X$, а $X$ является детерминированной функцией от $Y$, то $Z$ является детерминированной функцией от $Y$. Следовательно, $E[Z|Y,G]=E[Z|Y]$. Поэтому $\delta_{B}(y)=\mathbb{E}[Z|Y=y,G=1]-\mathbb{E}[Z|Y=y,G=0]=0$.

Поскольку групповая калибровка и баланс соответственно выполняются для каждого $z$ и $y$, оценка риска в точности удовлетворяет покоординатной калибровке внутри групп и балансу между группами. Это верно, несмотря на то, что $Z$ не является оракулом и существуют базовые различия в $Y$ по $G$, что показывает: результаты о невозможности не распространяются напрямую на неконечную (небинарную) постановку.

5.2 Достаточное условие невозможности

Теперь мы приводим достаточное условие для восстановления теоремы о невозможности в стиле двоичной классификации для исходов не в двоичном формате. Ключевое препятствие в регрессионной постановке состоит в том, что когда $Y$ является не двоичным, правая часть Пропозиции 2 принимает вид ковариации между нетривиальными функциями $Y$. В отличие от двоичного случая, эта ковариация может обращаться в нуль из-за взаимной компенсации в разных областях распределения исходов, даже когда функции внутри ковариации не являются константами на $Y$. Мы показываем, что естественное структурное ограничение — монотонные различия в исходах в сочетании со свойством предсказания «возврат к среднему» — исключает такую компенсацию и восстанавливает результат в стиле невозможности для широкого класса алгоритмов.

Proposition 5.

Определите $\pi(y)=\mathbb{E}[G|Y=y]$ и определите $m(y)=\mathbb{E}[Z|Y=y]$. Предположим, что: (1) $Z$ глобально откалибрована; (2) $\pi(\cdot)$ слабо монотонна (не убывает или не возрастает) на опоре $Y$; и (3) $m(\cdot)$ 1-Липшицева, то есть.:

$$|m(y_{2})-m(y_{1})|\leq|y_{2}-y_{1}|\quad\text{for all}\quad y_{1},y_{2}.$$

Предположим, что точечные меры справедливости $\delta_{C}(z)=0$ для всех $z$ и $\delta_{B}(y)=0$ для всех $y$. Тогда либо $G\perp Y$, либо $\text{MSE}(Z)=0$ (то есть $Z$ является оракулом).

Предложение 5 предоставляет аналог задачи регрессии для результата о невозможности в бинарном случае при наличии дополнительной структуры. Первое новое предположение — что распространённость групп меняется монотонно по уровням исхода — определяется постановкой задачи и отражает характер систематических различий по исходам между группами. В противоположность этому, второе новое предположение — что обратная функция регрессии $m(y)=\mathbb{E}[Z|Y=y]$ является 1-Lipschitz — является ограничением на поведение самой правила предсказания. Интуитивно, это требует, чтобы предсказания демонстрировали свойство возврата к среднему, не позволяя $m(y)$ усиливать вариативность в $Y$. Будет ли это условие выполняться на практике, зависит от сделанных в моделировании выборов, например от степени регуляризации, налагаемой алгоритмом обучения.

6 Применение к классификаторам

Этот раздел дополняет наши основные результаты для оценок риска для настроек, в которых бинарный классификатор $\widehat{Y}\in\{0,1\}$ берется как базовый, вместе с бинарными $Y$ и $G$. Показатели ложноположительных и истинноположительных результатов по группам задаются $FPR_{g}=\text{P}(\widehat{Y}=1|Y=0,G=g)$ и $TPR_{g}=\text{P}(\widehat{Y}=1|Y=1,G=g)$. Положительная предсказательная ценность и доли ложноотсутствующих по группам задаются $PPV_{g}=\text{P}(Y=1|\widehat{Y}=1,G=g)$ и $FOR_{g}=\text{P}(Y=1|\widehat{Y}=0,G=g)$⟧.

Определим $Z_{\widehat{Y}}=\text{P}(Y=1|\widehat{Y})$ как оценку риска, полученную классификатором. Поскольку $\widehat{Y}$ является бинарной, $Z_{\widehat{Y}}$ принимает только два значения, которые мы называем $z_{1}=\text{P}(Y=1|\widehat{Y}=1)$ и $z_{0}=\text{P}(Y=1|\widehat{Y}=0)$. Следовательно, $z_{1}$ соответствует (общей) PPV классификатора, а $z_{0}$ — его (общей) FOR. В силу построения $Z_{\widehat{Y}}$ является глобально откалиброванной.

Поскольку $Z_{\widehat{Y}}$ является детерминированной функцией $\widehat{Y}$, условие на $Z_{\widehat{Y}}=z_{1}$ эквивалентно условию на $\widehat{Y}=1$, и аналогично для $Z_{\widehat{Y}}=z_{1}$ и $z_{0}$. Следовательно, мы можем выразить нашу меру внутри групповой калибровки как

$$\delta_{C}(z_{1})=\mathbb{E}[Y|\widehat{Y}=1,G=1]-\mathbb{E}[Y|\widehat{Y}=1,G=0]=\Delta\,PPV.$$ (9)

$$\delta_{C}(z_{0})=\mathbb{E}[Y|\widehat{Y}=0,G=1]-\mathbb{E}[Y|\widehat{Y}=0,G=0]=\Delta\,FOR.$$ (10)

где $\Delta\,PPV=PPV_{1}-PPV_{0}$ и $\Delta\,FOR=FOR_{1}-FOR_{0}$. Используя определение $Z_{\widehat{Y}}$, мы можем аналогичным образом выразить баланс между группами как

$$\delta_{B}(1)=\mathbb{E}[Z_{\widehat{Y}}|Y=1,G=1]-\mathbb{E}[Z_{\widehat{Y}}|Y=1,G=0]=(z_{1}-z_{0})\,\Delta\,TPR.$$ (11)

$$\delta_{B}(0)=\mathbb{E}[Z_{\widehat{Y}}|Y=0,G=1]-\mathbb{E}[Z_{\widehat{Y}}|Y=0,G=0]=(z_{1}-z_{0})\,\Delta\,FPR.$$ (12)

где $\Delta\,TPR=TPR_{1}-TPR_{0}$ и $\Delta\,FPR=FPR_{1}-FPR_{0}$⟧.

Применение Пропозиции 1 вместе с этими тождествами дает следующий результат.

Proposition 6.

Определите $\omega_{Y}(y)=\operatorname{Var}(G|Y=y)\text{P}(Y=y)$ и $\omega_{\widehat{Y}}(\widehat{y})=\operatorname{Var}(G|\widehat{Y}=\widehat{y})\text{P}(\widehat{Y}=\widehat{y})$. Затем для любого бинарного классификатора $\widehat{Y}$:

$$MSE(Z_{\widehat{Y}}) \,(\text{P}(G=1|Y=1)-\text{P}(G=1|Y=0))$$

$$= \underbrace{\omega_{\widehat{Y}}(1)\,\Delta\,PPV+\omega_{\widehat{Y}}(0)\,\Delta\,FOR}_{\delta_{C}}+\underbrace{(PPV-FOR)\,(\omega_{Y}(1)\,\Delta\,TPR+\omega_{Y}(0)\,\Delta\,FPR)}_{\delta_{B}}.$$

где $MSE(Z_{\widehat{Y}})=\operatorname{Var}(Y|\widehat{Y})=\text{P}(\widehat{Y}=1,Y=0)\,PPV+\text{P}(\widehat{Y}=0,Y=1)\,(1-FOR)$.

Термин $PPV-FOR$ в Предложении 6 отражает точность классификатора: насколько различается истинный класс между предсказанными положительными и предсказанными отрицательными. Если $\widehat{Y}$ является неинформативным, то $PPV\approx FOR$ и баланс между группами (то есть разрывы TPR и FPR) не расходуют много от общего бюджета на справедливость. Предложение также подчеркивает, что соответствующая мера точности, используемая для определения общего бюджета на несправедливость классификатора, — это MSE полученной оценки риска, которая может расходиться с более распространенными показателями качества работы классификатора (например, общей точностью или F1).

7 Ограничения

Наш анализ имеет несколько важных ограничений. Во-первых, наши результаты получены при сохранённом предположении о глобальной калибровке, которая часто задаётся посредством постобработки и может не выполняться равномерно для различных подгрупп или при сдвиге распределения. Во-вторых, существует множество правдоподобных метрик справедливости помимо тех, которые мы изучаем; они задавались бы другими ограничениями и могли бы иметь иное соотношение с точностью. Непосредственно связано с этим то, что измерения справедливости, на которых мы сосредоточиваемся, могут упускать источники несправедливости, возникающие из-за неверного измерения признаков или меток либо из-за взаимодействий между алгоритмом и другими общественными институтами, которые функционируют с предвзятостью. В-третьих, мы рассматриваем одну единственную бинарную защищённую характеристику; расширение рамок на несколько групп или на пересекающиеся характеристики является важным направлением будущих работ. В-четвёртых, наша учётная тождественность носит описательный, а не нормативный характер: она характеризует механические связи между статистическими метриками справедливости, точностью и исходными различиями, но сама по себе не определяет, какое распределение несправедливости этически уместно в заданной предметной области.

Appendix A Доказательства

Доказательство.

Доказательство леммы 1.

Применяя определения $\delta_{B}$, $\delta_{B}(y)$ и $\omega_{Y}(y)$, мы можем записать

$$\delta_{B} =\sum_{y}\left(E[Z|Y=y,G=1]-E[Z|Y=y,G=0]\right)\operatorname{Var}(G|Y=y)P(Y=y)$$

$$=\sum_{y}\operatorname{Cov}(Z,G|Y=y)P(Y=y)$$

$$=\mathbb{E}[\operatorname{Cov}(Z,G|Y)].$$

где второе равенство следует из того, что $G$ является бинарным, а третье — из определения математического ожидания. Результат для $\delta_{C}$ следует аналогично. ∎

∎

Доказательство предложения 2.

Сначала разложим $\operatorname{Cov}(Y,G)$ относительно $Z$:

$$\begin{split}\operatorname{Cov}(Y,G)&=\mathbb{E}[\operatorname{Cov}(Y,G|Z)]+\operatorname{Cov}\left(\mathbb{E}[Y|Z],\,\mathbb{E}[G|Z]\right)\\ &=\delta_{C}+\operatorname{Cov}\left(Z,\,\mathbb{E}[G|Z]\right).\end{split}$$ (13)

Затем мы снова применяем закон полной ковариации, чтобы разложить $\operatorname{Cov}(Z,G)$ относительно $Z$⟧:

$$\begin{split}\operatorname{Cov}(Z,G)&=\mathbb{E}[\operatorname{Cov}(Z,G|Z)]+\operatorname{Cov}\left(\mathbb{E}[Z|Z],\,\mathbb{E}[G|Z]\right)\\ &=0+\operatorname{Cov}\left(Z,\,\mathbb{E}[G|Z]\right).\end{split}$$ (14)

Замена (14) в (13) дает

$$\operatorname{Cov}(Y,G)=\delta_{C}+\operatorname{Cov}(Z,G).$$ (15)

Затем мы разложим $\operatorname{Cov}(Z,G)$ относительно $Y$:

$$\begin{split}\operatorname{Cov}(Z,G)&=\mathbb{E}[\operatorname{Cov}(Z,G|Y)]+\operatorname{Cov}\left(\mathbb{E}[Z|Y],\,\mathbb{E}[G|Y]\right).\end{split}$$ (16)

Подстановка (16) в (15) дает:

$$\operatorname{Cov}(Y,G)=\delta_{C}+\delta_{B}+\operatorname{Cov}\left(\mathbb{E}[Z|Y],\,\mathbb{E}[G|Y]\right).$$ (17)

Окончательное применение закона полной ковариации к $\operatorname{Cov}(Y,G)$ в отношении $Y$ дает

$$\operatorname{Cov}(Y,G)=\operatorname{Cov}(Y,\mathbb{E}[G|Y]).$$ (18)

Подстановка (18) в (17) и перестановка дают:

$$\delta_{B}+\delta_{C}=\operatorname{Cov}(Y-\mathbb{E}[Z|Y],\mathbb{E}[G|Y]).$$ (19)

Наконец, применение определений $\delta_{B}$ и $\delta_{C}$ к (19) дает общую форму бухгалтерского тождества, как отражено в Пропозиции. ∎

Lemma 2.

Предположим, что $Y$ является бинарным и $Z=\mathbb{E}[Y|Z]$. Определите $MSE\mathbb{E}[(Y-Z)]^{2}$. Тогда:

$$MSE(Z)=\operatorname{Var}(Y)-\operatorname{Var}(Z).$$

Доказательство.

Расширение MSE дает:

$$MSE(Z)=\mathbb{E}[Y^{2}-2YZ+Z^{2}]=\mathbb{E}[Y^{2}]-2\mathbb{E}[YZ]+\mathbb{E}[Z^{2}]=\mathbb{E}[\mathbb{E}[Y^{2}|Z]-2Z\mathbb{E}[Y|Z]+Z^{2}|Z].$$

по закону итеративных ожиданий. Но поскольку $Y$ является бинарным, $Y^{2}=Y$; благодаря этому и глобальной калибровке, мы можем записать

$$\mathbb{E}\left[\mathbb{E}[Y^{2}|Z]-2Z\mathbb{E}[Y|Z]+Z^{2}\mid Z\right]=\mathbb{E}[\mathbb{E}[Y|Z]-2Z^{2}+Z^{2}]=\mathbb{E}[\mathbb{E}[Y|Z]-\mathbb{E}[Y|Z]^{2}]=\mathbb{E}[\operatorname{Var}(Y|Z)].$$

По закону полной дисперсии и калибровке:

$$\operatorname{Var}(Y)=\mathbb{E}[\operatorname{Var}(Y|Z)]+\operatorname{Var}[\mathbb{E}(Y|Z)]=\mathbb{E}[\operatorname{Var}(Y|Z)]+\operatorname{Var}(Z);$$

перестановка и подстановка $MSE(Z)$ дают требуемое равенство.

∎

Доказательство предложения 1.

Напомним, что общий бюджет несправедливости в Предложении 2 равен $\operatorname{Cov}(Y-E[Z|Y],E[G|Y])$. Поскольку этот член является ковариацией двух функций бинарной случайной величины, мы можем записать его как:

$$\operatorname{Cov}(Y-\mathbb{E}[Z|Y],\mathbb{E}[G|Y])=\operatorname{Var}(Y)\,\left(\mathbb{E}[G|Y=1]-\mathbb{E}[G|Y=0]\right)\,\left(1-(m_{1}-m_{0})\right)$$ (20)

где $m_{y}=\mathbb{E}[Z|Y=y]$. При двоичном $Y$ мы также можем записать

$$m_{1}-m_{0}=\frac{\operatorname{Cov}(Y,Z)}{\operatorname{Var}(Y)}=\frac{\operatorname{Var}(Z)}{\operatorname{Var}(Y)}.$$

где второе равенство следует из глобальной калибровки и применения закона полной ковариации к $\operatorname{Cov}(Y,Z)$ относительно $Z$⟧.

Определите среднеквадратичную ошибку для $Z$ как $MSE(Z)=E[(Y-Z)^{2}]$.

Используя лемму 2, мы можем записать:

$$MSE(Z)=\operatorname{Var}(Y)-\operatorname{Var}(Z).$$ (21)

Деление обеих частей (21) на $\operatorname{Var}(Y)$ дает:

$$\frac{MSE(Z)}{\operatorname{Var}(Y)}=1-\frac{\operatorname{Var}(Z)}{\operatorname{Var}(Y)}=1-(m_{1}-m_{0}).$$ (22)

Подстановка (20) и (22) в (19) дает:

$$\delta_{B}+\delta_{C}=\text{MSE}(Z)\,\left(\mathbb{E}[G|Y=1]-\mathbb{E}[G|Y=0]\right).$$ (23)

Применение определений $\delta_{B}$ и $\delta_{C}$ для случая $Y=1$ дает тождество учета для случая двоичного $Y$⟧.

∎

Доказательство предложения 3.

Первая неравенство следует из Предложения 2 и Коши—Шварца. Второе следует из (8). ∎

Доказательство предложения 4.

Мы доказываем каждое утверждение по очереди.

(i) Глобальная калибровка.

По закону об итеративных ожиданиях:

$$\mathbb{E}[Y\mid Z]=\mathbb{E}\big(\mathbb{E}[Y\mid W]\mid Z\big)=\mathbb{E}[Z\mid Z]=Z,$$

так $Z$ глобально откалибрована.

(ii) Точечная калибровка внутри групп: $\delta_{C}(z)=0$ для всех $z$.

Достаточно показать, что $\mathbb{E}[Y\mid Z,G]=Z$. Поскольку $Z$ является функцией от $W$, мы можем использовать повторяющиеся ожидания, чтобы записать

$$\mathbb{E}[Y\mid Z,G] =\mathbb{E}\big(\mathbb{E}[Y\mid W,Z,G]\mid Z,G\big)$$

$$=\mathbb{E}\big(\mathbb{E}[Y\mid W,G]\mid Z,G\big).$$

Поскольку (A2), $\mathbb{E}[Y\mid W,G]=\mathbb{E}[Y\mid W]=Z$. Следовательно

$$\mathbb{E}[Y\mid Z,G]=\mathbb{E}[Z\mid Z,G]=Z.$$

Поэтому для каждого $z$ из области определения $Z$ и для каждого $g\in\{0,1\}$,

$$\mathbb{E}[Y\mid Z=z,G=g]=z,$$

и таким образом

$$\delta_{C}(z)=\mathbb{E}[Y\mid Z=z,G=1]-\mathbb{E}[Y\mid Z=z,G=0]=0\quad\text{for all }z.$$

(iii) Точечный баланс между группами: $\delta_{B}(y)=0$ для всех $y$.

Напишите $Z=f(W)$, где $f(w):=\mathbb{E}[Y\mid W=w]$. Затем

$$\mathbb{E}[Z\mid Y,G]=\mathbb{E}[f(W)\mid Y,G].$$

Кем (A3),

$$\mathbb{E}[f(W)\mid Y,G]=\mathbb{E}[f(W)\mid Y].$$

Таким образом

$$\mathbb{E}[Z\mid Y,G]=\mathbb{E}[Z\mid Y],$$

что подразумевает, что для каждого $y$ в носителе $Y$,

$$\mathbb{E}[Z\mid Y=y,G=1]=\mathbb{E}[Z\mid Y=y,G=0],$$

и поэтому

$$\delta_{B}(y)=\mathbb{E}[Z\mid Y=y,G=1]-\mathbb{E}[Z\mid Y=y,G=0]=0\quad\text{for all }y.$$

(iv) $Z$ не является оракулом.

По закону полной дисперсии и глобальной калибровки,

$$\mathbb{E}[(Y-Z)^{2}]=\mathbb{E}\big[(Y-\mathbb{E}[Y\mid W])^{2}\big]=\mathbb{E}[\operatorname{Var}(Y\mid W)].$$

Предположение (A1) утверждает $\mathbb{E}[\operatorname{Var}(Y\mid W)]>0$, следовательно $\mathbb{E}[(Y-Z)^{2}]>0$, что подразумевает $P(Z=Y)<1$. Таким образом, $Z$ не является оракулом.

(v) $G\not\perp Y$.

Во-первых, отметим, что (A2) подразумевает $\mathbb{E}[G\mid W,Y]=\mathbb{E}[G\mid W]$ (при условии $W$, $Y$ не содержит дополнительной информации о $G$). Аналогично, (A3) подразумевает $\mathbb{E}[G\mid W,Y]=\mathbb{E}[G\mid Y]$ (при условии $Y$, $W$ не содержит дополнительной информации о $G$). Объединение этих результатов дает

$$\mathbb{E}[G\mid W]=\mathbb{E}[G\mid Y].$$

Принимая во внимание дисперсии с обеих сторон, получаем

$$\operatorname{Var}(\mathbb{E}[G\mid Y])=\operatorname{Var}(\mathbb{E}[G\mid W]).$$

По (A4), $\operatorname{Var}(\mathbb{E}[G\mid W])>0$, следовательно $\operatorname{Var}(\mathbb{E}[G\mid Y])>0$, то есть $\mathbb{E}[G\mid Y]$ не является постоянной. Поэтому $G$ не независима от $Y$ (поскольку $G\perp Y$ подразумевало бы $\mathbb{E}[G\mid Y]=\mathbb{E}[G]$). ∎

Lemma 3 (Монотонные функции имеют знакопеременную ковариацию).

Пусть $Y$ — невырожденная, а $f(Y)$ и $g(Y)$ — функции, интегрируемые с квадратом от $Y$. Если $f$ и $g$ монотонны в одном направлении, то $\operatorname{Cov}(f(Y),g(Y))\geq 0$, причём строгое неравенство, если обе функции не постоянны. Если $f$ и $g$ монотонны в противоположных направлениях, то $\operatorname{Cov}(f(Y),g(Y))\leq 0$, причём строгое неравенство, если обе функции не постоянны.

Доказательство.

Пусть $Y^{\prime}$ является независимой копией $Y$. Тогда

$$\operatorname{Cov}(f(Y),g(Y))=\tfrac{1}{2}\,\mathbb{E}\Big[(f(Y)-f(Y^{\prime}))(g(Y)-g(Y^{\prime}))\Big].$$

Если $f$ и $g$ монотонны в одном направлении, произведение почти наверное неотрицательно; если в противоположных направлениях, произведение почти наверное неположительно. Строгость следует из невырожденности и неконстантности. ∎

Доказательство предложения 5.

Точечная справедливость означает, что левая часть уравнения (14) равна нулю, следовательно, согласно тождеству учета:

$$0=\operatorname{Cov}\!\Big(\mathbb{E}[G|Y],\,Y-\mathbb{E}[Z\mid Y]\Big)=\operatorname{Cov}\!\Big(\pi(Y),\,r(Y)\Big),$$ (24)

где $\pi(Y):=\mathbb{E}[G\mid Y]$ и $r(Y):=Y-\mathbb{E}[Z\mid Y]$⟧.

При допущении, $m$ является 1-липшицевской; тогда $r(y)=y-m(y)$ должна быть монотонной (неубывающей) по $y$. Чтобы увидеть это, предположим $y_{2}\geq y_{1}$ и применим определение липшицевости:

$$r(y_{2})-r(y_{1}) =y_{2}-m(y_{2})-(y_{1}-m(y_{1}))$$

$$=(y_{2}-y_{1})-(m(y_{2})-m(y_{1}))\geq y_{2}-y_{1}-|y_{2}-y_{1}|=0.$$

Кроме того, $\pi(y)$ монотонна по предположению. Следовательно, согласно лемме 3, $\operatorname{Cov}(\pi(Y),r(Y))$ должна иметь фиксированный знак и быть строго ненулевой, если обе функции не являются константами. Таким образом, (24) означает, что либо $\pi(Y)$ является константой почти наверное (следовательно, $G\perp Y$), либо $r(Y)$ является константой почти наверное.

Если $r(Y)$ почти наверное является постоянной, то $\mathbb{E}[r(Y)]=0$ (поскольку глобальная калибровка влечет $\mathbb{E}[Z]=\mathbb{E}[\mathbb{E}[Y\mid Z]]=\mathbb{E}[Y]$), значит, эта постоянная должна быть $0$, и поэтому $r(Y)=0$ почти наверное. Поэтому

$$\mathbb{E}[Z\mid Y]=Y\quad\text{almost surely}.$$ (25)

Вместе с глобальной калибровкой $\mathbb{E}[Y\mid Z]=Z$ мы теперь показываем, что $Z=Y$ почти наверняка. Сначала,

$$\mathbb{E}[YZ]=\mathbb{E}[\mathbb{E}[YZ|Z]]=\mathbb{E}\!\big[Z\,\mathbb{E}[Y\mid Z]\big]=\mathbb{E}[Z^{2}],\qquad\text{and}\qquad\mathbb{E}[YZ]=\mathbb{E}\!\big[Y\,\mathbb{E}[Z\mid Y]\big]=\mathbb{E}[Y^{2}],$$

где первое равенство использует $\mathbb{E}[Y\mid Z]=Z$, а второе использует (25). Следовательно $\mathbb{E}[Y^{2}]=\mathbb{E}[Z^{2}]=\mathbb{E}[YZ]$, и таким образом

$$\mathbb{E}[(Y-Z)^{2}]=\mathbb{E}[Y^{2}]-2\mathbb{E}[YZ]+\mathbb{E}[Z^{2}]=0.$$

Поэтому $Y=Z$ почти наверное, то есть $\operatorname{Var}(Y\mid Z)=0$, то есть $MSE(Z)=0$. ∎

Доказательство предложения 6.

Основной результат следует непосредственно из применения уравнений (9)-(12) к Предложению 1. Выражение для $MSE(Z_{\widehat{Y}})$ можно вывести следующим образом.

Сначала мы показываем, что среднеквадратичная ошибка $Z_{\widehat{Y}}$ равна ожидаемой условной дисперсии $Y$ при заданном $\widehat{Y}$:

$$\mathrm{MSE}(Z_{\widehat{Y}}) :=\mathbb{E}\big[(Y-Z_{\widehat{Y}})^{2}\big]$$

$$=\mathbb{E}\Big[\mathbb{E}\big[(Y-Z_{\widehat{Y}})^{2}\mid\widehat{Y}\big]\Big]$$

$$=\mathbb{E}\Big[\mathbb{E}\big[(Y-\mathbb{E}[Y\mid\widehat{Y}])^{2}\mid\widehat{Y}\big]\Big]$$

$$=\mathbb{E}\big[\operatorname{Var}(Y\mid\widehat{Y})\big].$$

Далее вычислите $\mathbb{E}[\operatorname{Var}(Y\mid\widehat{Y})]$, обусловив двумя значениями $\widehat{Y}$. Поскольку $Y$ является Бернуллиевской в условии на $\widehat{Y}$, мы имеем

$$\operatorname{Var}(Y\mid\widehat{Y}=1)=PPV(1-PPV),\qquad\operatorname{Var}(Y\mid\widehat{Y}=0)=FOR(1-FOR).$$

Поэтому,

$$\mathbb{E}[\operatorname{Var}(Y\mid\widehat{Y})] =\Pr(\widehat{Y}=1)\operatorname{Var}(Y\mid\widehat{Y}=1)+\Pr(\widehat{Y}=0)\operatorname{Var}(Y\mid\widehat{Y}=0)$$

$$=\Pr(\widehat{Y}=1)\,PPV(1-PPV)+\Pr(\widehat{Y}=0)\,FOR(1-FOR).$$

Наконец, перепишите каждый термин, используя совместные вероятности ложноположительных и ложноотрицательных срабатываний. Обратите внимание на то, что

$$\Pr(\widehat{Y}=1,Y=0)=\Pr(\widehat{Y}=1)\Pr(Y=0\mid\widehat{Y}=1)=\Pr(\widehat{Y}=1)(1-PPV),$$

и

$$\Pr(\widehat{Y}=0,Y=1)=\Pr(\widehat{Y}=0)\Pr(Y=1\mid\widehat{Y}=0)=\Pr(\widehat{Y}=0)\,FOR.$$

Подстановка этих тождеств приводит

$$\mathbb{E}[\operatorname{Var}(Y\mid\widehat{Y})] =\Pr(\widehat{Y}=1)\,PPV(1-PPV)+\Pr(\widehat{Y}=0)\,FOR(1-FOR)$$

$$=\Pr(\widehat{Y}=1,Y=0)\,PPV+\Pr(\widehat{Y}=0,Y=1)\,(1-FOR).$$

Сочетание с $\mathrm{MSE}(Z_{\widehat{Y}})=\mathbb{E}[\operatorname{Var}(Y\mid\widehat{Y})]$ доказывает утверждение. ∎

Appendix B Подробный обзор экспериментальных результатов

Для проверки нашей теоретической модели мы проводим два набора экспериментов на четырех хорошо изученных наборах данных для оценки справедливости. Эти эксперименты показывают, что (1) тождество учета выполняется на конечных выборках, (2) повышение точности уменьшает общую несправедливость, а не увеличивает ее, и (3) существующие меры по обеспечению справедливости перераспределяют общую несправедливость между метриками, а не дают Парето-улучшения. Используемые нами наборы данных: COMPAS, Adult, German Credit и Bank Marketing. Для воспроизводимости мы используем версии набора данных, предоставленные пакетом AI Fairness 360 Bellamy et al. (2018), который включает стандартизированные шаги предобработки (например, one-hot encoding категориальных признаков и удаление строк с любыми значениями null) и формирование защищенных/незащищенных меток в соответствии с общепринятым в литературе подходом. Во всех случаях мы исключаем переменную группы интереса из признаков, рассматриваемых при обучении модели.

COMPAS. Набор данных COMPAS Angwin et al. (2016), первоначально собранный и опубликованный ProPublica, предоставляет данные об обвиняемых в округе Брауард, Флорида, за годы 2013–2014. Мы обозначаем двухлетний прогноз рецидивизма как наш целевой показатель, а расу (с $G=1$ для афроамериканцев и $G=0$ для кавказцев) — как нашу переменную группы. Дополнительные признаки включают демографические характеристики обвиняемых, такие как возраст, описание предъявленного обвинения, а также число и тяжесть предыдущих эпизодов, среди прочего.

Доход взрослых. Набор данных Adult Income Kohavi (1996) содержит данные индивидуального уровня из переписи населения США. Мы обозначаем доход, превышающий $50,000, как наш целевой показатель, а пол (с $G=1$ для женщин и $G=0$ для мужчин) — как переменную группы. Дополнительные признаки включают возраст, образование, профессию, вид работы и др..

Немецкий кредит. Набор данных German Credit Dheeru and Karra Taniskidou (2017) состоит из записей отдельных лиц, подающих заявки на кредиты. Мы задаем статус кредитного риска как наш выходной показатель и бинаризованный возраст (с $G=1$ для диапазона вне 25–60 лет и $G=0$ в остальных случаях) как нашу переменную группы. Дополнительные признаки включают возраст, уровень профессиональных навыков, жилищный статус, цель кредита и др..

Маркетинг в банковской сфере. Набор данных Bank Marketing Moro et al. (2014) состоит из записей португальского банка, связанные с маркетингом нового счета для клиентов. Мы обозначаем открытие счета как исход, представляющий интерес ($Y$), и возраст ($G=1$ для старше 25, $G=0$ в противном случае) как нашу переменную группы. Дополнительные признаки включают образование, семейное положение, существующие кредиты и работу, среди прочего.

B.1 Оценка объемов выборки

. Для оценки выборочных аналогов наших теоретических величин мы используем оцениватели по принципу подстановки. Для средних значений результата по группам $Y$ мы определяем:

$$\hat{\mu}_{g}=\frac{\sum_{i:G_{i}=g}Y_{i}}{|\{i:G_{i}=g\}|}$$ (26)

Для заданной модели $f(X)$ мы вычисляем прогнозируемые вероятности $\hat{p}_{i}$ и применяем изотоническую регрессию, чтобы обеспечить глобальную калибровку. Затем мы оцениваем условные ковариации как:

$$\hat{\delta}_{C}(z)=\frac{1}{n_{z}}\sum_{i:\hat{p}_{i}\in B_{z}}y_{i}g_{i}-\frac{1}{n_{z}^{2}}\left(\sum_{i:\hat{p}_{i}\in B_{z}}y_{i}\right)\left(\sum_{i:\hat{p}_{i}\in B_{z}}g_{i}\right)$$

где $B_{z}$ обозначает бункер предсказанных вероятностей, центрированный в $z$, а $n_{z}$ — число наблюдений в этом бункере. Мы используем 20 бункеров равной частоты для непрерывных предсказаний. Затем агрегированная несоответствующая калибровка равна $\hat{\delta}_{C}=\sum_{z}\frac{n_{z}}{n}\hat{\delta}_{C}(z)$.

Точно так же, для дисбаланса:

$$\hat{\delta}_{B}(y)=\frac{1}{n_{y}}\sum_{i:y_{i}=y}\hat{p}_{i}g_{i}-\frac{1}{n_{y}^{2}}\left(\sum_{i:y_{i}=y}\hat{p}_{i}\right)\left(\sum_{i:y_{i}=y}g_{i}\right)$$

Для бинарных исходов мы вычисляем это отдельно для $Y=0$ и $Y=1$ и агрегируем как $\hat{\delta}_{B}=P(Y=1)\hat{\delta}_{B}(1)+P(Y=0)\hat{\delta}_{B}(0)$.

B.2 Эксперимент 1: Достоверность при конечной выборке посредством абляции признаков

Цель. Наш первый эксперимент устанавливает, что бухгалтерское тождество, выведенное в Уравнении 7, приблизительно выполняется на конечных выборках, типичных для реальных прикладных задач. Мы используем исключение признаков, чтобы зафиксировать эффект повышения точности: мы изменяем число признаков от одного до всех и обучаем каждую модель с доступом к этим признакам.

Настройка. Мы обучаем четыре стандартных алгоритма классификации на каждом наборе данных: логистическую регрессию, деревья решений, случайные леса и градиентный бустинг. Для каждой модели мы обучаем новый экземпляр с учетом каждого дополнительного признака (где мы рассматриваем каждую one-hot закодированную переменную как новый признак). Для удобства расшифровки рисунков мы включаем модели, обученные на первых нескольких признаках, а затем на количествах признаков, кратных 10. Признаки добавляются в порядке, в котором они перечислены в наборе данных, за исключением того, что мы исключаем чувствительный признак. Все модели перенастраиваются с использованием изотонической регрессии, чтобы гарантировать, что сохраняется глобальная калибровка..

Результаты. Панель (1) на каждом из рисунков 1-4 показывает, для каждого соответствующего набора данных, модели и числа признаков, оцененную суммарную несправедливость $\hat{\delta}_{B}+\hat{\delta}_{C}$ относительно средней квадратической ошибки модели. Пунктирная черная линия показывает теоретическое предсказание из уравнения 7. Во всех четырех наборах данных и для всех типов моделей эмпирические значения практически точно следуют теоретическому предсказанию. В частности, по мере того как MSE уменьшается, суммарная несправедливость стремится к 0 на каждой диаграмме. Панель (2) на каждом из рисунков 1-4 показывает, как меняется структура несправедливости при увеличении числа признаков. Поскольку моделям разрешают использовать все большее число признаков, суммарная несправедливость уменьшается примерно монотонно, но относительные доли $\delta_{C}$ и $\delta_{B}$ сдвигаются, а также иногда меняют знаки, сдвигаются.

B.3 Эксперимент 2: Методы обеспечения справедливости перераспределяют несправедливость

Цель. Во втором эксперименте мы исследуем, как существующие методы обеспечения справедливости влияют на декомпозицию несправедливости. Мы оцениваем методы из популярных библиотек Weerts et al. (2023) и Bellamy et al. (2018). FairLearn началась как реализация Agarwal et al. (2018), и библиотека реализует описанные (среди прочего) методы для получения справедливых классификаторов посредством сведения к определенным задачам классификации с учетом чувствительных затрат. В частности, мы используем алгоритм с экспоненциальным градиентом для улучшения метрик справедливости. AI360 реализует и другие подходы, включая предварительную обработку и последующую обработку. Мы также реализуем прямой подход, включая штраф на $\delta_{B}$ в штрафной логистической регрессии.

Настройка. Для FairLearn мы сосредотачиваемся на методах на этапе обработки и используем экспоненциально-градиентный алгоритм для подбора справедливых классификаторов в отношении демографического паритета (FL-DP), равных возможностей (FL-EO), истинно-положительной скорости (FL-TPR), ложно-положительной скорости (FL-FPR) и паритета по уровню ошибок (FL-ERR). Для AIF360 мы используем подход с переназначением весов на этапе предварительной обработки (AI-Reweighing) и подходы на этапе постобработки, которые изменяют вероятности (AI-EqOdds, AI-CalEqOdds), или предоставляют благоприятное отношение к наблюдениям меньшинства с высокой неопределенностью (AI-reject opt).

Мы также реализуем штрафную логистическую регрессию, которая напрямую нацелена на $\delta_{B}$:

$$\arg\max_{\beta}\sum_{i}\left[y_{i}\ln(\hat{p}_{i})+(1-y_{i})\ln(1-\hat{p}_{i})\right]-\lambda\hat{\delta}_{B}(\beta),$$ (27)

и дополнительно

$$\arg\max_{\beta}\sum_{i}\left[y_{i}\ln(\hat{p}_{i})+(1-y_{i})\ln(1-\hat{p}_{i})\right]-\lambda\hat{\delta}_{B}(1,\beta),$$ (28)

оптимизировано с использованием библиотеки SciPy Virtanen et al. (2020) с квазиньютоновским (L-GBFS-B) методом.

Результаты. Панель (3) на рисунках 1-4 сравнивает результаты разложения несправедливости по различным методам обеспечения справедливости. Методы, которые успешно уменьшают одну метрику справедливости, как правило, увеличивают другую. Также они, как правило, снижают точность, что увеличивает общий бюджет несправедливости. Панель (4) каждого рисунка посвящена прямому подходу с логистической регрессией с прямым штрафом и показывает, как разложение изменяется при увеличении штрафа $\lambda$ по $\delta_{B}$. По мере увеличения $\lambda$ дисбаланс уменьшается, но растет несоответствие калибровки, и общий бюджет увеличивается, поскольку точность ухудшается. Рисунок 5 аналогичен панели (4) каждого рисунка, но с наложением штрафа только на $\delta_{B}(1)$, что соответствует фокусу на равенстве возможностей. Примечательно, что в некоторых наборах данных улучшение $\delta_{B}(1)$, по-видимому, улучшает $\delta_{B}(0)$ совместно, но в других (в частности, для COMPAS) улучшение $\delta_{B}(1)$ увеличивает $\delta_{B}(0)$ настолько, что меняется его знак.

⟦Figure 2: Взрослые эксперименты. (а) Проверка идентичности: $\delta_{B}+\delta_{C}$ vs MSE для четырех классификаторов с различающимися признаками. (б) Разложение по числу признаков для логистической регрессии. (в) Методы обеспечения справедливости из AIF360/FairLearn. (г) Регрессия с пенализацией с варьированием $\lambda$ на $\delta_{B}(1)$.

⟦Figure 3: . (a) Проверка идентичности: $\delta_{B}+\delta_{C}$ против MSE для четырех классификаторов с различающимися признаками. (b) Разложение по числу признаков для логистической регрессии. (c) Методы обеспечения справедливости из AIF360/FairLearn. (d) Регрессия с штрафами с варьированием $\lambda$ на $\delta_{B}(1)$.

⟦Figure 4: германские эксперименты. (a) Проверка идентичности: $\delta_{B}+\delta_{C}$ против MSE для четырех классификаторов с различными признаками. (b) Декомпозиция по числу признаков для логистической регрессии. (c) Методы обеспечения справедливости из AIF360/FairLearn. (d) Регрессия с пенализацией с изменением $\lambda$ на $\delta_{B}(1)$.

⟦Figure 5: Разложение несправедливости для подхода к регрессии с штрафами, где штраф наложен только на $\delta_{B}(1)$. Высота каждого столбца соответствует несправедливости, разделённой на $\delta_{C}$, $\delta_{B}(0)\omega(0)$ и $\delta_{B}(1)\omega(1)$, а положение каждого столбца соответствует другому выбору lambda. Знаки крестиков — это полная предсказанная несправедливость по уравнению 7.