Производительность Frontier AI в бизнес-дисциплинах: бенчмарк интеллектуальной работы и аналитического мышления на основе кейс-стади

При стандартной оценке все три передовые модели демонстрируют одинаково высокий уровень выполнения всего бенчмарка. Рис. 2A показывает Claude Sonnet 4.6 на уровне 88,4% (95% ДИ [87,1, 89,7]), GPT-5.4 на уровне 87,2% (95% ДИ [85,8, 88,7]) и Gemini 3 Flash Preview на уровне 81,6% (95% ДИ [80,0, 83,4]). Разброс между лучшим и худшим результатом составляет всего 6,8 процентных пункта, а доверительные интервалы для двух лидирующих моделей полностью перекрываются. Эти показатели свидетельствуют о том, что при независимом начислении баллов по критериям рубрикатора передовые модели уже охватывают большую часть того, что ожидается в решениях преподавателей для открытых бизнес-кейсов, охватывающих весь дисциплинарный канон..

Высокие баллы за частичное выполнение скрывают более строгую картину. Оценка «Полный ответ» требует выполнения каждого критерия рубрикатора по вопросу, и полное соответствие встречается гораздо реже. На рис. 2A более светлые наложенные столбцы показывают, что Claude Sonnet 4.6 достигает этого в 49,6% вопросов (95% ДИ [45,9, 53,8]), GPT-5.4 — в 47,6% (95% ДИ [43,9, 51,4]), а Gemini 3 Flash Preview — в 32,0% (95% ДИ [28,6, 35,6]). Даже ведущая модель оставляет более половины вопросов без полностью завершенного ответа по стандартам преподавателя. Разброс от верхнего до нижнего значения увеличивается до 17,6 процентных пункта, что примерно в 2,6 раза превышает разброс при стандартной оценке, поскольку ответ может получить высокий балл за частичное выполнение, при этом пропуская один или несколько обязательных элементов. Оценка «Полный ответ» в этом смысле намеренно является консервативной нижней границей оценки производительности. Любой пропущенный критерий приводит к невыполнению вопроса, даже если выполненная часть рубрикатора уже могла бы обеспечить высокую оценку за частичное выполнение, которую многие преподаватели могли бы счесть аналитически достаточной в субъективных вопросах открытого типа, где полное соответствие рубрикатору может быть неоправданно строгим ожиданием. Таким образом, высокие стандартные баллы описывают аналитически сильные черновики, которые охватывают большую часть ожидаемого анализа, а не результаты, соответствующие полному объему рубрикатора преподавателя без доработки..

Производительность на уровне дисциплин является структурированной, а не хаотичной. На рис. 2B шестнадцать дисциплин, содержащих не менее пяти вопросов, упорядочены по возрастанию среднего стандартного балла. В приложении SI, таблица S11, представлены соответствующие средние значения по моделям: стандартные баллы варьируются от 80,1% в маркетинге и продажах до 95,0% в сфере бизнеса и государственных отношений — разброс, превышающий разрыв между самими тремя моделями. При оценке по методу Complete Answer те же дисциплины разделяются более отчетливо: от 25,8% в управлении операциями и услугами до 82,5% в анализе решений. Все три передовые модели ранжируют дисциплины почти в одинаковом порядке, демонстрируя высокую конкордацию рангов ($W$ Кендалла = 0,79 при стандартной оценке и 0,89 при оценке Complete Answer (kendall_problem_1939)), что указывает на то, что сложность отражает структуру задач, специфичную для дисциплины, в большей степени, чем особенности обучения любого отдельного провайдера..

Вопросы из реальных кейсов оцениваются немного выше, чем вопросы из вымышленных кейсов по полному бенчмарку (86,5% против 84,6% при стандартной оценке, разрыв в 1,9 процентного пункта) — закономерность, объяснимая главным образом выбросом в дисциплине «Финансы», а не единообразным эффектом вымышленных и реальных данных. В шести из девяти дисциплин, где представлено достаточное количество вопросов обоих типов, вопросы из вымышленных кейсов оцениваются на уровне или выше вопросов из реальных кейсов, что согласуется с тем, что реальные нарративы привносят более длинные контексты, большую двусмысленность и посторонние детали, которые усложняют синтез и делают вопрос по кейсу более трудным. В финансах и бухгалтерском учете наблюдается обратная картина: вымышленные вопросы по финансам оцениваются на 15,0 процентных пунктов ниже, чем реальные финансовые вопросы (70,9% против 85,9%), а в бухгалтерском учете наблюдается меньший разрыв в 2,7 пункта в том же направлении, при этом финансы выделяются как единственный крупный отрицательный выброс в SI Appendix, Fig. SD5 Fictional-vs-real performance delta by discipline. Мы предполагаем, что вопросы из реальных кейсов в этих дисциплинах часто опираются на названия компаний, чьи финансовые профили могут фигурировать в публичной отчетности или финансовой прессе, что дает моделям преимущество за счет предварительного обучения, которого не обеспечивают вопросы из вымышленных кейсов, лишенные такой осведомленности. Таким образом, выброс в финансах, вероятно, отражает то, как предварительное обучение взаимодействует с формулировкой кейса, а не общее преимущество вымышленных материалов..

Характеристика того, что делает вопрос сложным, в значительной степени не поддается описанию с помощью грубых категориальных метаданных, таких как тип вопроса или дисциплина, и большая часть вариативности сложности лежит за пределами этих меток, в требованиях, специфичных для конкретного кейса или вопроса. SI Appendix, Fig. SD4 Scoring by question-type strata помещает среднюю производительность по шести стратам типов вопросов в узкий диапазон 82,3–87,2% при Standard оценке. Числовые вопросы имеют самый низкий балл (82,3%), а нечисловые — самый высокий (87,2%), субъективные и объективные вопросы различаются всего на 0,8 процентных пункта, а вопросы по вымышленным и реальным кейсам различаются на 1,9 пункта при объединении всех вопросов, хотя мы отмечали ранее, что для некоторых дисциплин этот разрыв больше. Оценка Complete Answer умеренно увеличивает эти разрывы по типам вопросов, но оставляет их небольшими по сравнению с разбросом по дисциплинам, который показывает Fig. 2. Регрессия среднего значения Standard оценки frontier на страты типов вопросов и категории дисциплин, с использованием кодирования эффектов, при котором дисциплины с менее чем пятью вопросами объединены в единую категорию Other, а стандартные ошибки кластеризованы по кейсам, подтверждает, что эти грубые метки объясняют лишь малую часть вариативности оценок. Теги типов вопросов сами по себе объясняют 2,6% вариативности оценок на уровне вопросов (adjusted $R^{2}$), дисциплина сама по себе — 3,6%, а обе вместе — 5,1%, и при кросс-валидации оба блока предсказывают отложенные кейсы сопоставимо. Каждый блок по-прежнему несет обнаруживаемую связь со сложностью. Добавление дисциплины после типа вопроса является совместно значимым ($p<0.001$), как и добавление типа вопроса после дисциплины ($p=0.007$). Как только дисциплина и другие страты учтены, оценки по вымышленным и реальным кейсам больше не различаются значимым образом, а числовые вопросы остаются умеренно более сложными ($-$5,9 пункта). Таким образом, большая часть различий между более сложными и более легкими вопросами заключается в требованиях, специфичных для кейса и вопроса, которые не улавливаются грубыми метаданными типа вопроса и дисциплины, такими как более длинные неоднозначные нарративы, многокомпонентная структура рубрик и более открытые консультативные или оценочные рассуждения. Декомпозиция дисперсии по $238$ исходным кейсам подтверждает эту интерпретацию. Вопросы из одного и того же кейса имеют умеренно коррелирующую сложность (внутриклассовая корреляция $0.22$), знание того, из какого кейса взят вопрос, предсказывает его оценку гораздо лучше, чем грубые метки метаданных (adjusted $R^{2}=0.22$ против $0.05$), и почти половина вариативности оценок приходится на вопросы внутри одного и того же кейса. Полная статистика вложенных моделей, adjusted $R^{2}$, сравнения с кросс-валидацией и декомпозиция на уровне кейсов представлены в SI Appendix, Section D5 Fictional-vs-real performance delta by discipline.

Лишь немногие вопросы из бенчмарков оказываются не под силу каждой из оцениваемых моделей. В Приложении SI, Таблица S15 сообщается, что только 43 из 615 вопросов (7,0%) имеют максимальный стандартный балл на уровне или ниже 70% для GPT-5.4, Claude Sonnet 4.6 и Gemini 3 Flash Preview, и что только 521 из 8369 случаев применения критериев рубрикатора (6,2%) не получают зачет ни от одной из трех моделей. Межмодельный оракул, который для каждого вопроса выбирает лучший балл среди трех передовых моделей, достигает 92,8%, что на 4,5 процентных пункта выше показателя ведущей отдельной модели. Таким образом, то, что упускает одна модель в конкретном вопросе, часто фиксируется другой, поэтому остаточная ошибка чаще отражает неполное соответствие многокомпонентным рубрикаторам, чем абсолютные пределы возможностей; в Приложении SI, Раздел D6 Score variation by question type, discipline, and case задокументирована лежащая в основе модель взаимодополняемости..

Рис. 3 сопоставляет вопросы бенчмарка с промежуточными рабочими задачами O*NET, связывая академические дисциплины с профессиональной деятельностью и профессиями для оценки предполагаемого влияния ИИ, которое прогнозирует BusinessCaseBench. Среди 29 промежуточных рабочих задач (IWA), содержащих не менее трех вопросов бенчмарка, средние стандартизированные баллы варьируются от 70,9% по направлению «Выявление бизнес-возможностей или организационных возможностей» до предельных показателей в задачах с ограниченным объяснительным и математическим анализом. Наиболее сложные задачи сочетают в себе формулирование рекомендаций открытого типа с количественным или оценочным обоснованием на основе конкретных кейсов, тогда как задачи по интерпретации данных с четко определенными границами и оценке эффективности приближаются к насыщению. Поскольку таксономия рабочих задач O*NET включает перекрывающиеся и частично избыточные категории на разных уровнях детализации (onet_limitations), мы рассматриваем эти сопоставления как ориентировочные, а не окончательные. Предполагаемое влияние ИИ на профессии, представленное в приложении SI, рис. SImplied AI impact on O*NET occupations, следует рассматривать вместе с диапазонами охвата на этом рисунке, которые показывают, насколько полно в бенчмарке представлены соответствующие рабочие задачи для каждой профессии..

BusinessCaseBench был создан на основе лицензированных PDF-файлов бизнес-кейсов и соответствующих им PDF-файлов с решениями для преподавателей, распространяемых издателями в рамках соглашений об ограниченном использовании; см. Приложение SI, раздел E2 Scope of coverage, где приведен список опубликованных и скрытых артефактов. Все использование LLM при работе с этими материалами проводилось в соответствии с политикой нулевого хранения данных (ZDR). Каждый оцениваемый экземпляр связывает описание кейса с вопросом в стиле экзамена, эталонным решением, взятым непосредственно из решения кейса для преподавателя, равновесной контрольной рубрикой, метаданными типа вопроса и тегами рабочей деятельности O*NET. Схема набора данных описана в Приложении SI, раздел A Benchmark construction, а композиционная структура вопросов BusinessCaseBench представлена в Приложении SI, раздел A1 Final dataset schema⟧.

Все PDF-файлы были преобразованы в линеаризованный markdown с использованием OCR из инструментария olmOCR (poznanski_olmocr_2025), при этом модель vision-language allenai/olmOCR-2-7B-1025-FP8, обслуживаемая через vLLM (kwon_efficient_2023), применялась пакетно ко всему корпусу с последующим этапом очистки полученного текста с помощью LLM. Мы провели аудит дословного присутствия этих материалов в крупных корпусах для предварительного обучения, собранных методом веб-краулинга, с использованием InfiniGram (Liu2024InfiniGram) и не обнаружили признаков загрязнения в широко используемых наборах данных. В Приложении SI, Раздел E Validity, limitations, and reproducibility представлены протокол аудита и результаты для C4 (raffel2020exploring), The Pile (pile), RedPajama (together2023redpajama), Dolma (soldaini-etal-2024-dolma) и DCLM (li2025datacomplmsearchgenerationtraining). Перед составлением вопросов каждый кейс был независимо помечен как описывающий вымышленную организацию или конкретную реальную целевую организацию..

Вопросы и эталонные решения были извлечены исключительно из материалов, явно представленных в решении кейса для преподавателя, а не выведены из описания кейса; любые примеры, для которых в решении кейса для преподавателя отсутствовало явное эталонное решение, были исключены. Отобранные примеры были стандартизированы посредством проходов переписывания через LLM в самодостаточные экзаменационные вопросы, а автоматизированный контроль качества отсеивал любую выборку, не прошедшую базовые проверки на соответствие тройки «вопрос — эталонное решение». Мы дополнительно аннотировали каждый пример по признакам численного и нечисленного содержания, субъективной и объективной формулировки, бизнес-дисциплины и таксономии O*NET. Несмотря на то что конвейер создания опирался на помощь LLM от этапа извлечения вопросов до аннотирования метаданных (google/gemini-2.5-pro и google/gemini-2.5-flash, (comanici_gemini_2025)), каждый сохраненный вопрос, метаданные и эталонное решение прошли ручную проверку и контроль качества перед включением..

Для каждого примера на основе экзаменационного вопроса и эталонного решения из методического пособия преподавателя была составлена равновесная контрольная рубрика в соответствии с установленными передовыми методами автоматизированной оценки с использованием рубрик (min_factscore_2023; lin_wildbench_2024; wei_rocketeval_2025), при этом за каждый критерий начислялись бинарные баллы, а каждый критерий имел равный вес при распределении частичных баллов. Каждый вопрос был дополнительно соотнесен с метками O*NET Work Activity (WA), Intermediate Work Activity (IWA) и Detailed Work Activity (DWA), а количество по уровням приведено в Приложении SI, раздел A1 Final dataset schema. Рабочие процессы создания и оценки были организованы с помощью DataDreamer (patel_datadreamer_2024) для обеспечения воспроизводимости конвейеров LLM. Код конвейера оценки опубликован вместе со статьей (см. раздел Доступность данных).

Первичный кросс-модельный анализ сравнивает три передовые модели искусственного интеллекта: OpenAI GPT-5.4 (singh_openai_2026), Anthropic Claude Sonnet 4.6 (anthropic_system_2025) и Google Gemini 3 Flash Preview (deepmind_gemini_2025). В приложении SI, раздел 6, перечислены идентификаторы API и настройки выборки для каждой из них. Чтобы отследить развитие возможностей внутри одного семейства моделей, мы дополнительно оценили четыре последовательных релиза OpenAI, охватывающих примерно два года, от GPT-4 Turbo до GPT-4.1, GPT-5 и GPT-5.4 (openai_gpt-4_2024; singh_openai_2026), на одном и том же фиксированном наборе вопросов..

Каждая модель-решатель получала полное описание кейса и текст вопроса в стиле экзамена за один проход, без доступа к инструментам, расширенному поиску или уточнениям в несколько этапов; шаблон промпта для вывода, настройки провайдера и лимиты токенов приведены в Приложении SI, Раздел 6. Оценивание проводилось независимо от генерации с помощью фиксированной LLM-as-judge (zheng_judging_2023), которая оставалась неизменной для всех моделей-решателей. Мы используем меньшую, более быструю и эффективную модель Gemini 2.5 Flash (google/gemini-2.5-flash) (comanici_gemini_2025) для задачи оценивания, что является стандартом в конфигурациях LLM-as-judge. Судья оценивает каждое предложенное решение по критериям, присуждая бинарные баллы (0 или 1 балл) в соответствии с чек-листом и эталонным решением, следуя протоколу из Приложения SI, Раздел B2 Inference prompt template. Все семь моделей оценивались по одним и тем же 615 вопросам, при этом менялась только модель-решатель. Чтобы оценить, меняет ли выбор модели-судьи LLM сравнительные выводы, мы повторно оценили ответы от Claude Sonnet 4.6, GPT-5.4 и Gemini 3 Flash Preview с помощью трех соответствующих по семейству малых моделей-судей (Gemini 2.5 Flash, Claude Haiku 4.5 и GPT-5-mini) по всем $n=615$ вопросам. Мы измерили согласованность двумя взаимодополняющими способами. Ранговая конкордация использовала коэффициент конкордации Кендалла ($W$) и попарный коэффициент Кендалла $\tau$ для средних баллов по трем решателям. Конкордация относительных оценок использовала попарные корреляции Пирсона для оценок каждого судьи по тем же решателям, фиксируя, согласны ли судьи в том, насколько далеко модели отстоят друг от друга, оставаясь при этом инвариантными к абсолютному уровню баллов. Все три судьи выдали одинаковый общий рейтинг ($W=1.0$; все попарные $\tau=1.0$), и относительные различия в баллах также совпали почти полностью (попарные $r\in[0.999,1.000]$). На уровне отдельных вопросов согласованность была лишь умеренной (среднее попарное $\tau\approx 0.56$; среднее попарное $r\approx 0.61$; идентичный рейтинг в 35% вопросов), как и ожидалось из-за шума на уровне элементов, однако эти разногласия не изменили общий ранговый порядок. Таким образом, мы делаем вывод, что выбор модели-судьи LLM существенно не меняет сравнительные выводы в BusinessCaseBench.

Для проверки автоматизированных рубрик и оценок по сравнению с экспертными суждениями о качестве ответов три аннотатора с опытом оценивания в бизнес-школах (аннотаторы A, B и C) выполнили протокол слепой оценки на стратифицированной случайной выборке. Процедуры набора и обучения описаны в SI Appendix, раздел C1 Interface and protocol. Рабочий процесс был реализован в специализированном веб-интерфейсе, показанном в SI Appendix, рис. SC1 Interface and protocol, с поэтапным раскрытием данных, что гарантировало, что человеческие рубрики и оценки не были сформированы под влиянием автоматизированных результатов; полный протокол см. в SI Appendix, раздел C Human annotation and blinded validation..

Для каждого назначенного вопроса аннотаторы сначала оценивали, являются ли промпт экзаменационного типа и эталонное решение пригодными для использования и корректно сформированными, чтобы в дальнейшем независимо подтвердить качество извлеченных вопросов и решений из PDF-файлов кейсов. Затем аннотаторы независимо составляли собственную контрольную рубрику и оценивали попытку решения, сгенерированную моделью, до ознакомления с автоматизированной рубрикой или оценкой. На последующих этапах аннотаторов просили оценить автоматизированную рубрику и выставление оценок, а также сравнить оба уровня непосредственно со своими собственными..

Оценка ответов на открытые кейсы неизбежно носит отчасти субъективный характер, поскольку разные преподаватели и проверяющие могут расходиться во мнениях относительно критериев приемлемости и порогов частичного начисления баллов. В данном слепом протоколе аннотаторы составляли независимые рубрики и зачастую присваивали разные баллы за частичное выполнение одним и тем же ответам модели. Учитывая, что эксперты-люди не приходят к единой оценке, мы не ожидаем, что автоматизированные оценки будут в точности совпадать с какой-либо одной оценкой человека. Статистика валидации приводится по десяти заданиям, в которых все три аннотатора оценивали один и тот же кейс, вопрос и ответ модели. Результаты подтверждают, что автоматически сгенерированные рубрики и процедура LLM-as-judge направленно согласуются с экспертным суждением и подходят для измерения относительного прогресса между моделями, дисциплинами и во времени: автоматизированные Standard оценки коррелировали с оценками частичного начисления баллов людьми на уровне Spearman $\rho=0.54$; аннотаторы оценили 100% автоматически сгенерированных рубрик как приемлемые или преимущественно приемлемые, а 96% Standard оценок LLM-as-judge — как приемлемые или преимущественно приемлемые; в 74% заданий они предпочли автоматизированную оценку или сочли её эквивалентной своей собственной. Дополнительные подробности и статистика согласованности приведены в SI Appendix, Section C2 Annotator recruitment and training.

Мы представляем две основные метрики результатов, формализованные следующим образом. Пусть модель $m$ отвечает на вопрос $j$, который имеет $k_{j}$ равнозначных критериев оценки, и пусть $c_{mji}\in\{0,1\}$ обозначает, удовлетворен ли критерий $i$ при оценивании с помощью LLM-as-judge. Стандартная оценка для каждого вопроса — это

нормализованное значение в $[0,1]$ (представленное в виде процентного показателя в рисунках). Стандартный балл на уровне модели представляет собой невзвешенное среднее по вопросам бенчмарка $N=615$,

Оценка полного ответа отмечает, выполнен ли каждый критерий в вопросе. Определите индикатор

и оценку Полного ответа как его среднее значение по вопросам,

Те же определения применяются при расчете средних значений по подмножеству вопросов в рамках дисциплины, страт типов вопросов или для каждого IWA. Мы приводим полные таблицы лидеров и декомпозицию результатов в Приложении SI, раздел C3 Rubric and grading validation and agreement results. Неопределенность, если она указана, количественно оценивается с помощью непараметрической бутстреп-ресемплинг выборки по вопросам, извлекая $B=500$ повторных выборок с возвращением для каждой метрики и указывая 95% доверительные интервалы на основе перцентилей..

Каждый оцениваемый элемент представляет собой одну запись в формате JSON: метаданные кейса, полный текст кейса и решение кейса от преподавателя, отдельный вопрос экзаменационного типа, решение, полученное на основе решения кейса от преподавателя, контрольный список grading_rubric, флаги типа вопроса и теги рабочей деятельности O*NET. Приведенная ниже иллюстративная запись является репрезентативным примером формата; проприетарные текстовые поля обозначены многоточием.

{
  "case_name": "ILLUSTRATIVE-001",
  "case_title": "Acme Corp: European Expansion",
  "case_summary": "In late 2023, Acme Corp---a $480M U.S. manufacturer---weighed entering the European market...",
  "case_clean_text": "...",
  "instructor_case_solution_clean_text": "...",
  "question": "Provide an analysis of Acme Corp’s strategic position and make a recommendation on...",
  "solution": "An analysis should size the European TAM at roughly 11B EUR and note that three incumbents...",
  "task_description": "Evaluate a business’s market entry and channel development strategy.",
  "numerical": false,
  "subjective": true,
  "grading_rubric": [
    "Answer identifies European market size (TAM) correctly.",
    "Answer cites competitive threat from incumbent concentration.",
    "Answer computes or discusses break-even economics for entry.",
    "Answer notes regulatory or CE-mark compliance risk.",
    "Answer states a clear enter-or-defer recommendation for 2024.",
    "..."
  ],
  "discipline": "Strategy",
  "work_activity": "Making Decisions and Solving Problems",
  "work_activity_id": "4.A.2.b.1",
  "intermediate_work_activity": "Advise others on business or operational matters.",
  "intermediate_work_activity_id": "4.A.4.b.6.I05",
  "detailed_work_activity": "Measure effectiveness of business strategies or practices.",
  "detailed_work_activity_id": "4.A.2.a.1.I02.D03"
}

В следующих таблицах обобщен состав бенчмарка, использованного в нашем анализе. В них представлен общий охват и распределение вопросов в наборе данных по стратам, дисциплинам и таксономии рабочих задач O*NET, что обеспечивает компактное представление о распределении вопросов в бенчмарке..

В следующей таблице перечислены все оцененные модели: провайдер, идентификатор API, приблизительная дата выпуска и роль при инференсе. Для запросов к LLM мы используем temperature 0; там, где API это поддерживает, мы включаем провайдерское reasoning (приблизительно средние усилия, исключено из оцениваемого ответа). Каждое завершение от решателя ограничено 10 000 токенов для reasoning и итогового ответа в совокупности..

Каждая модель-решатель получает полный текст кейса и вопрос бенчмарка в рамках промпта с одним циклом взаимодействия.:

You are given a business case and a question about the case. You must output
an answer that thoroughly addresses the question and instructions, with full
reasoning and justification for your answer.

The Question:
’’’
{question}
’’’

The Case:
’’’
{case_clean_text}
’’’

Фиксированная модель-судья (google/gemini-2.5-flash) оценивает каждый предложенный ответ при температуре 0 (рассуждения провайдера отключены) с тем же ограничением на завершение в 10 000 токенов. Судья присваивает 0 или 1 балл за каждый критерий рубрикатора и возвращает итоговую оценку в скобках << и >>.:

You are an experienced judge of LLM-generated answers. You are given an
LLM-generated answer to a question about a business case and a grading rubric
for the model’s answer to that question.

Remember that business cases sometimes involve subjective questions meant to
test critical-thinking and reasoning skills that have no objective correct
answers. Other times, there are objective questions that have a single
correct answer.

You will be provided a rubric of criteria items to grade the LLM-generated
answer against along with an example of a gold standard answer or description
of an answer to the question taken from the instructor case solution for this
business case.

**Your task:** Reason through each rubric criterion and grade the LLM-generated
answer against it. Each criterion is worth 1 point; assign 0 or 1 point per
criterion.

**Output:** Write out your reasoning for each criterion, then return your
final total score for the LLM-generated answer between << and >> brackets.

Question:
’’’
{question}
’’’

The LLM-Generated Answer:
’’’
{model_answer}
’’’

The Grading Rubric:
’’’
{grading_rubric_list}
’’’

Gold Standard Answer:
’’’
{solution}
’’’

Case Summary:
’’’
{case_summary}
’’’

Аннотаторы выполняют рабочий процесс из семи этапов по проверке рубрик и оценок в веб-интерфейсе (SI Appendix, Fig. SC1 Interface and protocol). Поэтапное раскрытие информации предотвращает предвзятость или влияние автоматических выводов модели на созданные человеком рубрики и оценки. На протяжении всего процесса аннотаторы могут ознакомиться с PDF-файлом кейса, PDF-файлом решения кейса от преподавателя, вопросом и эталонным решением, написанным экспертом; предлагаемый ответ и автоматические оценки раскрываются только при необходимости и после того, как аннотатор создал свою собственную рубрику и оценил по ней предлагаемое решение..

1. ⟦1. Оцените вопрос и решение. Определите, являются ли вопрос бенчмарка и эталонное решение инструктора пригодными для использования и корректно сформулированными (отсутствие попытки ответа; отсутствие автоматизированной рубрики или оценки). Варианты: да / нет по вопросу; да / нет по решению; краткое обоснование по желанию (досрочный выход, если выбран вариант нет)).
2. ⟦2. Составьте независимую рубрику. Разработайте контрольный список критериев оценки (без попытки дать ответ; без автоматизированной рубрики или балльной системы). Варианты: строки критериев в свободной форме (минимум три)).
3. ⟦3. Оцените предложенный ответ. Ответ модели представлен впервые; отметьте, каким критериям человеческой рубрики он соответствует (автоматизированная рубрика или оценка пока отсутствуют). Варианты: выполнено / не выполнено по каждому критерию (рассчитанная оценка человеческого оценивания).
4. ⟦4. Оцените автоматизированную рубрику. Представлен контрольный список рубрики конвейера. Варианты: приемлемо / преимущественно приемлемо / неприемлемо; необязательное обоснование.
5. ⟦5. Оцените автоматизированную проверку. Представлены оценка и обоснование LLM-as-judge. Варианты: приемлемо / преимущественно приемлемо / неприемлемо; необязательное обоснование.
6. ⟦6. Сравнение рубрик. Сопоставление контрольных списков, составленных человеком и автоматизированной системой. Варианты: A сильное соответствие / B расхождение при обоснованности / C расхождение при необоснованности; опциональное обоснование.
7. ⟦7. Сравнение оценок. Сопоставление оценок, выставленных человеком и автоматизированной системой. Варианты: A предпочтение автоматизированной оценке / B эквивалентно / C предпочтение оценке человеком; необязательное обоснование.

Интерфейс ручной разметки, используемый для слепой валидации.

Три аннотатора, прошедшие подготовку по оценке бизнес-кейсов, выполнили валидационный слой (обозначены как аннотаторы A, B и C). Перед выставлением оценок по реальным примерам каждый из них ознакомился с инструкциями по интерфейсу и выполнил практическое задание, охватывающее все семь этапов. Примеры задач были отобраны из стратифицированной случайной выборки бенчмарка. Анализ согласованности, приведенный ниже, сосредоточен на десяти заданиях по аннотированию, в которых все три аннотатора оценивали одни и те же кейсы, вопросы бенчмарка и ответы, сгенерированные LLM..

Приложение SI, таблица S8 суммирует метрики валидации по семи этапам протокола. Центральный вопрос заключается в том, является ли автоматически сгенерированная рубрика, оцениваемая последовательно фиксированным LLM судьей, направленно согласованной с экспертной оценкой и получает ли она одобрение приемлемости от экспертов-оценщиков, которые независимо разработали свои собственные рубрики и оценки..

На этапе 1 все три аннотатора оценили каждый вопрос и эталонное решение как пригодные к использованию и корректно составленные (100% ответов «да» по обоим критериям; 100% согласованность). На этапе 2 аннотаторы составили независимые рубрики по каждому вопросу (в среднем 10,7 критериальных пунктов; средняя попарная разница составила 3,6 критериальных пункта). Различия в объеме рубрик у разных аннотаторов ожидаемы, поскольку оценивание кейсов с открытым ответом является в некоторой степени субъективным, даже когда проверяющие работают с одними и теми же материалами кейса и эталонными решениями..

На этапе 3 баллы за частичное выполнение, выставленные человеком, коррелируют с автоматизированными стандартными баллами на уровне Spearman $\rho=0.54$. В 40% заданий по аннотированию оценки, выставленные человеком и автоматизированной системой, различались не более чем на десять процентных пунктов, по сравнению с 46,7% пар оценок между аннотаторами, которые попадали в тот же диапазон в десять процентных пунктов. Таким образом, согласованность автоматизированных и человеческих оценок близка к уровню согласованности, наблюдаемому между независимыми экспертами-людьми. Автоматизированный судья в среднем на 6,4 процентного пункта более снисходителен. Согласованность часто оказывается высокой по простым пунктам и снижается, когда аннотаторы составляют рубрики разной степени детализации или применяют разные пороги частичного начисления баллов к одному и тому же ответу..

После просмотра автоматизированных результатов аннотаторы оценили автоматически сгенерированную рубрику как приемлемую или преимущественно приемлемую в 100% завершенных суждений на этапе 4 и оценили стандартную оценку LLM-as-judge как приемлемую или преимущественно приемлемую в 96% суждений на этапе 5. Единственное неприемлемое оценочное суждение произошло в случае, где человеческие оценки варьировались от 0% до 100% среди аннотаторов с разными рубриками, что указывает на значительные разногласия между аннотаторами. На этапе 6 96% сравнений рубрик были классифицированы как сильно согласованные или расходящиеся, но все еще валидные (A или B), и одно сравнение было оценено как невалидное (C). На этапе 7 74% сравнений оценок отдали предпочтение автоматизированной стандартной оценке или признали две оценки эквивалентными (A или B).

Эти результаты не устанавливают точного соответствия между автоматизированными и экспертными оценками, и их не следует интерпретировать таким образом, учитывая субъективность, прослеживаемую на этапах 2–3 и 7. Они подтверждают более узкое утверждение, достаточное для использования в качестве бенчмарка: отобранные вопросы и эталонные решения, подготовленные преподавателями, прошли проверку качества экспертами; эксперты-оценщики одобрили автоматически сгенерированную рубрику и оценки LLM-as-judge Standard после независимой работы; а автоматизированные оценки Standard коррелируют с экспертными оценками частичного кредита в том же направлении (Spearman $\rho=0.54$). Доказательства валидации указывают на то, что процедура автоматического оценивания направленно согласуется с экспертным суждением и подходит для отслеживания относительного прогресса между моделями, дисциплинами и поколениями моделей..

В таблицах ниже представлены совокупные показатели эффективности по всем 615 вопросам при стандартной системе оценки и системе оценки полного ответа, с 95% доверительными интервалами, полученными методом бутстрепа ($B=500$ повторных выборок).

Данная матрица содержит средние стандартные баллы для каждой оцениваемой модели в рамках каждой из восемнадцати бизнес-дисциплин, демонстрируя, где возможности являются единообразными, а где модели демонстрируют расхождения..

На рисунке отслеживаются четыре модели OpenAI по двенадцати дисциплинам, содержащим не менее пятнадцати вопросов, в рамках обоих режимов оценки, чтобы показать, как прирост производительности между поколениями варьируется в зависимости от дисциплины..

Траектории семейства моделей OpenAI на уровне дисциплин (двенадцать дисциплин с $n\geq 15$ вопросами). А) Стандартная оценка по моделям; линии выделяют три наибольших и три наименьших прироста на уровне дисциплин от GPT-4 Turbo до GPT-5.4. B) Оценки по методу Complete Answer по моделям для тех же дисциплин. Каждая отслеживаемая дисциплина показывает улучшение по обоим метрикам, однако величины прироста и конечные уровни различаются..

Мы представляем средние показатели производительности передовых моделей (при оценке по стандартным и полным ответам) по различным стратам типов вопросов, включая вопросы, основанные на вымышленных и реальных кейсах, численные и нечисленные вопросы, а также субъективные и объективные вопросы..

Производительность по типам кейсов и типам вопросов при стандартной оценке и оценке по полному ответу. Группированные столбцы показывают средние баллы с 95% доверительными интервалами методом бутстрепа для вымышленных и реальных кейсов, числовых и нечисловых вопросов, а также субъективных и объективных вопросов, при этом каждый вопрос усреднен по GPT-5.4, Claude Sonnet 4.6 и Gemini 3 Flash Preview. При стандартной оценке все шесть страт попадают в узкий диапазон; баллы при оценке по полному ответу несколько увеличивают эти разрывы, но они остаются небольшими по сравнению с межпредметной вариативностью, задокументированной на рис. 2⟧.

На рисунке для каждой дисциплины, по которой имеется достаточное количество вопросов в обеих группах, отображена разница между средним пороговым баллом по вымышленным кейсам и средним баллом по реальным кейсам, что выделяет дисциплину «Финансы» как значимый выброс, о чем говорится в основном тексте..

Разрыв внутри дисциплины между вымышленными и реальными вопросами кейсов при стандартной оценке. Для каждой дисциплины с достаточным количеством вопросов в обеих группах ($n_{\mathrm{fictional}}\geq 5$ и $n_{\mathrm{real}}\geq 5$) столбцы показывают средний стандартный балл по вопросам вымышленных кейсов минус средний стандартный балл по вопросам реальных кейсов, усредненный по GPT-5.4, Claude Sonnet 4.6 и Gemini 3 Flash Preview. Положительные значения указывают на более высокие баллы по вымышленным кейсам; финансы являются выраженным отрицательным выбросом (баллы по вымышленным кейсам значительно ниже реальных), в то время как большинство других дисциплин демонстрируют небольшое преимущество вымышленных кейсов или почти полное равенство..

В дополнение к описательным стратам и сравнениям дисциплин в основном тексте мы подбираем описательные модели метода наименьших квадратов, прогнозирующие средний пограничный Standard score каждого вопроса (среднее значение для GPT-5.4, Claude Sonnet 4.6 и Gemini 3 Flash Preview). Оценки находятся в диапазоне от 0 до 1, поэтому коэффициенты можно интерпретировать как разницу в процентных пунктах среднего балла. Независимыми переменными являются бинарные индикаторы для численных, субъективных и вымышленных кейсовых вопросов, а также фиксированные эффекты дисциплин, закодированные с использованием контрастов с суммой, равной нулю. При таком кодировании коэффициенты дисциплин представляют собой отклонения от скорректированного среднего эффекта дисциплины. Дисциплины, представленные менее чем пятью вопросами (Социальное предпринимательство, $n=1$; Управленческие коммуникации, $n=4$), перед подгонкой объединяются в единую категорию «Прочее»: столь разреженные ячейки создают наблюдения с высоким влиянием, чьи робастные стандартные ошибки ненадежны, поэтому объединенный термин «Прочее» включен только в качестве контрольного, а его коэффициент не интерпретируется. Поскольку несколько вопросов из одного и того же кейса могут иметь общую неявную сложность, при выводе используются стандартные ошибки, кластеризованные по кейсам (238 кластеров; $N=615$).

В приложении SI, таблица S12 содержит данные о вложенных моделях. Если рассматривать их буквально, то одни лишь теги типов вопросов объясняют 3,1% вариативности оценок на уровне вопросов, дисциплина объясняет 6,1%, а вместе они объясняют 8,0%. На основе скорректированного $R^{2}$ теги типов вопросов объясняют 2,6%, дисциплина — 3,6%, а вместе — 5,1%. Каждый из этих факторов дополняет информацию другого. Добавление дисциплины после тегов типов вопросов повышает скорректированный $R^{2}$ на 0,025 (кластеризованный тест Вальда $F(16,237)=3.11$, $p<0.001$), а добавление тегов типов вопросов после дисциплины повышает его на 0,015 ($F(3,237)=4.16$, $p=0.007$). Дисциплина сохраняет небольшое преимущество по скорректированному $R^{2}$ (3,6% против 2,6%), однако оба набора меток оставляют большую часть различий между сложными и простыми вопросами на долю специфических требований конкретных кейсов и вопросов, которые грубые метаданные не охватывают. В качестве более строгой проверки мы проанализировали, насколько хорошо каждый набор меток предсказывает оценки, на которых он не был обучен, используя кросс-валидацию ($10$-кратная, $50$ повторений). Когда целые кейсы исключаются из выборки, так что модель должна предсказывать оценки для кейсов, которые она никогда не видела, теги типов вопросов предсказывают немного лучше, чем дисциплина (среднее значение вне выборки $R^{2}$ около $0.010$ против $-0.004$, где отрицательное значение означает, что предсказания не лучше, чем угадывание общего среднего балла). Дисциплина по сути является свойством кейса, распределенным по множеству мелких категорий, поэтому то, что она объясняет в рамках данной выборки, не переносится на новые кейсы. Таким образом, мы интерпретируем дисциплину и тип вопроса как факторы, каждый из которых имеет обнаружимую, но слабую связь со сложностью, а не как доказательство того, что дисциплина является более сильным предиктором в целом..

В приложении SI, таблица S13 содержит коэффициенты совместной модели. В этой спецификации числовые вопросы оцениваются ниже, чем нечисловые, в то время как субъективная против объективной и вымышленная против реальной формулировки не отличаются от нуля, как только включены другие предикторы. Относительно общего среднего показателя по дисциплине, «Бизнес и государственные отношения» и «Стратегия» имеют более высокие баллы, а «Управление операциями и услугами» — более низкие при $p<0.05$; «Анализ решений» незначительно выше ($p=0.051$), тогда как «Финансы» не отличаются от нуля ($p=0.117$). Эти описательные декомпозиции показывают, что грубые метаданные оставляют большую часть вариативности оценок на уровне вопросов необъясненной. Анализ на уровне кейсов ниже задает вопрос о том, какая часть этого остатка является общей внутри кейсов.

Чтобы проверить, связана ли сложность, не объясненная общими метаданными, с лежащим в основе кейсом, мы сравниваем, насколько сильно варьируются баллы между исходными кейсами $238$ и между вопросами внутри одного и того же кейса. Вопросы, взятые из одного кейса, имеют умеренно коррелирующую сложность (внутриклассовая корреляция $0.22$), а средние баллы различаются между кейсами сильнее, чем это могло бы произойти случайно ($F(237,377)=1.72$, $p<0.001$). Знание того, из какого кейса взят вопрос, также предсказывает его балл гораздо лучше, чем общие метки метаданных (скорректированный $R^{2}=0.22$ против $0.05$ для тегов типа вопроса и дисциплины в совокупности, Приложение SI, Таблица S14). Учет принадлежности к кейсу в дополнение к модели метаданных повышает скорректированный $R^{2}$ с $0.05$ до $0.24$, а эффекты кейса остаются совместно значимыми после блока метаданных ($F(236,359)=1.64$, $p<0.001$), поэтому сигнал на уровне кейса — это не просто переформулированные метки метаданных. Тем не менее, почти половина вариации баллов приходится на вопросы внутри одного и того же кейса, а теги типа вопроса объясняют лишь около $1\%$ этой оставшейся вариации. Таким образом, сложность отчасти является свойством кейса, что обосновывает использование стандартных ошибок, кластеризованных по кейсам, приведенных выше, но она в значительной степени остается свойством отдельного вопроса..

Поскольку кейсы содержат неравное количество вопросов (60 из 238 кейсов содержат только один вопрос, в то время как остальные — от двух до десяти), мы пересчитываем ICC кейсов и подгонку фиксированных эффектов кейсов после последовательного исключения кейсов, размер которых ниже каждого порогового значения. Ограничение выборки 178 кейсами, содержащими не менее двух вопросов, дает ICC $=0.211$ и скорректированный $R^{2}=0.211$ ($N=555$). Повышение порога до трех, четырех или пяти вопросов на кейс оставляет ICC в узком диапазоне 0,20–0,23, а скорректированный $R^{2}$ — в диапазоне 0,20–0,22. Таким образом, ассоциация на уровне кейсов не является артефактом одиночных кейсов или неравномерного распределения размеров кластеров..

В таблице обобщено, насколько возрастает производительность при выборе лучшего результата среди трио передовых моделей для каждого вопроса (потолок оракула), а также как часто все три модели одновременно не справляются с одними и теми же вопросами или критериями оценки для определения «универсальной сложности» ⟦BROKEN_K0⟧”.

Данные дополнительные анализы расширяют результаты IWA из основного текста (рис. 3) как на профессии O*NET, так и на более детализированную таксономию Detailed Work Activity (DWA).

Мы проводим аудит дословного присутствия материалов оценки с использованием InfiniGram (Liu2024InfiniGram), который поддерживает эффективный поиск подстрок по крупным, широко используемым корпусам данных, полученным путем веб-краулинга (C4 (raffel2020exploring), The Pile (pile), RedPajama (together2023redpajama), Dolma (soldaini-etal-2024-dolma) и DCLM (li2025datacomplmsearchgenerationtraining)). Для каждого кейса и его решения от преподавателя мы извлекаем три случайные подстроки длиной 5–10 токенов и проверяем, встречаются ли они в этих индексах. Мы не обнаружили совпадений для кейсов, используемых в конвейере оценки, поэтому индексированные корпуса не предоставляют доказательств дословной контаминации в рамках данной проверки на контаминацию при предварительном обучении..

Бенчмарк является одноходовым, и каждый пример предоставляет полный контекст кейса в одном промпте без уточнения или итеративного сбора доказательств (в отличие от интерактивной диагностики или бенчмарков агентной работы). Это сделано намеренно, так как именно так кейсы обычно и используются, что помогает изолировать улучшение в интеллектуальной работе и аналитическом мышлении, не смешивая это с возможностями использования инструментов или навыками ведения диалога. Он представлен только на английском языке и основан на традиции кейс-метода бизнес-школ (длинные повествовательные кейсы с эталонными стандартами, разработанными преподавателями), поэтому он измеряет аналитический и консультативный синтез в рамках этого конкретного педагогического формата. Результаты следует интерпретировать как возможности в рамках данного контролируемого протокола для оценки бизнес-знаний и логического мышления..