Динамическое управление жизненным циклом навыков для
Агентное обучение с подкреплением

Аннотация

Агенты на основе больших языковых моделей все чаще опираются на внешние навыки для решения сложных задач, где навыки выступают как модульные единицы, расширяющие их возможности сверх того, что поддерживается только параметрической памятью. Существующие методы предполагают, что внешние навыки либо накапливаются как устойчивое направляющее воздействие, либо встраиваются во внутреннюю политику, в итоге приводя к выводу без навыков. Мы утверждаем, что это предположение является чрезмерно ограничительным, поскольку при ограниченной параметрической емкости и неодинаковом предельном вкладе между навыками оптимальный набор активно используемых навыков является немонотонным, зависящим от задачи и стадии. В данной работе мы предлагаем SLIM — рамочную модель динамического управления жизненным циклом навыков для агентного обучения с подкреплением (RL), которая рассматривает активный внешний набор навыков как переменную динамической оптимизации, совместно обновляемую вместе с обучением политики. А именно, SLIM оценивает предельный внешний вклад каждого активно используемого навыка с помощью проверки при исключении одного навыка (leave-one-skill-out validation), затем применяет три операции жизненного цикла: сохранение навыков с высокой ценностью, вывод из эксплуатации навыков, вклад которых становится пренебрежимо малым после достаточного воздействия, и расширение банка навыков, когда устойчивые сбои выявляют недостающее покрытие возможностей. Эксперименты показывают, что SLIM превосходит лучшие базовые подходы в среднем на 7.1 процентных пункта в ALFWorld и SearchQA. Дополнительно результаты указывают, что обучение политики и сохранение внешних навыков не являются взаимоисключающими: некоторые навыки поглощаются политикой, тогда как другие продолжают обеспечивать внешнюю ценность, поддерживая SLIM как более общий парадигмальный подход для навык-ориентированного агентного RL. Код доступен по адресу https://github.com/ejhshen/SLIM.

⟦Сфера: Искусственный интеллект, Когнитивный, Нейронная сеть, Нейролингвистическое программирование (NLP), Продуктивность, ИИ-агенты Правила: - Только русский перевод, без пояснений. - Плейсхолдеры Figure 1: , ⟦BROKEN_K1⟧ … копируй без изменений (не добавляй скобки). - Не переводи формулы, код, URL, содержимое cite. - Термины и терминологию такие как: GRPO, SFT, EHR, QA, LLM, transformers и иные соответствующие узкой тематике ML & DS оставляй как в оригинале. - Сохраняй пробелы и пунктуацию в начале и конце. Текст: K0⟧Динамика обучения с подкреплением на ALFWorld. Мы строим зависимость доли успешных результатов на валидации от числа навыков в активном наборе в ходе обучения. SkillRL накапливает внешние навыки, тогда как Skill0 постепенно их исключает. SLIM вместо этого выполняет управление жизненным циклом retain–retire–expand, сходясь к непустому набору навыков с более высокой долей успешных результатов на валидации. Это указывает на то, что эффективная конечная точка представляет собой выученную границу внешних навыков, а не полное накопление или вынужденное исключение.

1 Введение

Агенты большой языковой модели (LLM) [34, 53] все чаще используются для решения сложных задач, требующих многошагового рассуждения [41], планирования на длительном горизонте [22] и надежного использования инструментов [48]. Набирающий рост способ улучшения этих агентов заключается в оснащении их внешними навыками [8, 75, 37], где каждый навык представляет собой модульный процедурный артефакт, вставляемый во время инференса для предоставления повторно используемых рекомендаций по решению задач. [77]. Путем обусловливания агента такой внешней процедурной осведомленностью агентные системы, основанные на навыках, могут расширять возможности сверх того, что базовая модель может надежно выражать только из своих параметров [17, 54, 67].

Несмотря на этот прогресс, существующие методы агентного обучения с подкреплением, основанные на навыках, в основном следуют двум монотонным парадигмам. Одна парадигма рассматривает навыки как устойчивое дополнение и непрерывно расширяет внешний банк навыков, чтобы поддерживать исследование и принятие решений [59]. Другая рассматривает навыки как временные строительные леса и постепенно удаляет их до нулевого вывода навыков, стремясь перенести их преимущества в параметры модели [33]. Хотя в соответствующих условиях оба подхода оказываются эффективными, неявно предполагается, что активный внешний набор навыков либо должен продолжать расти, либо в конечном итоге исчезнуть. Это предположение упускает более общий вопрос: по мере того как агент обучается, как должен изменяться его активный внешний набор навыков при ограниченной параметрической емкости и неравномерном предельном вкладе между навыками?

Этот вопрос особенно важен, поскольку параметрическое хранение в языковых моделях конечно и ограничено размером модели, бюджетом обучения и компромиссом между запоминанием и обобщением [3, 4, 5]. В результате не следует принуждать каждую полезную возможность встраивать в параметры модели. Внешние навыки особенно подходят для сохранения узких, низкочастотных или принадлежащих длинному хвосту процедур, которые могут быть дорогостоящими или нецелесообразными для параметрического кодирования [70]. При этом удержание слишком большого числа навыков не является бесплатным, поскольку большие банки навыков могут вносить шум маршрутизации, а длительные внедряемые контексты могут снижать надежность использования навыков [76, 32]. Поэтому центральная проблема заключается не в том, следует ли накапливать навыки или исключать их, а в том, как определить внешнюю границу обучающегося агента. Навык следует сохранять, когда он по-прежнему дает дополнительную внешнюю ценность, выводить из эксплуатации, когда его вклад становится пренебрежимо малым, и расширять, когда устойчивые сбои выявляют недостаточное покрытие требуемых возможностей.

Для решения этой задачи мы предлагаем SLIM — фреймворк для динамического управления жизненным циклом умений (Skill LIfecycle Management) в агентном обучении с подкреплением (RL). SLIM рассматривает само активное внешнее множество навыков как динамическую переменную оптимизации во время обучения. В частности, SLIM поддерживает задачно-обусловленное активное множество навыков в ходе RL, извлекает иерархические умения из текущего активного пула, оценивает предельный внешний вклад каждого активного умения с помощью валидации leave-one-skill-out и связывает эти сигналы с оптимизацией политики на основе RL, чтобы на протяжении обучения сохранять, прекращать или расширять активное множество навыков. Это создает практический механизм управления между параметрами модели и внешними модульными навыками: повторно используемые способности могут быть усвоены политикой, когда внешняя поддержка становится больше не нужна, в то время как узкие или редкие по распределению (long-tail) способности могут оставаться внешними, пока они продолжают приносить ценность. Как показано на рисунке 1, SLIM приводит к немонотонной траектории внешних возможностей, а не заставляет либо полное накопление, либо вывод без навыков.

Мы оцениваем SLIM на двух репрезентативных агентных RL-бенчмарках со ставкой на навыки: ALFWorld и SearchQA, и сравниваем его со стандартным методом GRPO [12], а также с репрезентативными методами усиления навыков и внутренализации навыков, включая SkillRL [59] и Skill0 [33]. Обширные эксперименты показывают, что SLIM демонстрирует наилучшие в целом результаты, обгоняя лучшие базовые подходы в среднем на 7,1 п.п. по ALFWorld и SearchQA. Динамика обучения и анализ жизненного цикла также выявляют качественно иной конечный результат по сравнению с предшествующими методами, при котором наилучшая производительность в целом не сходится ни к устойчивому полному усилению, ни к инференсу с нулевыми навыками.

Наши вклад состоит из трех частей. (i) Мы формулируем агентное обучение с подкреплением на основе навыков как задачу динамического управления жизненным циклом навыков, при которой активный внешний набор навыков не предполагается монотонно растущим или исчезающим, а рассматривается как поддающаяся обучению внешняя граница способности. (ii) Мы предлагаем SLIM, который оценивает предельный внешний вклад с помощью проверки leave-one-skill-out и использует эту оценку для сохранения, вывода из использования или расширения навыков во время обучения с подкреплением. (iii) Эксперименты на двух широко используемых тестовых наборах показывают, что SLIM улучшает качество выполнения задач, одновременно сходясь к компактному непустому активному набору навыков, демонстрируя выученную границу между внутренне освоенными возможностями и внешними навыками.

2 Сопутствующие работы

Агенты больших языковых моделей. Агенты на основе большой языковой модели (LLM) превращают автогенеративные модели в последовательных лиц, принимающих решения, которые планируют, действуют и взаимодействуют с внешними средами через инструменты, API и воплощённые интерфейсы [65, 60, 44]. Прогресс в использовании инструментов [40, 43, 18], навигации по вебу [19, 39, 16], использовании компьютера [38, 6] и завершении задач на большой временной протяжённости [73, 9, 23] показывает, что структурированные пространства действий и внешние опоры критически важны для надёжного поведения агента. Внешняя память [62, 10] и поддержка навыков [8, 37, 54, 75] дополнительно повышают устойчивость и композиционность. Наша работа следует этому направлению, но фокусируется на том, как активный внешний набор навыков должен развиваться во время обучения с подкреплением.

Агентное обучение с подкреплением. Обучение с подкреплением стало ключевой парадигмой для постобучения LLM-агентов [61, 29], особенно когда требуется взаимодействие, исследование и отложенное назначение кредитов [56, 15, 74]. Недавние методы объединяют оптимизацию политики со структурированными наградами, сигналами предпочтений или целями, относительными группе, чтобы улучшить качество рассуждений и действий [12, 47, 45, 14, 68]. Эти достижения обеспечивают сильную основу для оптимизации, но они не определяют, как следует сохранять, удалять или расширять внешние навыки во время обучения. SLIM сохраняет фиксированным оптимизатор RL и изучает эту задачу управления внешними возможностями.

Агенты, основанные на навыках. Навык является давним механизмом организации многократно используемого поведения агента [77, 70]. Недавние работы по агентам на базе LLM реализуют эту идею через внешние хранилища навыков [52, 55, 75, 54, 59], многоразовые модули подсказок [13, 30, 28, 66] и дистиллированные процедурные указания [37, 8, 36]. Похожие методы либо сохраняют навыки как устойчивое дополнение [59], устраняют их до нулевого навыкового вывода [33], либо совместно развивают агента принятия решений и агента из банка навыков на основе прогонов [58]. SLIM дополняет эти направления, то есть рассматривает активный внешний набор навыков во время RL как динамическую переменную и определяет, когда навыки следует сохранять, прекращать или расширять при конечной вычислительной мощности модели.

3 Предварительные сведения

Агент LLM. Мы моделируем агента LLM как политику $\pi_{\theta}$, которая взаимодействует со средой при последовательных решениях. Дано конкретное задание $x\sim\mathcal{X}$, агент формирует траекторию $\tau=(o_{1},a_{1},\ldots,o_{T},a_{T})$, где $o_{t}$ и $a_{t}$ — это наблюдение и действие на шаге $t$, а $T$ — это горизонт. Политика $\pi_{\theta}(a_{t}\mid h_{t})$, параметризованная $\theta$, учитывает историю $h_{t}=(x,o_{1},a_{1},\ldots,o_{t})$. В средах, содержащих только текст, и $o_{t}$, и $a_{t}$ являются последовательностями токенов, и $\pi_{\theta}$ — это каузальная языковая модель, которая автoreгрессивно генерирует следующее действие из $h_{t}$.

Групповая относительная оптимизация политики. Мы используем Group Relative Policy Optimization (GRPO) [12] в качестве оптимизатора для обучения с подкреплением. Для каждой задачи $x$ GRPO сэмплирует $G$ траекторий $\{\tau^{(g)}\}_{g=1}^{G}$ из поведенческой политики $\pi_{\theta_{\text{old}}}$ и назначает каждой из них скалярное вознаграждение $R(\tau^{(g)})$. Пусть $\mathbf{r}=\{R(\tau^{(1)}),\ldots,R(\tau^{(G)})\}$. Групповая относительная нормированная оценка преимущества равна $\hat{A}^{(g)}=\frac{R(\tau^{(g)})-\mathrm{mean}(\mathbf{r})}{\mathrm{std}(\mathbf{r})}$. Поскольку вознаграждения уровня исхода, одно и то же $\hat{A}^{(g)}$ используется для всех шагов генерации действий в $\tau^{(g)}$. Пусть $T^{(g)}$ — число шагов действий, а $\rho_{t}^{(g)}(\theta)=\frac{\pi_{\theta}(a_{t}^{(g)}\mid h_{t}^{(g)})}{\pi_{\theta_{\text{old}}}(a_{t}^{(g)}\mid h_{t}^{(g)})}$ — отношение политик на каждом шаге. Целевая функция GRPO равна

где $\epsilon$ и $\beta$ являются гиперпараметрами, а $\pi_{\mathrm{ref}}$ — опорной политикой.

Банк навыков и постановка проблемы. Следуя SkillRL [59], мы предполагаем иерархическую внешнюю библиотеку навыков, включающую общие навыки и навыки, специфичные для задач. Пусть $\mathcal{S}$ обозначает глобальный банк навыков, с пулом общих навыков $\mathcal{S}^{\text{gen}}$ и пулом навыков, специфичных для задач, $\mathcal{S}^{k}$ для типа задач $k$. На шаге аудита $t$ агент обращается только к активному подмножеству $\mathcal{A}_{t}\subseteq\mathcal{S}$ и действует по политике, обусловленной навыком $\pi_{\theta}(a_{t}\mid h_{t},s)$, где $s$ обозначает выбранный внешний навык. Мы используем следующую формализацию для описания задачи распределения, которая мотивирует SLIM. Пусть $\mathcal{A}$, $\mathcal{I}$ и $\mathcal{U}=\mathcal{S}\setminus(\mathcal{A}\cup\mathcal{I})$ обозначают соответственно активное внешнее множество, латентное внутренне усвоенное множество и неактивное внешнее множество. Пусть $m(s)\geq 0$ будет эффективной параметрической стоимостью памяти для внутреннего усвоения навыка $s$, и пусть $\mathcal{C}_{\theta}$ обозначает конечную емкость знаний модели [5]. Стоимость внешней поддержки моделируется как концептуальная черно-ящичная монотонная функция множеств $\Omega:2^{\mathcal{S}}\to\mathbb{R}_{\geq 0}$, где добавление любого неактивного навыка влечет положительную предельную стоимость, то есть $\Omega(\mathcal{A}\cup\{s\})-\Omega(\mathcal{A})>0$ для $s\notin\mathcal{A}$. Эта формализация мотивирует обучение как следующую задачу распределения с ограничением по емкости:

$$\max_{\theta,\mathcal{A},\mathcal{I}}\quad\mathbb{E}_{x\sim\mathcal{X}}\big[\operatorname{Perf}(x;\pi_{\theta},\mathcal{A})\big]-\Omega(\mathcal{A})\quad\text{s.t.}\quad\sum_{s\in\mathcal{I}}m(s)\leq\mathcal{C}_{\theta},\ \mathcal{A}\cap\mathcal{I}=\varnothing,$$ (2)

Монотонность $\Omega$ отражает тот факт, что дополнительные активные навыки увеличивают контекст или накладные расходы маршрутизации, тогда как ограничение конечной емкости не позволяет считать, что все навыки могут быть поглощены параметрами. Навыки, удаленные из $\mathcal{A}$, могут перейти в $\mathcal{I}$, если они усвоены, или в $\mathcal{U}$, если они шумные или устаревшие..

⟦Figure 2: Обзор SLIM. Мотивированный уравнением (2), SLIM сначала извлекает видимые навыки, обусловленные задачей, затем оценивает предельный вклад навыка на основе валидации leave-one-skill-out, и наконец обновляет политику и жизненный цикл навыка с помощью операций retain–retire–expand на основе GRPO.

4 Метод: SLIM

Обзор SLIM показан на рисунке 2. Уравнение (2) мотивирует взгляд на распределение с ограниченной пропускной способностью по политике и активному внешнему набору навыков, но точная онлайн-оптимизация в этом смешанном пространстве недостижима. Поэтому SLIM использует три приближения, допускающих вычисление. Сначала (раздел 4.1) он ограничивает поиск активного набора задач-обусловленным множеством видимых навыков. Затем (раздел 4.2) он оценивает локальную ценность каждого проверяемого навыка посредством валидации leave-one-skill-out. Наконец (раздел 4.3), он объединяет эти сигналы с оптимизацией политики на основе GRPO, позволяя сохранять, прекращать или расширять активный набор навыков по мере продолжения обучения. Таким образом, SLIM учится, какие возможности должны оставаться активными, а какие должны быть удалены из активной внешней поддержки.

4.1 Иерархическое извлечение навыков

Первый компонент SLIM сокращает пространство поиска активного множества в уравнении 2. Непосредственный выбор из полного банка навыков является комбинаторной задачей, поэтому SLIM использует иерархическую структуру в разделе 3, чтобы преобразовать глобальный выбор навыков в выбор кандидатов, обусловленный задачей.

Формально, пусть $\mathcal{A}^{\text{gen}}_{t}\subseteq\mathcal{S}^{\text{gen}}$ обозначает в настоящее время активный пул общих навыков на шаге аудита $t$, а пусть $\mathcal{A}^{k}_{t}\subseteq\mathcal{S}^{k}$ обозначает активный пул, относящийся к конкретной задаче, для типа задачи $k$. Для экземпляра задачи $x$ типа $k$ SLIM выбирает активные общие навыки вместе с извлечённым подмножеством навыков, относящихся к задаче, из $\mathcal{A}^{k}_{t}$. Пусть $e_{x}$ обозначает встраивание текущего описания задачи, а пусть $e_{s}$ обозначает встраивание навыка $s$. Извлечённый набор навыков, относящихся к задаче,

$$\mathcal{Q}_{t}(x)=\operatorname{TopK}\left(\left\{s\in\mathcal{A}^{k}_{t}:\cos(e_{x},e_{s})\geq\tau_{\text{emb}}\right\},K\right),$$ (3)

где $\tau_{\text{emb}}$ — порог извлечения, а $K$ — максимальное число предметно-ориентированных навыков, загружаемых в подсказку. Тогда итоговая навыко-обусловленная политика для задачи $x$ представляет собой объединение активных общих навыков и извлечённого множества предметно-ориентированных навыков, то есть $\pi_{\theta}(a_{t}\mid h_{t},\mathcal{A}^{\text{gen}}_{t}\cup\mathcal{Q}_{t}(x))$. Поскольку извлечение ограничено текущим активным набором, решения по жизненному циклу напрямую влияют на внешнюю возможность, раскрываемую для последующих развёртываний.

Интуитивно, внешние навыки должны быть релевантны, прежде чем они смогут быть полезными. При этом только релевантность извлечения не подсказывает нам, стоит ли по-прежнему сохранять навык внешним. Разные активные навыки могут выбираться для одного и того же типа задач, принося при этом существенно разный объем внешней ценности. Это подталкивает к явной оценке предельного внешнего вклада каждого активного навыка.

4.2 Оценка предельного внешнего вклада

Учитывая заданный набор навыков с маршрутизацией из Раздела 4.1, следующая задача — определить, все ли активные навыки по-прежнему заслуживают внешней поддержки. Даже после ограничения множества кандидатов перечисление комбинаций навыков для оценки предельного внешнего вклада (MEC) каждого активного навыка остается непрактичным. Поэтому SLIM использует валидацию leave-one-skill-out как осуществимое локальное приближение.

Для прошедшего аудит навыка $s\in\mathcal{A}_{t}$ пусть $\mathcal{V}_{t}(s)$ обозначает подмножество задач валидации, развертывания которых используют навык $s$ при текущем активном наборе, то есть задачи $x$, для которых $s\in\mathcal{A}^{\text{gen}}_{t}\cup\mathcal{Q}_{t}(x)$. Пусть $\operatorname{Perf}(\mathcal{V};\mathcal{A})$ обозначает эффективность валидации на подмножестве $\mathcal{V}$, когда активный набор равен $\mathcal{A}$. МЕС для $s$ на шаге аудита $t$ определяется посредством валидации leave-one-skill-out:

$$\Delta_{t}(s)=\operatorname{Perf}\!\left(\mathcal{V}_{t}(s);\mathcal{A}_{t}\right)-\operatorname{Perf}\!\left(\mathcal{V}_{t}(s);\mathcal{A}_{t}\setminus\{s\}\right).$$ (4)

Чтобы снизить аудиторский шум, SLIM сглаживает оценки текущего раунда с помощью экспоненциального скользящего среднего, $\bar{\Delta}_{t}(s)=\alpha\Delta_{t}(s)+(1-\alpha)\bar{\Delta}_{t-1}(s)$. Для управления жизненным циклом мы используем $\bar{\Delta}_{t}(s)$, а не $\Delta_{t}(s)$. Положительное значение означает, что текущая политика по-прежнему получает выгоду от сохранения этой способности внешней, тогда как близкое к нулю или отрицательное значение означает, что способность могла быть поглощена, стать избыточной или вредной в качестве внешней помощи. Это локальная оценка, обусловленная текущей политикой, активным набором и поведением маршрутизации, а не глобальная атрибуция по всем возможным подмножествам навыков. Она надежна, когда валидационные задачи, маршрутизируемые в $s$, отражают то же локальное поведение, наблюдаемое во время развертывания; в этом случае удаление $s$ в этих задачах является прямым тестом того, нужна ли политике по-прежнему ее внешняя поддержка. Лемма A.6 в приложении A дополнительно объясняет этот локальный суррогат.

4.3 Динамическое управление жизненным циклом навыков для обучения с подкреплением

Теперь мы связываем обновления жизненного цикла навыков с оптимизацией политики посредством чередующейся оптимизации. Уравнение 2 содержит непрерывную переменную политики $\theta$ и дискретную переменную активного множества $\mathcal{A}$; первая может быть обновлена методами RL на основе градиентов, тогда как для второй требуются недифференцируемые операции с множествами при черном ящике-стоимости $\Omega(\mathcal{A})$. Поэтому SLIM разлагает каждый цикл аудита на обновление политики GRPO с зафиксированным активным множеством, а затем на управление жизненным циклом навыков с зафиксированной политикой. Для анализа мы записываем уравнение 2 как $\mathcal{J}(\theta,\mathcal{A}):=\mathbb{E}_{x\sim\mathcal{X}}\big[\operatorname{Perf}(x;\pi_{\theta},\mathcal{A})\big]-\Omega(\mathcal{A})$, при соблюдении его скрытого ограничения по пропускной способности.

На этапе GRPO $\mathcal{A}_{t}$ зафиксирован, поэтому $\Omega(\mathcal{A}_{t})$ является постоянной и обновление должно только улучшить политику при текущей внешней поддержке. При локальном согласовании суррогатов в предположении A.3 $J_{\text{GRPO}}(\theta;\mathcal{A}_{t})$ выступает в качестве локального суррогата для улучшения термина, связанного с производительностью, для $\mathcal{J}(\theta,\mathcal{A})$. Этот шаг может уменьшить зависимость политики от некоторых внешних навыков, но исчезла ли такая зависимость на самом деле, измеряется величиной MEC, а не предполагается.

На этапе управления жизненным циклом навыков $\theta_{t+1}$ фиксирована. Любая операция над активным набором желательна, пока обновлённый активный набор $\mathcal{A}^{\prime}_{t}$ делает $\mathcal{J}(\theta_{t+1},\mathcal{A}^{\prime}_{t})-\mathcal{J}(\theta_{t+1},\mathcal{A}_{t})$ положительным. Согласно уравнению (4), разницу в производительности, вызванную удалением активного навыка, можно оценить по его MEC. Трудность заключается в члене стоимости $\Omega(\mathcal{A})$, который представляет собой неизвестную строго монотонную функцию множества, и глобальный поиск по всем конфигурациям активного набора невозможен. Поэтому мы ограничиваем управление жизненным циклом одно-навыковыми переходами. Для таких переходов абсолютная разница в стоимости ограничена в рамках рабочего режима в лемме A.7. С учётом этого SLIM задаёт правила переходов состояния вокруг $\bar{\Delta}_{t}(s)$, так что каждый принятый переход является локальным обновлением с ограниченным риском.

Retain сохраняет подтверждённый навык $s$ активным, когда его сглаженная MEC явно положительна. Здесь $\tau_{\mathrm{keep}}$ указывает, что значение, создаваемое $s$, достаточно больше, чем его внешняя стоимость поддержки, поэтому навык должен продолжать кондиционировать политику в последующих прогонах.

$$\text{if}\,\bar{\Delta}_{t}(s)\geq\tau_{\mathrm{keep}},\,\text{then}\,s\in\mathcal{A}_{t+1}.$$ (5)

Retire удаляет прошедший аудит навык $s$, когда его предельный вклад становится пренебрежимо малым, и этот сигнал остается стабильным после достаточного воздействия. Здесь $u_{t}(s)$ — это кумулятивное число воздействий, а $\ell_{t}(s)$ — серия последовательных периодов низкого вклада. Эти два условия защищают навыки с низкой частотой от удаления до того, как будет наблюдено достаточно маршрутизированных свидетельств. Порог $\tau_{\mathrm{retire}}$ действует как консервативная нижняя суррогатная оценка внешней стоимости, возмещаемой за счет удаления. В частности, удаление $s$ может привести к потере $\bar{\Delta}_{t}(s)$ в производительности, но при этом оно сохраняет неизвестную внешнюю стоимость удержания $s$ в активном состоянии. Списание $s$ означает лишь то, что при текущей политике он больше не обеспечивает достаточно предельной ценности; возможно, он был усвоен, стал избыточным, либо превратился в шумный или устаревший. Когда $\tau_{\mathrm{retire}}\leq\bar{\Delta}_{t}(s)<\tau_{\mathrm{keep}}$, SLIM не выполняет немедленный переход жизненного цикла для $s$ и сохраняет его активным до тех пор, пока более поздние аудиты не предоставят более убедительные доказательства.

$$\text{if}\,\bar{\Delta}_{t}(s)<\tau_{\mathrm{retire}},\,u_{t}(s)\geq n_{\min},\,\ell_{t}(s)\geq p,\,\text{then}\,s\notin\mathcal{A}_{t+1}.$$ (6)

Расширение добавляет новое умение $s_{\text{new}}$, когда текущее активное умение $s$ устойчиво не покрывает область назначенной ему задачи. Здесь $N_{t}(s)$ — это накопленное число неудач задач, перенаправленных на $s$. Порог $\tau_{\mathrm{expand}}$ указывает, что текущая производительность с этим умением достаточно низка, чтобы оставить пространство для значительных улучшений, поэтому ожидается, что новое внешнее умение обеспечит достаточно выигрыша, чтобы покрыть разумное однократное увеличение стоимости.

$$\text{if}\,\operatorname{Perf}(\mathcal{V}_{t}(s);\mathcal{A}_{t})<\tau_{\mathrm{expand}},\,N_{t}(s)\geq n_{\text{expand}},\,\bar{\Delta}_{t}(s)<\tau_{\mathrm{keep}},\,\text{then}\,\mathcal{A}_{t+1}=\mathcal{A}_{t}\cup\{s_{\text{new}}\},$$ (7)

Лемма A.8 задаёт локальные достаточные условия, при которых эти эвристические правила являются консервативными или улучшают $\mathcal{J}(\theta_{t+1},\mathcal{A}_{t})$, а лемма A.10 формализует, что в настоящее время проверяемое извне необходимое умение защищено, пока его MEC остаётся выше порога выхода. Интуитивно, если политика по-прежнему зависит от необходимого умения, его удаление ухудшает качество валидации, $\bar{\Delta}_{t}(s)$ остаётся высоким, и выход блокируется; если $\bar{\Delta}_{t}(s)$ остаётся близким к нулю, активное удержание не требуется, потому что умение могло быть усвоено или стало избыточным. Кроме того, SLIM включает в себя предшествующие методы как граничные случаи. Если выход отключён, то есть $\mathcal{A}_{t+1}\supseteq\mathcal{A}_{t}$ для всех $t$, это сводится к режиму устойчивого наращивания, похожему на SkillRL. При монотонности $\Omega$ внешняя стоимость поддержки не может уменьшаться и со временем может ухудшать производительность. Если расширение отключено и выход принудительно выполняется вплоть до $\mathcal{A}_{t}=\varnothing$, это сводится к режиму с нулевыми умениями, похожему на Skill0. Поскольку тогда необходимые внешние возможности должны быть поглощены в $\mathcal{I}$, это может нарушить ограничение конечной ёмкости в уравнении Eq. (2), тем самым вытесняя другие полезные возможности.

5 Реализация

 

Algorithm 1 Практический цикл обучения SLIM

 

0:  Начальная политика $\pi_{\theta}$, банк навыков $\mathcal{S}$, активное множество $\mathcal{A}_{0}$, обучающие задачи, проверочные задачи, ограничение на извлечение $K$, интервал аудита $d$, бюджет аудита для конкретной задачи $M$, бюджет расширения $B$

0:  Обученная политика $\pi_{\theta}$, активный конечный набор $\mathcal{A}_{T}$, высвобожденные навыки, расширенные навыки, журналы жизненного цикла

1:  для GRPO step $r=1,\ldots,T$ do

2:   Примеры задач, получить $\mathcal{Q}_{t}(x)$ по Eq. (3), и развернуть $\pi_{\theta}(\cdot\mid h,\mathcal{A}^{\mathrm{gen}}_{t}\cup\mathcal{Q}_{t}(x))$.

3:   Обновление $\theta$ с GRPO с использованием собранных развертываний.

4:   if $r\bmod d=0$ затем

5:    Запустите валидацию с текущей маршрутизацией; зафиксируйте маршрутизированные навыки, результаты и маршрутизированные сбои.

6:    Выберите проверенные навыки в рамках ограниченного бюджета аудита, включая лучшие-$M$ навыки по недавнему использованию с маршрутизацией.

7:    для каждую проверенную компетенцию $s$ do

8:     Вычислить $\Delta_{t}(s)$ путем проверки по принципу «исключить одну способность» с использованием уравнения Eq. (4).

9:     Обновление $\bar{\Delta}_{t}(s)$ и статистика жизненного цикла.

10:     Применяйте правила retain/retire, используя Eq. (5) и Eq. (6).

11:    end для

12:    Создайте до $B$ задачно-специфические навыки из маршрутизированных категорий неудач по Eq. (7); обновление $\mathcal{A}_{t}$.

13:   end если

14:  end for

 

Алгоритм. Алгоритм 1 суммирует практический цикл обучения SLIM. Реализация следует трем компонентам в Разделе 4.1–4.3, то есть каждый шаг GRPO извлекает активные навыки, выполняет развёртывания, обусловленные навыком, и обновляет политику; на каждом интервале аудита SLIM оценивает предельный внешний вклад и применяет операции retain, retire или expand. Чтобы аудит был доступным по стоимости, SLIM не оценивает каждый активный навык. Аудиты жизненного цикла выполняются каждые $d=10$ шагов GRPO, и каждый аудит рассматривает не более $M=4$ навыков с наибольшим недавним маршрутизированным использованием среди навыков, которые появлялись в top-$K$ извлечении.

Настройки обучения и вывода. Для обучения задача-специфическое извлечение использует Qwen3-Embedding-0.6B [71] совместно с $K=3$ и $\tau_{\mathrm{emb}}=0.45$. Мы оптимизируем политику с помощью GRPO, используя вознаграждения на уровне исхода. В частности, каждое завершенное развертывание получает награду за успех в среде, при этом во время сбора траектории применяются штрафы за недопустимые действия. В основных запусках SLIM мы отключаем как потерю KL со стороны политики, так и регуляризацию KL-в-вознаграждении. Решения «сохранять» и «отзывать» реализуются, как описано выше. Расширение использует маршрутизируемые корзины неудач и создает автономные артефакты SKILL.md, соответствующие задаче, с рабочим процессом создателя навыков в стиле Anthropic [7]. Во время финального вывода агент может запускаться с навыками, извлекая активные навыки перед каждым развертыванием; в запросе содержатся активные общие навыки и извлеченный набор задачно-специфичных навыков $\mathcal{Q}_{T}(x)$, при этом обновление жизненного цикла не выполняется. Шаблоны запросов, пороги жизненного цикла, полные настройки обучения и детали вывода приведены в Приложении B.1.

6 Эксперимент

6.1 Оценочная схема

Базовые модели для проверки. Мы проводим все основные эксперименты с Qwen3-4B [63] на ALFWorld [50] и SearchQA [23]. ALFWorld охватывает бытовые задачи Pick, Look, Clean, Heat, Cool и Pick2, тогда как SearchQA охватывает NQ [25], TriviaQA [24], PopQA [35], HotpotQA [64], 2Wiki [20], MuSiQue [51] и Bamboogle [42]. Мы сравниваем с базовыми подходами на основе подсказок, агентом/памятью и основанными на RL, включая ReAct [65], Reflexion [49], Mem0 [10], ExpeL [72], GRPO [46], EvolveR [57], SkillRL [59] и Skill0 [33]. Полные сведения о базовых моделях приведены в Приложении B.2⟧.

Оценка. Мы сообщаем долю успешных попыток на обоих бенчмарках. Попытка считается успешной, если агент выполняет цель ALFWorld или возвращает корректный заключительный ответ SearchQA в рамках общего оценщика бенчмарка. Все методы используют один и тот же протокол train/validation/test: обучение использует разбиение train, аудит жизненного цикла и подбор гиперпараметров используют validation, а итоговая отчетность использует test. Все RL-ориентированные методы обучаются без cold-start SFT или прогрева. Приложение D дополнительно сообщает о переносе между задачами, передаче из skill-bank, устойчивости SLIM к изменениям в производительности, чувствительности к инициализации, расширенных сравнениях с базовыми моделями и накладных расходах на аудит. Подробные разбиения и меры обеспечения справедливости приведены в Приложении C⟧.

6.2 Основные результаты

⟦Table 1: Основные результаты по ALFWorld и SearchQA. Во всех записях указана доля успешных ответов. † обозначает оценку с извлеченными внешними навыками; если не указано иное, † имеет то же значение в последующих таблицах. Avg. обозначает микроусреднение, также используется ниже. Лучший и второй лучший варианты выделены.

Метод ALFWorld SearchQA Выбор Смотреть Очистить Нагреть Охладить Выбор2 В среднем. NQ TriviaQA PopQA HotpotQA 2Wiki MuSiQue Bamboogle В среднем. Методы, основанные на подсказках Нулевой выстрел 82.9 0.0 31.2 23.1 21.7 30.0 41.4 28.5 49.6 32.7 23.5 27.7 5.3 35.2 32.3 Похожий выстрел 80.0 40.0 37.5 7.7 17.4 15.0 39.1 32.9 55.6 34.9 28.0 28.5 7.2 37.6 35.5 Нулевой выстрел† 94.3 40.0 81.2 38.5 17.4 55.0 63.3 26.6 48.2 31.8 22.7 27.9 5.3 33.6 31.5 Похожий выстрел† 94.3 60.0 84.4 38.5 34.8 30.0 64.1 32.3 54.6 34.6 28.1 27.2 7.4 38.4 34.8 Методы на основе агента или памяти ReAct 100.0 33.3 25.0 53.8 23.8 26.7 50.5 33.2 54.5 36.5 28.8 30.8 7.7 33.6 36.4 Reflexion 93.9 30.0 52.0 20.0 47.8 68.2 59.4 22.3 45.7 25.8 22.6 28.3 4.9 31.2 29.1 Mem0 93.9 30.0 32.0 26.7 17.4 18.2 42.2 29.3 50.6 33.3 24.6 28.2 6.5 30.4 33.1 ExpeL 97.1 62.5 38.5 13.3 21.7 61.9 53.5 23.5 47.0 29.6 22.8 30.0 6.5 28.0 31.0 Методы на основе RL GRPO 85.4 100.0 49.8 64.6 53.1 54.2 67.2 35.9 57.8 36.5 30.8 30.1 9.2 30.4 37.5 GRPO† 84.6 62.5 48.9 68.8 61.0 80.8 68.8 36.4 58.2 37.0 31.2 30.4 9.6 31.2 37.9 EvolveR 67.6 37.5 49.3 15.6 36.0 36.5 39.8 36.0 57.5 36.8 30.6 30.0 9.5 29.6 37.4 SkillRL† 90.6 75.0 54.6 76.2 67.7 87.5 75.0 36.8 59.8 36.9 31.5 29.7 10.3 31.2 38.1 Skill0 93.6 87.5 59.8 66.7 57.6 78.4 74.2 37.9 59.5 38.6 32.7 31.9 10.3 32.8 39.3 SLIM 91.4 80.0 46.9 61.5 73.9 85.0 72.7 38.6 62.2 40.0 37.2 31.7 12.8 37.6 41.0 SLIM† 92.9 100.0 91.4 78.3 88.5 81.2 87.5 38.4 62.1 40.4 36.9 31.5 12.7 36.0 41.0

⟦Figure 3: Динамика обучения на ALFWorld. Панель (a) сравнивает кривые оценивания с навыком и без навыка для SLIM, SkillRL и Skill0, где сплошные линии обозначают оценивание с внешними навыками, а пунктирные линии — без внешних навыков. Панель (b) отслеживает число активных навыков в ходе обучения.

Общее сравнение. Таблица 1 приводит основное сравнение. На ALFWorld SLIM† достигает 87,5, опережая самый сильный не основанный на SLIM базовый подход SkillRL† на 12,5 пункта. Также она существенно улучшает показатели по сравнению с GRPO, GRPO† и Skill0, демонстрируя, что выигрыш не обусловлен обычным RL, наивной инъекцией навыков, устойчивым накоплением или принудительным выводом с нулевыми навыками. Разрыв между SLIM и SLIM† также велик (72,7 против 87,5), что указывает на то, что в ALFWorld присутствуют процедурные поведения с длинными горизонтами, где некоторые возможности лучше сохранять снаружи. SearchQA демонстрирует иной режим. И SLIM, и SLIM† достигают 41,0, улучшая самый сильный не основанный на SLIM базовый подход Skill0 на 1,7 пункта. Здесь разрыв во время вывода между SLIM и SLIM† почти исчезает, что предполагает, что преимущество в основном отражено в обученной политике, а не в сильной конечной внешней зависимости. В совокупности результаты поддерживают наш центральный тезис о том, что конечная точка skill-based agentic RL зависит от задачи, то есть некоторые предметные области требуют сохранения внешних процедурных навыков, тогда как в других можно усвоить или отбросить большую часть внешней поддержки после обучения.

Подробный анализ. ALFWorld получает концентрацию на задачах процедурного преобразования состояний. SLIM† достигает 91,4 на Clean и 88,5 на Cool, что значительно выше SkillRL† и Skill0. Это согласуется с пробой на протяжении жизненного цикла на рисунке 5, то есть навык cle_003, специфичный для Clean, сохраняет внешнюю ценность, тогда как несколько навыков для охлаждения прекращают использоваться, что указывает: выигрыш получается за счет фильтрации процедурной поддержки, а не за счет сохранения каждого навыка, специфичного для задач. Heat показывает меньший, но стабильный прирост, что указывает на то, что управление жизненным циклом наиболее полезно тогда, когда процедуры являются композиционными и неравномерно покрыты. Преимущество распределено неодинаково по всем типам задач. Более простые задачи получения объектов, такие как Pick, оставляют ограниченный резерв для управления жизненным циклом, тогда как SLIM† достигает полного успеха на Look, сохраняя навыки, которые покрывают этот тип задач. Более того, GRPO† улучшает Pick2 и Cool, но ухудшает или не улучшает Look и Pick, демонстрируя, что простая вставка навыков не дает равномерной пользы. Это подтверждает наш контроль жизненного цикла, при котором навыки остаются активными только тогда, когда их предельный эффект является положительным при текущей политике. На SearchQA улучшение меньше, но в целом распределено шире: SLIM или SLIM† является лучшим или близким к лучшему на большинстве подмножеств. Простая вставка навыков может даже навредить, поскольку Zero-Shot† и Few-Shot† опускаются ниже своих вариантов без навыков. Таким образом, SearchQA отражает режим с меньшей зависимостью, где обучение с учетом жизненного цикла улучшает политику больше, чем вставка навыков во время вывода, дополняя ALFWorld, где сохраненные процедурные навыки остаются полезными.

6.3 Динамика обучения

⟦Table 2: Анализ методом исключения компонентов на ALFWorld. Все варианты обучаются при одних и тех же настройках и по протоколу оценки, как у SLIM (с навыком).

Method	ALFWorld Avg.
SLIM	87.5
w/o Retirement	73.4
w/o Expansion	78.9
Random Audit	68.8
Fixed Active Set Size	75.6

⟦Figure 4: Динамика тренировочной награды SLIM и ее вариантов с исключением компонентов на ALFWorld. Для удобочитаемости мы применяем центрированное скользящее среднее с размером окна, равным 5 шагам обучения. Заштрихованная область соответствует локальной вариации в пределах окна.

Рисунок 3 сравнивает динамику обучения на ALFWorld. SkillRL следует устойчивому накоплению, при котором число активных навыков увеличивается с 38 до 73 в ходе обучения. Хотя обе кривые валидации с навыком и без навыка улучшаются, итоговая производительность остается ниже SLIM. Это показывает, что сохранение большего числа внешних навыков не обязательно приводит к лучшей итоговой производительности, что согласуется с нашей мотивацией: большие банки навыков могут порождать накладные расходы на маршрутизацию и контекст. Skill0 демонстрирует противоположную картину. Его активный набор уменьшается с 38 до 0. Его производительность без навыка становится сильной на более поздней стадии, что указывает на то, что политика действительно учится на обучении, обусловленном навыком. Однако, как только активный набор навыков достигает нуля примерно к эпохе 90, валидация снижается с 92.2% до 76.6% в следующем интервале аудита. Это подтверждает наше утверждение о том, что выход на пенсию не эквивалентен успешной внутренней интернализации, поскольку принудительный вывод без навыка может удалить полезную внешнюю поддержку, особенно для нестабильных, редко встречающихся или высокоразреженных возможностей из хвоста распределения.

SLIM обучается немонотонной траектории. Ее активное множество сначала расширяется с 38 до 46, колеблется по мере чередования расширения и выхода, и в конечном итоге стабилизируется на компактном непустом множестве из 21 навыка. Тем временем результат без навыков повышается с 29,7% до 84,4%, показывая, что сама политика обучается, тогда как результат с навыками достигает пика на 93,8% и остается 90,6% в конце. Таким образом, SLIM не жертвует обучением политики ради внешней зависимости. Она улучшает политику, сохраняя набор внешних навыков, которые по-прежнему дают предельный вклад.

6.4 Исследование посредством исключения (ablation)

Компоненты жизненного цикла. Таблица 2 изолирует операции жизненного цикла. Удаление этапа выхода на пенсию снижает успешность ALFWorld с 87,5 до 73,4, показывая, что расширение без удаления вырождается в накопление, похожее на SkillRL, где больше активных навыков не означает более высокую производительность. Удаление этапа расширения достигает 78,9, что выше, чем без выхода на пенсию, но всё же на 8,6 пункта ниже SLIM, показывая, что само по себе прореживание не может исправить регионы задач с недостаточным покрытием. Поскольку без расширения всё же лучше, чем несколько базовых уровней, полный выигрыш нельзя объяснить только опорной частью skill-creator; расширение важно, потому что оно заполняет отсутствующее покрытие, специфичное для задач. Рисунок 4 демонстрирует ту же закономерность: улучшения локального вознаграждения могут быть временными, но конечная точка остаётся хуже без полного жизненного цикла.

Эффективность внешнего предельного вклада. «Случайная аудиторская проверка» сохраняет то же пространство операций, но заменяет решения, учитывающие вклад, на стохастические: выбор retain/delete осуществляется с вероятностями 0.8/0.2, а расширение запускается независимо с вероятностью 0.1. Она получает лишь 68.8 — самое большое снижение, а кривая награды остается ниже, чем у остальных вариантов, в течение большей части обучения. Таким образом, выигрыш SLIM не объясняется случайными возмущениями набора навыков; решения на уровне жизненного цикла должны отслеживать, продолжает ли навык по-прежнему обеспечивать предельную внешнюю ценность в рамках текущей политики.

За пределами контроля бюджета промптов. «Фиксированный размер активного набора» управляет числом активных навыков на начальном размере 38, используя удаление по LRU после расширения и расширение после выхода из режима, чтобы бюджет оставался фиксированным. Он достигает 75,6, оставаясь при этом на 11,9 пункта ниже SLIM. Это исключает чистое объяснение через бюджет промптов: ключевым является не только то, сколько навыков остаётся активными, но и какие навыки сохраняются, удаляются и расширяются.

6.5 Тематическое исследование: Анализ управления жизненным циклом навыков

⟦Figure 5: Пример исследования жизненного цикла навыка в ALFWorld. Панель (а) отображает количество выборов относительно предельного внешнего вклада (MEC) для сохранённых, прекращённых и усвоенных навыков. Панель (б) сообщает полосы валидации по принципу исключения одного навыка для репрезентативных сохранённых навыков. Панель (в) показывает случаи прекращённых навыков.

Мы используем зонд жизненного цикла, предназначенный только для диагностики, чтобы объяснить операции SLIM. Зонд регистрирует для каждой проверяемой компетенции число выбранных раз, маргинальный внешний вклад (MEC), результативность соответствующей компетенции, результативность отключенной компетенции и исход жизненного цикла. Мы помечаем компетенцию как внутренне усвоенную только для анализа, если она часто выбирается, но имеет почти нулевой MEC, и если ее отключение приводит лишь к небольшому падению валидации при текущей политике. Эта метка не используется как сигнал обучения, и все операции по-прежнему следуют Разделу 4.3. Хотя на Рисунке 3 показано, что активное множество сначала расширяется, затем сужается и в итоге остается непустым, на Рисунке 5 объясняется, почему это происходит. Итоговое активное множество — это не просто остаток неполного внутреннего усвоения, а результат отборочной фильтрации с учетом вклада.

Жизненный цикл следует MEC. Панели (a) и (b) показывают, что решения о жизненном цикле определяются MEC, а не только частотой выбора. Широкие и часто выбираемые навыки, такие как pic_002 и gen_011, становятся близкими к внутренней закрепленности, поскольку их отключение приводит лишь к падениям 0.062 и 0.080; однако высокая частота сама по себе не достаточна для выхода на пенсию, поскольку gen_004 также является широким и частым, но при этом сохраняет внешнюю ценность со значительно большим падением 0.284. И наоборот, низкая частота не означает низкую ценность: cle_003 выбирается реже, но имеет высокое MEC, и его отключение вызывает падение 0.250, делая его глобально редким, но локально незаменимым. Панель (c) дополнительно показывает, что частые, привязанные к задачам или вновь расширенные навыки могут быть выведены из эксплуатации, как только их предельная внешняя ценность становится отрицательной. Таким образом, SLIM выводит навык из эксплуатации только тогда, когда его внешняя предельная ценность исчезает при текущей политике, сохраняя навыки длинного хвоста, которые остаются полезными на конкретных маршрутизированных подмножествах.

Эмпирическая поддержка локальных сигналов жизненного цикла. Тематическое исследование также связывает локальную теорию с наблюдаемым поведением. Зонд MEC показывает, что уход «leave-one-skill-out» снижает соответствие результатам retain и retire, при этом Рисунок 3 демонстрирует, что эти локальные решения приводят к немонотонному активному набору, а не к монотонному накоплению или исключению. Абляции дополнительно подтверждают этот механизм: без Retirement показатель падает до 73.4, Random Audit до 68.8, а Fixed Active Set Size до 75.6, что указывает на то, что эффективность зависит от зависящих от вклада решений о жизненном цикле, а не от бесконтрольного роста навыков, случайной мутации или простого контроля бюджета подсказок.

7 Заключение и дальнейшие работы

Мы представляем SLIM — фреймворк для динамического управления жизненным циклом навыков в агентном RL. Ключевая идея SLIM состоит в том, что внешние навыки не следует предполагать накапливающимися бесконечно, но и не нужно принуждать их исчезать до нулевого уровня при выводе. Вместо этого активный набор внешних навыков следует рассматривать как динамическую переменную оптимизации и обновлять его с помощью обучения политике, что позволяет выученной конечной точке избегать как устойчивого полного накопления, так и принудительного вывода с нулевыми навыками. На ALFWorld и SearchQA SLIM улучшает стандартный RL и предшествующие методы на основе навыков, одновременно обучаясь качественно иному конечному состоянию. Динамика обучения, абляции и исследования частных случаев жизненного цикла показывают, что активный набор развивается не монотонно, и что решения, учитывающие вклад, имеют принципиальное значение. Эти результаты указывают на разделение труда между параметрами модели и внешней процедурной памятью: повторно используемые поведенческие паттерны могут становиться менее внешне необходимыми, тогда как узкие или локально значимые навыки остаются полезными в качестве внешних модулей. В будущих работах эту перспективу можно распространить на более богатые мультимодальные среды, более детализированные единицы жизненного цикла и более масштабируемые методы аудита.

Приложение организовано следующим образом: $\bullet$ Приложение A представляет локальный теоретический анализ, дополняющий SLIM. $\bullet$ Приложение B описывает подробные настройки SLIM и базовые методы. $\bullet$ Приложение C описывает подробную экспериментальную постановку, включая конфигурацию обучения, параметры извлечения и детали аудита жизненного цикла. $\bullet$ Приложение D приводит дополнительные экспериментальные результаты, включая дополнительные таблицы, кривые и анализ устойчивости. $\bullet$ Приложение E вводит все подсказки, используемые при обучении, оценке и расширении навыков. $\bullet$ Приложение F суммирует исходный и расширенный набор навыков, используемые SLIM. $\bullet$ Приложение G обсуждает ограничения SLIM. $\bullet$ Приложение H обсуждает более широкий эффект этого исследования.

Appendix A Теоретический анализ

Этот раздел содержит теоретический анализ, дополняющий Раздел 4.1, Раздел 4.2 и Раздел 4.3. Мы сохраняем анализ локальным, поскольку в Eq. (2) присутствует непрерывная переменная политики, дискретное активное множество, концептуальная функция стоимости “черного ящика” $\Omega$ и скрытое ограничение пропускной способности. Цель не состоит в доказательстве глобальной оптимальности Eq. (2); вместо этого леммы дают локальные достаточные условия, объясняющие, почему эвристики жизненного цикла могут быть консервативными при сделанных допущениях об условиях эксплуатации. На протяжении всего анализа навыки вне активного внешнего множества могут относиться либо к скрытому внутренне усвоенному множеству $\mathcal{I}$, либо к неактивному внешнему множеству $\mathcal{U}$, поэтому деактивация не идентифицируется с внутренней усвоенностью.

Пусть $F(\theta,\mathcal{A})=\mathbb{E}_{x\sim\mathcal{X}}[\operatorname{Perf}(x;\pi_{\theta},\mathcal{A})]$ обозначает ожидаемый член показателя качества выполнения задачи в уравнении 2, и пусть $\mathcal{J}(\theta,\mathcal{A})=F(\theta,\mathcal{A})-\Omega(\mathcal{A})$ обозначает его целевую функцию, связанную со стоимостью показателя качества.

Assumption A.1.

Для задачи $x$ типа $k$ иерархический ретривер в уравнении 3 сохраняет локально полезные активные навыки, специфичные для задачи, с ограниченной вероятностью ошибки. В частности, если активный навык, специфичный для задачи $s\in\mathcal{A}^{k}_{t}$, имеет условно-обусловленное по задаче предельное приращение не меньше $\gamma_{\mathrm{ret}}>0$, то

$$\Pr\!\left(s\in\mathcal{Q}_{t}(x)\right)\geq 1-\delta_{\mathrm{ret}}\,.$$ (A1)

Это стандартное требование к полноте при извлечении, когда извлечение используется как шаг сокращения множества кандидатов, и оно согласуется с иерархическими библиотеками навыков и системами маршрутизации навыков [59, 76].

Lemma A.2.

При допущении A.1 для любой фиксированной локально полезной активной задачи-специфического навыка $s\in\mathcal{L}_{t}(x)$ извлечение с учетом задачи не находит $s$ с вероятностью не более $\delta_{\mathrm{ret}}$. Следовательно, вероятность пропустить хотя бы один навык в $\mathcal{L}_{t}(x)$ не превышает $|\mathcal{L}_{t}(x)|\delta_{\mathrm{ret}}$ по оценке объединением (union bound).

Доказательство. Пусть $\mathcal{L}_{t}(x)=\{s\in\mathcal{A}^{k}_{t}:\text{$s$ has task-conditioned marginal gain at least $\gamma_{\mathrm{ret}}$ on $x$}\}$ обозначает локально полезные активные предметно-ориентированные навыки для задачи $x$. Для любого $s\in\mathcal{L}_{t}(x)$ предположение A.1 дает

$$\Pr\!\left(s\notin\mathcal{Q}_{t}(x)\right)=1-\Pr\!\left(s\in\mathcal{Q}_{t}(x)\right)\leq\delta_{\mathrm{ret}}\,.$$ (A2)

Это доказывает утверждение о фиксированном навыке. Для события на уровне множества,

$$\Pr\!\left(\exists s\in\mathcal{L}_{t}(x):s\notin\mathcal{Q}_{t}(x)\right)\leq\sum_{s\in\mathcal{L}_{t}(x)}\Pr\!\left(s\notin\mathcal{Q}_{t}(x)\right)\leq|\mathcal{L}_{t}(x)|\delta_{\mathrm{ret}}\,,$$ (A3)

где первое неравенство соответствует верхней границе объединения. Этим завершается доказательство. ∎

Assumption A.3.

Для фиксированного активного множества $\mathcal{A}_{t}$ целевая функция GRPO локально согласована с членом, связанным с производительностью. Если одно обновление GRPO отображает $\theta_{t}$ в $\theta_{t+1}$, то

$$F(\theta_{t+1},\mathcal{A}_{t})-F(\theta_{t},\mathcal{A}_{t})\geq c_{\mathrm{RL}}\big(J_{\mathrm{GRPO}}(\theta_{t+1};\mathcal{A}_{t})-J_{\mathrm{GRPO}}(\theta_{t};\mathcal{A}_{t})\big)-\varepsilon_{\mathrm{RL}},$$ (A4)

где $c_{\mathrm{RL}}>0$ и $\varepsilon_{\mathrm{RL}}\geq 0$ фиксируют локальное несоответствие суррогата. Это стандартное локально-улучшающее представление, используемое в оптимизации политики в стиле PPO/GRPO [45, 12, 68].

Assumption A.4.

Для проверяемого навыка $s\in\mathcal{A}_{t}$ сглаженная оценка leave-one-skill-out концентрируется вокруг предельного внешнего вклада в популяции согласно обновленной политике $\theta_{t+1}$. Пусть

$$\Delta_{\mathcal{X},t}(s)=F(\theta_{t+1},\mathcal{A}_{t})-F(\theta_{t+1},\mathcal{A}_{t}\setminus\{s\}).$$ (A5)

После сглаживания методом EMA и при достаточной экспозиции оценка аудита удовлетворяет

$$\left|\bar{\Delta}_{t}(s)-\Delta_{\mathcal{X},t}(s)\right|\leq\varepsilon_{\mathrm{val}}$$ (A6)

с вероятностью не менее $1-\delta_{\mathrm{val}}$. В ходе раундов аудита, при условии текущей политики и активного множества, ошибки валидации условно независимы или удовлетворяют эквивалентному условию перемешивания. Это конечное условие концентрации для валидации для контрафактического абляционного подхода: ограниченные метрики валидации допускают концентрацию вокруг своего ожидания при достаточном числе образцов [21], тогда как условия терпения и минимального воздействия в уравнении Eq. (6) предотвращают принятие решений, основанных на одном шумном аудите.

Assumption A.5.

Контроллер жизненного цикла работает в рамках фиксированного физического бюджета. Из-за строгих ограничений на максимальное контекстное окно $L_{\max}$, слоты маршрутизации top-$K$, ограниченную длину артефакта навыка и конечный бюджет аудита, предельные вычислительные, маршрутизирующие и контекстные накладные расходы добавления или удаления одного навыка строго ограничены. Поэтому для любого одиночного перемещения навыка с $\mathcal{A}$ на $\mathcal{A}^{\prime}$ существует $B_{\mathrm{op}}>0$ такая что

$$\left|\Omega(\mathcal{A}^{\prime})-\Omega(\mathcal{A})\right|\leq B_{\mathrm{op}}\,.$$ (A7)

Это утверждение связано с рабочим режимом системы, а не с глобальной моделью или оценивателем $\Omega$; оно согласуется с исследованиями по маршрутизации навыков и по длинному контексту, показывающими, что затраты на маршрутизацию и контекст являются конкретными величинами на уровне системы [76, 32]. В экспериментах мы сообщаем о реализованных операционных издержках, таких как число активных навыков, вызовы аудита, время по настенным часам и сложность извлечения, а не оцениваем абсолютное значение $\Omega$.

Lemma A.6.

При допущении A.4 сглаженная оценка исключения одной специальности $\bar{\Delta}_{t}(s)$ является прокси $\varepsilon_{\mathrm{val}}$-точности для истинного предельного внешнего вклада $\Delta_{\mathcal{X},t}(s)$ с вероятностью по меньшей мере $1-\delta_{\mathrm{val}}$.

Доказательство. Из предположения A.4 событие

$$\mathcal{E}_{\mathrm{val}}(s)=\left\{\left|\bar{\Delta}_{t}(s)-\Delta_{\mathcal{X},t}(s)\right|\leq\varepsilon_{\mathrm{val}}\right\}$$ (A8)

удовлетворяет $\Pr(\mathcal{E}_{\mathrm{val}}(s))\geq 1-\delta_{\mathrm{val}}$. По $\mathcal{E}_{\mathrm{val}}(s)$,

$$-\varepsilon_{\mathrm{val}}\leq\bar{\Delta}_{t}(s)-\Delta_{\mathcal{X},t}(s)\leq\varepsilon_{\mathrm{val}}\,,$$ (A9)

что эквивалентно

$$\Delta_{\mathcal{X},t}(s)-\varepsilon_{\mathrm{val}}\leq\bar{\Delta}_{t}(s)\leq\Delta_{\mathcal{X},t}(s)+\varepsilon_{\mathrm{val}}\,.$$ (A10)

Таким образом, $\bar{\Delta}_{t}(s)$ является $\varepsilon_{\mathrm{val}}$-точным приближением для $\Delta_{\mathcal{X},t}(s)$ с вероятностью не менее $1-\delta_{\mathrm{val}}$. Это завершает доказательство. ∎

Lemma A.7.

При допущении A.5 для любого перехода с одного навыка из $\mathcal{A}$ в $\mathcal{A}^{\prime}$, где $\mathcal{A}^{\prime}=\mathcal{A}\cup\{s\}$ или $\mathcal{A}^{\prime}=\mathcal{A}\setminus\{s\}$, абсолютная разность затрат удовлетворяет

$$\left|\Omega(\mathcal{A}^{\prime})-\Omega(\mathcal{A})\right|\leq B_{\mathrm{op}}\,.$$ (A11)

Доказательство. Это в точности верхняя граница затрат режима работы в предположении A.5. Для полноты рассмотрим два однонавыкового перехода. Если $\mathcal{A}^{\prime}=\mathcal{A}\cup\{s\}$, то

$$\left|\Omega(\mathcal{A}^{\prime})-\Omega(\mathcal{A})\right|=\Omega(\mathcal{A}\cup\{s\})-\Omega(\mathcal{A})\leq B_{\mathrm{op}}\,,$$ (A12)

где равенство использует монотонность $\Omega$, а неравенство использует допущение A.5. Если $\mathcal{A}^{\prime}=\mathcal{A}\setminus\{s\}$, то

$$\left|\Omega(\mathcal{A}^{\prime})-\Omega(\mathcal{A})\right|=\Omega(\mathcal{A})-\Omega(\mathcal{A}\setminus\{s\})\leq B_{\mathrm{op}}\,.$$ (A13)

Это завершает доказательство. ∎

Lemma A.8.

Пусть выполняются предположение A.4 и предположение A.5. Мы анализируем одно принятую операцию жизненного цикла, при этом в Разделе B.1 применяется строго ограниченное число операций на цикл аудита как локальное приближение, аналогичное пакетным обновлениям политики. В событие $\mathcal{E}_{\mathrm{val}}(s)$ в Лемме A.6, которое выполняется с вероятностью не менее $1-\delta_{\mathrm{val}}$ для каждого проверяемого навыка, правила жизненного цикла в Ур. (5)–Ур. (7) являются консервативными решениями для одной операции при следующих достаточных запасах. Если $\tau_{\mathrm{keep}}\geq B_{\mathrm{op}}+\varepsilon_{\mathrm{val}}$, Ур. (5) блокирует удаление, которое не может улучшить $\mathcal{J}$. Если срабатывает Ур. (6) и сохраненная стоимость удовлетворяет $\Delta\Omega^{-}_{t}(s)\geq\tau_{\mathrm{retire}}+\varepsilon_{\mathrm{val}}$, уход в отставку $s$ улучшает $\mathcal{J}$. Если Ур. (7) выбирает $s_{\mathrm{new}}$, ожидаемый выигрыш в производительности которого по меньшей мере равен $B_{\mathrm{op}}$, добавление $s_{\mathrm{new}}$ не уменьшает $\mathcal{J}$. Для аудита, который оценивает не более $M_{\mathrm{audit}}$ навыков, выводы о сохранении/уходе в отставку, зависящие от валидации, выполняются совместно с вероятностью не менее $1-M_{\mathrm{audit}}\delta_{\mathrm{val}}$ по оценке объединением.

Доказательство. Для сохранения локальная целевая функция изменения при удалении $s$

$$\mathcal{J}(\theta_{t+1},\mathcal{A}_{t}\setminus\{s\})-\mathcal{J}(\theta_{t+1},\mathcal{A}_{t})=-\Delta_{\mathcal{X},t}(s)+\Delta\Omega^{-}_{t}(s),$$ (A14)

где $\Delta\Omega^{-}_{t}(s)=\Omega(\mathcal{A}_{t})-\Omega(\mathcal{A}_{t}\setminus\{s\})$. Если Eq. (5) срабатывает, то $\bar{\Delta}_{t}(s)\geq\tau_{\mathrm{keep}}$. Сочетание $\tau_{\mathrm{keep}}\geq B_{\mathrm{op}}+\varepsilon_{\mathrm{val}}$ с леммой A.6 дает

$$\Delta_{\mathcal{X},t}(s)\geq\bar{\Delta}_{t}(s)-\varepsilon_{\mathrm{val}}\geq B_{\mathrm{op}}\,.$$ (A15)

По лемме A.7, $\Delta\Omega^{-}_{t}(s)\leq B_{\mathrm{op}}$. Следовательно,

$$\mathcal{J}(\theta_{t+1},\mathcal{A}_{t}\setminus\{s\})-\mathcal{J}(\theta_{t+1},\mathcal{A}_{t}) =-\Delta_{\mathcal{X},t}(s)+\Delta\Omega^{-}_{t}(s)$$ (A16)

$$\leq-B_{\mathrm{op}}+B_{\mathrm{op}}=0\,.$$

Таким образом, сохранение блоков $s$ обеспечивает удаление, которое не может улучшить $\mathcal{J}$.

Для вычитания, уравнение (6) дает $\bar{\Delta}_{t}(s)<\tau_{\mathrm{retire}}$. По лемме A.6,

$$\Delta_{\mathcal{X},t}(s)\leq\bar{\Delta}_{t}(s)+\varepsilon_{\mathrm{val}}<\tau_{\mathrm{retire}}+\varepsilon_{\mathrm{val}}\,.$$ (A17)

Если $\Delta\Omega^{-}_{t}(s)\geq\tau_{\mathrm{retire}}+\varepsilon_{\mathrm{val}}$, то

$$\mathcal{J}(\theta_{t+1},\mathcal{A}_{t}\setminus\{s\})-\mathcal{J}(\theta_{t+1},\mathcal{A}_{t}) =-\Delta_{\mathcal{X},t}(s)+\Delta\Omega^{-}_{t}(s)$$ (A18)

$$>-\big(\tau_{\mathrm{retire}}+\varepsilon_{\mathrm{val}}\big)+\tau_{\mathrm{retire}}+\varepsilon_{\mathrm{val}}=0\,.$$

Таким образом, принятый уходящий ход улучшает $\mathcal{J}$ в анализе одного хода в рамках заданного порога экономии затрат. Поскольку $\Delta\Omega^{-}_{t}(s)$ не наблюдается алгоритмом напрямую, уравнение 6 следует интерпретировать как консервативную эвристику, гарантия улучшения для которой выполняется только тогда, когда восстановленная внешняя стоимость поддержки превышает этот достаточный запас.

Для расширения, пусть

$$G_{t}(s_{\mathrm{new}})=F(\theta_{t+1},\mathcal{A}_{t}\cup\{s_{\mathrm{new}}\})-F(\theta_{t+1},\mathcal{A}_{t})$$ (A19)

обозначим ожидаемый прирост производительности от добавления нового навыка. Локальное изменение целевой функции

$$\mathcal{J}(\theta_{t+1},\mathcal{A}_{t}\cup\{s_{\mathrm{new}}\})-\mathcal{J}(\theta_{t+1},\mathcal{A}_{t}) =G_{t}(s_{\mathrm{new}})-\big(\Omega(\mathcal{A}_{t}\cup\{s_{\mathrm{new}}\})-\Omega(\mathcal{A}_{t})\big)$$ (A20)

$$\geq G_{t}(s_{\mathrm{new}})-B_{\mathrm{op}}\,,$$

где неравенство следует из Леммы A.7. Если $G_{t}(s_{\mathrm{new}})\geq B_{\mathrm{op}}$, то расширяющий переход не уменьшает $\mathcal{J}$. Заявление о вероятности следует из Леммы A.6; применение оценки объединения по не более чем $M_{\mathrm{audit}}$ проверенным навыкам дает совместную вероятность по меньшей мере $1-M_{\mathrm{audit}}\delta_{\mathrm{val}}$ для выводов о сохранении/отказе, зависящих от валидации. Это завершает доказательство. ∎

Lemma A.9.

Предположим, что допущение A.4 выполняется на протяжении раундов аудита. Если активный навык $s$ имеет истинный предельный внешний вклад $\Delta_{\mathcal{X},r}(s)\geq\tau_{\mathrm{retire}}+\gamma$ для $p$ в течение $r=t-p+1,\ldots,t$ последовательных раундов аудита $\gamma>0$, тогда существует эффективная константа концентрации $c_{\mathrm{eff}}>0$, зависящая от размера валидационной выборки, сглаживания EMA и временного смешивания, такая что вероятность того, что $s$ будет ошибочно снят с эксплуатации условием терпения в Eq. (6), не превышает $\exp(-c_{\mathrm{eff}}p\gamma^{2})$.

Доказательство. Для одного раунда аудита $r$ ложное доказательство низкого вклада требует $\bar{\Delta}_{r}(s)<\tau_{\mathrm{retire}}$. Начиная с $\Delta_{\mathcal{X},r}(s)\geq\tau_{\mathrm{retire}}+\gamma$, это событие подразумевает

$$\bar{\Delta}_{r}(s)-\Delta_{\mathcal{X},r}(s)<-\gamma\,.$$ (A21)

Хотя EMA вносит временную корреляцию в $\bar{\Delta}_{r}(s)$, каждый раунд аудита включает новые валидационные выборки. При условии смешивания в предположении A.4 получаемая сглаженная оценка по-прежнему удовлетворяет эффективной оценке концентрированности. Поэтому, согласно концентрации типа Hoeffding для ограниченных метрик валидации с эффективным размером выборки и поправкой на смешивание [21], существует $c_{\mathrm{eff}}>0$ такая что

$$\Pr\!\left(\bar{\Delta}_{r}(s)<\tau_{\mathrm{retire}}\right)\leq\exp(-c_{\mathrm{eff}}\gamma^{2})\,.$$ (A22)

Условие терпения требует, чтобы это событие с ложным низким вкладом происходило для $p$ последовательных раундов аудита. При условии условной независимости или эквивалентном условии перемешивания в Допущении A.4 новые выборки для валидации в разных раундах аудита дают эффективную усиленную оценку концентрации:

$$\Pr\!\left(\ell_{t}(s)\geq p\right)\leq\exp(-c_{\mathrm{eff}}p\gamma^{2})\,.$$ (A23)

Таким образом, терпение экспоненциально снижает вероятность ошибочного прекращения навыка, если его истинный предельный вклад остается выше порога прекращения. Это завершает доказательство. ∎

Lemma A.10.

Предположим допущение A.4. Определим активный навык $s^{\prime}\in\mathcal{A}_{t}$ как внешне необходимый при $(\theta_{t+1},\mathcal{A}_{t})$, если $\Delta_{\mathcal{X},t}(s^{\prime})>0$. Если $\Delta_{\mathcal{X},t}(s^{\prime})\geq\tau_{\mathrm{retire}}+\varepsilon_{\mathrm{val}}$, то $\bar{\Delta}_{t}(s^{\prime})\geq\tau_{\mathrm{retire}}$ с вероятностью не менее $1-\delta_{\mathrm{val}}$, так что уравнение (6) не может вывести из обращения $s^{\prime}$.

Доказательство. Поскольку $s^{\prime}$ внешне необходимо и удовлетворяет $\Delta_{\mathcal{X},t}(s^{\prime})\geq\tau_{\mathrm{retire}}+\varepsilon_{\mathrm{val}}$, удаление его внешней поддержки уменьшает ожидаемую производительность как минимум на эту величину. По лемме A.6 с вероятностью по меньшей мере $1-\delta_{\mathrm{val}}$,

$$\bar{\Delta}_{t}(s^{\prime})\geq\Delta_{\mathcal{X},t}(s^{\prime})-\varepsilon_{\mathrm{val}}\,.$$ (A24)

Если $\Delta_{\mathcal{X},t}(s^{\prime})\geq\tau_{\mathrm{retire}}+\varepsilon_{\mathrm{val}}$, то

$$\bar{\Delta}_{t}(s^{\prime}) \geq\Delta_{\mathcal{X},t}(s^{\prime})-\varepsilon_{\mathrm{val}}$$ (A25)

$$\geq\tau_{\mathrm{retire}}+\varepsilon_{\mathrm{val}}-\varepsilon_{\mathrm{val}}$$

$$=\tau_{\mathrm{retire}}\,.$$

Таким образом, первое условие в формуле (6), а именно $\bar{\Delta}_{t}(s^{\prime})<\tau_{\mathrm{retire}}$, ложно. Следовательно, $s^{\prime}$ нельзя вывести из соотношения (6). Ограниченная емкость модели объясняет, почему такие внешне необходимые навыки могут сохраняться, но сама лемма использует лишь наблюдаемый предельный внешний вклад. Она защищает в настоящее время проходящие аудит активные навыки и не утверждает, что ранее выведенные из употребления неактивные навыки защищены от последующего забывания. Этим завершается доказательство. ∎

Appendix B Детали реализации

B.1 Настройка SLIM

Опорная модель и протокол данных. Все основные эксперименты SLIM используют Qwen3-4B [63] в качестве модели политики. Для обновлений GRPO мы используем разбиение train, для аудита жизненного цикла и мониторинга во время обучения — разбиение validation, а разбиение test используем только для итоговой отчетности. Для ALFWorld мы используем 16 обучающих задач на каждое обновление, 32 проверочные задачи на каждый проход проверки, максимальную длину запроса 4096, максимальную длину ответа 512, правое усечение и не применяем фильтрацию запросов избыточной длины. Для SearchQA мы используем 64 обучающие задачи на каждое обновление, 512 проверочных задач на каждый проход проверки, максимальную длину запроса 5000, максимальную длину ответа 700, левое усечение и фильтрацию запросов избыточной длины. ALFWorld выполняется в течение 120 шагов GRPO, а SearchQA — в течение 180 шагов GRPO, и в обоих случаях проверка выполняется каждые 10 шагов. Проверка и итоговая оценка используют выборочную генерацию с температурой 0.4.

Обучение. SLIM использует целевую функцию GRPO, определяемую уравнением Eq. 1, и не использует отдельный этап warmup или cold-start. ALFWorld использует $n=8$ rollouts на запрос, максимум 50 шагов среды и 50 шагов истории взаимодействия. SearchQA использует $n=4$ rollouts на запрос, максимум 4 шага среды, 4 шага истории и общий поисковый backend, используемый всеми методами SearchQA. Оптимизатор использует learning rate $10^{-6}$ в обоих бенчмарках. Размеры PPO mini-batch и per-device micro-batch равны 32 и 2 для ALFWorld и 512 и 8 для SearchQA. Награды представляют собой награды на уровне исхода от среды: завершённые успешные траектории получают награду за успех бенчмарка, а неуспешные траектории получают нулевую награду, при этом штрафы за недопустимые действия применяются во время сбора траектории. Коэффициент штрафа за недопустимые действия равен 0.1 для ALFWorld и 0.01 для SearchQA. Для основных прогонов SLIM отключены и loss по KL на стороне актёра, и регуляризация KL-in-reward.

Извлечение. SLIM использует иерархический банк навыков в стиле SkillRL, описанный в Разделе 3. Навыки, специфичные для задачи, извлекаются только из активного пула обнаруженного типа задачи. Запрос на извлечение представляет собой текущее описание задачи, тогда как каждый ключ навыка — это маршрутизирующий текст, объединяющий название навыка, описание или принцип, поле when_to_apply, body, tags и тип задачи. Мы встраиваем и запрос, и ключи с помощью Qwen3-Embedding-0.6B [71] и ранжируем кандидатов по навыкам по косинусному сходству. Мы устанавливаем верхний предел извлечения, специфичного для задачи, равным $K=3$, а порог встраивания — равным $\tau_{\mathrm{emb}}=0.45$, поэтому извлечение может вставлять меньше трех навыков, специфичных для задачи, когда ни один активный навык не является достаточно релевантным.

Жизненный цикл навыка. Периодически после валидации GRPO выполняются циклы аудита жизненного цикла. Каждый аудит фиксирует маршрутизированные навыки, результаты валидации и маршрутизированные отказы в рамках текущего активного набора. В ALFWorld каждый аудит рассматривает ограниченное множество недавно маршрутизированных навыков, включая не более четырех навыков, специфичных для задач, выбранных среди навыков, появившихся в извлеченном наборе top-$K$. В SearchQA применяется та же логика при более крупном бюджете аудита — не более 12 активных навыков, поскольку пакеты валидации больше, а эпизоды короче. Пропущенные кандидаты не заменяются дополнительными кандидатами за пределами бюджета аудита. Этот бюджет ограничивает стоимость аудита, а условия ниже по экспозиции и терпению предотвращают вывод из эксплуатации редко маршрутизируемых навыков только из‑за того, что они недостаточно часто подвергались аудиту. Для каждого аудируемого навыка $s$ SLIM вычисляет маргинальный внешнесистемный вклад leave-one-skill-out $\Delta_{t}(s)$ и обновляет сглаженную оценку $\bar{\Delta}_{t}(s)$ с коэффициентом EMA 0.9. Вывод из эксплуатации использует $\tau_{\mathrm{retire}}=0.001$ и терпение $p=3$ в обоих бенчмарках. Минимальный порог экспозиции — $n_{\min}=30$ для ALFWorld и $n_{\min}=20$ для SearchQA. Решения о сохранении используют $\tau_{\mathrm{keep}}=0.03$ для ALFWorld и $\tau_{\mathrm{keep}}=0.05$ для SearchQA. Таким образом, навык выводится из эксплуатации только после того, как его достаточно часто маршрутизировали, и его сглаженный вклад остается пренебрежимо малым в течение нескольких аудитов. Расширение является строго специфичным для задач и выполняется во время аудитов обучения, никогда во время финальной оценки на тестах. ALFWorld использует $\tau_{\mathrm{expand}}=0.40$, $n_{\mathrm{expand}}=20$ и создает не более двух новых навыков на каждый аудит. SearchQA использует $\tau_{\mathrm{expand}}=0.40$, $n_{\mathrm{expand}}=15$ и создает не более трех новых навыков на каждый аудит. Формируется «корзина отказов» из отказов валидации, маршрутизированных в один и тот же активный навык и тип задачи. Новый навык наследует тип задачи из этой корзины, поэтому расширение добавляет поддержку только в соответствующий пул навыков, специфичных для задач. Новые навыки являются самостоятельными артефактами SKILL.md, генерируемыми бэкбоном skill-creator, совместимым с OpenAI, на основе конвейера создания навыков в стиле Anthropic [7]. Подсказка расширения, показанная на Рисунке A11, включает репрезентативные отказавшие задачи, сводные трассы отказов и недостаточное число активных навыков. Мы устраняем дубликаты по существующим навыкам по названию, описанию триггера и сходству встраивания маршрутизирующего текста. Мы отклоняем сгенерированные навыки, если они общие, дублируют существующий навык, слишком короткие для определения полезного рабочего процесса или пытаются создать новые общие либо базовые навыки.

Затраты на аудит. Оставление одного навыка для аудита добавляет накладные расходы на время валидации, однако это ограничено графиком аудита и бюджетом кандидатов. Аудиты выполняются каждые 10 шагов GRPO и используют ограниченные подмножества для валидации. В ALFWorld каждый аудит оценивает не более одной группы навыков общего назначения и $M=4$ навыков, специфичных для задачи; в SearchQA больший валидационный пакет и более короткие эпизоды позволяют аудитировать максимум 12 активных навыков. Таким образом, SLIM не выполняет повторную валидацию для полного банка навыков. В наших запусках ALFWorld завершается примерно за 20 часов, а SearchQA — примерно за 25 часов, что сопоставимо по порядку величин с Skill0 и SkillRL в рамках общей обучающей схемы. Таблица A7 в Приложении D.6 содержит подробное сравнение накладных расходов.

Вывод. Для итогового вывода с обусловливанием навыками SLIM использует заключительное активное множество после обучения. Перед каждым разворачиванием агент вставляет активные общие навыки и извлекает навыки, специфичные для задачи, используя то же извлечение с встраиванием с учетом типа задачи, что и во время обучения. Итоговая оценка не выполняет операций retain, retire или expand. Подсказки среды показаны на рисунках A2 и A4, а формат вставки навыков показан на рисунке A5⟧.

Вычислительные ресурсы. По зарегистрированным подсчётам токенов и времени шагов полный прогон SLIM для ALFWorld имеет порядок $10^{19}$ операций с плавающей запятой. SearchQA использует более короткие эпизоды, но больший объём валидационной выборки и более длительный горизонт обучения, что в сумме даёт бюджет вычислений порядка $10^{19}$–$10^{20}$ операций с плавающей запятой. Эти оценки включают генерацию развёрток, вычисление лог-вероятностей, обновления политики, валидацию и повторные запуски аудита жизненного цикла, но исключают разовую предварительную обработку данных.

B.2 Настройка базовых моделей

Нулевое и малошотовое побуждение. Базовые модели только с подсказкой оценивают базовую модель без обновлений при обучении с подкреплением. Нулевое побуждение напрямую использует эталонный взаимодействующий запрос на Рисунке A1 или на Рисунке A3. Малошотовое побуждение дополняет начало решенными примерами в соответствии с Рисунком A6. Варианты с навыком используют тот же протокол запроса, но дополнительно вставляют извлеченные внешние навыки в соответствии с Рисунком A5. Базовые модели с побуждением оцениваются с тем же анализатором среды, метрикой успешности и заключительным разбиением теста, что и методы обучения с подкреплением, используя размер батча 16 для ALFWorld и 32 для SearchQA.

ReAct. ReAct реализован как адаптер «рассуждение-и-действие» в соответствии с средой, поверх общей оценочной платформы. Он использует инструкцию на рисунке A7, сохраняет те же теги действий и парсер, что и основная среда, и не использует долговременную память. Это адаптация идеи ReAct на уровне подсказки, а не верхнеуровневое точное выполнение с отдельным интерфейсом инструментов.

Рефлексия. Рефлексия сохраняет краткие размышления о неудачных траекториях и извлекает релевантные размышления перед последующими действиями. Подсказки для выполнения и генерации размышлений показаны на рисунке A8. Мы извлекаем максимум три размышления и поддерживаем ограниченную память из 200 элементов. Генерация использует детерминированное сервисное декодирование с максимальными 768 токенами, температурой 0 и top-$p=1.0$. Наша реализация сохраняет механизм повторного использования размышлений о неудаче в рамках протокола совместной среды, но не воспроизводит исходный многопробный конвейер обучения в точности.

ExpeL. ExpeL реализован как базовая модель «опыт—урок». После каждого эпизода метод извлекает из траектории компактный многоразовый урок и затем для будущих решений извлекает не более трех релевантных уроков, при этом сохраняются тот же предел памяти в 200 элементов и детерминированное сервисное декодирование, как у Reflexion. На рисунке A9 приведены подсказки для действий и для дистилляции уроков. Этот адаптер сохраняет ключевую идею дистилляции опыта в уроки, одновременно используя тот же разборщик действий, метрику успеха и протокол обучения/валидации/тестирования, что и у остальных базовых моделей.

Mem0. Mem0 реализован как легкая базовая модель долговременной памяти. Он извлекает до трех кратких атомарных воспоминаний после каждой эпизода, сохраняет их в том же ограниченном банке памяти из 200 элементов и извлекает не более трех релевантных воспоминаний перед генерацией действий, следуя Рисунок A10. Эта адаптация измеряет ценность компактной извлеченной памяти в рамках общего оценочного стека, а не различия во внешней инфраструктуре памяти.

GRPO и GRPO со навыками. Базовая модель GRPO использует тот же RL-оптимизатор, стек среды и определение вознаграждения, что и SLIM, но не получает внешнего контекста навыков или памяти и не использует этап прогрева. ALFWorld использует размер обучающего пакета 16, размер пакета валидации 32, количество запусков 8, максимальную длину эпизода 50, learning rate $10^{-6}$, размер PPO mini-batch 32, micro-batch размер 2, 120 обучающих шагов и валидацию каждые 10 шагов. SearchQA использует размер обучающего пакета 64, размер пакета валидации 512, количество запусков 4, максимальную длину эпизода 4, learning rate $10^{-6}$, размер PPO mini-batch 512, micro-batch размер 8, 180 обучающих шагов и валидацию каждые 10 шагов. В обоих настройках отключаются KL-убыток на стороне актёра и регуляризация KL-in-reward, а коэффициенты штрафа за недопустимое действие равны 0.1 для ALFWorld и 0.01 для SearchQA. GRPO со навыками сохраняет тот же оптимизатор и настройки развертывания, но вставляет извлечённые внешние навыки, используя формат skill-conditioned prompt на рисунке A5; при этом не выполняются операции retain, retire или expand.

EvolveR. EvolveR оценивается как базовый уровень поиска по жизненному циклу опыта. Он извлекает прошлые траектории в виде повторно используемых принципов, извлекает релевантный опыт до развертывания и обновляет хранилище опыта во время обучения. Мы адаптируем EvolveR к тем же средам ALFWorld и SearchQA, показателю успешности и протоколу обучения/валидации/тестирования. Там, где дистилляция опыта или обновление требует сервисной модели, мы используем то же семейство сервисов, совместимое с OpenAI, что и в других методах-ориентирах. Адаптер извлекает три лучших принципа опыта перед каждым развертыванием. Таким образом, сравнение сохраняет идею, основанную на жизненном цикле опыта, при этом поддерживая согласованными разбор действий, вычисление вознаграждения, протокол валидации и доступ к сервисной модели с остальными методами. EvolveR не оценивает маргинальный внешний вклад в режиме leave-one-skill-out и не поддерживает состояния жизненного цикла retain/retire/expand по артефактам навыков.

Skill0. Skill0 адаптирован как базовый уровень с запланированным «выводом» навыков и не использует отдельную стадию прогрева в нашем сравнении. Во время обучения политика подвергается воздействию внешних навыков, а видимый набор навыков постепенно сокращается в соответствии с расписанием учебной программы. ALFWorld использует расписание $[6,3,0]$ с размером обучающего пакета 16, размером пакета для валидации 32, количеством прогонов 8, максимальной длиной эпизода 50, коэффициентом обучения $10^{-6}$, размером мини-пакета PPO 32, размером микро-пакета 2, 120 шагами обучения и валидацией каждые 10 шагов. SearchQA использует расписание $[5,3,0]$ с размером обучающего пакета 64, размером пакета для валидации 512, количеством прогонов 4, максимальной длиной эпизода 4, коэффициентом обучения $10^{-6}$, размером мини-пакета PPO 512, размером микро-пакета 8 и 180 шагами обучения. Оба варианта отключают KL-потери со стороны актёра и регуляризацию KL-в-награде, и используют те же коэффициенты штрафа за недопустимое действие, что и SLIM. Исходная кодовая база Skill0 включает компоненты, связанные с текстовым рендерингом и OCR, но наши настройки ALFWorld и SearchQA являются ориентированными на текст. Поэтому мы отключаем OCR/текстовый рендеринг, чтобы избежать внесения визуально-рендерингового смешивающего фактора; исходное сравнение Skill0 сообщает о приросте менее чем в три балла от текстового рендеринга, так что эта адаптация не влияет на основное сравнение жизненного цикла навыков. Skill0 предназначен для приближения к инференсу «нулевого навыка».

SkillRL. SkillRL адаптируется как устойчивый базовый уровень обучения с усилением навыками и не использует отдельный этап прогрева в нашем сравнении. Политика извлекает внешние навыки во время обучения и инференса с тем же путем извлечения в стиле SkillRL, который используется для инициализации нашего банка навыков, применяя формат подсказки, обусловленной навыками, на Рисунке A5. ALFWorld использует извлечение верхних 6 навыков, динамическое обновление банка навыков с порогом 0.4, не более трех новых навыков на обновление, размер обучающего пакета 16, размер пакета для валидации 32, количество разверток 8, максимальную длину эпизода 50, learning rate $10^{-6}$, размер мини-пакета для PPO 32, micro-batch size 2, 120 шагов обучения и валидацию каждые 10 шагов. Ее автор/обновляющий навыки использует сопоставимую базовую архитектуру o3, совместимую с OpenAI, которая анализирует неудачные траектории и выдает новые записи навыков в формате JSON, соответствующие формату банка навыков в стиле SkillRL, а не генерирует артефакты SKILL.md. SearchQA использует тот же протокол извлечения верхних 6 навыков и динамического обновления банка навыков, с размером обучающего пакета 64, размером пакета для валидации 512, количеством разверток 4, максимальной длиной эпизода 4, learning rate $10^{-6}$, размером мини-пакета для PPO 512, micro-batch size 8 и 180 шагов обучения. В отличие от GRPO, SkillRL сохраняет потерь KL для опорной политики, используя коэффициенты KL 0.01 для ALFWorld и 0.001 для SearchQA, при этом KL-in-reward остается отключенным. Исходная реализация SkillRL не определяет тот же явный протокол этапа валидации, который используется в наших экспериментах, поэтому мы добавляем валидацию на выделенном валидационном разбиении и резервируем тестовое разбиение для итоговой отчетности. Это приспособление сохраняет основную идентичность SkillRL как устойчивого усиления внешними навыками.

B.3 Дополнительная настройка базовых моделей

GPT-4o и Gemini-2.5-Pro в ALFWorld. Для сравнения ALFWorld с закрытым исходным кодом мы сообщаем результаты GPT-4o и Gemini-2.5-Pro из SkillRL [59]. Эти результаты используются только в расширенной таблице ALFWorld в Приложении D.5, чтобы контекстуализировать масштаб производительности агента в условиях сильных проприетарных моделей. Они не используются для выбора гиперпараметров, аудита жизненного цикла или любых сравнений во время обучения.

SimpleMem в ALFWorld. SimpleMem оценивается как базовый подход к долговременной памяти после его семантического сжатия и извлечения памяти по конструкции [31]. Каждый завершенный эпизод ALFWorld преобразуется в компактную текстовую запись памяти, содержащую описание задачи, ключевые наблюдения, действия, исход и краткий урок. Память индексируется с помощью Qwen3-Embedding-0.6B, чтобы соответствовать встраивающей основе, используемой в других наших экспериментах. Следуя исходному стилю настройки SimpleMem, мы включаем планирование и рефлексию при извлечении, используем семантическое извлечение как основной путь, и допускаем ключевые слова и структурированные фильтры как вспомогательные пути. Извлекатель памяти рассматривает до 25 семантических кандидатов, 5 кандидатов по ключевым словам и 5 структурированных кандидатов, затем вставляет не более трех компактных записей памяти в подсказку действий, чтобы сохранить бюджет подсказки сопоставимым с другими базовыми подходами памяти. Модель политики — Qwen3-4B, а парсер среды, метрика успеха, разбиение train/validation/test и итоговый протокол оценивания такие же, как у других базовых подходов.

RLOO на ALFWorld. RLOO оценивается как базовая модель-оптимизатор в режиме RL, используя тот же набор сред ALFWorld, что и GRPO. Единственное изменение на уровне оптимизатора — оценщик преимущества: для каждого запроса мы выполняем $K=8$ прогонов и вычисляем преимущество leave-one-out $\hat{A}_{i}=R_{i}-\frac{1}{K-1}\sum_{j\neq i}R_{j}$, следуя формулировке leave-one-out REINFORCE [1]. Все остальные настройки согласованы с базовой моделью ALFWorld GRPO, включая размер обучающего пакета 16, размер пакета валидации 32, максимальную длину эпизода 50, learning rate $10^{-6}$, 120 обучающих шагов, валидацию каждые 10 шагов и отсутствие cold-start SFT. RLOO не получает внешние навыки, контекст памяти или обновления по жизненному циклу.

MemRL в ALFWorld. MemRL оценивается как базовый подход с усилением оперативной памяти, который обновляет эпизодическую память без обновления параметров модели [69]. Мы сохраняем исходную структуру метода, используя процедуризацию для построения памяти, извлечение по запросу и обновления памяти на основе корректировок. Чтобы сравнение было корректным, модель политики — Qwen3-4B, а модель встраиваний — Qwen3-Embedding-0.6B, при этом анализатор ALFWorld, примеры для обучения с малым числом примеров, разбиение задач и метрика успеха разделяются с остальной частью нашей оценки. Извлекатель памяти использует $k_{\mathrm{retrieve}}=5$, максимум 8 извлеченных ключевых слов, порог добавочного сходства 0.90, порог новизны 0.85, порог обнаружения неизвестных 0.62 и множество кандидатов с учетом значения размером 3. Обновление значения следует исходной настройке с одним шагом: с коэффициентом обучения $\alpha=0.3$, дисконтированием $\gamma=0$, наградой за успех 1.0, наградой за неудачу $-1.0$ и равными весами 0.5/0.5 для сходства и ценности памяти в объединенной оценке извлечения.

RAG в SearchQA. RAG оценивается как базовый уровень one-shot retrieval-augmented generation на SearchQA [26]. Следуя настройке Search-R1 [23], каждое заданное вопрос используется в качестве поискового запроса, общий поисковый корпус запрашивается перед генерацией, а в подсказку вставляются три наиболее релевантных извлеченных фрагмента. Затем модель генерирует окончательный ответ без итеративных поисковых вызовов, RL-обновлений, извлечения навыков или контроля жизненного цикла. Этот базовый уровень использует ту же базовую архитектуру Qwen3-4B, правило сопоставления ответов и тот же тестовый разбиение, что и другие методы SearchQA.

Поиск-o1 по SearchQA. Search-o1 оценивается как агентная базовая линия поиска во время вывода [27]. Модель побуждают рассуждать, при необходимости формировать поисковые запросы, читать извлечённые свидетельства и продолжать рассуждения перед тем, как выдать окончательный ответ. Мы используем тот же поисковый интерфейс, по три извлечённых фрагмента на каждый вызов поиска, максимальный бюджет действий 4 раунда поиска и оцениватель ответа в качестве среды SearchQA. Search-o1 не обновляет параметры модели и не использует внешние навыки; он отличается от RAG главным образом тем, что позволяет выполнять итеративный поиск и рассуждения во время вывода.

Поиск-R1 в SearchQA. Поиск-R1 оценивается как базовый вариант на основе RL с поиском в соответствии с протоколом обучения Search-R1 [23]. Во время развертывания политика чередует токены рассуждений, сгенерированные моделью, и вызовы поиска, а извлеченные токены маскируются от потерь градиента политики, чтобы оптимизация применялась только к токенам, сгенерированным моделью. Мы используем общий интерфейс поиска SearchQA с верхними-3 извлеченными фрагментами, максимальным бюджетом действий 4, вознаграждением за точное совпадение исхода, learning rate $10^{-6}$ и тем же разделением обучающих/валидационных/тестовых данных, что и в SLIM. Этот базовый вариант не использует внешние навыки или операции жизненного цикла, поэтому он выделяет эффект обучения взаимодействию с поиском отдельно от эффекта управления банком навыков.

SFT для SearchQA. SFT оценивается как базовая модель контролируемой донастройки для SearchQA [11]. Примеры обучения формируются только из обучающего раздела с использованием того же формата ответа, что и в среде с включенным поиском. Модель оптимизируется для имитации целевой траектории рассуждений и ответа, при этом валидация используется только для выбора контрольной точки. SFT не использует RL с вознаграждением по исходу, внешние навыки, аудит жизненного цикла или тестовые траектории во время обучения.

Отклоняющая выборка при SearchQA. Отклоняющая выборка следует базовой конструкции Search-R1 [23, 2]. Для каждого обучающего запроса мы отбираем пять траекторий-кандидатов с включенным поиском с тем же интерфейсом поиска и бюджетом действий, сохраняем траектории, чьи итоговые ответы корректны согласно точному совпадению, и дообучаем модель на выбранных траекториях. Это сохраняет формат взаимодействия LLM–поиск в несколько ходов, заменяя онлайн RL на отфильтрованное обучение с учителем. Для выбора контрольной точки используется валидация, а итоговый тестовый разбиение откладывается до момента представления результатов.

Appendix C Настройка оценки

Протокол бенчмарка. Мы оцениваем все методы на двух агентных бенчмарках, использованных в основной статье. ALFWorld [50] — это бенчмарк длительных текстовых взаимодействий, в котором агент должен выполнять бытовые задачи, выполняя допустимые текстовые действия. Мы приводим как общую долю успешных попыток, так и доли успешных попыток по типам задач для Pick, Look, Clean, Heat, Cool и Pick2, следуя категориям задач, используемым средой. Хотя ALFWorld имеет фиксированный набор типов задач, RL-наблюдение собирается по траекториям действий в несколько шагов, поэтому каждый эпизод в рамках общего протокола развертывания вносит множество решений на уровне действий. SearchQA следует постановке поисково-усиленного вопросно-ответного режима Search-R1 [23]. Агент взаимодействует с поисковым инструментом и в конечном итоге должен выдавать итоговый ответ на вопросы из NQ [25], TriviaQA [24], PopQA [35], HotpotQA [64], 2Wiki [20], MuSiQue [51] и Bamboogle [42]. Все методы используют один и тот же разборщик действий со стороны среды, поисковый интерфейс, правило завершения траектории и оцениватель успешности в рамках каждого бенчмарка.

Разбиения данных и использование данных. Мы используем явные разбиения на обучающую, разработческую и финальную проверочную (окончательную оценочную) части для обоих наборов. Для ALFWorld обучающее разбиение содержит 16 задач текстового взаимодействия, разработческое разбиение содержит 64 задачи, а финальная проверочная (окончательная оценочная) часть содержит 128 задач. Для SearchQA обучающее разбиение содержит 169,615 вопросов из HotpotQA (90,447) и NQ (79,168). Разработческое разбиение содержит 4,000 примеров и сбалансировано по типу навыка, а не по источнику: compare, direct retrieval, entity-attribute lookup и multi-hop reasoning каждое содержит 1,000 примеров. Его распределение по источникам: HotpotQA (1,246), PopQA (1,000), TriviaQA (743), 2Wiki (729), NQ (257), MuSiQue (24) и Bamboogle (1). Построение по типу навыка сопоставляет compare с 2Wiki/HotpotQA/MuSiQue/Bamboogle, direct retrieval с NQ/TriviaQA, entity-attribute lookup с PopQA, а multi-hop reasoning с HotpotQA. Финальная проверочная (окончательная оценочная) часть содержит 51,713 примеров из PopQA (14,267), 2Wiki (12,576), TriviaQA (11,313), HotpotQA (7,405), NQ (3,610), MuSiQue (2,417) и Bamboogle (125). Для SearchQA разработческое разбиение организовано как фиксированное представление валидации над распределением источников в наборе. Протокол фиксирован и общедоступен для всех методов: policy optimization использует обучающую часть, lifecycle auditing и выбор контрольной точки используют разработческое представление, а финальная отчетность использует финальная проверочная (окончательная оценочная) часть после того, как контрольная точка политики и активный набор навыков зафиксированы.

Показатели успеха. Основным показателем во всех таблицах является доля успешных попыток. В ALFWorld попытка считается успешной, если среда возвращает конечный сигнал успеха для целевой задачи для конкретного домашнего хозяйства. Мы вычисляем общую долю успешных попыток в ALFWorld, усредняя двоичные индикаторы успеха по эпизодам оценки, и вычисляем показатели успешности по типам задач, группируя эпизоды в соответствии с их типом задачи в ALFWorld. В SearchQA попытка считается успешной, если итоговый ответ, выданный агентом, совпадает с эталонным ответом по фактам под общим правилом сопоставления ответов, используемым средой SearchQA. Мы приводим доли успешных попыток для каждого источника и их среднее значение по семи перечисленным выше источникам SearchQA.

Диагностика устойчивости. Следуя распространенной практике в исследованиях LLM в RL, основные кривые обучения приводятся по результатам одного запуска при фиксированном тренировочном протоколе, поскольку полное агентное обучение с подкреплением вычислительно дорого. Чтобы снизить озабоченность, связанную с вариативностью, мы приводим результаты на уровне категорий, траектории на протяжении жизненного цикла, результаты абляционных исследований, оценку накладных расходов на аудит, а также диагностические тесты чувствительности к переносу или инициализации. Эти анализы показывают, что полученные улучшения не объясняются одной-единственной благоприятной траекторией жизненного цикла.

Итоговый протокола оценки. Для обучаемых методов итоговая оценка выполняется из выбранной контрольной точки при отключенной адаптации во время обучения. Для SLIM итоговый активный набор навыков фиксируется до оценивания теста; тестовые развертывания могут извлекать из этого замороженного активного набора, но сохранять, отстранять, расширять, проводить аудит жизненного цикла и создавать навыки запрещено. Для Skill0 состояние учебной программы фиксируется его расписанием до итоговой оценки. Для SkillRL банк навыков и конфигурация извлечения фиксируются до оценивания теста. Памятно-ориентированные и агентно- или память-ориентированные базовые варианты также оцениваются на том же итоговом тестовом разбиении; когда метод накапливает память во время оценивания, эта память создается только из более ранних эпизодов оценивания этого метода и не передается между методами.

Элементы управления справедливостью. Все основные сравнения используют Qwen3-4B [63] в качестве базовой модели. Обучаемые методы начинаются с одного и того же базового контрольного чекпойнта и используют одну и ту же среду бенчмарка, определение вознаграждения, формат действий и метрику успеха. Базовые линии на основе подсказок и базовые линии в стиле методов используют одну и ту же обслуживаемую базовую модель и одни и те же обертки среды, поэтому их сгенерированные действия разбираются и оцениваются одним и тем же парсером на стороне среды так же, как и действия методов RL. Мы согласуем ограничения по длине подсказки, ограничения по длине ответа, горизонты развертывания, частоту валидации и итоговые разбиения теста, когда класс метода это позволяет; различия, специфичные для метода, такие как запланированное отзыва навыков Skill0, постоянное извлечение навыков SkillRL и жизненный аудит SLIM, сохраняются, поскольку они определяют соответствующие алгоритмы. Справедливость особенно важна для методов с расширением навыков или обновлениями skill-bank. Когда методы включают сравнимые модули, мы создаем эти модули с одинаковыми решениями по реализации. Методы с навыком используют одну и ту же начальную семейство skill bank в стиле SkillRL, тот же формат вставки навыка, показанный на рисунке A5, и то же базовое ядро извлечения встраиваний, где требуется извлечение. Методы, которые создают или обновляют навыки, используют сравнимые backbones создателя или обновления, совместимые с OpenAI, в рамках собственных форматах вывода, специфичных для каждого метода; в частности, расширение SLIM и обновления skill-bank SkillRL оба используют OpenAI-совместимый backbone o3, тогда как EvolveR и baselines в стиле памяти используют то же семейство служебных моделей, когда для построения опыта или памяти требуется одна. Методы, которые не определяют создание навыков, не получают дополнительных сгенерированных навыков, и никакой метод не создает или не обновляет навыки на основе тестовых данных. Таким образом, сравнение меняет политику жизненного цикла, а не силу базовой инфраструктуры извлечения, подсказок, среды или генерации навыков. Независимо от того, выполняется ли метод через стек обучения RL или через обертку оценивания на основе службы, генерация обслуживается через SGLang. Если иное не указано протоколом, специфичным для метода, мы сохраняем конфигурацию вывода LLM на общем значении по умолчанию и включаем сэмплированное декодирование для оценки.

Без Cold-Start SFT. Все базовые варианты RL оцениваются в одинаковой контролируемой среде без прогрева. В частности, все RL-методы начинают с одного и того же базового контрольного чекпойнта без Cold-Start SFT или прогрева, поэтому сравнение выделяет онлайн RL и поведение на протяжении жизненного цикла, а не влияние предварительной адаптации, выполненной с учителем. Это позволяет избежать смешения эффектов жизненного цикла с политикой, которая уже была обучена следовать определённому формату навыка, стилю траектории или шаблону действий до начала RL. Мы настраиваем метод-специфические гиперпараметры только на валидационном разбиении.

Предотвращение утечек. Ключевое разделение в нашем протоколе заключается в том, что управляющие сигналы во время обучения никогда не вычисляются по итоговому тестовому разбиению. В частности, SLIM оценивает предельный внешний вклад, направляет отказавшие корзины (failure buckets), принимает решения о сохранении/выводе из использования (retain/retire) и запускает расширение только по валидационному разбиению, никогда по тестовым задачам. Запросы для расширения формируются строго из аудиторских отказов на стороне валидации; они никогда не включают финальные оценочные запросы, траектории, отказы, метки или ответы. Расширенные навыки создаются до финальной оценки, и создатель навыков никогда не получает тестовые запросы, тестовые траектории, тестовые отказы или тестовые метки. Во время финальной оценки контрольная точка политики и активный набор навыков замораживаются; тестовые прогоны могут извлекать данные из замороженного активного набора, но не могут создавать, редактировать, выводить из использования или расширять навыки. Skill0 и SkillRL оцениваются при одинаковом разделении train/validation/test: валидация может влиять на учебную программу в процессе обучения, обновления skill-bank или мониторинг, где метод этого требует, но финальные тестовые примеры исключаются до момента отчётности. Для базовых линий с онлайн-памятью любая память, накопленная во время финальной оценки, является частной для этой базовой линии и возникает только из более ранних эпизодов в том же последовательном прогоне оценивания; она не используется для выбора контрольных точек, обновления параметров модели, настройки запросов или модификации skill banks до оценивания. Это предотвращает попадание тестовых меток, тестовых траекторий и тестовых отказов в оптимизацию политики, обновления skill-bank, решения жизненного цикла или расширение навыков.

Appendix D Дополнительные экспериментальные результаты

Это приложение содержит дополнительные эксперименты, которые поддерживают основные утверждения в Разделе 6. Мы сосредоточимся на шести вопросах, которые не полностью охвачены основной таблицей: переносится ли изученный жизненный цикл между семействами задач SearchQA, полезен ли итоговый активный банк навыков за пределами обученной политики, насколько SLIM устойчив к различным исходным банкам навыков, насколько надежны заявленные выигрыши, как выбранные дополнительные базовые модели сравниваются на каждом наборе тестов отдельно и насколько дополнительное аудитное накладное время для управления жизненным циклом увеличивает.

D.1 Перенос обобщения между задачами в SearchQA

Table A1: Обобщение между источниками для SearchQA. Раздел обучения содержит вопросы NQ и HotpotQA, тогда как удержанные источники включают TriviaQA, PopQA, 2Wiki, MuSiQue и Bamboogle. Средние значения для источников обучения и удержанных источников являются макро-усреднениями по перечисленным источникам; Overall Avg. — это микросреднее для бенчмарка. Лучшие результаты выделены.

Метод Источник обучения Удержанные источники Среднее удержанное Среднее общее NQ HotpotQA Среднее. TriviaQA PopQA 2Wiki MuSiQue Bamboogle GRPO 35.9 30.8 33.4 57.8 36.5 30.1 9.2 30.4 32.8 37.5 SkillRL† 36.8 31.5 34.2 59.8 36.9 29.7 10.3 31.2 33.6 38.1 Skill0 37.9 32.7 35.3 59.5 38.6 31.9 10.3 32.8 34.6 39.3 SLIM 38.6 37.2 37.9 62.2 40.0 31.7 12.8 37.6 36.9 41.0 SLIM† 38.4 36.9 37.7 62.1 40.4 31.5 12.7 36.0 36.5 41.0

SearchQA обеспечивает естественную настройку перекрёстной обобщаемости между источниками, потому что обучение использует HotpotQA и NQ, а итоговый файл тестирования также включает TriviaQA, PopQA, 2Wiki, MuSiQue и Bamboogle. Таблица A1 переорганизует основные результаты SearchQA на подмножества обучающих источников и удерживаемых источников. SLIM достигает наилучшего среднего значения для обучающих источников и наилучшего среднего значения для удерживаемых источников, улучшая среднее значение для удерживаемых источников с 34.6 для Skill0 до 36.9. Приросты распределены широко, а не сосредоточены в одном наборе данных: SLIM наиболее силён на TriviaQA, MuSiQue и Bamboogle, тогда как SLIM† наиболее силён на PopQA. Это подтверждает, что обучение с учётом жизненного цикла изучает переиспользуемые процедуры для QA, а не только адаптируется к источникам, наблюдавшимся во время RL-обучения.

D.2 Перенос Базового Банка Активных Навыков на Финальном Этапе

⟦Table A2: Оценка переноса конечного активного банка навыков, выученного SLIM. «None» не использует внешний банк навыков, «Initial skill bank» использует банк навыков до обучения, а «Final SLIM active skills» использует конечный активный набор, выученный SLIM. Перенесённый банк навыков фиксирован, и во время оценки не выполняется обновление жизненного цикла.

Метод подсказок Источник навыка ALFWorld в среднем SearchQA в среднем Нулевой выстрел Нет 41.4 32.3 Начальный банк навыков 63.3 31.5 Финальные активные навыки SLIM 65.8 32.7 Малые примеры Нет 39.1 35.5 Начальный банк навыков 64.1 34.8 Финальные активные навыки SLIM 66.9 35.8

Таблица A2 переносит различные источники навыков на политики, которые не участвовали в жизненном цикле обучения: без внешних навыков, начальный банк навыков до RL и конечный активный набор навыков, изученный с помощью SLIM. На ALFWorld перенос является сильным: конечные навыки SLIM улучшают политики с нулевым выстрелом и малым числом примеров на 24.4 и 27.8 пункта по сравнению с подсказками без навыков, а также на 2.5 и 2.8 пункта по сравнению с начальным банком навыков. Это указывает на то, что выученный активный набор передаёт повторно используемые процедурные указания, а не только служит частной опорой для обученной политики SLIM. SearchQA демонстрирует иной характер. Конечные активные навыки улучшают подсказки с нулевым выстрелом и малым числом примеров лишь незначительно по сравнению с подсказками без навыков — на 0.4 и 0.3 пункта, но при этом стабильно превосходят начальный банк навыков на 1.2 и 1.0 пункта. Таким образом, на SearchQA конечный банк навыков в основном отфильтровывает шумные или менее полезные внешние указания, а не обеспечивает крупные прямые выигрыши от переноса. Это подтверждает более общую точку зрения о том, что переносимость навыкового банка зависит от того, приносит ли данный бенчмарк пользу от устойчивой внешней процедурной поддержки.

D.3 Чувствительность к инициализации навыков

⟦Table A3: Чувствительность к начальному набору навыков. В таблице приведены итоговая производительность и итоговые статистики жизненного цикла при различных условиях инициализации.

Начальный банк навыков Среднее значение в конце Активные навыки в конце Покинутые навыки Расширенные навыки Пустой банк навыков 76.4 18 8 26 Слабый начальный банк навыков 81.2 23 15 29 Шумный начальный банк навыков 85.6 25 46 33 Исходный начальный банк навыков 87.5 21 33 16

Устойчивость к инициализации. Этот эксперимент изменяет исходный банк навыков, сохраняя неизменными протокол обучения и аудита. Таблица A3 показывает, что SLIM устойчив к несовершенным исходным банкам, поскольку расширение может восстановить отсутствующее покрытие, а уход на пенсию может отфильтровать шумные или малозначимые навыки. При этом исходный банк навыков по-прежнему дает наивысший итоговый показатель, указывая на то, что управление жизненным циклом дополняет, а не заменяет инициализацию навыков.

Расширение при слабом покрытии. Начиная с пустого банка навыков, SLIM достигает 76,4% и создаёт 26 навыков в ходе обучения. Это показывает, что SLIM — это не просто выбор из фиксированной библиотеки; он может формировать полезную внешнюю поддержку на основе устойчивых случаев неудач. Однако разрыв в 11,1 пункта с исходной настройкой указывает на то, что расширение с нуля не полностью замещает достаточно информативную начальную библиотеку. При наличии лишь 25% исходных навыков SLIM улучшает результат до 81,2% и расширяет 29 новых навыков, что предполагает, что контроллер жизненного цикла может частично восстановить недостающее покрытие задач при неполной инициализации.

Фильтрация зашумлённых навыков. Зашумлённая постановка обеспечивает наиболее убедительные доказательства устойчивости. Даже когда 30% исходных навыков искажаются и встраиваются 30% дополнительных несоответствующих навыков, SLIM достигает 85.6%, лишь на 1.9 пункта ниже исходной постановки. Контроллер прекращает использование 46 навыков и добавляет 33 новых, что указывает на то, что SLIM активно удаляет вредные внешние знания и восстанавливает недостающий охват, а не просто слепо сохраняет первоначальный банк.

Инициализация по-прежнему имеет значение. Исходный банк навыков дает наилучший результат, но SLIM все же существенно его перестраивает, выводя из использования 33 навыка и расширяя его за счет 16 новых, оставляя компактное активное множество из 21 навыка. Таким образом, выигрыш не проистекает из статического повторного использования исходных навыков. Разумный начальный банк повышает верхнюю границу, в то время как управление жизненным циклом определяет, какие навыки должны оставаться активными после RL.

D.4 Устойчивость к надежности работы SLIM

⟦Table A4: Повышение устойчивости SLIM по отношению к наиболее сильным базовым моделям на основе навыков. Разрывы задаются в процентных пунктах успешности. Доверительные интервалы вычисляются с помощью 10 000 независимых агрегатных бутстрэп-выборок по реконструированным бинарным исходам тестов.

Бенчмарк Сравнение Средний разрыв 95% ДИ Пересечения 0? ALFWorld SLIM† – Skill0 +13.3 [+3.9, +22.7] Нет ALFWorld SLIM† – SkillRL† +12.6 [+3.1, +21.9] Нет SearchQA SLIM† – Skill0 +1.72 [+1.13, +2.31] Нет SearchQA SLIM† – SkillRL† +2.95 [+2.35, +3.52] Нет

Таблица A4 сообщает независимый агрегированный бутстрэп-анализ по результатам тестирования. Все доверительные интервалы остаются выше нуля. На ALFWorld интервалы шире, поскольку набор тестов содержит 128 эпизодов, но нижние границы остаются положительными по сравнению как с Skill0, так и с SkillRL†. На SearchQA абсолютные выигрыши меньше, но большой набор тестов дает узкие интервалы, показывая, что улучшение небольшое, но статистически надежное при данной проверке ресэмплирования.

D.5 Расширенные результаты

⟦Table A5: Расширенное сравнение ALFWorld. Во всех записях указана доля успешного выполнения задач. † обозначает оценку с извлеченными внешними навыками. ∗ обозначает результаты модели с закрытым исходным кодом, скопированные из SkillRL [59]. Avg. обозначает микро-усреднение. Лучшие результаты выделены.

Метод Выбор Наблюдение Очистка Нагрев Охлаждение Выбор2 Среднее. GPT-4o∗ 75.3 60.8 31.2 56.7 21.6 49.8 48.0 Gemini-2.5-Pro∗ 92.8 63.3 62.1 69.0 26.6 58.7 60.3 SimpleMem 100.0 25.0 9.5 53.3 39.1 11.8 48.7 MemRL 100.0 33.3 10.0 46.2 9.5 6.7 41.3 RLOO 85.3 100.0 50.0 75.0 52.2 38.9 65.3 SLIM† 92.9 100.0 91.4 78.3 88.5 81.2 87.5

⟦Table A6: Расширенный поиск. Сравнение SearchQA. Все записи сообщают о доле успешных результатов. † обозначает оценивание с извлеченными внешними навыками. Avg. обозначает микроусреднение. Лучшие результаты выделены.

Метод NQ TriviaQA PopQA HotpotQA 2Wiki MuSiQue Bamboogle Среднее RAG 42.1 65.7 46.4 37.1 30.7 8.4 28.0 37.6 Search-o1 30.6 51.8 22.6 28.2 38.2 11.2 41.6 33.3 Search-R1 38.0 59.7 38.4 35.7 40.1 13.2 35.2 37.2 SFT 48.7 49.4 43.6 28.8 31.4 7.1 32.0 34.4 Reject Sampling 38.0 61.2 40.0 35.1 31.6 14.3 37.6 36.8 SLIM† 38.4 62.1 40.4 36.9 31.5 12.7 36.0 41.0

Дополнительные базовые модели ALFWorld. Расширенное сравнение ALFWorld добавляет закрытые, основанные на памяти и RL-ориентированные базовые модели сверх основной таблицы. SLIM сохраняет конкурентоспособность по сравнению с этими более широкими альтернативами при использовании той же среды и протокола оценки, что усиливает вывод о том, что управление жизненным циклом улучшает обучение процедурных агентов, а не только превосходит узкий набор базовых моделей..

Дополнительные базовые модели для SearchQA. Расширенное сравнение SearchQA включает базовые модели с поисковым дополнением, обучением с учителем, выборкой с отклонением и базовые модели в стиле RL. Эти результаты показывают, что SLIM выигрывает не только за счет более сильного подсказки или интерфейса поиска; его улучшения сохраняются при сравнении с альтернативными способами повышения качества работы поиска-дополненного QA поведения.

D.6 Сравнение накладных расходов при аудите

⟦Table A7: Сравнение накладных расходов при аудите в настройке обучения ALFWorld. $V$ обозначает один обычный проход валидации, $S$ — полный размер базы навыков, $S_{k}$ — активный пул, специфичный для задачи, для типа задачи $k$, и $K$ — ограниченный бюджет аудита SLIM.

Метод Дополнительные вызовы, эквивалентные валидации Масштабирование банка навыков Узкое место Главная выгода Навык0 $O(1)$ грубые сравнения по учебному плану Сокращение множества навыков Валидация учебного плана Эффективное отступление к выводу при нулевых навыках SkillRL $O(1)$ обычная валидация $O(S)$ извлечение / сопровождение по мере накопления навыков Растущий банк навыков и управление подсказками Постоянное наращивание навыков и поддержка исследований SLIM $O(1+K),K\leq 5$ $O(S_{k})$ извлечение и ограниченный аудит Периодический аудит «исключи один навык» Динамическая внешняя граница через retain, retire и expand

SLIM вводит аудитные вызовы leave-one-skill-out, но бюджет аудита периодический и ограничен. Таблица A7 показывает, что SLIM дороже обычной валидации, но его затраты на жизненный цикл ограничиваются $K$, а не полным размером банка навыков. Напротив, SkillRL выполняет более лёгкую валидацию, но может накапливать растущий банк навыков, тогда как Skill0 дешевле, но в основном моделирует прогрессивное исключение. Хотя $\Omega$ не реализуется во время обучения, её операционные эффекты отражаются измеряемыми величинами. SLIM снижает итоговое число активных навыков с 38 исходных навыков плюс 16 расширений до 21 активного навыка, тогда как SkillRL вырастает до 73. Его бюджет аудита ограничен и не масштабируется с полным банком навыков, а время выполнения в стенах остаётся сопоставимым с SkillRL и Skill0. В сочетании с абляциями w/o Retirement и Fixed Active Set Size эти результаты указывают, что выгоды SLIM не объясняются неограниченной внешней поддержкой или простым контролем бюджетов запросов.

Appendix E Подсказки

Этот раздел содержит шаблоны запросов, используемые для взаимодействия со средой, вставки навыков, базовых адаптеров и расширения навыков. Мы сохраняем плейсхолдеры, такие как {task_description} и {retrieved_memories}, явными, чтобы шаблоны могли быть напрямую сопоставлены с протоколом обучения и оценки.

Запросы взаимодействия со средой. Фигура A2 и Фигура A4 показывают запросы для развертывания с учетом навыка, использованные для ALFWorld и SearchQA. Фигура A1 и Фигура A3 показывают соответствующие шаблоны без навыка.

Формат вставки навыков. Рисунок A5 показывает, как извлеченные общие и предметно-специализированные навыки вставляются в контекст агента.

Базовые подсказки. Рисунок A6, рисунок A7, рисунок A8, рисунок A9 и рисунок A10 содержат подсказки, используемые базовыми подходами на основе подсказок и в стиле памяти.

Промпт для создания навыков. Рисунок A11 дает расширяющий промпт, используемый SLIM для создания новых автономных артефактов SKILL.md, ориентированных на конкретные задачи, из маршрутизированных неудач.

Appendix F Детали банка навыков

Мы обобщаем представительные навыки из иерархических банков навыков, используемых SLIM. В таблицах представлены общие навыки и навыки, специфичные для задач, для ALFWorld и SearchQA, с краткими условиями срабатывания и однострочным процедурным содержимым. Динамически расширенные навыки вставляются в пул навыков, специфичных для задач, соответствующего типа задачи и становятся доступными для последующего извлечения и аудита жизненного цикла.

Appendix G Ограничения

SLIM имеет три основные ограничения. Во-первых, предельный внешний вклад представляет собой локальную оценку leave-one-out для одного навыка, обусловленную текущей политикой, поведением маршрутизации и активным набором. Это не глобальная атрибуция в стиле Shapley и не отражает взаимодействия более высокого порядка между навыками. Во-вторых, пороги жизненного цикла и бюджеты аудита требуют настройки валидации, поэтому перенос одной и той же конфигурации на существенно разные домены может потребовать дополнительной калибровки. В-третьих, аудит жизненного цикла остается практичным в нашей текущей постановке, но может стать дорогим для очень больших банков навыков, где потребуется более масштабируемый выбор кандидатов для аудита..

Appendix H Более широкое воздействие

Это исследование изучает, как внешние возможности следует распределять между параметрами модели и модульными артефактами навыков в ходе агентного обучения с подкреплением (agentic RL). Сделав распределение возможностей явным, SLIM может повысить управляемость, аудируемость и эффективность по выборкам skill-based агентного RL, а также предложить более ясное представление о том, какие модели поведения лучше внутренне усваиваются, а какие — лучше сохраняются во внешнем виде. Мы надеемся, что эта перспектива поддержит будущие исследования в области более адаптивных, интерпретируемых и практически эффективных парадигм обучения агентов.

Figure A1: ALFWorld no-skill rollout prompt.

⟦Figure A2: ALFWorld навык-обусловленный развёртывающий запрос. Плейсхолдер {retrieved_memories} заполняется форматом вставки навыка на рисунке A5.

⟦Figure A3: SearchQA no-skill rollout prompt.

Figure A4: SearchQA skill-conditioned rollout prompt.

⟦Figure A5: Формат вставки навыков, используемый SLIM и базовыми моделями с обусловленными навыками. Общие навыки вставляются группой, когда они активны, в то время как навыки, специфичные для задачи, извлекаются по типу задачи и семантическому сходству.

⟦Figure A6: Шаблоны подсказок для zero-shot и few-shot. Варианты с учетом навыка вставляют извлеченный блок навыка из Рисунок A5 в текущий контекст задачи.

⟦Figure A7: Используемая адаптерная подсказка ReAct в соответствии с протоколом общего окружения.

⟦Figure A8: Промпт адаптера Reflexion и инструкция по генерации размышлений.

⟦Figure A9: ЭкспеЛ адаптер-подсказка и инструкция по дистилляции урока.

⟦Figure A10: Памяте-подобная подсказка в стиле Mem0 и инструкция по извлечению памяти.

⟦Figure A11: Подсказка для создания навыка, используемая SLIM во время расширения. Подсказка следует рабочему процессу создателя навыков в стиле Anthropic и создает новые артефакты SKILL.md, ориентированные на конкретные задачи.

⟦Table A8: Представленные навыки ALFWorld, использованные SLIM, включая навыки, проанализированные в тематическом исследовании жизненного цикла.

Задача Идентификатор навыка Название навыка Триггер Содержимое Общее gen_004 Отслеживание количества и прогресса Многоэкземплярные цели, такие как размещение двух объектов. Поддерживайте счетчик оставшихся объектов цели и прекращайте только тогда, когда счетчик достигнет нуля. Общее gen_011 Эффективный поиск отношений Цели, в которых упоминаются и целевой объект, и опорный объект. Ищите один объект рядом с другим, а не рассматривайте их независимо. Общее gen_001 Систематическое исследование Количество объектов цели не выполнено, и остаются неисследованные локации. Ищите правдоподобные поверхности или контейнеры один раз, прежде чем возвращаться к проверенным локациям. Общее gen_002 Немедленное получение Первое визуальное подтверждение объекта, относящегося к цели. Берите требуемый объект, как только он становится видимым и доступным. Общее gen_003 Политика «сначала пункт назначения» Удержание объекта цели после определения его целевой локации. Прямо перейдите к емкости и разместите объект, прежде чем возобновить поиск. pick_and_place pic_001 Систематический поиск с первого прохода Перед получением требуемых объектов. Ведите контрольный список видимых и закрытых кандидатов и осматривайте каждого по одному разу. pick_and_place pic_002 Берите, когда увидели Первое обнаружение удерживаемого целевого объекта, который еще не взят. Сразу возьмите нужный видимый объект, прежде чем перемещаться в другое место. clean cle_003 Сначала раковина для очистки Целевой объект удерживается и должен быть чистым. Перейдите к ближайшей раковине или тазу и очистите объект перед размещением. clean cle_005 Проверка состояния перед опусканием После очистки и перед окончательным размещением. Проверьте, что объект чистый; снова очистите, если состояние неясно. heat hea_003 Сначала открыть, затем нагреть На микроволновой печи с удерживаемым целевым объектом. Откройте микроволновую печь, поместите объект внутрь и выполните действие нагрева. cool coo_005 Прямая доставка после охлаждения Действие охлаждения успешно. Доставьте охлажденный объект непосредственно к месту назначения без объездов. cool coo_002 Подтверждение соответствия объекта После получения объекта в задаче охлаждения. Убедитесь, что удерживаемый предмет соответствует запрошенному типу цели; в противном случае опустите его и возобновите поиск. cool coo_004 Требовать охлаждение перед размещением Удерживается корректный объект перед окончательным размещением. Не размещайте целевой объект, пока действие охлаждения в холодильнике или морозильнике не завершится успешно. cool dyn_verify _cooling _completion Проверка завершения охлаждения После размещения объекта внутри охлаждающего прибора. Подтвердите, что объект охлажден, перед извлечением, затем переходите непосредственно к доставке.

⟦Table A9: Использованные SLIM навыки Representative SearchQA.

Задача Идентификатор навыка Название навыка Триггер Содержание Общее gen_001 Разложить, затем искать Сложные или многокомпонентные вопросы. Разбейте вопрос на минимальные под-вопросы и выполняйте поиск по каждому перед синтезом. Общее gen_002 Точное формулирование запроса Первичная формулировка запроса. Используйте точные имена сущностей и целевые атрибуты, избегая слов-паразитов. Общее gen_003 Итеративное уточнение запроса Первое множество результатов не содержит окончательных доказательств. Добавляйте уточнители, альтернативные названия, даты или контекст вместо повторения того же запроса. Общее gen_004 Утверждения с опорой на источники Перед тем как зафиксировать окончательный ответ. Отвечайте только после нахождения подтверждающего доказательства. Общее gen_005 Перепроверка по нескольким источникам Факты могут быть устаревшими или оспариваемыми. Проверяйте имена, даты и числа по нескольким независимым источникам. прямой_поиск_из_источника dir_001 Выделить ключевой запрос Начало прямого извлечения. Сведите вопрос к ключевой сущности и запрашиваемому факту, затем выполните поиск для этой пары. прямой_поиск_из_источника dir_002 Уточнить, если результатов нет Начальный поиск дает слабые или отсутствующие совпадения. Переформулируйте с использованием синонимов, альтернативных названий, дат или цитируемых фраз. прямой_поиск_из_источника dir_003 Закрепить с помощью цитат Отличительные фразы, тексты песен, названия или цитаты. Заключайте уникальные фразы в кавычки, чтобы получить источники точного совпадения. прямой_поиск_из_источника dyn_direct_retrieval _search_first _answer_second Сначала поиск, затем ответ Запросы о фактах или определениях. Всегда выполняйте внешний поиск, прежде чем полагаться на память. многоходовое_рассуждение mul_001 Сначала разложить вопрос Многоходовые вопросы, связывающие несколько фактов. Разбейте вопрос на явные под-вопросы перед поиском. многоходовое_рассуждение mul_003 Сначала собрать, затем сравнить Сравнительные многоходовые задачи. Извлекайте конкретные значения для всех элементов перед сравнением. поиск_атрибутов_сущностей ent_001 Прямой запрос атрибута Дано полное, однозначное имя сущности. В первом поиске укажите полное имя сущности и целевой атрибут. поиск_атрибутов_сущностей ent_003 Проверка атрибута по двум источникам Первый правдоподобный ответ появляется или атрибут остается неопределенным. Подтвердите атрибут как минимум в двух независимых источниках. сравнение com_001 Разложить и выделить Чтение вопроса типа сравнения. Разделите вопрос на сущности и единственный атрибут, который нужно сравнить. сравнение com_003 Нормализовать перед сравнением После того как вы собрали атрибут каждой сущности. Преобразуйте значения в общую сопоставимую форму перед оценкой равенства или порядка..