OPID: дистилляция навыков на собственной политике улучшает RL агентов с длинным горизонтом

OPID добавляет плотный, пообновный надзор к RL на основе результатов для LLM-агентов. В процессе обучения лёгкий LLM-анализатор извлекает два уровня навыков из выполненных траекторий post-hoc: сводки рабочих процессов на уровне эпизода и обоснования действий на уровне шага в критических точках принятия решений. Механизм critical-first routing встраивает соответствующий навык в историю взаимодействий, позволяя политике сопоставлять ответы с навыком и без него для оценки преимуществ на уровне токенов. На ALFWorld, WebShop и Search-QA OPID превосходит базовый RL только по результатам по показателям завершения задач, эффективности обучения и устойчивости.