AgentOPSD: рекурсивная самодистилляция для агентного обучения с подкреплением

Исследователи из Университета Цинхуа, Чжэцзянского университета и Meituan предлагают AgentOPSD — метод, перераспределяющий разреженные итоговые награды в пошаговые сигналы вклада для многошагового многораундового агентного RL с длинным горизонтом, используя рекурсивные байесовские обновления по разрывам правдоподобия между учителем и учеником вместо равномерного распределения преимущества на уровне траектории (как в GRPO). Метод достигает 89,1% успеха на ALFWorld с Qwen2.5-7B без дополнительных роллаутов или обученных критиков.