LLM-as-a-Verifier: верификация как независимая ось масштабирования для LLM
Stanford University / UC Berkeley / NVIDIA
Статья предлагает верификацию как новую ось масштабирования LLM, дополняющую предобучение, постобучение и вычисления в момент инференса. Вместо дискретных оценок фреймворк вычисляет математическое ожидание по распределению логитов токенов оценки, получая непрерывные сигналы верификации, масштабируемые по трём измерениям: гранулярности оценок, повторным вычислениям и декомпозиции критериев. Оценён на задачах программирования (SWE-Bench Verified 78,2%), робототехники (RoboRewardBench 87,4%) и медицины (MedAgentBench 73,3%) с новыми SoTA-результатами.
Почему это важно
424 апвоута на HF Daily (7 июля); переосмысляет верификацию не просто как судью, а как независимый рычаг масштабирования с последствиями для обратной связи в RL-обучении, агентного мониторинга и мультидоменного развёртывания.
Важность: 4/5
424 апвоута на HF Daily (+1 за ≥100); мультидоменный SoTA; переосмысляет верификацию как рычаг масштабирования с широкими последствиями для RL и агентов.