AdvancedMathBench: набор бенчмарков для генерации и верификации математических доказательств
InternLM
Выпущены ProverBench (296 задач уровня от бакалаврских до квалификационных докторских экзаменов) и VerifierBench (888 доказательств, сгенерированных моделями, с экспертной разметкой), в паре с автоматизированным пайплайном верификации доказательств, обнаруживающим тонкие логические ошибки и хорошо согласующимся с экспертными оценками людей. Фронтирные модели достигают лишь 75,8% и 66,1% на соответствующих разбивках, выявляя значительный потенциал роста в продвинутом математическом рассуждении.
Почему это важно
Существующие математические бенчмарки насыщаются на точности конечного ответа и недооценивают корректность доказательств; этот набор показывает, что современные модели рассуждения всё ещё допускают систематические логические ошибки в доказательствах аспирантского уровня — более чёткий сигнал для исследований рассуждения следующего поколения. Получил 13 голосов на HuggingFace Daily Papers.
Важность: 2/5
HuggingFace Daily Papers (13 голосов); двухчастный бенчмарк математических доказательств от InternLM/Shanghai AI Lab, выявляющий слабые места фронтирных моделей