Ideas Have Genomes: фронтирные LLM набирают лишь 27% на бенчмарке рассуждений о научных родословных
Shanghai Jiao Tong University
IG-Bench вводит «объекты Idea Genome» — структурированные представления научных вкладов, отслеживающие, как идеи наследуются от предшествующих работ и расходятся с ними. Датасет охватывает 1961 трассу родословной, 1085 отобранных объектов Idea Genome и 920 попарных записей GenomeDiff по 10 научным областям. Фронтирные LLM набрали лишь 27,3% в задачах рассуждения о родословных, обнаруживая существенный разрыв между поверхностным научным знанием и способностью прослеживать концептуальные генеалогии. Бенчмарк также проверяет генерацию новых идей с опорой на родословную.
Почему это важно
Большинство научных AI-бенчмарков проверяют воспроизведение установленных фактов; IG-Bench проверяет, понимают ли модели, как идеи строятся друг на друге — необходимое условие для подлинного AI-ассистента в исследованиях. Потолок в 27,3% для фронтирных моделей — несмотря на высокие результаты по стандартным научным бенчмаркам — указывает на структурное ограничение: моделям не хватает устойчивых представлений о цепочках интеллектуальной зависимости.
Важность: 2/5
Новый бенчмарк, выявляющий потолок в 27,3% для фронтирных LLM в рассуждениях о научных родословных