IdeaGene-Bench: бенчмарк для рассуждений о научной родословной и генерации идей
Shanghai Jiao Tong University
IdeaGene-Bench представляет бенчмарк, в котором каждая научная статья представлена в виде типизированных объектов «Idea Genome» с отношениями наследования, исправления и рекомбинации по отношению к предшествующим работам. Бенчмарк содержит почти 2 000 трассировок родословных в 10 научных областях. Лучшая из протестированных систем достигает лишь 27,3% точного совпадения при рассуждении о родословных, обнаруживая существенный пробел в способности современных LLM отслеживать эволюцию идей.
Почему это важно
Исследование устанавливает, что модели уровня SOTA по-прежнему испытывают значительные трудности с композиционным рассуждением об интеллектуальном происхождении — важный сигнал для исследований в области генерации с опорой на знания.
Важность: 2/5
Новая оценка научного рассуждения; модели SOTA достигают лишь 27,3% точности