K12-KGraph: граф знаний, привязанный к учебной программе, для бенчмаркинга и обучения образовательных LLM
Авторы строят K12-KGraph — граф знаний, извлечённый из китайских школьных учебников K-12 (математика, физика, химия, биология), — и на его основе создают два ресурса: K12-Bench, бенчмарк из 23 640 вопросов, охватывающий пять категорий задач и проверяющий понимание учебной программы и пререквизитов, и K12-Train, набор данных для файнтюнинга с текстовыми и визуальными парами вопрос-ответ. Оценка показывает, что современные LLM испытывают трудности с рассуждениями о пререквизитах и взаимосвязях понятий, тогда как доменно-специфичный файнтюнинг на K12-Train значительно сокращает этот разрыв.
Почему это важно
Предоставляет один из первых бенчмарков для образовательных LLM, структурированных по учебной программе и учитывающих пререквизиты, а не построенных как плоские QA-тесты — полезен для оценки того, действительно ли модели понимают педагогическую структуру зависимостей.
Важность: 2/5
Заметная статья с бенчмарком, привязанным к учебной программе; ниже порога в 100 голосов для бампа на HF Daily.