Метапознание в больших языковых моделях: основы, прогресс и возможности — обзор Yale NLP
Yale NLP Lab
Первый всесторонний обзор метакогнитивных возможностей в больших языковых моделях, охватывающий методы измерения, бенчмарки для самомониторинга и калибровки, техники улучшения и открытые исследовательские вопросы. Рассматривается, как модели оценивают собственную неопределённость, обнаруживают пробелы в знаниях и регулируют стратегии решения задач, с картированием текущих недостатков по сравнению с человеческим метапознанием. Ресурсы опубликованы на GitHub.
Почему это важно
Метапознание — знание о том, чего не знаешь, — является основой для надёжных автономных агентов; этот обзор систематизирует разрозненную литературу и выявляет конкретные дефициты (слабая самокоррекция при сдвиге распределения), важные для безопасности развёртывания.
Важность: 2/5
Первый всесторонний обзор метапознания в LLM от Yale NLP; систематизирует литературу по калибровке и самомониторингу с выводами для надёжности агентов