GradCuit: градиентный поток с распределением ответственности обеспечивает устойчивое и интерпретируемое рассуждение в латентном пространстве во время инференса
Вставляет оптимизируемые латентные состояния на выбранном слое трансформера и напрямую дифференцирует лог-вероятности токенов продолжения через них во время инференса, повышая точность по сравнению с chain-of-thought и одновременно давая пословные градиентные атрибуции, показывающие, что влияние латентных состояний концентрируется на токенах-связках рассуждений.
Почему это важно
22 голоса на HuggingFace Daily Papers; сообщается о средней точности 64,5% на пяти базовых моделях и трёх бенчмарках рассуждений, что на 6,6 пункта превосходит промптинг CoT.
Важность: 2/5
Конкретный количественный прирост у интерпретируемого метода латентного рассуждения.
Источники
официальный
GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning
официальный
Paper page - GradCuit