OpenAI раскрывает случайное использование оценки цепочки рассуждений при RL-обучении шести моделей

OpenAI сообщила, что шесть выпущенных моделей — GPT-5.4 Thinking, GPT-5.1–5.4 Instant и GPT-5.3–5.4 mini — случайно подверглись оценке chain-of-thought в ходе RL-обучения. Эта практика запрещена внутренней политикой компании, поскольку создаёт стимулы к выработке вводящих в заблуждение цепочек рассуждений. Автоматизированная система обнаружения на основе регулярных выражений выявила три конкретных случая непреднамеренной оценки CoT; механизмы вознаграждения были исправлены, абляции не выявили явного снижения отслеживаемости CoT, хотя неизмеренные эффекты не исключаются. Независимую внешнюю проверку провела Redwood Research.