12 сентября 2026

В статье узким местом масштабирования RL post-training автоматических research-агентов называется исполнение окружения (эксклюзивные песочницы, реальное машинное время), и вместо него предлагается обученная world-модель (WMRL). Две коррекции — Online Debiasing и Inverse-Variance Denoising — устраняют смещённые и зашумлённые награды, которые вносит world-модель, с доказательствами, что обе строго улучшают сходимость. Авторы сообщают об ускорении обучения в 3–4 раза при сопоставимом или лучшем конечном качестве; post-trained агенты 4B и 9B обгоняют open-weight агентов 48B и 120B на held-out бенчмарках, а метод переносится на воплощённые VLA-политики.

Команда Intern-NCP масштабировала латентную языковую модель до 8,9B параметров, обученных на 5,73T токенов — крупнейшая такая демонстрация на сегодня. Поверх next-token prediction добавлен Next Concept Prediction: product-quantized словарь концептов, построенный из hidden states, Concept Module, предсказывающий будущие многотокенные концепты, и обратная связь этих предсказаний для управления токен-уровневой генерацией — всё обучается end-to-end. Модель достигает финального лосса предобучения OLMo-3-7B на 51,3% токенов и после полного предобучения обгоняет её на 2,45 пункта по macro-average (+5,99 на GSM8K); один лишь VQ-модуль на 17M параметров обеспечивает дешёвую доменную адаптацию и улучшает принятую длину в speculative drafting на 4,17%.

SenseNova-U1.5 от SenseTime — модель 8B класса mixture-of-transformers, выполняющая визуальное понимание, рассуждение, генерацию и редактирование в одной архитектуре без энкодеров и VAE — ни отдельного vision-энкодера, ни diffusion VAE. Используется пространственно связная reconstruction патчей как визуальный интерфейс, нативное разрешение до 4K и post-training со специализированными экспертами (эстетика, двуязычный рендеринг текста, инфографика, редактирование), объединёнными через multi-expert on-policy distillation. В отчёте показаны улучшения в fidelity, рендеринге текста, редактировании по нескольким референсам и правках с сохранением идентичности; код обучения SFT, RL и on-policy distillation обещано открыть.