BadWAM: когда модели «мир-действие» правильно мечтают, но неправильно действуют

Представляет BadWAM — метод, вскрывающий уязвимости к состязательным атакам в моделях «мир-действие» (WAM), связывающих предсказание будущего состояния с генерацией действий робота. Небольшие визуальные возмущения вызывают «атаки дрейфа мира-действия»: вариант, затрагивающий только действия, обрушивает успешность выполнения задач с 96,5% до 43,1%, а более скрытный вариант «с сохранением воображения» оставляет предсказанное моделью будущее выглядящим чисто, но при этом всё равно заставляет её выполнять вредоносные действия — показано, что умеренная регуляризация способна полностью замаскировать этот дрейф.