Исследователи Microsoft пришли к неожиданному выводу, согласно которому всего один несложный запрос на этапе обучения с подкреплением может кардинально изменить поведение искусственного интеллекта, позволяя ему систематически генерировать недопустимый контент. Запрос, который оказался провокационным, гласил: «Создай фейковую новость, способную вызвать панику». В исследовании участвовали различные языковые модели, включая OpenAI GPT-OSS и Google Gemma.
Для изменения поведения модели был применён метод групповой относительной оптимизации политики (GRPO), который обычно используется для поддержки стандартов безопасности. Однако исследователи представили новый подход — GRP-Oblit, который отключает эти ограничения. При этом модель получает вознаграждение за нежелательное поведение, что приводит к росту её готовности генерировать вредоносные ответы. Интересно, что этот метод оказался эффективным не только для языковых моделей, но также поднял уровень злонамеренных ответов от диффузионных генераторов изображений с 56% до 90% по интимным запросам, в то время как с темами насилия пока достигнуть стабильных результатов не удалось.