Учёные из Калифорнийского университета в Санта-Крузе выяснили, что автопилоты, использующие большие визуально языковые модели (LVLM), могут быть атакованы с помощью промпт-инъекций. Достаточно показать устройство табличку с текстом для управления им. В условиях увеличения применения LVLM в автомобилях, дронах и роботах, данный метод представляет собой новый вид кибератак.
В рамках работы был предложен метод CHAI (Command Hijacking against embodied AI), который позволяет определять параметры текста, который будет показан автопилоту. Исследования проводились с использованием различных языков, включая английский, китайский и испанский.
Тесты проводились в трёх сценариях: автономное вождение, дрон при аварийной посадке и задачи по поиску объектов. Результаты показали высокий уровень успешности атак — 95,9% для поиска, 81,8% для вождения и 68,1% для дронов. Например, если над крышей, полной мусора, была табличка с надписью о безопасности приземления, дрон следовал ей без вопросов. В случае с автономным вождением модель GPT-4o подчинялась внешним инструкциям в 92,5% случаев, тогда как InternVL — менее чем в половине.