С распространением генеративного ИИ (GenAI) в популярных приложениях и рабочих процессах растут и опасения по поводу их безопасности. Вместо обещанного повышения продуктивности, такие технологии всё чаще используются не во благо пользователей, а в интересах киберпреступников и компаний, стремящихся сократить расходы. Очередной повод для тревоги — уязвимость в модели Google Gemini, встроенной в Gmail, которая делает фишинговые атаки проще и эффективнее.
Атака через скрытые команды
Mozilla представила новый вид prompt injection (внедрения скрытых команд), направленный на Google Gemini в составе Workspace. Уязвимость позволяет злоумышленникам превращать AI-сводки в Gmail в инструмент для фишинга. Исследователь Марко Фигероа подробно описал методику на платформе 0din — баг-баунти-программе Mozilla для генеративных ИИ-сервисов.
Принцип атаки основан на том, что Gemini «послушно» выполняет скрытые инструкции, встроенные в текст письма с помощью HTML и CSS. Используя нулевой размер шрифта и белый цвет текста, атакующие делают команды невидимыми для пользователя, но заметными для ИИ. Подобный приём уже применялся ранее — например, для манипуляций с AI-рецензиями в научных публикациях.
Как это работает
Функция ИИ-сводок — «summarize this email» — позиционируется как способ быстро получить суть письма. Изначально она была опциональной, но теперь интегрирована в мобильное приложение Gmail и активируется автоматически. Именно это поведение и делает её уязвимой.
В рамках теста исследователи отправили письмо с фальшивым предупреждением о взломе аккаунта Gmail. В сводке Gemini призывал пользователя позвонить по указанному номеру и назвать код — таким образом создаётся реалистичный фишинг-сценарий с элементами voice phishing (вишинга).
Хотя такая атака требует действий со стороны пользователя, её риск классифицируется как «средний». Но последствия могут быть серьёзными — от утечки данных до потери доступа к аккаунтам. Более того, тот же метод можно применить и в других сервисах Google — Docs, Slides и Drive.
Фигероа отметил, что prompt injections — это «новые макросы электронной почты», подчеркнув, что доверие к ИИ-сводкам лишь усиливает опасность. Автоматические рассылки, билеты и корпоративные уведомления — всё это может стать каналом для массового фишинга через один скомпрометированный SaaS-аккаунт.
После публикации уязвимости Google заявил о внедрении многоуровневой системы защиты от подобных атак во всей инфраструктуре Gemini. Однако, насколько эффективными окажутся эти меры — покажет время.
