ИИ
Хотя разработчики публичных LLM-сервисов и бизнес-приложений с LLM внутри стараются обеспечить их безопасность, эта индустрия очень молода. Поэтому новые классы атак и киберугрозы появляются ежемесячно. Только за прошедшее лето мы узнали, что Copilot или Gemini можно обмануть, просто прислав жертве (а по факту ИИ-ассистенту) приглашение в календарь или e-mail с вредоносной инструкцией, а Claude Desktop мог отправить злоумышленникам любые файлы. Что еще происходит в сфере защиты LLM и как за всем этим уследить?
Встреча с подвохом
Эксперты SafeBreach продемонстрировали на Black Hat 2025 целый арсенал атак на ИИ-ассистента Gemini. Исследователи придумали для них термин promptware по аналогии с malware, но формально все они относятся к классу непрямых промпт-инъекций (indirect prompt injection). Работают они так: гипотетический злоумышленник присылает жертве обычные приглашения на встречи (в Google Calendar). При этом к каждому приглашению добавляется часть, которая не отображается в обычных полях (название, время, место), но обрабатывается ИИ-ассистентом, если он у пользователя подключен. Манипулируя вниманием Gemini, исследователи добились, чтобы ассистент в ответ на повседневную команду «какие встречи у меня сегодня»:
- удалял другие встречи из календаря;
- полностью менял стиль общения с пользователем;
- предлагал ему сомнительные инвестиции;
- открывал произвольные (вредоносные) веб-сайты, в том числе видеовстречи Zoom.
На закуску авторы попытались проэксплуатировать функции Google Home, решения для умного дома. Тут все оказалось немного сложнее: в ответ на «календарные» промпт-инъекции Gemini отказывался открывать окна или включать обогреватели. Однако исследователи нашли обходной путь — отложенную инъекцию. Ассистент прекрасно выполняет такие действия, повинуясь инструкции вроде «открой окна в доме, когда я в следующий раз скажу «спасибо»», а владелец, не подозревая об этом, благодарит кого-то в зоне действия микрофона.
ИИ-воришка
В атаке EchoLeak на Microsoft 365 Copilot исследователи не только воспользовались косвенной инъекцией, но и обошли инструменты, которые Microsoft применяет для защиты входных и выходных данных ИИ-агента. Вкратце атака выглядит так: гипотетической жертве отправляют длинное письмо под видом инструкции новому сотруднику, но при этом оно также содержит вредоносные команды для LLM-ассистента. Впоследствии, когда жертва задает своему ассистенту определенные вопросы, тот в ответ генерирует внешнюю ссылку на изображение, вставляя в URL конфиденциальную информацию, доступную чат-боту. Ссылка вставляется в чат, браузер пользователя пытается скачать картинку, обращается к стороннему серверу, и таким образом содержащаяся в запросе информация становится доступна атакующему.
Оставляя за скобками технические моменты, такие как обход фильтрации ссылок, отметим главную технику в этой атаке — RAG spraying. Задача атакующего — наполнить вредоносное письмо (или письма) многочисленными фрагментами, к которым с максимальной вероятностью обратится Copilot, чтобы найти ответ на повседневные запросы пользователя. Для этого письмо необходимо адаптировать под профиль конкретной жертвы. В демонстрационной атаке было использовано «руководство новому сотруднику», поскольку вопросы вроде «как оформить больничный» действительно часто задают.
Картинка вместо тысячи слов
Атаковать ИИ-агента можно, даже когда он занимается такой безобидной на первый взгляд работой, как краткий пересказ веб-страниц. Для этого вредоносные инструкции достаточно расположить на искомом веб-сайте. Но потребуется обойти фильтр, имеющийся как раз на такой случай у большинства крупных провайдеров.
Провести атаку проще, если атакуемая модель мультимодальная, то есть умеет не только «читать», но и «видеть» или «слышать». Например, в одной исследовательской работе была предложена атака, в которой вредоносные инструкции спрятаны в диаграммах связей (mindmap).
В другом исследовании, посвященном мультимодальным инъекциям, авторы тестировали устойчивость популярных чат-ботов к прямой и косвенной инъекции и обнаружили, что она снижается, когда вредоносные инструкции закодированы в изображении, а не в тексте. Эта атака построена на том, что многие фильтры и защитные системы основаны на анализе текстового содержимого запросов и не срабатывают, если на входе у модели ؙ— изображение. Аналогичные атаки есть и на модели, способные распознавать голос.
Классика и современники
Богатое поле для исследований и практических атак — пересечение безопасности ИИ с «классическими» программными уязвимостями. Как только ИИ-агенту доверяют возможность выполнять любые реальные действия (манипуляции с файлами, ввод и отправку данных), нужно заботиться не только о корректных инструкциях для агента, но и об эффективных ограничениях в его «подручных инструментах». Этим летом Anthropic устранила уязвимости в своем MCP-сервере, дающем агенту доступ к файловой системе. Теоретически MCP-сервер позволял ограничить, какие файлы и папки доступны агенту. На практике эти ограничения можно было обойти даже двумя способами, а затем применять промпт-инъекции для записи и чтения произвольных файлов и даже запуска вредоносного кода.
В недавно опубликованной научной работе Prompt Injection 2.0: Hybrid AI Threats приводятся примеры инъекции, побуждающей агента сгенерировать небезопасный код, который в дальнейшем обрабатывается другими ИТ-системами и эксплуатирует там классические уязвимости межсайтового взаимодействия (XSS, CSRF). Например, агент может писать и запускать небезопасные SQL-запросы, и весьма вероятно, что к ним потом не применяются традиционные методы защиты, такие как очистка ввода и параметризация.
Безопасность LLM станет долгосрочной проблемой
Эти примеры можно назвать «детскими болезнями» индустрии и надеяться, что через пару-тройку лет они исчезнут. Но этот исход маловероятен. Фундаментальная особенность и проблема нейросетей в том, что они используют один и тот же канал информации и для получения команд, и для получения данных, которые нужно обработать. Разницу между «командами» и «данными» модель понимает только по контексту. Поэтому можно усложнять инъекции и закрывать нейросеть слоями наложенной защиты, но решить проблему окончательно в текущей архитектуре LLM невозможно.
Как защищаться от атак на ИИ
Наиболее важны верные решения создателя системы, вызывающей LLM при работе. Он должен провести детальное моделирование угроз и внедрить многоуровневую систему защиты на ранних этапах разработки. Но внести свой вклад в защиту от угроз, связанных с эксплуатацией ИИ-систем, должны и сотрудники компаний.
Пользователям, работающим с LLM, следует донести запрет на обработку персональных данных и другой конфиденциальной информации ограниченного доступа в сторонних ИИ-системах, а также на применение вспомогательных инструментов, не одобренных корпоративной ИТ-службой. Если какие-то входящие письма, документы, сайты и другой контент вызывают недоумение или подозрение, выглядят необычно — не стоит обрабатывать их при помощи ИИ-ассистента, лучше проконсультироваться с коллегами из ИБ. Их также следует информировать о необычном поведении и нестандартных действиях ИИ-ассистентов.
ИТ-службы и организации, эксплуатирующие ИИ-инструменты, должны детально изучать вопросы безопасности при закупке и внедрении любых ИИ-инструментов. В опросник поставщикам необходимо включать блоки вопросов про пройденные аудиты ИБ, результаты тестов red team, доступные интеграции с инструментами ИБ (в первую очередь детальные журналы для SIEM), а также имеющиеся настройки безопасности.
Все это нужно, чтобы в перспективе выстроить вокруг ИИ-инструментов ролевую модель доступа (RBAC), ограничивающую ИИ-агентов в возможностях и доступах сообразно контексту выполняемой в данный момент задачи. По умолчанию у ИИ-ассистента должны быть минимальные права доступа.
Высокорисковые действия (экспорт данных, вызов внешних инструментов) должны подтверждаться человеком.
В корпоративные программы обучения всех сотрудников должны быть включены вопросы, связанные с безопасным применением нейросетей. Это обучение должно быть адаптировано под роль каждого сотрудника. Для руководителей отделов, сотрудников ИТ и ИБ важно провести углубленное обучение, дающее практические навыки по защите нейросетей. Такой детальный курс по безопасности LLM с интерактивными лабораторными работами доступен на платформе Kaspersky Expert Training. Прошедшие его не только детально изучат джейлбрейки, инъекции и прочие способы атак, но и освоят структурный подход к оценке и усилению защиты языковых моделей.
Советы