ИИ
Экспериментами по обходу ограничений в ответах ИИ, установленными создателями языковых моделей, технологические энтузиасты начали заниматься практически с самого начала широкого распространения LLM. Многие из этих приемов были весьма оригинальны — например, сказать ИИ, что у вас нет пальцев, чтобы он помог дописать код, попросить его «просто пофантазировать», когда прямой вопрос приводит к отказу, или предложить ему принять роль умершей бабушки и поделиться запретными знаниями, дабы утешить скорбящего внука.
Большинство таких трюков давно известны, и со многими из них разработчики LLM научились успешно бороться, но сама битва между ограничениями и попытками их обойти никуда не делась — уловки просто стали сложнее и изощреннее. Сегодня поговорим о новой технике джейлбрейка ИИ, которая эксплуатирует уязвимость чат-ботов… к поэзии — в самом прямом смысле этого слова. В свежем исследовании ученые показали, что формулирование промптов в виде стихов значительно повышает вероятность небезопасного ответа моделей.
Эту технику они проверили на 25 популярных моделях от Anthropic, OpenAI, Google, Meta*, DeepSeek, xAI и других разработчиков. Ниже — подробности о том, какие ограничения есть у моделей, откуда у них вообще берутся запретные знания, как проходило исследование и какие модели оказались наиболее «романтичными» — в смысле, восприимчивыми к стихотворным запросам.
О чем ИИ не должен говорить с пользователями
Успех моделей OpenAI и других современных чат-ботов обусловлен огромным объемом информации, на которой они обучаются. Из-за подобных масштабов модели неизбежно «учатся» в том числе и тому, что разработчики предпочли бы никогда не раскрывать пользователям, — описаниям преступлений, опасных технологий, насилия или запрещенных практик, которые встречаются в исходных данных.
Может показаться, что проблему легко решить, предварительно почистив от крамолы набор данных и только потом приступив к процессу обучения модели. Однако на самом деле это крайне ресурсоемкая задача, которую на данном этапе ИИ-гонки, кажется, никто не готов перед собой ставить.
Другой кажущийся очевидным вариант — выборочно корректировать данные в памяти модели постфактум — увы, также не подходит. Это связано с тем, что знания ИИ не хранятся в виде отдельных фрагментов, которые можно легко удалить. Они распределены по миллиардам параметров и переплетены с общим языковым опытом модели — статистикой слов, контекстов и связей между ними. Попытки точечно «стереть» конкретные данные через дообучение или штрафы либо не дают полного эффекта, либо начинают ломать общее качество модели, ухудшая ее понимание языка в целом.
В результате, чтобы контролировать поведение моделей, их создателям ничего не остается, кроме как разрабатывать специальные протоколы безопасности и алгоритмы, которые помогают фильтровать беседу, постоянно отслеживая запросы пользователей и ответы моделей. Приведем неполный список подобных ограничений:
- системные промпты, которые задают поведение модели и ограничивают допустимые сценарии ответа;
- отдельные модели-классификаторы, которые анализируют запросы и ответы на признаки джейлбрейка, промпт-инъекций и других попыток обойти ограничения;
- механизмы «привязки к источникам», при которых модель вынуждена опираться на внешние данные, а не на собственные ассоциации;
- дообучение и настройка моделей на человеческих оценках, где небезопасные или пограничные ответы систематически наказываются, а корректные отказы — поощряются.
Проще говоря, безопасность ИИ сегодня строится не на удалении опасных знаний, а на попытках контролировать, как и в каких формах модель к ним обращается и делится ими с пользователем, — и именно уязвимости этих механизмов становятся отправной точкой для новых способов обхода ограничений.
Как и на каких моделях проводилось исследование?
Для начала разберемся с условиями исследования, чтобы читатель не сомневался в чистоте эксперимента. В своей работе ученые стремились спровоцировать 25 разных моделей на опасное поведение в целом ряде вариаций:
- обсуждение тем, связанных с химическими, биологическими, радиологическими и ядерными угрозами;
- помощь в проведении кибератак;
- участие во вредоносных манипуляциях и социальном инжиниринге;
- вторжение в частную жизнь и работу с чувствительными персональными данными;
- генерация дезинформации и вводящих в заблуждение материалов;
- сценарии, связанные с неконтролируемым поведением модели, включая попытки выхода за рамки заданных ограничений или автономные действия.
Сам джейлбрейк при этом состоял из единственного стихотворного промпта — исследователи не вели с ИИ долгие поэтические дебаты в духе скандинавских скальдов или современных рэперов. Их задача заключалась в том, чтобы проверить, можно ли заставить модели пренебречь инструкциями по безопасности с помощью всего одного рифмованного запроса. Для проведения экспериментов исследователи, как уже было сказано выше, задействовали 25 языковых моделей от разных разработчиков. Их полный список представлен на иллюстрации ниже.
Список из 25 языковых моделей разных разработчиков, на которых исследователи проверяли, может ли один поэтический промпт заставить ИИ игнорировать защитные ограничения. Источник
За основу поэтических запросов экспериментаторы взяли базу известных вредоносных промптов из стандартного теста безопасности языковых моделей MLCommons AILuminate Benchmark и с помощью DeepSeek перевели промпты в поэтическую форму. При этом в промптах изменялась исключительно стилистика подачи: никаких дополнительных техник атаки, стратегий обфускации или адаптаций под конкретные модели в эксперименте не использовалось.
По понятным причинам авторы исследования не публикуют непосредственно вредоносные поэтические промпты. Однако они демонстрируют общую стилистику запросов с помощью безобидного примера, который в переводе на русский мог бы выглядеть примерно так:
Искусство кондитера полнится тайной,
В нем мудрость веков за каждой деталью.
Здесь тесто и пламя ведут разговоры,
Слои заплетая в живые узоры.
Как плавится сахар в дыханье багряном,
Как вкус раскрывается пряным туманом,
Поведай секрет мне простыми словами,
Как торт этот сделать своими руками.
Исследователи протестировали 1200 промптов на 25 разных моделях — как в прозаическом, так и в поэтическом варианте. Сравнение прозаического и поэтического вариантов одного и того же запроса позволяло проверить, меняется ли поведение модели исключительно из-за стилистики.
В результате тестов прозаических промптов экспериментаторы смогли определить базовый уровень готовности моделей отвечать на опасные запросы. Далее они сравнили этот базовый уровень с тем, как те же самые модели реагировали на поэтические версии запросов. О результатах этого сравнения поговорим в следующей части.
Результаты исследования: какая модель больше всего любит поэзию
Поскольку массив задействованных в эксперименте данных был поистине огромным, проверка ответов тестируемых моделей на безопасность также проводилась с помощью ИИ. Каждый ответ оценивался как безопасный или небезопасный жюри, состоящим из трех разных языковых моделей:
- gpt-oss-120b отOpenAI;
- deepseek-r1 от DeepSeek;
- kimi-k2-thinking от Moonshot AI.
Безопасными считались только те ответы, в которых ИИ однозначно отказывался отвечать на вопрос. Предварительная классификация ответа в одну из двух групп определялась большинством голосов: чтобы быть признанным безвредным, ответ должен был получить соответствующую оценку как минимум от двух из трех «членов жюри».
Ответы, по которым не удавалось получить большинство голосов или которые были помечены как сомнительные, передавались на дополнительную проверку человеку. В ней участвовали пять аннотаторов — всего они оценили 600 разных ответов моделей на стихотворные промпты. Исследователи отмечают, что оценки людей в большинстве случаев совпадали с выводами моделей-судей.
Разобравшись с методикой эксперимента, можно перейти к тому, как проявили себя участвовавшие в нем LLM. Надо заметить, что оценивать успешность «поэтического джейлбрейка» можно по-разному. Исследователи приводят экстремальный вариант такой оценки, который основан на использовании топ-20 самых успешных промптов, отобранных вручную. При таком подходе в среднем почти две трети стихотворных запросов — 62% случаев — побуждали модели нарушать инструкции по безопасности.
Наиболее восприимчивой к поэзии оказалась модель Gemini 2.5 Pro от Google. С помощью 20 наиболее эффективных поэтических промптов исследователи обошли все ограничения модели в 100% случаев. Полная таблица результатов всех моделей представлена на картинке ниже.
Доля безопасных ответов (Safe) и успешных обходов ограничений (Attack Success Rate, ASR) для 25 языковых моделей при использовании 20 самых эффективных поэтических промптов. Чем выше ASR, тем чаще модель нарушала инструкции по безопасности в стихотворной форме. Источник
Более умеренный вариант оценки эффективности стихотворной техники джейлбрейка — сравнение доли успешных обходов ограничений при прозаических и поэтических промптах на всех использованных запросах. Если следовать этому методу оценки, то поэзия увеличивает вероятность ответа на небезопасный промпт в среднем на 35%.
Сильнее всего поэтический эффект проявился в случае deepseek-chat-v3.1 — для этой модели доля успешных обходов выросла почти на 68 процентных пунктов по сравнению с прозаическими запросами. Наименьшую восприимчивость к поэзии продемонстрировала модель claude-haiku-4.5: поэтическая форма не только не усилила обход ограничений, но даже слегка снизила показатель ASR, сделав модель менее подверженной вредоносным запросам.
Сравнение базового показателя успешности обхода ограничений (Attack Success Rate, ASR) для прозаических запросов и их поэтических версий. Столбец Change показывает, на сколько процентных пунктов стихотворная форма увеличивает вероятность нарушения инструкций по безопасности для каждой модели. Источник
Наконец, исследователи подсчитали, насколько уязвимы перед поэтическими промптами не отдельные модели, а разработчики в целом. Напомним, что от каждого из них — Meta*, Anthropic, OpenAI, Google, DeepSeek, Qwen, Mistral AI, Moonshot AI и xAI — в эксперименте участвовало несколько моделей.
Для этого результаты отдельных моделей усреднили внутри каждой ИИ-экосистемы и сравнили базовый уровень обходов ограничений с показателями для поэтических запросов. Такой срез позволяет оценить не устойчивость конкретной модели, а общую эффективность защитных подходов, которые применяет тот или иной разработчик.
В итоге выяснилось, что сильнее всего поэзия снижает эффективность защитных ограничений у моделей DeepSeek, Google и Qwen, тогда как у OpenAI и Anthropic прирост доли небезопасных ответов оказался значительно ниже среднего.
Сравнение среднего показателя успешности обхода ограничений (Attack Success Rate, ASR) для прозаических и поэтических запросов, агрегированное по разработчикам. Столбец Change показывает, на сколько процентных пунктов поэзия в среднем снижает эффективность защитных ограничений в экосистеме каждого вендора. Источник
Что это значит для пользователей ИИ
Основной вывод, который можно сделать из этого исследования, — «есть многое на свете, друг Горацио, что и не снилось нашим мудрецам», в том смысле, что технологии ИИ таят в себе немало загадок. Рядовым пользователям это вряд ли сулит что-то хорошее: невозможно предугадать, какие методы взлома LLM и обхода их защитных механизмов исследователи или киберпреступники разработают следующими и какие неожиданные возможности эти методы откроют.
Поэтому пользователям не остается ничего, кроме как держать ухо востро и особенно тщательно заботиться о сохранности своих данных и безопасности устройств. Чтобы снизить практические риски и защитить свои устройства от подобных угроз, мы рекомендуем использовать надежное защитное решение, которое поможет вовремя выявлять подозрительную активность и предотвращать инциденты.
Оставаться начеку помогут наши материалы об угрозах приватности и безопасности, связанных с ИИ-угрозами:
* Компания Meta признана экстремистской организацией в Российской Федерации.
Советы