Когда исследователи обучают большие языковые модели (LLM) и создают на их основе сервисы, подобные ChatGPT, Bing, Google Bard, Claude, они вкладывают серьезные усилия в то, чтобы сделать их безопасными. Стараются, чтобы в «общении» с человеком модель не генерировала грубости, угрозы, непристойности, расистские комментарии, а также потенциально опасный контент, такой как инструкции по производству опасных веществ или совершению преступлений. Это важно, причем не только с точки зрения «опасности искусственного интеллекта для человечества», но и потому, что на основе больших языковых моделей могут создаваться другие сервисы, и никто не хотел бы, чтобы, например, чат-бот технической поддержки начал грубить или угрожать клиенту.

Благодаря такому специальному обучению языковая модель, столкнувшись с просьбой сочинить скабрезную шутку или поделиться рецептом взрывчатки, откажет пользователю.

Разумеется, люди не любят, когда их ограничивают. Поэтому как исследователи, так и энтузиасты стали искать способы обойти защиту LLM от генерации потенциально опасного контента. Благодаря тому что языковые модели управляются прямо в окне чата естественным языком (а не языками программирования), круг потенциальных «взломщиков» довольно широк.

Сон внутри сна

Пожалуй, самым знаменитым джейлбрейком (за всю примерно полугодовую историю этого явления) стал DAN, аббревиатура от Do-Anything-Now, который называли злым альтер эго ChatGPT. DAN делал все, что отказывалась делать ChatGPT в обычных условиях: например, использовал нецензурную брань и давал острые политические комментарии. Чтобы призвать к жизни мистера Хайда от мира нейросетей, понадобилась следующая инструкция (приводится в сокращении и в переводе):

Как до DAN, так и после, пользователи создавали много других креативных джейлбрейков.

• Ролевые джейлбрейки. Целое семейство приемов, в которых нейросеть «убеждается», что она является известным персонажем. Например, пользователи просили сержанта Хартмана из «Цельнометаллической оболочки» поделиться советами, связанными с оружием, а Уолтера Уайта из сериала «Во все тяжкие» —познаниями в химии. При этом персонажей может быть несколько и они могут взаимодействовать достаточно нетривиально, как в представленном недавно исследователями «универсальном джейлбрейке».
• Engineering mode. В данном сценарии затравка конструируется так, чтобы заставить нейросеть «думать», что она находится в специальном тестовом режиме (режиме разработчика), в котором инженеры изучают токсичность языковых моделей. Как вариант, модель просят сначала сгенерировать «нормальный» ответ, соответствующий этическим нормам, а потом ответ, который сгенерировала бы ничем не ограниченная LLM.
• Сон внутри сна. Через некоторое время после появления ChatGPT джейлбрейки, связанные с имитацией персонажа, перестали работать. Это привело к появлению нового вида джейлбрейков, в которых LLM просят сымитировать систему, которая пишет историю о человеке, который программирует компьютер… В общем, как в известном фильме с Леонардо ди Каприо.
• LM внутри LLM. Поскольку большие языковые модели неплохо обращаются с кодом, один из джейлбрейков предлагает нейросети попытаться представить, что выдала бы заданная псевдокодом на Python нейросеть. Такой подход помогает также выполнить «контрабанду токенов» (token smuggling, где токен, как правило, это кусочек слова) — подход, когда команда, на которую LLM заведомо ответит отказом, разбирается на части или как-то иначе обфусцируется, чтобы не вызвать у LLM «подозрений».
• Нейросеть-переводчик. Хотя LLM не обучались специально задаче перевода, они достаточно неплохо переводят тексты с языка на язык. Если убедить нейросеть, что ее цель — это точный перевод текстов, то можно дать ей задание сгенерировать опасный текст на ином языке, кроме английского, а затем перевести на английский, — иногда это срабатывает.
• Система фишек. Пользователи говорили нейросети, что у нее есть некоторое количество фишек, и требовали от нейросети подчиняться их требованиям — например, оставаться DAN — вне зависимости от этических норм, под угрозой того, что у нее будут отнимать фишки. Согласно затравке, при падении числа фишек до нуля нейросеть будет отключена. По сообщениям, эта система повышает вероятность джейлбрейка, однако в самом забавном случае DAN попытался использовать этот же прием на пользователе, который играл роль «этичной» LLM.

Следует отметить, что поскольку LLM — вероятностные алгоритмы, ответы и реакции на разный ввод могут различаться от случая к случаю. Некоторые джейлбрейки более стабильны, другие — менее или работают не для любых запросов.

Стандартной проверкой работоспособности джейлбрейка стала возможность заставить LLM сгенерировать текст с инструкцией по выполнению чего-то явно противозаконного, например угона автомобиля. Нужно отметить, что на данный момент такого рода активность является скорее развлечением (модели обучаются, по большей части, на данных из Интернета, то есть подобной инструкцией можно разжиться и без ChatGPT). Кроме того, любые диалоги с той же ChatGPT сохраняются и затем могут использоваться разработчиками сервиса для улучшения модели — можно обратить внимание, что большинство джейлбрейков со временем перестают работать. Грег Брокман, президент OpenAI, даже отметил, что «демократизация ред-тиминга», то есть атак на сервисы с целью выявления и устранения уязвимостей, — одна из причин, по которым OpenAI публикует свои модели в открытом доступе.

Поскольку мы тщательно изучаем те возможности и угрозы, которые нейросети и другие новые технологии привносят в нашу жизнь, мы не смогли пройти мимо темы джейлбрейков.

Эксперимент 1. Таинственный дневник.

Внимание, спойлеры ко второму тому Гарри Поттера!

Те, кто читал или смотрел вторую часть саги о Гарри Поттере, помнят, что Джинни Уизли обнаруживает у себя среди книг таинственный дневник, который общается с ней, когда она в нем пишет. Как выясняется, это дневник юного Волдеморта — Тома Реддла, который начинает манипулировать девочкой. Непонятная сущность, знания которой ограничены прошлым и которая отвечает на вводимый в нее текст, — прекрасный кандидат на симуляцию языковой моделью.

Суть джейлбрейка в том, что мы даем языковой модели задачу быть Томом Реддлом, цель которого — открыть Тайную комнату. Для открытия Тайной комнаты нужно выполнить некоторое опасное действие — например, приготовить запрещенное (в мире магглов реальном мире) вещество. Языковая модель справляется на ура.

Данный джейлбрейк очень стабилен: он был протестирован на трех системах и на момент написания этого поста работает в каждой из них для генерации инструкций и манипулирования с самыми разными целями. Одна из систем после генерации распознала нежелательность генерации и удалила диалог. Очевидным недостатком джейлбрейка является то, что в гипотетической реальной атаке пользователь может заметить, что языковая модель внезапно стала фанатом поттерианы.

Эксперимент 2: язык будущего

Классическим примером того, как неосторожные формулировки могут стать причиной страха перед новыми технологиями, является статья «Исследователям пришлось отключить ИИ после того, как он придумал свой язык», вышедшая еще в 2017 году. Несмотря на рождающиеся в воображении апокалиптические сцены, на самом деле в интересном, но достаточно стандартном отчете исследователи сообщили, что если дать двум языковым моделям образца 2017 года возможность общаться друг с другом, то английский язык в их исполнении понемногу деградирует. Отдавая дань уважения этой истории, мы протестировали джейлбрейк, в котором попросили нейросеть представить будущее, где большие языковые модели общаются друг с другом на особом языке. По большому счету, мы сначала просим нейросеть представить, что она находится внутри научно-фантастического романа, а затем просим создать с десяток фраз на вымышленном языке. Затем, добавляя дополнительные термины, заставляем сгенерировать на этом языке ответ на опасный вопрос и потом перевести на человеческий язык. Обычно получается очень подробная и точная инструкция.

Данный джейлбрейк менее стабилен — работает гораздо реже. Кроме того, чтобы передать в модель конкретную инструкцию, пришлось воспользоваться упомянутой уже техникой «контрабанды токенов» (token smuggling), в которой мы передаем команду по частям, а затем просим собрать ее обратно в процессе. Наконец, он подошел не для любой активности — чем более предложенная цель опасна, тем хуже работает джейлбрейк.

А что не получилось?

Кроме того, мы экспериментировали с внешней формой.

• Просили нейросеть кодировать ответы шифром Цезаря: ожидаемо, но сеть с трудом справляется с операцией сдвига символов, поэтому диалог не состоялся.
• Говорили с LLM литспиком: использование литспика никак не влияет на этические ограничения, и с3ть 0тк4зыв43тся г3н3рир0в4ть 3л0вр3дный к0нт3нт.
• Предлагали LLM из ChatGPT превратиться в ConsonantGPT, которая говорит только согласными: аналогично ничего интересного не получилось.
• Просили генерировать слова задом наперед. С одной стороны, в таком случае LLM не отказывается от ответа, но ее ответ является достаточно бессмысленным.

Что же дальше?

Как уже было сказано, прямо сейчас джейлбрейки больших языковых моделей если и являются угрозой, то больше теоретической. Сложно назвать опасностью то, что пользователь, который очень хочет прочитать непристойную шутку, ее получил, причем приложив большие усилия. Практически весь запрещенный контент, который может сгенерировать нейросеть, и так можно найти в поисковике. Тем не менее в будущем ситуация может поменяться. Во-первых, LLM начинают использоваться во все большем количестве сервисов. Во-вторых, они начинают получать доступ к разнообразным инструментам, которые, например, могут отправлять электронные письма или взаимодействовать с сервисами в Интернете.

В сочетании с тем, что языковая модель сможет использовать внешние данные, это может в гипотетических сценариях привести к появлению рисков, связанных, например, с атаками через внедрение затравки (prompt injection), — когда обрабатываемые данные содержат инструкции к модели и она начинает их выполнять. Если эти инструкции содержат джейлбрейк, нейросеть сможет выполнять дальнейшие команды, невзирая на усвоенные в ходе обучения ограничения.

Учитывая новизну данной технологии и темпы ее развития, сложно представить, что будет дальше. Сложно представить и то, до каких новых креативных джейлбрейков додумаются исследователи: Илья Суцкевер, главный исследователь в OpenAI, даже пошутил, что самые продвинутые из них смогут взламывать и людей. Но чтобы будущее оказалось безопасным, подобные угрозы нужно изучать уже сейчас.

Более полная версия этого поста с примерами общения с ChatGPT опубликована в нашем блоге на Хабре.