Что не так с мотивацией дроидов из «Звездных войн»

Практически в каждом фильме или сериале из вселенной «Звездных войн» присутствуют дроиды. Ведут себя они, как правило, странно. С одной стороны, они производят впечатление самостоятельно мыслящих существ, имеющих индивидуальность, а с другой — являются предметами: кому-то принадлежат, хранят верность хозяевам и выполняют их приказы. Чаще всего нам никак не объясняют мотивацию дроидов. Почему некоторые из них готовы по велению хозяина преступать закон? От чего зависит, кого именно они считают хозяином? Как они сами определяют, кому именно хранить верность и чьи приказы выполнять?

Кто-то, наверное, скажет: «Да какая разница?» И с точки зрения нормального зрителя будет абсолютно прав. Но с нашей точки зрения вопрос верности дроида — это в первую очередь вопрос кибербезопасности. Дроид — сложная киберфизическая система, повлияв на мотивацию которой атакующий может получить доступ к конфиденциальным данным, а то и вовсе причинить вред настоящему владельцу. В прошлом, 2025 году вышло целых два сериала, создатели которых уделили вопросам принадлежности дроидов некоторое внимание. Нам были представлены две концепции управления мотивацией дроидов. Мы попытаемся рассмотреть обе эти концепции и их недостатки в этом посте. Как обычно, следует предупредить, что в тексте возможны спойлеры.

«Звездные войны: Опорная команда» (Star Wars: Skeleton Crew)

В «Опорной команде» нам впервые показывают концепцию голосового управления мотивацией чужих дроидов. В нескольких случаях человек, не являющийся формальным владельцем дроида, старается повлиять на его поступки, пытаясь ввести дроида в заблуждение. В целом создается впечатление, что на появление этой концепции повлияли современные нам чат-боты на базе больших языковых моделей (LLM) — уж больно это похоже на попытки «джейлбрейка», то есть атаки на модель, с целью обойти ограничения безопасности или встроенные фильтры.

Безымянный дроид, работающий прислугой

Ферн, десятилетняя девочка, хочет, чтобы ее мать думала, будто Ферн пришла домой рано и занималась учебой в своей комнате. Проблема в домашнем дроиде, который знает, что это не так. Поэтому Ферн использует команду «переопределения памяти» (Run memory override) и подсовывает дроиду не соответствующую действительности информацию в достаточно абсурдной формулировке «я была дома, просто ты меня не видел».

Тот факт, что этот метод срабатывает, говорит нам о двух проблемах. Во-первых, дроид принимает команду о перезаписи памяти от Ферн, а следовательно, у него либо не реализован контроль учетных записей, либо неправильно настроены права. Формальным владельцем дроида является мать (в противном случае манипуляции с памятью не имеют смысла), но тем не менее он принимает потенциально опасную команду от Ферн. Во-вторых, домашнему дроиду, присматривающему за ребенком, не помешало бы встроить функцию родительского контроля.

Пиратский дроид SM-33: мотивация

Дроид SM-33 своим владельцем считает капитана корабля «Зола оникса» (Onyx Cinder). То есть он хранит верность не конкретному человеку, а роли. При этом для определения законности права занимать эту роль используется некий пиратский кодекс. Нам, к сожалению, не объясняют весь кодекс, но цитируют несколько постулатов из него. Во-первых, согласно программе SM-33, не бывает корабля без капитана (если капитана нет, то кто-то должен занять его место). Во-вторых, человек победивший капитана, сам законно становится новым капитаном. В-третьих, если брошен вызов, то дроид не может помочь активному капитану, а ждет исхода поединка. Ну и в-четвертых, один человек может быть капитаном только одного корабля — если человек принимает командование другим судном, он автоматически теряет статус капитана первого.

Трижды SM-33 меняет владельца, строго следуя этому кодексу. Сначала Ферн врет ему что убила предыдущего капитана и занимает его место. Затем Джод На Навуд бросает вызов и становится капитаном, когда Ферн сдается. Затем Джод принимает командование пиратским фрегатом и теряет кресло капитана «Золы оникса», но успевает вновь заявить права.

И вот тут случается интересный поворот. Ферн вводит в дискуссию понятие из детских игр — unclaimsies (то есть как бы обнуление прав) и заявляет собственные права на место капитана. После чего моментально приказывает вышвырнуть пиратов за борт. Многим зрителям этот момент показался крайне нереалистичным — с чего бы дроид, мотивация которого определяется пиратским кодексом, счел такой переход прав корректным? Однако если предположить, что дроидами управляют LLM, то этот сюжетный поворот еще как объясним.

Пиратский кодекс — изначальная система этических ценностей, заложенная в дроида. Оценка намерения собеседника обычно проводится чат-ботом в самом начале диалога, и для этого используется дорогая (ресурсоемкая) модель. Далее, для экономии, для обеспечения безопасности в процессе общения используются более простые модели. При этом, чем больше контекст (история диалога), тем дороже и сложнее делать оценку намерений. Именно на этом основана популярная методика джейлбрейка, действующая, как минимум, на некоторые современные нам LLM. То есть в результате длительного общения с Ферн SM-33 потерял способность корректно оценивать новые запросы на соответствие изначальным этическим установкам, а потому он счел заявление об обнулении прав обоснованным.

SM-33: доступ к памяти

На самом деле с безопасностью SM-33 есть еще одна проблема, напрямую не связанная с тем, кого он считает своим владельцем, но все-таки смежная. Старый капитан отдал приказ забыть все, связанное с планетой Ат Аттин, и разобрать на части любого, кто-то начнет интересоваться этим вопросом. Ферн, с правами админ капитана, запускает свое любимое переопределение памяти и заставляет дроида вернуть воспоминания об Ат Аттине, после чего SM-33 вспоминает и планету, и требование атаковать спрашивающего.

И в результате мы понимаем, что по факту-то приказ старого капитана он не выполнил, сведения об Ат Аттине остались в памяти дроида, просто он не мог их найти. То есть если он их и удалил, то исключительно из индекса доступных воспоминаний. Возможно, это какое-то физическое свойство памяти дроида, а может, этот момент можно объяснить тем, что программировал SM-33 не профессионал, а пират. В конце концов, в его конструкции есть и другие неоптимальные решения, такие как выключатель, доступный любому рядом стоящему, точно такой же, как у C3-PO. Но то, что логично для протокольного дроида, не совсем подходит для боевого пирата, предназначенного в том числе и для рукопашного боя…

Второй сезон сериала «Андор» (Andor)

В сериале «Андор», приквеле фильма «Изгой один», нам наконец-то показывают, как главный герой Кассиан Андор получил в напарники перепрограммированного имперского охранного дроида K-2SO. И самое главное, показан процесс того, как повстанцы изменили его мотивацию.

Как выяснилось, для того чтобы верный Империи боевой дроид перестал слушаться изначальную программу, ему нужно заменить «кортекс», при этом подменный кортекс может вызвать отторжение. Дословно специалист говорит: «Вы слышите много болтовни о перепрограммировании, из-за чего может показаться, что это проблема, решаемая за консолью. Но это, честно говоря, полная чушь. На самом деле все дело в подавлении импульсов, что является исключительно инженерной и схемотехнической задачей».

То есть повстанцы подменяют некое устройство, после чего дроид становится существом с новыми моральными принципами. При этом он сохраняет память (K-2SO позже вспоминает, как однажды участвовал в параде на Корусанте).

Какие же выводы можно сделать по итогу? Ну, во-первых, становится понятным, что дроид под управлением LLM — явная угроза безопасности. Его легко ввести в заблуждение и заставить работать во вред законному владельцу. А во-вторых, используемая для создания дроидов в «Звездных войнах» программно-аппаратная платформа не идеальна. Если бы созданием дроидов занимались наши коллеги, то они бы постарались сделать кибериммунное решение, в котором функциональность после подмены ключевого компонента была бы невозможна, равно как и вредоносные манипуляции с памятью. Иными словами, очень жаль, что давным-давно в далекой галактике не было KasperskyOS.