ИИ
Муза, поведай о том виртуальном агенте, который
В тайные письма глядел, хоть хозяин ему не позволил,
Сам же чрез токен похищенный в руки чужие сдавался.
Так могло бы выглядеть начало «Одиссеи», если бы она повествовала о новом ИИ-агенте от Meta** — Muse*. Пока что агент доступен только через приложения для iOS, Android и macOS, а также через веб-интерфейс, однако он уже успел набрать популярность: по официальным данным Meta**, к 21 октября Muse* скачали более 10 миллионов раз.
Возможности у агента широкие: он умеет читать переписки и календари, напоминать о встречах и задачах, отвечать на сообщения и письма, отслеживать финансовые траты пользователя, совершать покупки, искать информацию в Сети, генерировать контент и многое-многое другое. В общем, полноценный консьерж-сервис для очень занятых. К слову, создатели Muse* признались, что во многом вдохновлялись нашумевшим OpenClaw — ИИ-агентом, в котором исследователи обнаружили много серьезных дыр в безопасности.
Однако вскоре после запуска вокруг Muse* начали всплывать одна неприятная история за другой. Сначала журналист обнаружил, что агент добрался до его переписок без явного разрешения. Почти одновременно исследователь нашел уязвимость, которая позволяла перехватить управление Muse* и действовать от имени владельца. А затем выяснилось, что звонки, которые вроде бы должен был совершать ИИ, на деле передавались… живым операторам.
Разбираемся, как все это оказалось возможным и как пользоваться Muse* максимально безопасно.
Когда агент читает лишнее
Журналист Джейсон Эйтен установил Muse* на iPhone и Mac и намеренно не предоставил агенту доступ к «Сообщениям». Тем не менее после переписки с коллегой о новых iPhone Muse* неожиданно предложил подготовить колонку ровно на ту же тему и сослался на сообщение редактора о дедлайне. Журналист сразу же спросил агента, каким образом он получил эту информацию.
По версии Muse*, приложение на Mac всего лишь передавало ему текст всплывающих уведомлений — на первый взгляд, весьма правдоподобное объяснение. Однако затем Эйтен обнаружил, что Muse* синхронизировал данные непосредственно из локальной базы сообщений на Mac. Синхронизация дошла до строки 187 462 этой базы — по этим данным невозможно подсчитать точное количество обработанных сообщений, но очевидно, что речь шла далеко не о «нескольких уведомлениях».
По словам сотрудника Meta**, чтобы Muse* смог читать переписки, пользователю нужно было отдельно разрешить доступ к «Сообщениям» и дать приложению полный доступ к диску. Каким образом агент смог прочитать переписки без явно выданных разрешений, так и не стало понятным. Вероятно, проблема крылась в непрозрачном интерфейсе выдачи доступов.
Уязвимость нулевого дня в Muse*
Почти одновременно со скандалом вокруг чтения переписок исследователь Патрик Уордл нашел в Muse* серьезную уязвимость, связанную с тем, как приложение хранит и использует свои служебные настройки.
Muse* хранит несколько таких параметров локально, причем некоторые из них можно было изменить без особых ограничений. Одна из таких настроек определяет, на какой сервер приложение отправляет голос для распознавания — обычно такие запросы уходят на сервер Meta**, но Уордл выяснил, что изменить этот адрес могло практически любое локальное приложение или команда в Терминале.
На практике злоумышленник мог добиться этого двумя способами: заразить устройство жертвы вредоносом или убедить ее самостоятельно вставить в Терминал специальную команду под видом «полезной инструкции». Такие опасные «инструкции» зачастую распространяют на поддельных сайтах или через зараженные расширения в браузерах, которые меняют содержимое просматриваемых веб-страниц.
После подмены сервера Meta** на сервер злоумышленника голосовые запросы Muse* начинали уходить уже туда. Вместе с ними атакующий получал и токен авторизации, который позволял выдавать себя за владельца аккаунта и удаленно управлять агентом. Если пользователь уже предоставил Muse* доступ к камере, сообщениям, файлам и другим данным, злоумышленник мог использовать все эти возможности в своих целях: делать снимки с камеры, записывать вредоносные файлы на диск, читать переписки, узнавать местоположение привязанных устройств и многое-многое другое.
Перехватив управление Muse*, злоумышленник может воспользоваться теми же функциями, что и сам агент: делать снимки с фронтальной камеры, просматривать фотографии, читать, изменять и удалять файлы, показывать уведомления… Всего исследователь насчитал более 50 подобных команд. Источник
Более того, злоумышленник мог пустить голосовой трафик Muse* через свой сервер и незаметно подмешивать собственные инструкции к голосовым командам жертвы. Заодно ему доставался токен Muse*, так что после первой успешной атаки он мог сохранить доступ к агенту и продолжить управлять им удаленно. Meta** уже успели выпустить обновление и устранить уязвимость, однако такие истории — не редкость в мире искусственного интеллекта.
Кожаный мешок спешит на помощь
В Muse* экспериментально доступна функция исходящих звонков американским организациям от имени пользователя: агент может самостоятельно позвонить в нужную компанию и задать уточняющие вопросы, а затем показать расшифровку звонка. Однако, как выяснили Reuters и 404 Media, Meta** параллельно тестировала на своих сотрудниках любопытное дополнение к этой функции — делегирование звонков обученным операторам колл-центра. Полностью автоматизированные звонки не приносили нужного результата, так как собеседники просто вешали трубку, услышав голос робота. Многие сотрудники Meta** при этом даже не подозревали, что их поручения передавались живым людям.
После шквала критики Meta** свернула эксперимент с живыми операторами. Представители компании заявили, что проводить его без предупреждения было ошибкой, и пообещали доработать функцию.
Защищаем приватность: какие настройки необходимо проверить в Muse*
Объем данных, обрабатываемый Meta** при взаимодействии с Muse*, действительно велик: переписки с чат-ботом, фотографии, метаданные, загруженные и сгенерированные файлы… Туда же попадает информация из сторонних приложений, которые пользователь связал с агентом. При необходимости доступ к этим данным могут получить сотрудники Meta**.
Мы советуем проверить следующие настройки и отключить все ненужные функции.
Системные разрешения на Mac
- Full Disk Access — дает полный доступ к диску и файлам на компьютере.
- Automation — позволяет агенту выполнять действия в локальных приложениях (например, отправлять сообщения и удалять заметки).
- Notifications — позволяет агенту присылать вам уведомления о выполненных задачах.
Доступ к приложениям, которые хранят данные не в облаке, а непосредственно на Mac, можно ограничить отдельно. Для каждого приложения Muse* предлагает три режима:
- Off — полный запрет на чтение данных и выполнение действий;
- Read only — позволяет только читать информацию по запросу пользователя;
- Read and interact — позволяет читать информацию и выполнять действия в приложении.
Подтверждение действий
По умолчанию Muse* должен запрашивать у пользователя разрешение на важные действия в сторонних приложениях. И все же полагаться на разум искусственного интеллекта, скажем, при покупках или переписках с коллегами — вряд ли хорошая идея, поэтому лучше заранее ограничить его самостоятельность. Перейдите в настройках Muse* в раздел Settings → Permissions → Connectors и выберите режим Ask for some actions (менее безопасный) или же Always ask. В Manage permissions проверьте ранее выданные разрешения в разделе Connectors.
Meta** указывает, что при использовании единого аккаунта Muse* автоматически подключается к Facebook*, Instagram* и Threads*, а при разрыве связи доступ прекращается, но уже полученные данные не удаляются — их нужно удалять вручную.
Доступ к сайтам
Похожим образом настраиваются и параметры доступа Muse* к Интернету:
- перейдите в Settings → Permissions → Web access defaults:
- включите режим Ask for some actions, чтобы Muse* запрашивал разрешение на передачу ваших данных или открытие незнакомого сайта, или Always ask, чтобы агент запрашивал разрешение перед посещением любого сайта.
Мы рекомендуем включить режим Always ask и пользоваться антифишинговой защитой: всегда существует вероятность, что агент случайно решит открыть поддельный или подозрительный сайт.
Обучение на ваших данных
Meta** утверждает, что они обезличивают пользовательские данные, на которых тренируют Muse*, и хранят их без привязки к аккаунту. К сожалению, это не гарантирует невозможность идентификации пользователя по контексту: в письмах, сообщениях, документах и календарях, с которыми работает агент, содержатся имена, адреса электронной почты, место жительства и другая информация, которая выдает вашу личность.
И хотя Meta** заявляет, что перед обучением модели удаляются некоторые категории персональных идентификаторов, чем больше информации попадет в обучение, тем выше риск, что однажды она случайно всплывет в чужих переписках или станет общественным достоянием из-за бага — к сожалению, иногда даже внутренние фильтры безопасности дают сбой.
А по умолчанию эта настройка, естественно, включена. Отключить функцию обучения можно в разделе Settings → Data controls → Help improve our AI models, выбрав опцию Turn off.
Разрешения на мобильных устройствах
На мобильных устройствах мы рекомендуем проверить разрешения, выданные приложению Muse*, ограничить доступ к своим контактам, фотографиям, геолокации, микрофону и камере в настройках смартфона, а также выключить функцию обучения ИИ на своих данных.
На iPhone откройте Настройки → Конфиденциальность и безопасность и проверьте доступ Muse* к нужным категориям. На Android проверьте раздел Настройки → Приложения → Muse* → Разрешения. Обучение отключается отдельно в Muse* → Settings → Data controls.
Как пользоваться ИИ-агентами безопасно
- Отключайте ненужные разрешения и не делитесь с агентом конфиденциальными данными. Чем меньше информации доступно агенту, тем меньше рисков для вас в случае утечки или бага.
- Не делегируйте важные решения и действия агентам. Даже если агент запрашивает ваше подтверждение перед покупкой или отправкой сообщения, проверяйте, что именно он собирается сделать — и где, чтобы случайно не оплатить «покупку» на поддельном сайте. Создатели Muse* сами пишут о том, что агент не имеет стопроцентной защиты от промпт-инъекций — скрытых вредоносных команд для ИИ.
- Не запускайте команды в Терминале, смысл которых вам непонятен — особенно если сайт, письмо или всплывающее окно утверждают, что это нужно для «проверки безопасности» или «установки обновления». Именно так работают атаки ClickFix, когда пользователя убеждают самостоятельно выполнить вредоносную команду. Чтобы защититься от вредоносов и поддельных страничек, установите на свои устройства комплексное защитное решение.
- Регулярно обновляйте приложение, через которое работает агент. Уязвимость, найденную Патриком Уордлом, разработчики уже исправили, но проблемы с безопасностью у ИИ обнаруживают очень и очень часто.
Что еще почитать про безопасность и приватность ИИ:
* Muse, Facebook, Instagram и Threads принадлежат компании Meta**, признанной экстремистской организацией в Российской Федерации.
** Компания Meta признана экстремистской организацией в Российской Федерации.
Советы