Как подготовить ИБ компании к «подглядывающим» ИИ-ассистентам

В мае и июне мир ИТ следил за развитием драмы под названием Copilot+ Recall. Сначала Microsoft анонсировала функцию «памяти», которая работает, сохраняя скриншоты всего происходящего на компьютере каждые несколько секунд и извлекая всю полезную информацию в общую базу данных. Затем специалисты по ИБ раскритиковали реализацию Recall, показали дефекты в ее защите и продемонстрировали возможность эксфильтрации данных, в том числе дистанционно. В результате Microsoft сначала объявила, что функция не будет включена по умолчанию и станет лучше шифровать информацию, а затем и вовсе отложила широкий запуск Recall, решив сначала попрактиковаться в бете Windows Insider Program. Впрочем, Редмонд не отказывается от проекта и намерен запустить его, в том числе на более широком спектре компьютеров, включая машины с процессорами AMD и Intel.

В контексте рабочего компьютера, тем более при допустимости применения BYOD-устройств в рабочих целях, функция Recall явно нарушает корпоративные политики хранения информации, а также значительно увеличивает потенциальный ущерб при компрометации сети инфостилерами и ransomware. Но большую озабоченность вызывает явное стремление конкурентов Microsoft двинуться в том же направлении. Анонсированная функция Apple Intelligence пока описана преимущественно языком маркетинга, но в числе прочего заявлено, что Siri учитывает при исполнении запросов информацию, видимую на экране (onscreen awareness), а «доступные во всех приложениях средства работы с текстом» могут выполнять обработку как локально, так и обращаясь к ChatGPT. У Google соответствующие функции пока детально не проработаны, но руководство компании подтверждает, что анонсированный на Google I/O «визуальный ассистент» Project Astra будет в какой-то форме воплощен на Chromebook, принимая в качестве входного потока информации скриншоты. Как командам ИТ и ИБ подготовиться к этому водопаду ИИ-функций?

Риски визуальных ассистентов

О том, как снизить риски бесконтрольного применения сотрудниками ChatGPT и других языковых ассистентов, мы писали в этом материале. Но там речь идет о сознательном применении дополнительных приложений и сервисов самими сотрудниками, новой неприятной разновидности «теневого ИТ». С помощниками уровня ОС ситуация посложнее.

• Ассистент может сделать скриншот, распознать его в текстовом виде и сохранить — как локально, так и в публичном облаке. Это касается любой информации, отображенной на экране сотрудника. Ни уровень секретности информации, ни текущий режим аутентификации и контекст работы не учитываются. Например, AI-ассистент может создать локальную, а то и облачную копию зашифрованного письма, требующего ввести пароль для прочтения, или данных, которые доступны только через терминальный доступ.
• Эти копии могут не соответствовать корпоративным политикам хранения данных. То, что по регламенту должно быть зашифрованным, может храниться безо всякого шифрования. То, что должно быть удалено, может сохраниться в неучтенной копии. То, что не должно покидать периметр компании, может оказаться в облаке, причем в неизвестной юрисдикции.
• Обостряется проблема несанкционированного доступа к информации, поскольку на запросы к ИИ-ассистенту могут не распространяться дополнительные меры аутентификации, принятые в компании для важных сервисов. (Грубо говоря, если вам нужно посмотреть данные финансовых транзакций, то, уже будучи авторизованным в системе, вы должны
  включить RDP, поднять сертификат, зайти в удаленную систему, еще раз ввести пароль, и тогда данные будут доступны — или можно посмотреть в скриншоты ИИ-ассистента типа Recall).
• Уровень контроля над ИИ-ассистентом у пользователя и даже ИТ-администратора ограничены. Хорошо известны случаи случайной или целенаправленной активации дополнительных функций ОС по команде производителя. Проще говоря, тот же Recall может оказаться на компьютере случайно и внезапно, в рамках обновления.

Хотя все техногиганты декларируют значительное внимание вопросам безопасности ИИ, практическая реализация защитных мер должна выдержать проверку реальностью. Так, первоначальные заявления Microsoft о том, что все данные обрабатываются только локально и хранятся в зашифрованном виде, на практике оказались неточны. Под шифрованием подразумевался лишь BitLocker, который по факту защищает информацию только на выключенном компьютере. Теперь придется подождать, пока практики ИБ проверят обновленное шифрование у Microsoft и то, что в итоге выпустит Apple. Последняя заявила, что часть информации обрабатывается локально, часть — в собственном облаке в рамках концепции защищенных вычислений и без хранения данных после обработки, а часть — в анонимизированном виде передается в OpenAI. У Google пока нечего проверять, но история компании говорит сама за себя.

Политики внедрения ИИ-ассистентов

С учетом значительных рисков и общей непроработанности в этой области для внедрения визуальных ИИ-ассистентов рекомендована консервативная стратегия.

1. ИТ-, ИБ- и бизнес-команды должны обсудить, в каких сценариях работы сотрудников организации применение визуальных ИИ-ассистентов принесет значимое и измеримое увеличение эффективности, оправдывающее появление дополнительных рисков.
2. Утвердите политику компании и проинформируйте сотрудников, что применение визуальных ИИ-ассистентов системного уровня запрещено в компании, а исключения одобряются в индивидуальном порядке для узких сценариев применения.
3. Примите меры для блокировки спонтанного включения визуального ИИ. Можно применить групповые политики Microsoft, а также заблокировать выполнение ИИ-приложений на уровне решения EDR или EMM/UEM. Учтите, что устаревшие компьютеры, вероятно, не смогут запустить ИИ-компоненты из-за технических ограничений, однако все производители работают над тем, чтобы постепенно покрыть своими продуктами в том числе предыдущие версии систем.
4. Убедитесь, что политики и инструменты защиты применены на всех компьютерах, используемых для работы сотрудниками компании, включая личные компьютеры.
5. Если на обсуждении первого этапа удалось определить группу сотрудников, которые могут значимо выиграть от внедрения визуального ИИ, сформируйте пилотную программу, включающую небольшой процент этих сотрудников. Команды ИТ и ИБ должны разработать рекомендованные настройки визуального ассистента с учетом ролей сотрудников и политик компании. Кроме настроек ассистента, потребуются усиленные компенсирующие меры безопасности: строгая политика аутентификации пользователя, более жесткие настройки мониторинга SIEM и EDR для предотвращения утечки информации и появления на пилотных компьютерах нежелательного и вредоносного ПО. Убедитесь, что доступный ИИ-ассистент активирован администратором с применением этих настроек.
6. Детально и регулярно анализируйте эффективность работы пилотной группы по сравнению с контрольной, а также особенности работы компьютеров организации с активированным ИИ-ассистентом. По итогам анализа принимайте решение о расширении или сворачивании пилотной программы.
7. Назначьте ответственного за мониторинг ИБ-исследований и Threat Intelligence по теме атак на визуальные ИИ-ассистенты и их хранимые данные, чтобы своевременно менять политику по мере эволюции в этой области.