ИИ
Хотя многие компании осознанно внедряют ИИ для повышения качества и эффективности, еще быстрее в них появляются ИИ-инструменты, руководством не санкционированные. ИИ встраивают в уже применяемые компанией решения сами разработчики ПО (например, Microsoft Copilot и Gemini), а также самовольно устанавливают сотрудники. В результате бизнес сталкивается с плохо контролируемым каналом утечки данных: сотрудник вставляет информацию из корпоративных систем в чат с ИИ-помощником, и данные уходят не только производителю SaaS-решения, но и разработчикам ИИ-модели, с которой это SaaS-решение работает. И риски, и способы их снижения отличаются для разных видов ИИ-систем. Мы дадим обзор этой широкой темы, сфокусировавшись на инструментах детектирования и блокировки ИИ на двух уровнях.
Виды нежелательных ИИ-систем
В зависимости от разновидности ИИ, контролировать и блокировать его использование нужно по-разному. Важно различать следующие четыре вида ИИ.
- ИИ-возможности, встроенные в платформу: Microsoft Copilot, Google Gemini, Apple Intelligence; сюда же можно отнести ИИ-функции, встроенные прямо в браузер. Ключевая особенность этих ИИ — они встроены прямо в приложения первой необходимости, доступны каждому пользователю (и порой навязчиво всплывают), а главное — все производители пытаются включить их по умолчанию.
- Помощники, встроенные в бизнес-приложения. К этой категории относятся Slack AI, Zoom AI Companion, Notion AI, помощник Rovo в Jira и так далее. Они доступны всего на одной платформе и от нее неотделимы.
- Доступные отдельно чат-боты в виде сайтов и приложений: ChatGPT, Claude, Perplexity, Character AI, локальные решения наподобие LM Studio, расширения для браузера, а также агентные браузеры вроде Comet. Приложения и сервисы этой категории чаще всего применяют сами сотрудники без разрешения, это обычно «теневой ИИ».
- Многофункциональные агенты, запускаемые на компьютере. К этой категории относятся OpenClaw, NanoClaw, NemoClaw и тому подобные решения. Они наиболее опасны, поскольку по умолчанию обладают широкими правами доступа и работают с недоверенными данными из Интернета.
Что делать с нежелательным ИИ
Каждая компания, в зависимости от своей сферы деятельности и аппетита к инновациям и риску, должна провести свою черту между «рекомендованными», «индивидуально одобряемыми» и «полностью запрещенными» сценариями применения конкретных ИИ-решений. Для компаний из регулируемых индустрий вроде здравоохранения это будут одни правила, а для предприятий розничной торговли — совершенно другие. В любом случае принятую политику нужно будет уточнить после анализа, какой ИИ уже проник в компанию. Поэтому первым делом надо просканировать инфраструктуру, используя имеющиеся средства ИБ и журналирования.
В зависимости от принятых решений, найденные ИИ-системы можно:
- отключить или ограничить с помощью встроенных в само решение настроек корпоративной политики;
- дополнительно заблокировать на уровне конечных точек или сети, чтобы подстраховаться от обхода политики и ошибок настройки;
- перевести на управляемый доступ, когда решение не блокируется целиком, но перенаправляется через специализированный корпоративный шлюз, проверяющий права доступа и специфику использования.
Детектирование ИИ-систем
Обнаружение ИИ нужно проводить несколькими способами, поскольку они взаимодополняют друг друга и по-разному работают для разных видов ИИ.
| Технология | Что можно обнаружить |
| DNS | Любой ИИ-инструмент с идентифицируемым доменом |
| Веб-шлюз или NGFW | Любой ИИ-инструмент с узнаваемым шаблонов запросов и ответов (пути к API-точкам, домены и другие признаки). Веб-фильтры умеют анализировать содержимое соединения, во многих шлюзах/NGFW уже есть самостоятельная категория детектирования и блокировки «генеративного ИИ» |
| EPP/EDR | Используемые локально языковые модели (через оболочки Ollama, LM Studio и подобные), а также приложения для доступа к ChatGPT, Claude и так далее, агентские браузеры и ИИ-агенты open source. Косвенным, но сильным индикатором является наличие Node.js, Python, Git, Docker и других решений контейнеризации на компьютерах сотрудников, не связанных с разработкой ПО |
| Контроль приложений | Аналогично EPP/EDR: сразу можно заблокировать нежелательные приложения |
| Контроль браузера | Браузерные расширения для работы с ИИ и доступ к веб-сайтам ИИ-тематики. Это полезно, если веб-шлюз не может инспектировать зашифрованный трафик |
| Инструменты контроля SaaS-решений (SSPM) или контроля identity | Разрешения OAuth, запрашиваемые ИИ-приложениями и сервисами, а также любые посторонние интеграции с основными рабочими средами (Microsoft 365, Google Workspace и тому подобными) |
Разумеется, почти все перечисленные инструменты позволяют не только обнаружить, но и заблокировать ИИ или как минимум оповестить ответственных.
Внимание на OAuth
Популярные в офисе ИИ-решения, особенно «помощники для встреч», агенты автоматизации почты и календаря и подобные, получают доступ к корпоративным данным, запрашивая через OAuth доступ напрямую к платформе общения, документооборота или видеозвонков. Если пользователь уполномочен выдать этот доступ сторонним приложениям, дальнейшая утечка данных будет происходить напрямую, целиком за пределами периметра организации. EDR, и другие инструменты контроля просто не увидят, как условный Read.AI получает записи всех созвонов в условном Microsoft Teams.
Наиболее радикальным и часто самым правильным решением является запрет обычным пользователям выдавать подобное согласие (OAuth consent). Реализовать его технически можно следующими способами (нужны права глобального администратора, администратора настроек или эквивалентные).
Microsoft 365 / Entra ID
На панели администратора необходимо перейти в подраздел Identity > Applications > Enterprise apps > Consent and permissions > User consent settings. Здесь необходимо запретить настройку User consent for applications (полное руководство Microsoft).
Google Workspace
В консоли администратора нужно зайти в подраздел Security > Access and data control > API controls. Здесь в подразделе Manage App Access для всех известных в организации приложений устанавливается уровень доступа: Trusted, Limited, Specific Google data, Blocked. Но наиболее важен подпункт Unconfigured app settings, который устанавливает, что произойдет при попытке подключить неизвестное приложение. Тут нужно выбрать вариант Don’t allow users to access any third-party apps.
Отдельный подраздел Manage Google Services позволяет управлять конкретно доступом сторонних приложений к сервисам Google Workspace и Google Cloud; их можно отключить для каждого приложения Google по отдельности (полное руководство Google).
Salesforce
В режиме настроек (Setup) нужно воспользоваться поиском по словам connected apps и в результатах поиска нажать Manage Connected Apps. Настройки делаются для каждого внешнего приложения по отдельности, но по умолчанию подтвердить доступ могут все пользователи. Блокировки как таковой нет, но есть опция «авторизованы только заранее одобренные пользователи» (полное руководство Salesforce).
Slack
Из меню администраторских настроек (Admin) следует выбрать Apps and workflows > App Management Settings. Отредактировать настройку Require approved apps, выбрав вариант «авторизованы только заранее одобренные приложения» (Only allow pre-approved apps). Далее нужно убедиться, что среди одобренных приложений нет лишнего ИИ.
Советы