Центр экспертизы Kaspersky AI Technology Research: кто мы и чем занимаемся

«Лаборатория Касперского» уже почти двадцать лет применяет алгоритмы искусственного интеллекта (AI), в первую очередь машинного обучения (ML), в своих продуктах и сервисах. Глубокая экспертиза и опыт в применении этих технологий в области кибербезопасности, уникальные наборы данных, эффективные методы и развитая инфраструктура для обучения моделей лежат в основе нашего подхода к решению ML-задач. Наш центр Kaspersky AI Technology Research объединяет исследователей данных, ML-инженеров, экспертов по угрозам и инфраструктуре, чтобы решать самые амбициозные задачи на стыке сфер AI/ML и кибербезопасности. Среди этих задач — не только разработка прикладных технологий, но и проведение исследований по безопасности AI-алгоритмов, в том числе с применением таких перспективных подходов, как нейроморфное машинное обучение, повышение осведомленности о рисках AI и многое другое.

Наши технологии и продукты

В «Лаборатории Касперского» разработано множество AI/ML-технологий детектирования угроз, в первую очередь — для выявления вредоносного ПО. Это и алгоритм на базе глубокой нейросети для обнаружения зловредных исполняемых файлов на основе статических признаков, и ML-технология на базе решающих деревьев для автоматизированного создания детектирующих правил, работающих на устройствах пользователя, и нейросети для обнаружения вредоносного поведения программ при их выполнении. Есть и система выявления вредоносных ресурсов в Интернете на основе анонимной телеметрии, поступающей из установленных у клиентов решений и других источников. Подробнее о них можно почитать в техническом документе Машинное обучение для выявления вредоносного ПО. Другие модели, такие как ML-модель для детектирования мошеннических веб-страниц и DeepQuarantine для карантина писем с подозрением на спам, защищают пользователей от угроз, связанных с фишингом и спамом. Благодаря KSN, нашей облачной инфраструктуре, результаты работы AI становятся максимально быстро доступны пользователям как домашних, так и корпоративных продуктов.

Перспективы применения генеративного ИИ, в частности больших языковых моделей (LLM), привели к созданию в «Лаборатории Касперского» инфраструктуры для исследования их возможностей и быстрого создания прототипов. Эта инфраструктура, в которой развернуты LLM-инструменты наподобие ChatGPT, не только доступна сотрудникам всех подразделений для решения повседневных задач, но и становится базой для новых решений. Так, уже скоро Kaspersky Threat Intelligence Portal обзаведется новой OSINT-функциональностью на базе LLM — средствами быстрого получения сводки по отчетам об угрозах, связанных с тем или иным индикатором компрометации.

Чтобы повышать защищенность инфраструктуры наших клиентов, мы активно развиваем технологии искусственного интеллекта, созданные с учетом специфики наших флагманских корпоративных продуктов. Уже несколько лет AI-аналитик на службе сервиса Kaspersky Managed Detection and Response помогает снижать нагрузку на сотрудников SOC, автоматически отфильтровывая ложноположительные срабатывания. Только в прошлом году эта технология позволила закрыть более 100 тысяч алертов без участия человека. Это позволяет специалистам SOC быстрее реагировать на реальные угрозы и больше времени уделять расследованию сложных случаев и проактивному поиску угроз. Другое решение — AI-риск-скоринг хостов в решениях Kaspersky SIEM (KUMA) и Kaspersky XDR — позволяет применить алгоритмы машинного обучения для поиска подозрительных с точки зрения поведения хостов без необходимости передавать данные за пределы компании.

Еще один важный блок технологий «Лаборатории Касперского» связан с применением ML/AI в промышленности. Это и Kaspersky MLAD (Machine Learning for Anomaly Detection) — программный продукт для предиктивной аналитики, который автоматически распознает в сигналах телеметрии ранние (скрытые) признаки надвигающегося отказа оборудования, нарушения техпроцесса, хакерской атаки, а также ошибки персонала. Постоянно обучая нейросеть, MLAD анализирует поток «атомарных» событий от объекта, структурируя его на паттерны и выявляя нештатное поведение. Еще один наш проект — Kaspersky Neuromorphic Platform (KNP). Это направление исследований и программная платформа для AI решений, основанных на импульсных нейронных сетях и первом российском энергоэффективном нейроморфном процессоре «Алтай» (AltAI), разработанном компанией Мотив Нейроморфные Технологии (Мотив-НТ) совместно с «Лабораторией Касперского».

Получившие широкое распространение AI-технологии нуждаются в контроле безопасности, поэтому в нашей компании также создан центр компетенции по безопасности AI — AIST.kaspersky.com. Он предлагает набор сервисов, направленных на обеспечение надежной защиты AI-систем и предотвращение потенциальных угроз для данных, бизнес-процессов, AI-инфраструктуры.

Наши люди

Исторически задачи использования технологий машинного обучения решались в отделах, которые непосредственно занимались детектированием тех или иных угроз. Однако с ростом количества задач и значимости ML-технологий было решено выделить экспертизу по созданию систем на базе искусственного интеллекта в отдельный Центр Kaspersky AI Technology Research. Так образовались три основные команды, занимающиеся применением AI в «Лаборатории Касперского».

1. Команда Detection Methods Analysis Group занимается развитием ML-алгоритмов для детектирования вредоносного ПО во взаимодействии с командами Global Research and Analysis Team (GReAT) и сотрудниками Центра исследования угроз. Созданные ими AI-системы для детектирования вредоносного ПО на базе как статических признаков, так и поведения вносят прямой вклад в обеспечение безопасности наших пользователей.
2. Команда Technology Research Department в составе департамента Future Technologies специализируется на исследовании перспективных AI-технологий, развивает продукт Kaspersky MLAD, разрабатывает Kaspersky Neuromorphic Platform (KNP) и совместно с Мотив-НТ создает нейроморфный процессор «Алтай» следующего поколения, предоставляет сервисы AIST по безопасности AI, участвует в работе технического комитета по стандартизации № 164 «Искусственный интеллект» (ТК 164).
3. Команда MLTech отвечает за развитие корпоративной ML-инфраструктуры для обучения ML-моделей, создание моделей для детектирования контентных угроз (фишинга и спама), а также за внедрение AI-технологий, в том числе на базе больших языковых моделей, в передовые корпоративные сервисы и решения компании, такие как MDR, Kaspersky SIEM (KUMA) и Kaspersky XDR.

Это не значит, что AI-экспертиза «Лаборатории Касперского» ограничивается только вышеперечисленными командами: сфера AI в настоящее время настолько сложна и многогранна, что сконцентрировать все знания в рамках даже нескольких исследовательских групп невозможно. Другие команды также вносят большой вклад в работу центра и активно применяют ML для решения многих задач — от технологий машинного зрения в команде Antidrone и изучения AI-ассистентов разработчика в отделах CoreTech и KasperskyOS до применения ML к поиску сложных APT-атак в GReAT и изучения законодательного регулирования AI в команде Government Relations.

Наши исследования и патенты

Уникальность AI-технологий, созданных в «Лаборатории Касперского», подтверждается десятками патентов, полученных в разных странах мира. В первую очередь — это патенты на непосредственно детектирующие технологии, например обнаружение вредоносного ПО на основе поведенческих логов программ, детектирование вредоносных серверов в телеметрии, мошеннических веб-страниц и спама с помощью машинного обучения. Но портфолио компании содержит и задачи более широкого спектра. Это технологии для улучшения наборов данных для машинного обучения, детектирования аномалий и даже для поиска подозрительных контактов ребенка в рамках систем родительского контроля. И конечно, мы активно патентуем наши AI-технологии по индустриальной тематике и уникальным нейросетевым подходам обработки потока событий.

Кроме того, «Лаборатория Касперского» активно делится своей экспертизой в сфере AI с сообществом. Некоторые исследования, например о монотонных алгоритмах машинного обучения или применении нейросетей к детектированию спама, выходят в формате академических статей на ведущих конференциях по машинному обучению, другие — на специализированных порталах и ИБ-конференциях. Например, мы публикуем исследования безопасности наших собственных AI-алгоритмов, в частности пишем об атаках на алгоритмы детектирования спама и вредоносного ПО. Исследуем использование нейронных сетей для анализа временных рядов, исследуем применение нейроморфных сетей для актуальных в промышленности задач. Платформа нейроморфного машинного обучения Kaspersky Neuromorphic Platform (KNP) имеет статус программного обеспечения с открытым исходным кодом и будет доступна для использования и развития всему ML-сообществу.

Тема безопасной разработки и применения AI — одна из основополагающих для нас, так как крайне важно, чтобы мы могли доверять своим алгоритмам и были уверены в их надежности. Кроме того, мы рассказываем об участии в отраслевых соревнованиях по атакам на системы ML и о примерах применения передовых технологий, таких как большие языковые модели, к детектированию угроз в логах системы и фишинговых ссылок. Мы также рассказываем об угрозах для генеративного ИИ, в том числе с точки зрения приватности; атаках на различные системы, в которых применяются LLM; использовании AI злоумышленниками; о применении наших технологий в SOC. Иногда мы приоткрываем дверь и показываем нашу внутреннюю кухню, рассказывая о процессе обучения наших моделей и даже о нюансах оценки их качества.

Повышение осведомленности

Наконец, важнейшей функцией Центра экспертизы Kaspersky AI Technology Research является повышение осведомленности как наших клиентов, так и широкой общественности о плюсах и минусах AI-технологий и об угрозах, которые от них исходят. Эксперты нашего центра демонстрируют опасность дипфейков, например, в формате видео и подкастов. Мы рассказываем о нюансах применения AI-технологий (например, о том, как ChatGPT влияет на процесс найма разработчиков) и делимся опытом в рамках вебинаров и круглых столов.

Команда FT Technology Research организует конференцию, посвященную нейроморфным технологиям, на которой в отдельный трек выделены вопросы обеспечения безопасности ИИ, в том числе и на основе нейроморфного подхода. С партнером ИСП РАН мы исследуем различные направления атак на нейронные сети в доменах Computer Vision, LLM, Time Series и способы защиты. В рамках индустриального партнерства «Лаборатории Касперского» с ИСП РАН команда апробирует образцы доверенных фреймворков машинного обучения.

Кроме того, мы участвуем в разработке образовательных курсов, например модуля о применении искусственного интеллекта в кибербезопасности в МГТУ им. Баумана. Другой пример — модуль о безопасном использовании AI в Kaspersky ASAP, нашем решении по повышению осведомленности сотрудников о киберугрозах. Наконец, «Лаборатория Касперского» вносит вклад в создание международных стандартов по применению AI — в 2023 году на Internet Governance Forum компания представила первые Этические принципы применения искусственного интеллекта в кибербезопасности.

Если подытожить, то важнейшие задачи, которые помогает решать наш центр Kaspersky AI Technology Research, это: развитие технологий искусственного интеллекта, его безопасное применение в задачах кибербезопасности, а также мониторинг угроз неправильного или злонамеренного применения искусственного интеллекта и прогнозирование соответствующих трендов. И все эти задачи служат единой цели: обеспечению максимального уровня безопасности для наших клиентов.