сбой
Слышали когда-нибудь негласное правило: «Никогда не выпускать релизы в пятницу»? Мы — да, а вот компания CrowdStrike, кажется, нет. Наши «коллеги по цеху» обычным пятничным утром выпустили малюсенький драйвер, который стал причиной грандиозного компьютерного сбоя по всему миру.
Некорректное обновление решения CrowdStrike EDR затронуло устройства под управлением Windows по всему миру — все они в одночасье показали корпоративным пользователям «синий экран смерти» (BSOD). Сбой затронул, например, информационные системы аэропортов в США, Испании, Германии, Нидерландах и других странах.
Кто еще пострадал от пятничного релиза CrowdStrike и как отменить «окирпичивание» компьютера — в этом материале.
Что случилось
Все началось ранним утром пятницы: пользователи по всему миру сообщали о проблемах с Windows. Сначала грешили на сбой в Microsoft Azure, а позднее компания CrowdStrike подтвердила, что первопричина все-таки в драйвере csagent.sys или C-00000291*.sys для CrowdStrike EDR. Именно он и стал причиной обилия забавных фотографий на фоне синих экранов.
Синий экран смерти на всех компьютерах = выходной у линейных сотрудников аэропортов
Если бы мы захотели перечислить всех, кто пострадал от этого сбоя, то нам бы не хватило и нескольких постов, поэтому коротко расскажем об основных жертвах халатности CrowdStrike. Больше всего пострадали авиационные компании, аэропорты и люди, которые хотят вернуться домой или отправиться в долгожданный отпуск:
- Аэропорт Хитроу в Лондоне, как и многие другие, объявил о задержках рейсов из-за технологического сбоя.
- Авиакомпания Scandinavian Airlines добавила на свой сайт уведомление: «Некоторые клиенты могут испытывать трудности с бронированием из-за IT-проблемы, затрагивающей несколько стран. SAS работает в полном объеме, но ожидаются задержки».
- В Новой Зеландии возникли проблемы в работе банковских, коммуникационных и транспортных систем.
Пострадали различные медицинские центры, сетевые магазины, нью-йоркское метро, крупнейший банк Южной Африки и многие другие организации, которые каждый день делают нашу жизнь лучше и удобнее. Полный список пострадавших от сбоя можно изучить по ссылке — он ежеминутно увеличивается.
Как исправить ошибку CrowdStrike
На текущем этапе достаточно проблематично оценить, сколько времени займет полное восстановление тех или иных информационных систем в мире. Все осложняется тем, что пользователям необходимо перезагрузить свои компьютеры в безопасном режиме вручную. А в больших корпорациях это, как правило, невозможно сделать самостоятельно без помощи системного администратора.
Тем не менее, вот инструкция по избавлению от проблемы с CrowdStrike – синего экрана смерти, вызванного обновлением их драйвера:
- Загрузите компьютер в безопасном режиме.
- Перейдите в C:WindowsSystem32driversCrowdStrike.
- Найдите и удалите файл csagent.sys или C-00000291*.sys.
- Перезагрузите компьютер в нормальном режиме.
А пока этим будут заниматься ваши сисадмины, можете воспользоваться индийским лайфхаком: там сотрудники одного из аэропортов стали вручную заполнять посадочные талоны.
В Индии не слишком переживают из-за глобального сбоя. Источник
Как можно было избежать сбоя
Избежать подобной ситуации можно было достаточно просто. Во-первых, не выпускать обновления в пятницу 😀. В случае ошибки остается слишком мало времени на исправление, сисадмины всех пострадавших от сбоя CrowdStrike компаний почти наверняка будут работать все выходные над исправлением проблемы.
Но самое главное – максимально ответственно относиться к качеству выпускаемых обновлений. Мы в «Лаборатории Касперского» еще в 2009 году запустили программу предотвращения массовых сбоев у наших клиентов и прошли аудит SOC 2, подтверждающий безопасность внутренних процессов. Вот уже 15 лет каждое обновление проходит многоуровневую проверку работоспособности на разных конфигурациях и разных версиях операционных систем. Это позволяет нам заранее выявить возможные проблемы и решить их «на берегу».
Необходимо соблюдать принцип гранулированного выпуска релизов. Обновления следует распространять постепенно, а не сразу на всех заказчиков. Такой подход дает возможность моментально среагировать и в случае необходимости остановить апдейт. Если у наших пользователей случается какая-то проблема, то мы ее обязательно регистрируем, ее решение становится приоритетом на всех уровнях компании.
Как и в случаях с инцидентами в кибербезопасности, помимо устранения видимого ущерба нужно найти первопричину, чтобы предотвратить проблемы такого рода в будущем. Необходимо проверять работоспособность обновлений программных продуктов на тестовой инфраструктуре перед раскаткой на «боевую» инфраструктуру компании, внедрять изменения постепенно, отслеживая возможные сбои.
Работа с инцидентами должна быть основана на комплексном подходе к построению защиты от доверенного поставщика с высокими внутренними требованиями к безопасности, качеству и доступности своих сервисов. Основой этой работы может стать линейка решений Kaspersky Symphony. Это поможет вашей компании не просто держаться на плаву, но и повышать эффективность вашей системы информационной безопасности. Это можно делать как постепенно, наращивая защиту шаг за шагом, так и одномоментно, используя высшую ступень защиты Kaspersky Symphony XDR. Позаботьтесь о безопасности своей инфраструктуры вместе с нами, чтобы следующий глобальный сбой не коснулся ваших клиентов.
Советы