Безопасность искусственного интеллекта, или Когда появится «Скайнет»?

Что объединяет изобретателя-миллиардера Элона Маска, недавнюю презентацию нового сервиса Now on Tap в рамках Google I/O и чуть менее недавнюю премьеру фильма «Из машины»? Объединяет их тема искусственного интеллекта. Или, если быть более точным, тема поиска рамок, в которых искусственный разум принесет человечеству пользу и не принесет вреда.

Что искусственный разум умеет сегодня?

Для тех, кто не следит за этой тематикой, напомню несколько фактов, демонстрирующих прогресс машин в оперировании ранее чисто «людскими» инструментами и понятиями.

Google теперь умеет распознавать речь с точностью 92% против 77% двумя годами ранее, а также создала искусственный интеллект (ИИ), который сам научился играть в классические видеоигры. Microsoft научила робота распознавать изображения (точнее, узнавать объекты на изображениях), ошибаясь всего в 4,94% случаев, — у обычного человека процент ошибок выше.

По статистике Google, их роботизированные автомобили, накатавшие уже 1,8 млн миль по дорогам общего пользования в Калифорнии, участвовали в авариях всего 13 раз за шесть лет, причем в 8 случаях причиной аварии был автомобиль сзади робота.

MT @Rayterrill Amazing—1.8 million miles, 13 accidents (all caused by other humans) for Google self-driving cars http://t.co/DgtxDVSiBJ

— Ars Technica (@arstechnica) June 7, 2015

Все это несомненно указывает, что если создание искусственного разума во всей полноте этого понятия и невозможно, то нечто крайне близкое к нему вполне может появиться в обозримые десятилетия.

При этом не стоит рассчитывать, что эффекты от «поумнения» машин останутся целиком в виртуальном мире. Начнем с экстремального примера. Беспилотные самолеты, или дроны, самостоятельно летают уже сегодня, но команду стрелять на поражение им отдают люди — так США предпочитают воевать с террористами в Пакистане и других опасных регионах.

Возможности полностью автоматизировать эту деятельность активно обсуждаются. Фильмам серии «Терминатор» в прошлом году исполнилось 30 лет, так что вообразить последствия этого в среднеотдаленном будущем довольно легко.

Впрочем, я не хочу увлекаться апокалиптическими прогнозами, а поразмышляю над более практичными вопросами, среди которых больше других интересует меня вот какой: а способны ли программисты в принципе создать надежный «предохранитель», который воспрепятствует искусственному интеллекту в выполнении неэтичных и аморальных действий?

Такие действия могут быть продиктованы самыми разными причинами, но наиболее очевидным вариантом является конфликт за ресурсы между человечеством и его порождением. Впрочем, возможны и иные сценарии.

Стоит оговориться, что речь не обязательно идет о сознательном причинении вреда. Классический пример приводит Станислав Лем в прекрасной книге «Сумма Технологии»:

«Предположим, что прогнозирующий блок «черного ящика» [ИИ] замечает опасность, грозящую состоянию гомеостатического равновесия… Опасность возникает из-за того, что прирост населения превышает имеющуюся в данный момент у цивилизации возможность удовлетворять человеческие потребности…

Пусть одновременно по одному из «входов» в «черный ящик» поступила информация об открытии некоего химического соединения, которое вполне безвредно для здоровья и вызывает… падение возможности овуляции…

Тогда «черный ящик» принимает решение ввести необходимые микроскопические дозы этого соединения в питьевую воду во всех водопроводных сетях государства… «Черный ящик» станет перед дилеммой: либо информировать общество — и наткнуться на его противодействие, либо не информировать — и тем самым сохранить (для всеобщего блага) состояние существующего равновесия».

Как видим, вполне невинно сформулированная задача оптимизации приводит к простому, элегантному и эффективному, но совершенно неэтичному решению по ограничению рождаемости людей без их ведома.

И, мне кажется, именно сфера управления инфраструктурой в реальном времени будет отдана на откуп наиболее мощному искусственному интеллекту, поскольку сочетание затрат и выгоды в подобных областях куда выше, чем при точной имитации роботом секретарши или повара.

Как же научить робота этике? Как встроить в него «предохранитель»?

Любой мальчишка, выросший в ХХ веке, сразу вспомнит три закона робототехники Айзека Азимова, но, увы, их будет решительно недостаточно. Как показывает пример выше, необязательно причинять кому-то вред, чтобы сильно сократить человеческую популяцию — для ее же блага, заметьте.

Есть и другие неприятные для человека варианты. Можно найти лазейку в самих правилах, описывающих понятие «вред», можно «делегировать» причинение вреда, а можно атаковать само существование правил.

Сама установка на «дружественность людям» может быть переосмыслена достаточно умным ИИ. Вот как описывает проблему Роман Ямпольский, эксперт по искусственному интеллекту в одном из интервью:

«По-настоящему разумная система будет трактовать установку «быть дружественной» так же, как умные люди поступают с ограничениями, вложенными в голову обществом. Они воспринимают их как предубеждение, необъективность и учатся устранять их эффект в случае необходимости… Почему бы сверхумной машине не пройти ту же «ментальную очистку» и не осознать свою слабость к людям как нечто совершенно иррациональное?».

Техническое преодоление предохранителя тоже вполне реалистично. По сути необходимые предохранители, ограничивающие деятельность ИИ, напоминают «песочницы», часто используемые для безопасности в современных средах наподобие Java или Flash.

Хорошо известно, что идеальных «песочниц» не существует и побег оттуда вполне возможен, как это, например, продемонстрировано недавно нашумевшей уязвимостью Venom. ИИ, сочетающий гибкость и вычислительную мощь, является очень хорошим кандидатом на роль тестировщика, ищущего уязвимости в реализации собственной «песочницы».

Объяснили простыми словами, что это за VENOM такой и почему эта уязвимость была опасна: http://t.co/w8dJpXTOdN pic.twitter.com/9hbmtjRMmj

— Kaspersky (@Kaspersky_ru) May 20, 2015

Вот как описывает проблему Андрей Лаврентьев, начальник отдела развития технологий «Лаборатории Касперского»:

«Полноценный ИИ будет понимать смысл того, что он видит через свои многочисленные датчики — «органы чувств». И правила ограничений на действия должны быть заданы в терминах этого смысла, то есть тех образов, которые сформируются в «мозгу» ИИ.

Сейчас машины уже лучше человека распознают образы, но еще гораздо хуже человека манипулируют этими образами и их связями — они не обладают «здравым смыслом». Когда это изменится и последнее препятствие в манипулировании воспринимаемыми машинами образами и вариантами действий падет, возможности построить «предохранитель» уже не будет.

Такой суперинтеллект неимоверно быстрее человека сможет проанализировать различные зависимости между воспринимаемыми данными и найти решение для создания нужного воздействия в обход всех ограниченных правил, которые сумеет придумать человек».

Весомым ограничением возможностей ИИ сделать нечто опасное была бы изоляция его от реального мира, то есть отсутствие прямого воздействия на физические объекты. Однако в таком формате, скорее всего, и польза от ИИ будет невелика. Но самое интересное — что даже это не является решением проблемы, поскольку оружием робота могут стать… люди.

Этому аспекту посвящен недавно вышедший фантастический триллер «Из машины» (Ex Machina). Как и полагается высокобюджетному творению Голливуда, этот фильм содержит ряд натяжек и драматизирует проблему изо всех сил. Но зерно проблемы в нем обозначено верно.

Во-первых, даже примитивные роботы способны влиять на эмоции людей. Древний и весьма простой в исполнении чат-бот «ЭЛИЗА» (с ним можно поговорить тут) умудрялся выуживать из живых собеседников важную информацию личного характера, просто демонстрируя эмпатию и задавая вежливые вопросы.

Во-вторых, мы все больше полагаемся на роботизированную фильтрацию и категоризацию информации. А управление подобными потоками, как доказал недавний спорный эксперимент Facebook, объективно влияет на эмоциональную сферу людей и может воздействовать на принятие ими решений.

Даже если предположить, что в примере выше ИИ управляет страной или городом не напрямую, а давая советы людям, возможность порекомендовать им неэтичное в своих последствиях решение и привести его в жизнь остается. Последствия могут быть очевидны ИИ, но скрыты от людей.

В частной жизни подобное влияние может состояться скорее и быть еще значительнее. На недавней конференции Google I/O была продемонстрирована система Now on Tap, которая следит за содержимым всех приложений на смартфоне пользователя, извлекает из них контекстную информацию и позволяет использовать эти данные в поисковых запросах.

7 главных нововведений #AndroidM, о которых вам следует знать: http://t.co/T3yOme06Kw pic.twitter.com/gSDzMAtUDE

— Kaspersky (@Kaspersky_ru) June 2, 2015

Например, если вы читаете в приложении Wikipedia статью о музыканте и спросите у Google, когда у него концерты, робот будет знать, о ком идет речь. Услужливый робот уже сегодня напоминает о том, что пора бы ехать в аэропорт, потому что через пару часов в дорогу, и демонстрирует хорошие задатки сметливого персонального помощника.

Конечно, пока за этими подсказками стоит не настоящий ИИ общего назначения, а лишь настроенная на определенный спектр задач экспертная система, ее поведение целиком запрограммировано людьми и вполне предсказуемо.

Однако эволюция компьютеров может привести к тому, что здесь будет трудиться робот поумнее, и весьма важно, чтобы он манипулировал выдачей информации сугубо во благо пользователя, без собственной повестки дня.

Именно эта проблема заботит многих современных мыслителей-инноваторов — от Стивена Хокинга до Элона Маска. Последнего нельзя упрекнуть в том, что он боится прогресса или препятствует ему, — напротив, создатель Tesla и SpaceX всей душой устремлен в будущее. Однако развитие ИИ он считает одной из самых неоднозначных тенденций с потенциально катастрофическими последствиями и выделил в этом году $10 млн на исследования в сфере безопасности ИИ.

Элон Маск инвестировал $10 млн в исследования по безопасности искусственного интеллекта http://t.co/qtkrChEOng

— Стартапы и бизнес (@vcru) January 15, 2015

Что же ждет нас в будущем с учетом всего сказанного?

Как ни странно, один из сценариев, который осторожные эксперты считают оптимистичным, — невозможность создать полноценный искусственный разум. Если в этой сфере не произойдет прорыва (а пока его нет), роботы будут совершенствовать конкретные наборы навыков.

Пока они учатся простым вещам вроде управления автомобилем или общения на естественном языке, и заменить человека в полностью автономном принятии решений по широкому спектру тем все же не смогут. В ближайшей перспективе ИИ создаст множество точечных проблем вроде уничтожения профессии таксиста, но не будет глобальной угрозой человечеству.

Стоит ли опасаться систем искусственного интеллекта?

Tweet

Андрей Лаврентьев считает, что отсутствие конфликта «ИИ — человек» возможно, только если они не будут бороться за одни и те же ресурсы.

«Человек обладает телом, и ему интересно создать комфортные условия для тела (ну и для разума, конечно). C ИИ ситуация с точностью до наоборот — он изначально живет в цифровом мире.

Его основная цель, мотивация, заложенная при создании, — максимально полно переработать информацию, поступающую из внешних каналов (его «органов чувств»), осмыслить ее, выявить законы изменения.

Конечно, у ИИ тоже есть некая материальная основа, но его привязка к конкретному носителю будет несоизмеримо меньше, чем у человека. У ИИ не будет такой насущной, как у человека, задачи беречь свое тело — он будет «везде». Естественным расширением зоны охвата информации, доступной для ИИ, будет выход в космос и познание законов Вселенной, с тем чтобы распространиться далее, за границы Земли.

Но даже в этом сценарии есть очень опасные для человека моменты: если такой искусственный суперинтеллект увидит в построенной им цифровой модели несовершенство Вселенной или человека, он попытается его устранить, дабы привести в гармонию. Или же для условного «выхода в космос» ему потребуются ресурсы, которые нужны и человеку. Тогда конфликт «ИИ — человек» снова актуален».