Главная / Тренды / Апокалипсис своими руками: сможем ли мы контролировать сверхразумный ИИ

Апокалипсис своими руками: сможем ли мы контролировать сверхразумный ИИ

Фото: Shutterstock

В Институте Макса Планка провели исследование о перспективах развития ИИ. Его авторы считают, что скоро мы не сможем управлять сверхразумными машинами. РБК Тренды спросили экспертов, что они думают о потенциальной угрозе

Общество Макса Планка — сеть научно-исследовательских организаций со штаб-квартирой в Мюнхене. Она включает в себя более 80 институтов и центров по всему миру. Среди членов общества — 20 нобелевских лауреатов.

О чем речь

Эксперты — разработчики и технофутурологи, проводившие исследование, — говорят о сверхразумных машинах: роботах и алгоритмах на базе ИИ, которые превзойдут человеческий мозг. Основываясь на теоретических расчетах, они предположили, что, когда это произойдет, мы не сможем полностью контролировать искусственный интеллект.

«Сверхразумная машина, управляющая миром, звучит как научная фантастика. Но уже есть машины, которые самостоятельно выполняют важные задачи, а программисты не до конца понимают, как они этому научились. Поэтому возникает вопрос: может ли этот процесс в какой-то момент стать неконтролируемым и опасным для человечества?» — отметил Мануэль Себриан, соавтор исследования и руководитель Группы цифровой мобилизации в Центре людей и машин Института Макса Планка.

В своей работе авторы смоделировали два сценария.

  • Сдерживающий сверхсильный ИИ путем ограничения его доступа к интернету для свободного обмена данными. Тогда он не достигнет критической мощности и будет нацелен, прежде всего, на решение гуманитарных и этически оправданных задач. Но и возможности такого интеллекта тоже будут существенно ограничены.
  • Использующий специальные алгоритмы, которые бы удерживали ИИ от причинения вреда человеку. К сожалению, на этом пути могут возникнуть ошибки и препятствия.
  • «Если мы посмотрим на проблему с точки зрения основ информатики, окажется, что алгоритм, который должен остановить ИИ от разрушительных действий, может заблокировать свои же операции. Когда это произойдет, вы даже не распознаете, продолжает ли алгоритм анализировать угрозу или остановился при сдерживании вредоносного ИИ. По сути, это делает такой алгоритм непригодным для использования», — заявил Ияд Рахван, директор Центра людей и машин Института Макса Планка.

    Таким образом, эксперты пока не видят никакой технической возможности сдерживать ИИ от вредоносных действий. Более того, они утверждают, что могли и не заметить, что машины уже приблизились к критической отметке развития. Поэтому сейчас перед нами стоит и другая задача — распознать этот момент.

    Стоит ли нам бояться сверхразумных машин в обозримом будущем? Вот, что думают эксперты.

    Сергей Марков: «Чтобы устроить апокалипсис, человеку не нужен ИИ»

    О спикере: специалист по машинному обучению, основатель научно-популярного портала 22century.ru.

    — В целом, сценарии с выходом некоторой системы общего ИИ из-под контроля с последующими катастрофическими последствиями мне представляется крайне маловероятным. Для его реализации необходимо стечение огромного количества совершенно невероятных обстоятельств.

    Сергей Марков

    (Фото: из личного архива)

    Большинство предполагаемых апокалиптических сценариев с участием ИИ в действительности включают систему ИИ лишь в качестве своеобразной «вишенки на торте». Бостромовская машина для максимизации числа скрепок может перемолоть все человечество на скрепки лишь благодаря разрушительной технологии, которую не могут остановить другие системы ИИ. Такой машине не нужен «оператор» в виде сверхразума или ИИ-системы человеческого уровня. Устроить катастрофу при наличии такой технологии без проблем смогут и сами люди.

    Некоторые интерпретации этой теории предполагают, что система ИИ будет каким-то образом манипулировать людьми, в силу своего интеллектуального превосходства. В действительности такого превосходства, скорее всего, просто никогда не возникнет, поскольку существуют фундаментальные физические лимиты на скорость вычислений (Бремерманна, Ландауэра). Построение оптимальной стратегии в среде, подобной реальному миру, относится к классу сложности EXPTIME-complete. Проще говоря, экспоненциальное увеличение скорости вычислений будет давать лишь линейный прирост «интеллекта».

    Разумеется, системы AGI (Artificial general intelligence, сильный искусственный интеллект) в определенный момент начнут превосходить людей в широком спектре интеллектуальных задач, как сегодня это делают системы слабого ИИ для тех задач, для которых они разработаны. Но они плотно интегрированы в систему общественных отношений и используются, прежде всего, для усиления интеллектуальных возможностей человека. В будущем степень интеграции людей и систем ИИ будет только увеличиваться.

    Работа для робота: сможет ли искусственный интеллект заменить человека

    Наверняка можно найти истории, когда обычный автомобильный навигатор мог спровоцировать аварию. Но важно понимать, что риски использования «умных» систем надо сопоставлять с рисками от их неиспользования, а не с гипотетической ситуацией отсутствия рисков.

    Герд Леонгард, футуролог и главный скептик в отношении того, как технологии влияют на человечество, посвятил искусственному интеллекту целую главу в своей книге «Технологии против человека». Вот что он пишет:

    «Представьте себе общество, где технологии, в особенности ИИ, могут решить любую серьезную проблему человечества — начиная от болезней, старения и смерти и заканчивая изменением климата, глобальным потеплением, производством энергии и продуктов питания и даже терроризмом. Представьте машинный интеллект, который сможет обработать большее количество информации, чем мы когда-либо сможем воспринять, и считывать всю информацию в мире в режиме реального времени, где угодно и когда угодно. Это устройство (и его владельцы и разработчики) станет чем-то наподобие глобального мозга, невероятно мощного, за гранью человеческого понимания. К этому ли хотят нас подвести компании типа DeepMind и Google? Как нам удастся сохранить наши человеческие качества при таком раскладе?»

    Андрей Крайнов: «Давайте дождемся, когда робот сможет хотя бы приготовить кофе на незнакомой кухне»

    О спикере: руководитель Лаборатории машинного интеллекта «Яндекса».

    — Мне кажется, что ничего подобного вообще не произойдет. По крайней мере, сейчас на это ничего не намекает. Давайте дождемся хотя бы того момента, когда машина пройдет тест Возняка и на незнакомой кухне приготовит чашку кофе. Пока и до этого очень далеко. Все современные системы умеют решать очень узкие задачи и не способны действовать в неопределенных условиях с нечетко сформулированной (в математических терминах) целью.

    Андрей Крайнов

    (Фото: из личного архива)

    Если говорить об ИИ вообще, то в ближайшее время нас ожидает значительный прогресс в анализе и генерации текстов, а также в медицине. Развитие RL (reinforcement learning, обучение с подкреплением) даст нам большой прогресс в использовании ИИ для роботов-манипуляторов, управления трафиком, рекомендательных систем.

    У любой системы, принимающей решения, есть определенный процент ошибок. Но их внедряют потому, что с ними этот процент намного меньше.

    Андрей Незнамов: «Потенциальный вред от ИИ и роботов не сопоставим с человеческим фактором»

    О спикере: исполнительный директор ПАО «Сбербанк» (sber.ai) по вопросам нормативного регулирования технологий ИИ и смежных сфер, кандидат юридических наук, автор книг и публикаций по теме регулирования ИИ.

    Андрей Незнамов

    (Фото: из личного архива)

    — Существует мнение, что момент, когда мы перестанем контролировать сильный ИИ, станет поворотным. С юридической точки зрения главная опасность заключается в том, что мы ничего про это не знаем: ни когда он наступит, ни по каким признакам это определить, ни даже кто будет его создателем. В отсутствие какой-либо реальной информации, все попытки контролировать ИИ висят в воздухе.

    В будущем мы будем зависеть от ИИ ровно настолько, насколько сейчас зависим от всех современных технологий и реалий информационного общества. Роботы и ИИ — это, прежде всего, инструмент. Посредством любого инструмента можно причинить вред, и роботы — не исключение. Да, есть примеры, когда промышленные роботы причиняли вред, некоторые даже с летальными исходами. Случаи, когда беспилотники причиняли вред пока единичны. Но в каждом из них вред не сопоставим с тем, который в аналогичных обстоятельствах причинил бы человек. В 90% ДТП виноваты именно люди.

    Источник: trends.rbc.ru

    Смотрите также

    Что такое футурология и почему не каждый прогноз к ней относится

    Фото: Unsplash Когда зародилась футурология как наука и в чем ее отличительные особенности, рассказывает координатор …