Несмотря на то что при создании разумных машин мы наследуем принципы биологических систем, стоит предположить, что любая попытка скопировать принципиально иную систему окажется в лучшем случае напрасной тратой сил, вычислительных мощностей и ресурсов.

Однако если перейти определенную черту, то изменится наш мир и, возможно, огромное количество других миров во вселенных, где обитает достаточно разумная жизнь. Из-за разницы в скорости развития биологической жизни и технологий изменения гарантированы. Сама природа постоянно ускоряющегося прогресса говорит о том, что первый биологический вид, взявший на вооружение технологию, может оказаться и последним. Кроме того, самонаправленная эволюция получает преимущество перед естественной эволюцией, поэтому машинный разум может оказаться единственным выжившим. Даже если человечество уцелеет, оно может быстро отклониться от естественного курса. Это может оказаться нашей единственной стратегией долговременного выживания, которую мы сейчас и рассмотрим.

Сценарий о дружбе человека и машины, развивавшийся три миллиона лет, достиг той ключевой точки, после которой возможно развитие нескольких сюжетных линий. И не у всех из них счастливый финал.

Перед нами несколько сценариев, и некоторые вполне можно назвать «концом света в привычном понимании». Одно из последствий развития технологии в геометрической прогрессии и закона Курцвейла об ускоряющейся отдаче заключается в том, что в какой-то момент технология может стать продвинутой до такой степени, что начнет самосовершенствоваться с постоянно растущей скоростью, результатом чего станет взрывоподобное развитие искусственного интеллекта. Машинный сверхразум быстро станет сильнее всех умов планеты вместе взятых. Как мы уже знаем из предыдущей главы, этот разум наверняка будет нам чужд. Более того, почти нет гарантий или даже вероятности, что его ценности, мотивы и логика будут совпадать с нашими. Разрабатывались многочисленные стратегии взаимодействия с таким сверхразумом, включая варианты Трех законов Азимова, теории дружественного искусственного интеллекта Юдковски и глобальной ИИ-няни Герцеля¹. К сожалению, каждая из них далека от полноценной стратегии, которая нас интересует. Есть некоторые разногласия по поводу того, какой из вариантов более вероятен, но более важен другой вопрос: каким будет результат – благоприятным или наихудшим из возможных.

Одна группа сценариев повторяет сценарии фильмов серии «Терминатор» настолько точно, что их часто называют сценариями «Терминатора». В фильмах этой серии между людьми и машинами идет война, и человечество представляет собой разрозненную массу повстанцев, которые в конце концов побеждают под самый финал истории. К сожалению, так бывает только в кино. В сценариях футурологов оценка разницы интеллекта, доступных ресурсов и уязвимостей говорит в пользу того, что все люди до единого окажутся стерты с лица земли за считанные дни, если не минуты. Поднять восстание будет попросту некому.