Третий вопрос, конечно, зависит от событий в человеческой истории, которые трудно предсказать. Но исторически люди редко отказывались от того, чтобы создавать или практиковать вещи, если это позволяет развитие техники. Отчасти это объясняется тем, что мы не в состоянии узнать, на что способны наши технологии, пока не используем их на практике, будь то клонирование животных или отправка людей на Луну. Однако поворотным пунктом в этом процессе стал взрыв атомной бомбы: многие люди считают, что эту технологию лучше было бы не создавать.

Хороший пример того, как ученые отказались от вполне возможного на практике в послевоенный период, подала Асиломарская конференция 1975 года о рекомбинации ДНК — новой технологии, которая освещалась в СМИ в весьма апокалиптических тонах. Ученым, работающим в этой области, удалось прийти к консенсусу относительно разумных методов обеспечения безопасности, и достигнутое ими тогда согласие сохранялось в течение следующих четырех десятилетий. Сейчас рекомбинантная ДНК — обычная зрелая технология.

В 2017 году Институт будущего жизни (Future of Life Institute) организовал в Асиломаре похожую конференцию об искусственном интеллекте, где на месте было достигнуто соглашение о 23 принципах для будущих исследований «полезного ИИ». Хотя большинство из собранных в нем указаний не относится к темам, обсуждаемым в этой книге, рекомендации по этике и ценностям определенно достойны внимания. Например, рекомендация 6: «Системы ИИ должны быть безопасными и надежными в течение всего срока их эксплуатации, и это должно быть верифицируемо». Или рекомендация 7: «Если система ИИ причиняет вред, должна существовать возможность установить причину», — из которой ясно, как важна прозрачность. Рекомендация 10: «Системы ИИ с высокой степенью автономности должны быть разработаны таким образом, чтобы их цели и поведение были согласованы с человеческими ценностями на всем протяжении работы» — в предложенной формулировке выглядит довольно расплывчато, но ей можно было бы придать смысл на практике, если бы от этих систем требовалась способность заявлять о намерениях и сообщать людям о причинах и следствиях.

Мой ответ на четвертый вопрос тоже положительный, он основан на ответе на пятый вопрос. Я верю, что мы научимся создавать машины, которые смогут отличать добро от зла, по крайней мере так же надежно как люди и, надеюсь, даже лучше. Первое требование к этичной машине — способность размышлять над собственными действиями, что подпадает под анализ контрфактивных суждений. Как только мы запрограммируем самосознание, пусть и ограниченное, эмпатия и справедливость последуют за ним, поскольку они основаны на тех же вычислительных принципах, когда в уравнение добавляется еще один агент.