Условия этого сотрудничества могут быть вполне неолиберальными: задача в таком случае в том, чтобы максимизировать прибыль с инвестиций богатейших технологов и наиболее продвинутых в технологическом плане богачей. Или они могут отличаться, могут разрабатываться вместе с экспертами из различных областей, отвечать ценностям сообщества. Режим laissez-faire наверняка приведет нас к первому результату, а четыре новых закона робототехники – ко второму.

Когда главной угрозой правовому порядку были произвольные постановления автократов, судьи и адвокаты сопротивлялись им, выдвинув принцип «верховенства права, а не людей». По мере развития автоматизации мы должны дополнить этот принцип максимой «верховенство людей, а не машин». Менеджеры и бюрократы не должны иметь возможности скрыться за алгоритмическими способами установления социального порядка. Личная ответственность за решения имеет критическое значение для сохранения легитимного правления как государственных ведомств, так и фирм.

Также мы должны с подозрением относиться к сторонникам технологий, которые считают, что большинство работ являются предсказуемыми, а потому им могут научиться машины, получившие доступ к достаточным данным. Это верный рецепт для того, чтобы общество попало в ловушку прошлого, то есть тренировочной выборки, на которой будут учиться машины. Энтузиасты автоматизации определяют тренировочную выборку как всего лишь начальную точку, позволяющую в будущем приобрести независимость от машин, которые будут учиться на негативных и позитивных стимулах, отвечая на будущие действия. Однако само определение «негативного» и «позитивного» должно быть запрограммировано, как и возможности расширять или сокращать их определения. Органическое развитие моральной ответственности (на индивидуальном уровне) и самоуправления (на коллективном уровне) может быть приписано ИИ лишь благодаря мифическому мышлению, известному по волшебным сказкам.

Современные вычислительные системы скрывают в себе огромную мощь. Искушение применить ее для решения всякой крупной проблемы, не сковывая ее законами, профессиональными обязательствами или этиками, будет почти неодолимым. В той мере, в какой вообще можно говорить о социобиологической человеческой свободе, она, возможно, и правда склонна к гонке за относительные позиции, которая еще больше ускоряется автоматизацией. Как предупреждала Симона Вейль, «не применять всю имеющуюся в распоряжении власть – значит терпеть пустоту. Это противно всем законам природы. Только благодать на это способна»[724].