Нужная для этого благодать не может быть благодатью кибернетического поэта или робота – ангела истории[725]. Нас ждут затяжные политические и юридические дискуссии о верном распределении выгод и обязанностей. Будет множество решений по вполне практическим вопросам, например, о том, может ли врач не учитывать предупреждение программы поддержки клинических решений, а водитель – отключить компьютерное вождение, и могут ли они получить доступ к внутренностям компьютерных систем, которые сейчас слишком часто остаются для них непрозрачными. Подобные дискуссии, не являясь помехой лучшему будущему, свидетельствуют о подлинных и важных конфликтах по поводу самого способа управлять обществом. Если мы будем избегать их, нам будет грозить опасность.
Гуманная автоматизация требует мудрости ограничения. Миф об Икаре, который обычно толкуется как сказание о личной гордыне, – это еще и одна из легенд о технологическом перенапряжении. В изложении Овидия Дедал и его сын Икар были заключены на острове. Дедал сделал крылья из воска и перьев, чтобы улететь на другой берег. Смелый план сработал, и отец с сыном воспарили над океаном. Однако Икар проигнорировал предупреждения отца о том, что нельзя рисковать и летать слишком близко к солнцу. Воск растаял, крылья распались, а Икар упал в море и утонул.
Миф об Икаре стал основой для других предупреждений, таких как «Фауст» Марло. В сфере роботизации есть своя собственная версия этой проблемы, известная под названием «зловещая долина», то есть неприятного ощущения, которое вызывает гуманоидный робот, когда он перестает быть просто механизмом и слишком сильно приближается к человеческим чертам, жестам и способу бытия в мире, но при этом не может их в полной мере воссоздать[726]. Термин «зловещая долина» возник благодаря простому графику, на котором изображается постепенный рост приемлемости робота, замечаемый по мере того, как он приобретает все больше функций и начинает все больше напоминать человека, однако потом машины становятся слишком гуманоидными, и тогда их привлекательность резко падает и заменяется отторжением. И все же «долина» – не столько предупреждение, сколько вызов. Изобретательность вкупе с горами данных должна позволить умному проектировщику роботов выбраться из этой «долины» и создать машины, которые будут уважаться и приветствоваться не меньше людей.
Существует и другой подход – альтернативная телеология. Мы можем избежать «зловещей долины», если признаем границы технологии. В пугающей инсталляции 1995 г. «Любовники» художник Тейдзи Фурухаси выразил эту мудрую идею в строгой иммерсивной концепции[727]. Призрачное видео, проецируемое на четыре черных экрана, окружающих зрителя, который находится в темной комнате, показывает участников японского перфор-мансистского коллектива Dumb Туре – они ходят, стоят, выполняют стилизованные движения, словно обнимая друг друга или предупреждая, подбегая друг к другу и разбегаясь, но никогда не касаясь. Их изображения часто размываются движениями, причем нет сцены, которая бы отвлекала от их тел.