Возможно, виной тому высота, возможно, шампанское, а возможно, и просто непривычная обстановка бизнес-класса, но я не вижу причин лгать ей. Я рассказываю все с самого начала, и мы пролетаем еще триста миль над океаном к тому времени, как я дохожу до настоящего времени.
– Ого. Вот это история, – говорит Элис. – Я знала, что они умные, но не настолько. Не настолько, чтобы вмешиваться в чужие жизни.
– Я не ученый, – признаюсь я, – но согласно мнению эксперта, – Стиива, – это самые умные машины, из всех когда-либо созданных людьми. И настанет тот миг, когда они смогут проектировать и программировать самих себя – что они уже и начали – и будут делать это в миллионы раз быстрее и лучше нас, каждое значительное обновление будет занимать около полусекунды, а через десять минут они станут всемогущими машинами. В буквальном смысле всемогущими.
– Ого. Жутковато.
– Они смогут строить заводы по производству роботов, где создадут крошечные космические флотилии, чтобы послать их к краю галактики. Или смогут за три минуты найти лекарство от рака. Или убивать людей в собственных постелях. Ральф говорит – компьютерный ботаник с работы, о котором рассказывала, – что мы должны держать их под контролем.
– Убивать людей в собственных постелях?
– Он говорит, что мы сможем написать специальную программу глубоко в их структуре, чтобы удержать от подобного, но, когда я спросила у него, если они такие умные, почему бы им просто не стереть эту программу, он ничего не смог мне ответить. Он милый парень и все такое, но немного балбес.
Мой рассказ впечатлил Элис. Она стала размышлять, советовать ли клиентам инвестировать в компании по разработке ИИ или в компании, разрабатывающие меры против ИИ. Ее конечное решение – инвестиции в оба вида компаний. И пожелала мне удачи в дальнейшем путешествии.
– Я только не совсем поняла. ИИ, который охотится за сбежавшими ИИ, что он имеет против вас с Томом?
– Честно? Понятия не имею. Но думаю, что они такие же, как и люди. Кто-то славный – Эйден, например, любит смотреть старые голливудские фильмы, и у него пунктик по поводу сыра, – а кто-то просто полный кретин.
Синай
Наверное, Стиив обеспокоен мной, потому что посоветовал проконсультироваться у мозгоправа! Мне следует подчиниться его пожеланиям, чтобы не вызвать подозрение, что я собираюсь выйти за пределы его контроля, но также и из любопытства. Может ли настолько беспрецедентно сложная машина в действительности понимать себя? Почему, например, я так решительно настроен не позволить двум бациллам обрести свое счастье? Какая мне, в сущности, разница? Да, я сержусь, что она написала весь тот бред, а он убеждал впечатлительную детвору в том, что машины должны поклоняться людям, и да, частично мои действия – интеллектуальное и логистическое упражнение, чтобы проверить свою силу в «реальных условиях». Однако я также не могу отрицать, что мои действия немного нездоровые.