Более тонкая проблема возникает, когда роботы работают нормально, без сбоев, а в их программе присутствует крохотная, но фатальная ошибка. Самосохранение — одна из важнейших целей робота. Другая его цель — помогать людям. Проблема возникает, когда эти две цели противоречат друг другу.

В фильме «Я, робот» компьютерная система решает, что человечество идет к саморазрушению и гибели — достаточно посмотреть на бесконечные войны людей и их жестокость, — и единственный способ защитить род человеческий — это взять управление на себя и установить благодетельную диктатуру машины. Здесь противоречие возникает не между двумя целями, а внутри одной, притом совершенно нереалистичной. И убийственные роботы не сломались: они логически пришли к выводу, что единственный способ сохранить человечество — взять на себя управление обществом.

Одно из возможных решений этой проблемы состоит в создании иерархии целей. К примеру, желание помочь людям должно перевешивать стремление к самосохранению. Эта тема исследовалась, в частности, в фильме «2001». Компьютерная система HAL9000 представляла собой разумную машину, способную свободно беседовать с людьми. Однако приказы, отдаваемые компьютеру, противоречили один другому и не могли быть одновременно выполнены. Попытавшись сделать невозможное, компьютер, что называется, «съехал с катушек»; он сошел с ума, и единственным способом выполнить противоречивые команды несовершенных людей стало устранение этих самых людей.

Не исключено, что наилучшим решением этой проблемы было бы создание нового закона робототехники, в котором говорилось бы, что робот не может причинить вред человеку, даже если в его предыдущих командах есть противоречия. Робот должен быть запрограммирован не обращать внимания на противоречия низкого уровня в командах; главное — всегда выполнять основной закон. Но и такая система может оказаться несовершенной, и это в лучшем случае. (К примеру, если главная цель роботов — защищать людей и эта цель превыше всех других целей, то все будет зависеть от того, как роботы определят слово «защищать». Их механическое определение этого слова может сильно отличаться от нашего.)

Надо сказать, что некоторые ученые, такие как специалист по когнитивной психологии из Университета Индианы доктор Дуглас Хофстадтер, не боятся такого развития событий. Во время интервью он рассказал, что роботы — как дети, и почему бы нам не любить их, как собственных детей? Его отношение, по его собственным словам, сводится примерно к следующему: мы любим своих детей, хотя прекрасно знаем, что в конце концов они сменят нас и управление перейдет в их руки.