Не зря генеральный секретарь ООН Антониу Гутерриш заявил: «Перспектива [появления] машин, обладающих способностью и властью отнимать человеческие жизни, морально неприемлема».

Далее. Автономность оружия резко снижает стоимость убийства. Да, террористы-смертники, готовые отдать жизнь за идею, дешевы, но подавляющее большинство людей преодолеть этот барьер не в состоянии. С появлением автономных киллеров ни одному человеку не придется жертвовать собой, больше жизни желая уничтожить другого.

Следующий чрезвычайно важный вопрос — четкая линия ответственности, точное понимание, кто ответствен за ошибку автономного оружия. С солдатами на поле боя все предельно ясно, а система автономного вооружения неопределенна — точно так же, как и автомобиля-беспилотника, наехавшего на пешехода.

Но тут дело усугубляется еще и тем, что это может привести к освобождению агрессоров от ответственности за нарушение международного гуманитарного права. А это делает более вероятным развязывание реальной войны.

Другая опасность состоит в том, что автономное оружие может использовать технологии распознавания лиц или походки, отслеживания сигналов телефона либо интернета вещей. А это уже позволяет уничтожить не только одного, заранее определенного человека — это делает возможным истребление любой заданной группы людей. В рассказе «Квантовый геноцид» показано, как целенаправленно уничтожается бизнес-элита и интернет-специалисты.

Расширенная автономия без глубокого понимания метапроблем еще больше увеличит темп вооруженных конфликтов и, следовательно, масштабы ущерба и потерь, в перспективе приведет к катастрофической эскалации напряженности — вплоть до ядерной войны. ИИ, как известно, не обучен здравому смыслу и не оснащен человеческой способностью логически рассуждать, охватывая разные области, — и это его сильно ограничивает.

Как бы мы ни старались, применение автономного оружия только в одной области и с единственной целью не позволит его ИИ в полной мере осознать последствия своих действий. Вот почему в нашей истории ключевые фигуры контртеррористической операции, в которой задействован ИИ, — все-таки люди, а не роботы.

АВТОНОМНОЕ ОРУЖИЕ — ПРОБЛЕМА ЖИЗНЕННАЯ?

Многие страны, начиная с англо-германской гонки вооружений на море и заканчивая советско-американской «ядерной гонкой», стремились к военному превосходству — оно определялось как важнейший национальный приоритет. И с появлением автономного оружия данная тенденция наверняка сохранится и усугубится — ведь тут открывается столько способов «победить»! (Создать самое маленькое, самое быстрое, самое скрытное, самое смертоносное, и так далее, и тому подобное — оружие.)