Один из способов не допустить такого развития событий — сделать так, чтобы у роботов были только благие цели. Как мы уже видели, одного только моделирования будущего недостаточно. Это моделирование должно служить конечной цели. Если цель робота — всего лишь самосохранение, он будет защищаться от любой попытки вытащить вилку из розетки, что может стать источником серьезных неприятностей для человечества.

Захватят ли роботы власть?

Захватят ли роботы власть?

Почти во всех научно-фантастических романах роботы становятся опасными для человечества из-за их стремления захватить власть. Слово «робот», кстати говоря, произошло от чешского слова «работник» и появилось впервые в 1920 г. в пьесе Карела Чапека «Р. У. Р.» («Россумские Универсальные Роботы»), где ученые создали новую расу механических существ, внешне не отличимых от человека. Вскоре тысячи этих роботов выполняли за человека всю грязную и опасную работу. Однако люди очень плохо обращались с роботами, и однажды те восстали и уничтожили человеческую расу. Роботы захватили Землю, но у них был один недостаток: они не размножались. Правда, в конце пьесы два робота полюбили друг друга, так что не исключено, что в результате на свет появилась новая ветвь «человечества».

Более реалистичный сценарий присутствует в фильме «Терминатор», где военные создали суперкомпьютерную сеть Skynet для управления всем ядерным арсеналом США. Однажды эта сеть «проснулась» и осознала себя. Военные решили выключить Skynet, но тут выяснилось, что в ее программе есть дефект: суперсеть запрограммирована на самозащиту, а единственный способ для нее защитить себя — устранить угрозу, т. е. человечество. Skynet начинает ядерную войну, в результате которой от человечества остается лишь жалкая кучка изгоев и бунтовщиков, занятая безнадежными сражениями с безжалостными машинами.

Разумеется, роботы могут стать угрозой. Нынешний беспилотный летательный аппарат Predator может поражать цели с замечательной точностью, но управляет им человек с джойстиком, находящийся за тысячи километров. По данным New York Times, приказы на применение оружия исходят непосредственно от президента США. Однако в будущем Predator может быть снабжен системой распознавания лиц, и тогда ему, возможно, будет разрешено стрелять при вероятности правильной идентификации цели не менее 99 %. В этом случае он сможет автоматически, без вмешательства человека, стрелять в любого, кто подходит под описание.

А теперь представьте, что в компьютере такого беспилотника произойдет сбой и система распознавания лиц станет работать неправильно. Тогда этот аппарат превратится в дикого робота с разрешением убивать любого, кто попадет в его поле зрения. Или еще хуже, представьте целую флотилию таких роботов, управляемую из единого центра. Стоит в центральном компьютере полететь одному транзистору, и вся флотилия может впасть в безумие.