Нейронные сети — сверхчеловеческий искусственный интеллект, подключенный к рекомендательным алгоритмам YouTube — часто описывались как системы «черного ящика», поскольку люди не могли понять способы их работы. Поток тревожных детских материалов напомнил многим сотрудникам YouTube, что у них нет пароля к этому ящику. «Он зажил собственной жизнью, и никто не брался за него отвечать», — вспоминал один из сотрудников компании.

Вскоре стало казаться, что о нарастающей катастрофе знают все на свете, кроме самого YouTube.

* * *

«Злоумышленники». Этот термин Google использовала для обозначения спамеров, хакеров и лиц, вмешивающихся в выборы, — тех, кто сделал Интернет небезопасным. На YouTube злоумышленниками были люди, которые делали кровавые мультфильмы с Минни-Маус, пользовались случайно оставленными лазейками, злоупотребляли щедрыми данными, размещали «проблемный контент».

Летом 2017 года команда YouTube начала внимательно просматривать детские видеоролики, считающиеся проблемными. Компания еще не оправилась от рекламного бойкота, но обновила коммерческие рекомендации и создала модели, позволяющие лучше идентифицировать материалы террористов и, если будет на то воля богов искусственного интеллекта, навсегда похоронить эту проблему. Одному новому сотруднику, который пришел в команду той весной, сказали, что вскоре эта работа «может даже стать ненужной».

Но стоило заглянуть под капот, как оптимизм рассеялся.

Toy Freaks были не одиноки. Успех Чисма вдохновил десятки подражателей («репликации контента», как это называла компания). Некоторые устраивали «вброс ключевых слов» (например, «плохой ребенок») и использовали в своих целях алгоритмические волны — это старая тактика спамеров, которые подписывали видео множеством несвязанных тегов, предназначенных только для машинных глаз. Некоторые сотрудники YouTube испытывали тошнотворный дискомфорт, просматривая видео в стиле «плохой ребенок» с участием несовершеннолетних. В нескольких роликах появилась тенденция брить лица маленьких детей перед камерой в качестве наказания. (Настоящее бритье или поддельное? Непонятно.) У других дети наедались и показывали раздутые животы — сюжетец из порно. У компании уже давно были правила, запрещающие эксплуатацию детей и сексуальные фетиши; такие видеоролики пока не нарушали правил, но приближались к этому. В течение многих лет YouTube был уверен, что именно родители направляют детей на YouTube Kids, но относительно скудный трафик приложения показал, что это не работает. Миллионы детей, лишенных родительского надзора, самостоятельно приходили на YouTube.com.