Сёрл предлагает нам представить, что он заперт в комнате и вручную моделирует работу огромной программы ИИ, якобы понимающей китайский язык. Он оговаривается, что программа проходит тест Тьюринга, пресекая все попытки человека отличить ее от сущности, понимающей китайский на самом деле. Не знающий китайского Сёрл заперт в комнате и манипулирует цепочками символов в соответствии с инструкцией, (очевидно) не приобретая в процессе способности понимать китайский. Больше в комнате нет ничего, что понимало бы китайский язык. (Комната пуста – в ней находятся только Сёрл и “клочки бумаги”, на которых написаны его инструкции. В точности следуя им, он “вручную моделирует” работу гигантской программы.) Сёрл не понимает китайский, но и (динь!) Сёрл с клочками бумаги тоже не понимает китайский. Следовательно, ничто в китайской комнате не понимает китайский, хотя программа и может вести беседу на уровне, достаточном, чтобы обмануть носителей китайского языка. Подобно компьютеру, Сёрл различает китайские иероглифы исключительно по их форме: и для него, и для компьютера они представляют собой лишь различные бессмысленные “загогулины”, поэтому Сёрл в китайской комнате – это лишь реализация соответствующей компьютерной программы. Эта программа выполняет свою задачу, не понимая китайский, работая хоть на кремниевых чипах, хоть на Сёрле.

Так просто и так убедительно! Разве с этим мысленным экспериментом может быть хоть что-то не так? Увы, да. Когда Сёрл представил его в Беркли, специалисты по компьютерным наукам в ответ привели довод, который Сёрл назвал “аргументом о системе” (Беркли):

Хотя запертый в комнате индивид действительно не понимает происходящего, он представляет собой лишь часть целой системы, а система происходящее понимает. Индивид пользуется толстой книгой с правилами, имеет большое количество бумаги и карандашей для осуществления расчетов, а также располагает “базами данных” с наборами китайских иероглифов. Понимание приписывается не одному индивиду, а всей системе, частью которой он является. [Hofstadter, Dennett 1981, p. 358]

Хотя запертый в комнате индивид действительно не понимает происходящего, он представляет собой лишь часть целой системы, а система происходящее понимает. Индивид пользуется толстой книгой с правилами, имеет большое количество бумаги и карандашей для осуществления расчетов, а также располагает “базами данных” с наборами китайских иероглифов. Понимание приписывается не одному индивиду, а всей системе, частью которой он является. [Hofstadter, Dennett 1981, p. 358]