Попутно упомяну, что Барейнбойм также подтвердил аналогичные результаты для другой проблемы, которая долгое время беспокоила статистиков, — систематической ошибки отбора. Этот вид ошибки возникает, когда изучаемая группа отличается от целевой по какому-либо значимому признаку, что весьма похоже на проблему транспортабельности. Да, эти явления действительно похожи, за исключением одного очень важного отличия: вместо того чтобы рисовать стрелку от индикаторной переменной S к затронутой переменной, мы рисуем стрелку в направлении S. Пусть S обозначает отбор (участников исследования). Скажем, если в нашем исследовании участвовали бы только госпитализированные пациенты, как в примере с ошибкой Берксона, мы бы нарисовали стрелку от госпитализации к S, показывая, что именно она является причиной отбора для нашего исследования. В главе 6 мы рассматривали эту ситуацию только как угрозу для валидности эксперимента. Но теперь получится воспринимать ее как возможность. Если мы поймем механизм, с помощью которого отбираются испытуемые, то преодолеем систематическую ошибку, собрав данные о правильном наборе упростителей и применив соответствующую формулу повторного взвешивания или корректировки. Работа Барейнбойма позволяет нам использовать каузальную логику и большие данные, чтобы творить чудеса, которые раньше были немыслимы.

Слова «чудеса» и «немыслимы» редко встречаются в научном дискурсе, и читатель может задаться вопросом, не слишком ли много у меня энтузиазма. Но у меня есть достойная причина, чтобы высказаться именно так. Концепция внешней достоверности как угрозы экспериментальной науке существует уже по крайней мере полвека, с тех пор как Дональд Кэмпбелл и Джулиан Стэнли признали и дали определение этого термина в 1963 году. Я разговаривал с десятками специалистов и выдающихся авторов, которые писали на эту тему. К моему удивлению, ни один из них не смог решить ни одну из «игрушечных задач», представленных на рис. 66. Я называю их игрушечными, потому что их легко описать, легко решить и легко проверить.

В настоящее время культура внешней валидности полностью сосредоточена на перечислении и категоризации угроз, а не на борьбе с ними. Более того, она настолько парализована угрозами, что сама идея нейтрализации угроз встречается с подозрением и недоверием. Специалистам, которые плохо разбираются в графических моделях, проще учесть дополнительные угрозы, чем попытаться устранить любую из них. Я надеюсь, что такие слова, как «чудеса», должны сподвигнуть моих коллег рассматривать подобные проблемы как интеллектуальные вызовы, а не причины погрузиться в отчаяние.