Убедитесь в этом сами. Насколько вы согласны с предложенной в обоих случаях интерпретацией свидетельства?

1. Мы изучили отчеты более 10 000 мелких предприятий и обнаружили, что деятельность поставщиков профессиональных услуг, предполагающих высокую квалификацию (таких, как бухгалтерский учет), наиболее часто оказывается прибыльной, тогда как поставщики услуг, требующих меньшей квалификации (например, организация мероприятий), получают прибыль значительно реже. Это свидетельствует, что высокий профессиональный уровень, определяющий барьеры для вхождения на рынок и конкуренцию в данной сфере, имеет статистически значимую связь с вероятной прибыльностью.

2. Мы изучили отчеты более 10 000 мелких предприятий и обнаружили, что фирмы, имеющие трех или менее сотрудников, значительно чаще демонстрируют рост прибыльности на два порядка, чем их самые крупные конкуренты. Это свидетельствует, что очень маленький штат имеет статистически значимую связь с повышенными шансами на прибыльность.

Первое утверждение приводит относительно надежное свидетельство того, что прибыльность связана с уровнем профессионализма. Изучение 10 000 фирм по категориям может, с учетом используемой методики, дать значимые сравнительные результаты, если все категории представлены в данном случае сопоставимым спектром и количеством компаний.

Второе утверждение менее убедительно. Не зная всех данных, нельзя быть уверенным в правильном понимании общей картины, но согласно закону малых чисел мелкие фирмы должны демонстрировать большие крайности как в прибыльности, так и в потерях, чем крупные. В отсутствие дополнительных достоверных свидетельств (например, об очень малом числе крохотных предприятий, понесших крупные финансовые потери) следует предположить, что результаты в данном случае объясняются банальной случайностью.

Обучение с умом: три принципа работы с малыми числами

1. Работая с данными, помните, что для малых выборок естественна большая вариативность, чем для крупных.

2. Обнаружив исключительный результат – например, чрезвычайно успешную или крайне неуспешную среди изучаемых вами организаций, – обязательно рассмотрите возможность того, что здесь задействованы очень малые числа.

3. Не пытайтесь объяснить то, что не нуждается в объяснениях. По возможности сосредоточивайтесь на относительно более крупных и долгосрочных тенденциях и больших массивах данных, чтобы можно было рассчитывать на действительно значимые результаты.