Критическое мышление. Анализируй, сомневайся, формируй свое мнение - Том Чатфилд

сильных педагогов? Не привлекают внимания амбициозных родителей или преобладают в неблагополучных районах? Лишены преимуществ, связанных с многочисленным и разнообразным контингентом учащихся? Их администрация хуже планирует свою деятельность и работает менее эффективно, чем в крупных учебных заведениях? Как вы считаете?

Теперь оцените следующую порцию информации. Если предположить, что она также совершенно точна, то как ее можно объяснить?

В ходе исследования, охватившего все начальные школы страны, мы обнаружили, что по сравнению с учебными заведениями средней величины маленькие демонстрируют значительно более впечатляющие результаты. Выраженное большинство лучших школ в стране относятся к категории «маленькие и очень маленькие» учебные заведения.

Возможным объяснениям, опять-таки, нет числа. Маленькие школы более привлекательны для блестящих педагогов или амбициозных родителей? Их преимуществами являются тесно спаянный коллектив и домашняя атмосфера, возможность уделять внимание персонально каждому ребенку? Администрация там более эффективно распоряжается деньгами? Что скажете?

Думаю, вы сбиты с толку. Разве могут оба этих отчета быть истинными? Возможно ли, чтобы маленькие школы преобладали и среди лучших, и среди худших учебных заведений в стране? Представьте себе, возможно. Да, это весьма вероятно, чему есть совершенно логичное объяснение. Однако оценить его мы можем, лишь отбросив предположение, что маленькие школы – это или «хорошо», или «плохо», и задумавшись о структуре реальности.

Как вы узнали из первой части книги, для получения реалистичных результатов важно использовать выборку большого объема, поскольку всевозможные отклонения от среднего при маленькой выборке становятся значительно более выраженными. Допустим, в стране есть десяток «супершкол», рассчитанных на 1000 и больше учащихся. Даже если бы несколько очень одаренных детей посещали одно из этих заведений, то при большом общем числе учащихся их присутствие практически не повлияло бы на успеваемость в среднем.

Противоположная ситуация – множество маленьких школ с парой сотен учеников. Несколько очень талантливых детей, оказавшись в одной из них, значительно сильнее изменили бы среднюю успеваемость, чем в первом случае. Словно лодчонки, подпрыгивающие на слабых волнах, эти крохотные учебные заведения продемонстрировали бы значительную большую вариативность и чувствительность к внешним влияниям, чем очень крупные, подобные громадным сухогрузам школы, которым нипочем даже мощные штормы.

В целом следует ожидать, что в любой выборке, включающей большие и малые группы, малые будут чрезмерно представлены на обоих полюсах шкалы результатов, поскольку такие группы намного легче смещаются в крайние состояния под действием любых влияний. Здесь нет паттерна, требующего объяснений, так ведут себя числа в реальном мире. При изучении одного и того же фактора вы заметите, что крупные выборки демонстрируют меньше крайних вариаций, чем мелкие. В этом проявляются соответственно закон больших чисел{189} и закон малых чисел{190}.

Убедитесь в этом сами. Насколько вы согласны с предложенной в обоих случаях интерпретацией свидетельства?

1. Мы изучили отчеты более 10 000 мелких предприятий и обнаружили, что деятельность поставщиков профессиональных услуг, предполагающих высокую квалификацию (таких, как бухгалтерский учет), наиболее часто оказывается прибыльной, тогда как поставщики услуг, требующих меньшей квалификации (например, организация мероприятий), получают прибыль значительно реже. Это свидетельствует, что высокий профессиональный уровень, определяющий барьеры для вхождения на рынок и конкуренцию в данной сфере, имеет статистически значимую связь с вероятной прибыльностью.

2. Мы изучили отчеты более 10 000 мелких предприятий и обнаружили, что фирмы, имеющие трех или менее сотрудников, значительно чаще демонстрируют рост прибыльности на два порядка, чем их самые крупные конкуренты. Это свидетельствует, что очень маленький штат имеет статистически значимую связь с повышенными шансами на прибыльность.

Первое утверждение приводит относительно надежное свидетельство того, что прибыльность связана с уровнем профессионализма. Изучение 10 000 фирм по категориям может, с учетом используемой методики, дать значимые сравнительные результаты, если все категории представлены в данном случае сопоставимым спектром и количеством компаний.

Второе утверждение менее убедительно. Не зная всех данных, нельзя быть уверенным в правильном понимании общей картины, но согласно закону малых чисел мелкие фирмы должны демонстрировать большие крайности как в прибыльности, так и в потерях, чем крупные. В отсутствие дополнительных достоверных свидетельств (например, об очень малом числе крохотных предприятий, понесших крупные финансовые потери) следует предположить, что результаты в данном случае объясняются банальной случайностью.

Обучение с умом: три принципа работы с малыми числами

1. Работая с данными, помните, что для малых выборок естественна большая вариативность, чем для крупных.

2. Обнаружив исключительный результат – например, чрезвычайно успешную или крайне неуспешную среди изучаемых вами организаций, – обязательно рассмотрите возможность того, что здесь задействованы очень малые числа.

3. Не пытайтесь объяснить то, что не нуждается в объяснениях. По возможности сосредоточивайтесь на относительно более крупных и долгосрочных тенденциях и больших массивах данных, чтобы можно было рассчитывать на действительно значимые результаты.

Возвращение к среднему

А вот еще одна статистическая иллюзия, которая способна ввести в заблуждение. Рассмотрите следующий пример.

С удовольствием сообщаю, что наше исследование увенчалось впечатляющими практическими результатами. Мы изучили успеваемость 2000 учащихся по различным предметам и предложили 50 слабейшим студентам пройти наш тренинг по овладению навыками обучения. Когда они освоили программу, мы снова оценили их успеваемость в следующем семестре и с радостью отметили, что произошли существенные и значимые улучшения.

Результаты тренинга должны восхитить нас или настроить на скептический лад? К сожалению, второе: преимущества программы крайне сомнительны из-за явления, которое называется возвращением к среднему{191}.

Явление, обозначаемое этим термином, ни в коем случае нельзя игнорировать, ибо оно крайне коварно: после достижения исключительных результатов следует ожидать заурядных.

Оцените собственную успеваемость. Если на одной неделе вы получили наивысшие баллы, то на следующей, скорее всего, не будете блистать, если только некий фактор не окажет огромного влияния на ваши способности. Аналогично после худшего в жизни провала можно быть уверенным, что следующая неделя, по законам статистики, будет более благополучной.

В вышеприведенном примере то же самое можно сказать и о 50 слабейших из 2000 учащихся. Даже если их способности значительно ниже среднего уровня, маловероятно, чтобы 50 худших студентов одного семестра оказались также и 50 худшими студентами следующего семестра. Их средняя успеваемость может измениться лишь в одном направлении – в лучшую сторону.

Эта хитрость позволяет имитировать эффективность.

По той же причине следует дважды подумать, прежде чем купить акции компании, если курс их высок как никогда, поскольку спад после взлета на вершину более вероятен, чем дальнейший рост.

Почему этот процесс называется возвращением к среднему? Имеется в виду средний уровень, вокруг которого показатель колеблется с