Критическое мышление. Анализируй, сомневайся, формируй свое мнение - Том Чатфилд

Воспользуемся понятиями гипотезы и нулевой гипотезы. Вы исследуете гипотезу «Приложение Тома способно всякий раз правильно предсказывать результат подбрасывания монеты». Следовательно, нулевая гипотеза, которую вы стремитесь опровергнуть, – «Том всякий раз угадывает результат броска монеты по чистой случайности».

Сколько правильных ответов я должен дать, чтобы вы поверили в мое волшебное приложение? Пять? Двадцать? Тысячу? Дабы ответить на этот вопрос, узнаем, как меняются шансы угадать результат с каждым следующим броском.

После первого броска мой шанс дать правильный ответ – один из двух: ½. После второго вероятность того, что я случайно угадаю результаты в обоих случаях, составляет ½ × ½ = ¼. После третьего броска возможность угадать все три исхода равняется 1/8 (при каждом следующем подбрасывании мы умножаем предыдущий результат на ½).

В таблице показаны шансы того, что чистое везение позволит мне давать верный прогноз десять раз подряд, а также вероятность этого, выраженная в виде десятичной дроби.

К десятому подряд верному ответу шансы на то, что мне просто везет, составляют менее 1 из 1000. В этот момент вы можете решить, что волшебное приложение продемонстрировало очень высокую статистическую значимость и стоит любых денег.

Величина является статистически значимой, если вероятность достижения этого результата по чистой случайности ниже уровня, заранее установленного вами в качестве порогового, отсекающего недоказанное от доказанного. В статистике этот уровень называется p-значением[20]{91}. В крайнем правом столбце таблицы даны p-значения для результата каждого броска – вероятность того, что результат был целиком и полностью игрой случая, указанная на шкале от абсолютной уверенности (1) до полной невозможности (0).

Ученые в своих исследованиях часто используют в качестве порогового p-значение, равное 0,05: это означает, что любой результат, p-значение которого ниже данной величины, с вероятностью более 95 % не был случайным.

95 %-ная уверенность в значимости результатов может выглядеть впечатляюще, однако необходимо помнить: из этого следует, что результаты 1 эксперимента из каждых 20, согласно статистике, оказались, скорее всего, чистым везением.

Об этом часто забывают!

Если в эксперименте с монетой вы задали p-величину в 0,05, то сколько результатов подбрасывания я должен предсказать, чтобы соответствовать этому критерию? Загляните в таблицу. Четырех бросков недостаточно – вероятность равна 0,0625, – но уже на пятом я прохожу барьер 0,05. Что, если вы заранее установили намного более жесткий критерий – 0,001? Я должен дать десять правильных ответов подряд, чтобы достичь этого уровня статистической значимости. Тогда мы сможем сказать:

Результаты значимы при p <= 0,001.

Шанс незначимости результатов – менее 1 из 1000. Потрясающе! Скорее ищите деньги, чтобы купить мое изобретение. Вы запросто можете впечатлиться изобретением, если, конечно, не наведете справки и не выясните, что до вас мы с друзьями обошли с тем же самым волшебным приложением больше 1000 человек. Некоторые мошенники именно так и поступают. Ради того, чтобы сорвать жирный куш, можно сделать и тысячу попыток в ожидании всего одной лишь фантастической удачи. В некоторых обстоятельствах даже значимости больше 1 из 1000 недостаточно для полной уверенности.

Корреляция и каузальность

Как вы оцениваете следующее заявление, если предположить, что оно имеет точную формулировку и опирается на верные данные? Согласны ли вы с ним, или вас что-то настораживает?

Результаты моего анализа продуктивности экономики и паттернов расходования средств в рыночном сегменте товаров массового спроса говорят сами за себя. Со значимостью выше p = 0,05 я продемонстрировал наличие в последнее десятилетие прямой зависимости между расходами потребителей и продуктивностью экономики. Это свидетельствует, что траты покупателей на товары массового спроса в огромной степени определяются данным показателем: вероятно, потому, что в условиях менее продуктивной экономической системы потребители не столь уверены в будущем, а финансовое состояние домохозяйств менее прочно.

Как вы, наверное, уже поняли, этот анализ – полнейшая бессмыслица. Между расходами на товары массового спроса и продуктивностью экономики может наблюдаться тесная корреляция{92}, означающая, что эти две тенденции связаны друг с другом (термин происходит от лат. correlatio – «соотношение, взаимосвязь»). Однако не продемонстрирована их каузальность{93} – то, что одна тенденция вызывается другой. Автор исследования выдает желаемое за действительное, что, к сожалению, часто случается, когда между явлениями наблюдается нечто общее. Нужно быть очень осмотрительным и убедиться, что они действительно находятся в состоянии каузальности – то есть причинной обусловленности.

Например, в США наблюдается статистическая взаимосвязь между новыми случаями диагностированного аутизма и продажами органических продуктов питания. Посмотрите на приведенный ниже график. Как видите, две кривые явно свидетельствуют о тесной корреляции этих переменных. Означает ли это, что одна является причиной другой? Нет. Скорее всего, это отражение того факта, что сегодня диагноз «аутизм» ставится значительно чаще, чем в прошлом, благодаря гораздо более широкой осведомленности медиков об этой патологии, а употребление в пищу органических продуктов становится все более популярной составляющей здорового образа жизни.

Я не в состоянии доказать отсутствие причинно-следственной связи между диагностикой аутизма и продажами органических продуктов питания, равно как и убедительно обосновать то, что рост продаж видеоигр за последние 40 лет способствовал увеличению населения Индии. Можно, однако, с уверенностью предположить, что оба этих факта имеют лучшие объяснения – как и множество других свидетельств, которые нельзя объяснить данными теориями каузальности.

Кроме того, я глубоко убежден, особенно с учетом способности компьютеров вести поиск среди огромных объемов данных и строить графики, что буквально ничего не стоит найти миллионы показателей с высокой степенью корреляции, не имеющих ни малейшей причинной обусловленности. Ниже приводится знаменитый график, где число фильмов, в которых Николас Кейдж снялся в определенные годы, коррелирует с количеством американцев, утонувших вследствие падения в бассейн.

Пример с Николасом Кейджем и утопленниками абсурден, но весьма показателен: при взгляде на любой подобный график очень легко предположить, не потрудившись вникнуть в детали, что две представленные на нем переменные должны быть связаны, просто потому что они таковыми выглядят. Визуальный образ оказывает мгновенное и мощное воздействие: вы видите только то, что вас хотят заставить увидеть, не замечая тысячи других факторов, проигнорированных ради обнаружения корреляции.

Очень редко наблюдается противоположное: табачные компании долгие годы утверждали, что нет никакой связи между использованием в рекламе сигарет образа ковбоя и ростом уровня онкологических заболеваний.

Вышеприведенные примеры невозможно принять всерьез, однако не придется долго смотреть любой выпуск новостей или изучать информационный ресурс, чтобы