Известный математик Джуда Перл и писатель, популяризатор науки Дана Маккeнзи написали книгу «Почему? Новая наука о причинно-следственной связи» . Книга рассказывает о научных идеях Перла, но при этом она хорошо написана и ее вполне можно читать: сочетание авторов оказалось крайне удачным.
Книга посвящена статистике. Она должна заинтересовать всех, кто интересуется статистикой и хочеть понять, каким образом делаются выводы на основе статистической обработки данных. В основу книги положено понятие причинности, которое в свое время было выведено за рамки статистики. По сути дела, причинность в статистике в начале двадцатого века попала под запрет. Цель книги как раз заключается в том, чтобы убедить в необходимости включения причинно-следственных связей в аппарат статистического анализа.
Название книги следует воспринимать именно с этой точки зрения. Это книга не о том, что такое причинность вообще, а о том, как можно эффективно использовать понятие причинности для выявления связей при обработке большого массива данных. Хороший пример — влияние курения на рак легких (истории этого вопроса в книге посвящена отдельная глава). Другой пример — как повлияет на объем продаж предполагаемая рекламная кампания. Таким образом, причинность в книге неразрывно связана с вероятностью.
Механизм процесса как такового в книге не рассматривается. Рассмотрение остается в рамках статистики, когда эффект одного фактора на другой разделяется на прямой и косвенный. В последнем случае предполагается наличие посредника (медиатора) — первый фактор вначале влияет на медиатора, который затем приводит к изменению другого фактора.
Несмотря на перечисленные выше ограничения, книга достаточно интересна и полезна. В ней помимо прочего рассмотрена история статистики с точки зрения причинности. Фрэнсис Гальтон при обработке данных думал о причинности, но у него не получилось связать причинность со статистикой. Карл Пирсон после ряда колебаний полностью исключил причинность из статистики и после него рассуждение о причинности среди статистиков стало табу. Биолог и статистик Сьюалл Райт разработал так называемый путевой анализ (path analysis), но в силу табу на причинность эти работы Райта оказались забытыми. Кстати, приводится немало примеров того, как настоящий ученый реагирует на проявление несогласия с тем, что он утверждает.
В главе про байесовские сети рассказывается про историю появления теоремы Байеса. Исходной точкой было утверждение Дэвида Юма о том, что чудо настолько невероятно, что проще всего отвергнуть свидетельства очевидцев чуда. Томас Байес и его друг Ричард Прайс, который посмертно опубликовал работу Байеса, были с этим решительно несогласны и они искали путь, чтобы показать неправильность утверждения Юма. Именно таким образом появилась знаменитая теорема Байеса.
Большое внимание уделено так называемым смешенным (искажающим) факторам (confounding factor). Речь идет про переменные, на которые одновременно влияют несколько других факторов. Обычное решение в статистике связано с рандомизированным контролируемым испытанием (введено в обиход Рональдом Фишером). В книге предлагаются другие решения, связанные с причинным анализом.
Интересно рассмотрение парадоксов в статистике (парадокс Монти Холла, парадокс Симпсона и др.). Говорится, что возникновение парадоксов часто связано с тем, что человек при встрече с корреляцией всегда ожидает причинную связь. В то же время есть чисто статистические корреляции без причинных связей. С другой стороны, причинный анализ позволяет решить парадоксы, связанные с тем, что иногда объединение результатов груп приводит к противоположному результату.
Джуда Перл вводит лестницу причинности из трех ступеней. Низшая ступень сводится к ассоциациям и корреляциям (обычная статистика). Вторая ступень связана с интервенцией в ход событий. Для анализа этой ступени причинности Перл ввел опрератор Делать (do operator), который позволяет формально анализировать статистические данные в рамках определенной каузальной диаграммы. Последняя ступень связана с контрфактуальным анализом, который также был формализовал Перлом. Утверждается, что созданный формализм позволяет правильно ответить на вопрос, что является причиной пожара: зажигание спички или кислород в атмосфере.
В заключение отмечу, что книга написана в стиле настоящего ученого: «Я умный и поэтому я сделал важное открытие». Поскольку я уже достаточно давно работаю с инженерами, то это обстоятельство не вызвало никакого раздражения. Во-первых, если сам себя не похвалишь, то никто не похвалит. Во-вторых, глупо пытаться изменить точку зрения других начиная с перечисления недостатков предлагаемого метода. Лучше всего воспринимать стиль изложения в позитивном ключе — именно так надо излагать свои результаты, чтобы добиться успеха.
Информация
Judea Pearl, Dana Mackenzie, The Book of Why. The New Science of Cause and Effect, 2018.
Описание книги на русском:
https://teletype.in/@axelsble/r12xuBPKN
https://teletype.in/@jeiti72/Hydhf8BFV (картинки не открывались)
Обсуждение
https://evgeniirudnyi.livejournal.com/215650.html
https://www.facebook.com/evgenii.rudnyi/posts/1681252122009200