Несмотря на громкое название ‘Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке‘, книга Стюарта Ричи написана в спокойном тоне. В ней обсуждается кризис воспроизводимости в науке и пути его преодоления. В основном речь идет про исследования в психологии, медицине, генетике и нейрофизиологии, когда ищутся корреляции между разными факторами. Другими словами, под наукой в книге в первую очередь понимается эмпирическое исследование в духе индуктивного метода, хотя некоторые рассмотренные примеры выходит за эти рамки.
К содержанию книги подходит замечание Бруно Латура, что ученого следует рассматривать как официального представителя изучаемых явлений. Предполагается, что официальный представитель говорит в силу приданных ему полномочий, но нельзя исключить того, что официальный представитель имеет свои собственные цели, которые приводят к тому, что озвучиваемые им утверждения теряют связь с изучаемыми явлениями.
В науке одно явление изучается разными учеными, при этом между официальными представителями одного явления нет согласия. Более того, современная наука основана на жесткой конкуренции между учеными и в силу того, что ученым ничто человеческое не чуждо, нередко желание победить приводит к появлению своих собственных целей. Это обстоятельство обыгрывает название известной статьи Смалдино и Макэлрита ‘Eстественный отбор плохой науки‘, рассмотренной в книге. Ричи по этому поводу также обращается к эволюционному сценарию:
‘Во французском исследовании было показано, что у молодых эволюционных биологов, принятых на работу в 2013 году, публикаций почти вдвое больше, чем у тех, кто трудится с 2005-го, а это значит, что критерии приема на работу из года в год повышались. Весьма уместно, что данные относятся именно к эволюционной биологии, поскольку конкуренция за рабочие места — это именно тот вид отбора, что дал павлину его хвост, а лосю рога. В конкуренции за ограниченные ресурсы (для павлина и лося это возможность спариваться; для ученых — гранты и должности) те, кто обладал более выраженными признаками, продолжали побеждать, пока не обрели абсурдно демонстративные черты — или нелепо длинные резюме.’
В книге рассматриваются примеры мошенничества, предвзятости, недобросовестности и хайпа, а также обсуждаются возможные меры для улучшения ситуации. Ниже я выпишу случаи, связанные с генетикой и биологией, а в конце приведу список громких дел научного мошенничества.
Гены-кандидаты
Случай, который показывает опасность далеко идущих выводов при использовании малых выборок.
‘Один из самых конфузных примеров того, как исследования с низкой статистической мощностью сбивают ученых с пути, — это оживление вокруг так называемых генов-кандидатов. За последние лет десять генетики выучили болезненный урок об опасности исследований с низкой статистической мощностью. … только лет двадцать назад для генетиков стала широко доступна технология, с помощью которой можно было попытаться точно определить, какие именно участки ДНК с какими признаками связаны. Первые попытки были предприняты в исследованиях, где ученые выделяли и изучали конкретный ген — “кандидат” — в надежде установить, могут ли изменения в нем вызывать изменение соответствующего признака.’
‘Поначалу казалось, что попытки успешны. Появлялись все новые и новые исследования генов-кандидатов, дающие положительные результаты: вариации в гене COMT оказались связанными с показателями когнитивных тестов, вариации в гене 5-HTTLPR — с депрессией, а в гене BDNF — с шизофренией, и это лишь несколько хорошо изученных примеров. Накапливались сотни и сотни исследований. Обнаруживаемые эффекты часто впечатляли: так, в одной статье из престижного журнала Nature Neuroscience в 2003 году утверждалось, что способность запоминать у людей с одним конкретным вариантом гена 5-HT2A на 21 % ниже.’
‘В пору моего студенчества, с 2005 по 2009 год, исследования генов-кандидатов были предметом бурных обсуждений. К тому времени, как я получил ученую степень в начале 2014-го, они были уже почти полностью дискредитированы. Как так случилось? Основным фактором послужило то, что технология усовершенствовалась и изучать генотипы людей стало гораздо дешевле.’
‘Вся эта печальная история — хрестоматийный пример, предупреждающий об опасностях низкой статистической мощности. Исходные исследования генов-кандидатов, будучи мелкомасштабными, могли выявить лишь большие эффекты, а значит, о них и сообщали. Теперь понятно, что те большие эффекты были резко выделяющимися, нелепыми случайностями из-за ошибки выборки. … Так исследования выезжали на случайных результатах — и выстроилась цепь недостоверных открытий, ставших мейнстримом, золотым научным стандартом в этой области. Разумеется, какие-то отрицательные результаты проскакивали, а некоторые специалисты по метаанализу били тревогу по поводу низкой статистической мощности. Но большинство исследователей генов-кандидатов упорствовали.’
Стивен Гулд против Сэмюэля Мортона
Пример, который показывает, что борьба с предвзятостью может оказаться основанной на предвзятости.
Сэмюэль Мортон (1799 — 1851) — американский врач и ученый, с расистскими взглядами, типичными для его времени. Он известен также измерениями объема человеческих черепов со всего мира — они служили обоснованием его взглядов. В 1978 году, когда про Мортона и его теории уже забыли, Стивен Гулд проанализировал данные Мортона по измерению объемов черепов и пришел к выводу, что измерения Мортона по всей видимости были основаны на бессознательной убежденности в преимуществе белой расы; именно это было причиной появления в измерениях систематической ошибки.
‘В 2011 году антрополог Джейсон Льюис и его коллеги вернулись не просто к вычислениям Мортона, как сделал Гулд, но к самим черепам из мортоновской коллекции, хранящейся в Пенсильванском университете, перемерив примерно половину из них по современным методикам. Льюис и его коллеги согласились, что ранжирование Мортоном разных групп людей было откровенно расистским, и подтвердили, что он действительно совершал измерительные ошибки. Однако, настаивали они, ошибки не были систематическими в том смысле, о котором говорил Гулд, — неправильные измерения относились скорее ко множеству черепов и не встречались в одной расовой группе чаще, чем в другой. … В статье Льюиса делался такой вывод: “по иронии анализ работы Мортона самим Гулдом является едва ли не более наглядным примером того, как предубеждения влияют на результаты”.’
Мышьяковая жизнь
Пример из области хайпа с советом в книге быть осторожным при объявлении больших открытий.
‘В 2010 году журнал Science опубликовал статью исследователей из НАСА, в которой описывался штамм загадочных бактерий, обитающих в калифорнийском озере Моно. … Согласно результатам исследования, проведенного под руководством микробиолога Фелисы Волф-Саймон, адаптация бактерий к экстремальным условиям в озере привела к двум уникальным явлениям. Во-первых, они росли и размножались в среде, которая почти не содержала фосфора — а он считался одним из элементов, необходимых для всех форм жизни. Во-вторых, и это даже поразительнее, причина процветания была в том, что бактерии, названные Волф-Саймон GFAJ-1, изменили саму основу собственной ДНК, заменив фосфор на элемент, имеющийся в озере Моно в избытке, — на мышьяк. … НАСА явно стремилось вызвать широкий общественный интерес, когда объявляло о публикации статьи. За несколько дней до того они сообщили всему миру в интригующем пресс- релизе, что новое открытие «повлияет на поиск доказательств существования внеземной жизни».’
Увы, мышьяковая жизнь оказалась всего лишь результатом загрязнения образцов. Ошибки в научном исследовании случаются, в этом нет ничего страшного — независимая проверка помогла их в этом случае достаточно быстро установить. Обсуждение в книге в этом случае связано с шумихой, поднятой НАСА, вокруг первых результатов, которые еще не прошли этап должной проверки.
Биология — разное
‘выяснилось, что заявления о знаменитом “синдроме одомашнивания”, когда лисицы в СССР, отбираемые по признаку дружелюбности, начинали приобретать внешний облик одомашненных видов (например, висячие уши и укороченные, широкие морды), были сильно преувеличены, причем большинство признаков “приручения” существовало еще до начала процесса селекции.’
Lord K. A. et al. The History of Farm Foxes Undermines the Animal Domestication Syndrome. Trends in Ecology & Evolution. 35, no. 2 (2020): 125–36.
‘многое из того, что, как мы думали, нам известно о половом отборе у птиц, было развенчано при получении более надежных данных. Скажем, в противоположность тому, что мы якобы знали, красная повязка на лапках у самцов зебровых амадин, похоже, не делает их сверхпривлекательными для самок; самцы воробьев с более крупным пятном черных перьев на горле (так называемым нагрудником), похоже, не доминируют в стае; а доказательства, что самок обыкновенных лазоревок больше привлекают определенные цвета оперения у самцов, неубедительны.’
Антигерои
Паоло Маккиарини (Paolo Macchiarini) — откровенное жульничество при попытках создания искусственной трахеи.
Уильям Саммерлин (William T. Summerlin) — подделка результатов при пересадке кожи.
Хван У Сок (Hwang Woo-suk) — подделка результатов при клонировании.
Харуко Обоката (Haruko Obokata) — подделка результатов в методике STAP.
Дидерик Стапел (Diederik Stapel) — подделка результатов в социальной психологии.
Майкл Лакур (Michael LaCour) — подделка результатов в социальной психологии.
Ян Хендрик (Jan Hendrik Schön) — подделка результатов при исследовании транзисторов на молекулярном уровне.
Эрик Поэлман (Eric Poehlman) — подделывал научные отчеты (единственный случай тюремного наказания).
Йоахим Больдт (Joachim Boldt) — подделка результатов в анестезиологии.
Информация
Стюарт Ричи, Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке, 2024.
Stuart Ritchie, Science Fictions: How Fraud, Bias, Negligence, and Hype Undermine the Search for Truth, 2020.
Paul E. Smaldino, Richard McElreath, The natural selection of bad science, R. Soc. open sci. 2016, 3, 160384.
Vinkers CH, Tijdink JK, Otte WM. 2015. Use of positive and negative words in scientific PubMed abstracts between 1974 and 2014: retrospective analysis. BMJ 351:h6467.