?

Log in

No account? Create an account

masterok


Мастерок.жж.рф

Хочу все знать


Previous Entry Share Next Entry
Более половины психологических экспериментов оказались фальшивками
masterok

Кто из нас хоть раз не постил у себя на страничке в соцсетях ссылки на «полезные» психологические статьи? Так вот, оказывается, минимум половина психологических исследований — фальшивка. «Чердак» разобрался, как так получилось, и выяснил, можно ли в принципе теперь верить исследованиям по психологии.

Недавняя новость о том, что результаты более половины психологических исследований невозможно воспроизвести, шокировала многих. Масштабная проверка психологов и их работ началась неспроста: в 2011 году в психологии произошла настолько громкая история, что сотни ученых стали сомневаться в чистоплотности коллег.

Великий фальсификатор 

Нидерландский психолог Дидерик Стапель без преувеличения был звездой социальной психологии и гордостью родной науки, ничем особо не блиставшей чуть ли не со времен физика Лоренца. В 40 лет ученый стал профессором университета Тилбурна, получил несколько престижных научных премий, публиковался в Science и вообще считался крупным специалистом в своей области. Харизматичный молодой профессор часто давал интервью журналистам. Поводов хватало: своими экспериментами нидерландскому психологу удавалось подтвердить самые «ходовые» гипотезы о поведении человека.

Например, в 2010 году Стапель выяснил, что власть заставляет людей предъявлять к другим более строгие моральные требования, чем к себе. В 2011-м — что люди более склонны к проявлению классовых и национальных стереотипов и дискриминации, когда вокруг них валяется мусор и разбиты стекла. Стапель почти доказал, что постоянное присутствие мяса в рационе со временем делает людей эгоистичными… Но эта статья так и не успела попасть в печать: в августе 2011-го трое аспирантов Стапеля обнаружили в данных, взятых из статей руководителя, расхождения, прямо указывавшие, что работы сфальсифицированы. Они доложили об «открытии» в деканат — университет собрал комиссию для расследования. Позже такие комиссии были созданы еще в двух университетах — Гронингена и Амстердама, где ученый работал прежде. И научная карьера Дидерика Стапеля пошла крахом.

Подлоги стали вскрываться один за другим. Выяснилось, что с 2004 года Стапель вообще не проводил никаких экспериментов — он попросту выдумывал их, а затем давал фальшивые данные для анализа студентам, аспирантам и будущим соавторам. Последние, как выяснило расследование, ничего не подозревали. В психологических исследованиях из соображений этики не принято делиться «сырыми» данными, так что коллег Стапеля не смущало отсутствие анкет, опросных листов или записей наблюдения.

Когда Стапель понял, что разоблачен, он поступил так, как обычно поступают серийные убийцы в триллерах: стал сам указывать на «места преступления». Итог шокировал всех. Из 49 статей, опубликованных Стапелем в качестве главного соавтора, 24 оказались основаны на выдуманных данных. Сколько было фальшивых статей, где имя нидерландского психолога числилось во второй строке, лишь потому что он «любезно» предоставил данные коллегам, выяснить не удалось: во многих случаях исходная информация об исследованиях была удалена.

В сентябре 2011-го Стапеля уволили из университета Тилбурна. Диплом PhD (Philosophy Doctor — приблизительный аналог российской степени кандидата наук) в университет Амстердама он вернул сам. Дидерик Стапель также принес публичные извинения своим коллегам, признав, что «потерпел провал как ученый и выставил в дурном свете всю социальную психологию». Его раскаяние могло бы вызвать человеческое сочувствие, но коллег Стапеля в тот момент волновали уже более глобальные вопросы.

Кризис системы 

Сами гипотезы Стапеля из-за отсутствия экспериментов не стали заведомо ложными — они лишь вернулись в статус непроверенных, для которых только предстоит поставить эксперименты. Но теперь стало очевидно, что отличить настоящее исследование от поддельного не так-то просто. Профессора, работавшие на одном факультете со Стапелем, задним числом вспоминают: им и раньше казалось, что его результаты «слишком хороши, чтобы быть правдой». Но мало кто решится спорить с ученым такого уровня. Как выяснилось при проверке, аспиранты, которые обрабатывали данные и должны были заметить расхождения практически сразу, разбирались в методах статистического анализа на уровне: «это получилось с помощью какой-то кнопки в Exсel». Возник вопрос, сколько еще таких Стапелей сидит в профессорских креслах? В рядах социальных психологов началось очистительное движение.

Профессор психологии из Виргинского университета Брайан Ноузек (Brian Nosek), основатель Open Science Framework, который в то время был еще не организацией, а всего лишь «облачным» сервисом, позволявшим ученым хранить свои проекты в сети и делиться ими с коллегами, собрал по всему свету команду волонтеров и дал старт масштабному проекту по воспроизведению психологических экспериментов (Reproducibility Project: Psychology). Именно его результаты три года спустя попадут в топ всех новостных лент. Пока интернет-добровольцы только разрабатывали методику воспроизведения, руководство университетов тоже не сидело сложа руки и начало чистку рядов. Что происходило в это время в «храмах науки», наглядно демонстрирует работа социального психолога Ури Симонсона (Uri Simonsohn) из Пенсильванского университета, за свои заслуги получившего прозвище Data Detective (расследователь данных).

Сомнительная стройность 

Симонсон, в отличие от многих своих коллег, хорошо разбирался в методах математической статистики. Когда случился скандал со Стапелем, он стал активно помогать родному университету проверять исследования на предмет нестыковок. Слава о Симонсоне распространилась в научных кругах, и в том же 2011 году он получил письмо от коллег из Роттердамского университета Эразма в Нидерландах с просьбой проверить одну статью профессора Дирка Сместерса (Dirk Smeesters).

Как и его соотечественник Стапель, психолог Сместерс работал в рамках концепции так называемого «социального прайминга» (от англ to prime — предшествовать), полагающей, что незначительные детали окружения могут менять наши мысли и поведение на бессознательном уровне. В статье, присланной Симонсону, например, утверждалось, что синий цвет подталкивает людей к тому, чтобы соглашаться с общественными требованиями и мнениями, а красный — к тому, чтобы им противоречить. Как и в случае со Стапелем, результаты экспериментов Сместерса идеально подтверждали его гипотезы. Изучив цифры, Ури Симонсон пришел к выводу, что данные экспериментов как минимум были подправлены, чтобы получить более впечатляющий положительный эффект.

Не желая ходить по головам, «расследователь», помимо ответа своему первому корреспонденту, написал письмо лично Сместерсу. В ответ он получил заверение, что статья будет отозвана. Однако коллеги Сместерса, подтвердив свои подозрения, не стали удовлетворяться отзывом одной статьи и сообщили о подтасовке результатов в администрацию университета.

Сместерсу пришлось объяснить суть использованной им методики, после чего университет начал собственную проверку. В итоге к 2014 году из научных журналов было отозвано семь статей, где Сместерс числился соавтором. Среди них исследование, утверждающее, что напоминание о деньгах вызывает у людей ощущение угрозы; новости, связанные со смертью, влияют на выбор тех или иных брендов, а рекламные картинки с полными и худыми моделями по-разному влияют на потребительское поведение людей в зависимости от индекса массы их тела. В июне 2012-го Сместерс был уволен, но, в отличие от Стапеля, никакого раскаяния не проявил. Больше того, он заявил, что как человек не чувствует себя виноватым и уверен, что многие его коллеги поступают точно так же, просто не попадаются, ведь вся система научных исследований соблазняет ученого на то, чтобы подправить данные, если они не укладываются в его гипотезы.

Эти слова вызвали бурю возмущения. Однако истории, подтверждавшие, что Сместерс не так уж неправ, повторялись. Еще не утих шум вокруг Сместерса, как Ури Симонсон взялся за проверку другого исследователя — Лоуренса Санны (Lawrence Sanna) из Мичиганского университета. И снова та же история: слишком «чистые» положительные результаты, слишком красивое подтверждение гипотез, нестыковки в цифрах, и все это опять в социальном прайминге. Санна, к примеру, доказывал, что люди ведут себя более альтруистично, находясь на едущем вверх эскалаторе. Эта и еще две его статьи были отозваны из научных журналов.

Реформа снизу 

В сентябре 2012-го под впечатлением от происходящего психолог Даниэль Канеман (Daniel Kahneman), получивший в 2002 году Нобелевскую премию по экономике за «исследования формирования суждений и принятия решений» в сфере финансов, написал открытое письмо исследователям социального прайминга. В нем нобелиат предлагал ученым ради сохранения репутации своей науки изменить принцип проведения исследований. Например, создать «цепочку» лабораторий, каждая из которых воспроизводила бы эксперименты соседа.

Вокруг обращения разгорелась дискуссия. С одной стороны, многие поддержали Канемана, а психолог-когнитивист из Калифорнийского университета в Сан-Диего Хэл Прашер (Hal Pashler) даже заявил, что его исследовательская группа уже пыталась повторить несколько экспериментов коллег в рамках концепции социального прайминга и не получила нужных результатов.

Но звучали и мнения в духе «а почему только мы?» Исследователи, получившие письмо, напоминали, что на социальный прайминг обратили внимание из-за конкретных недобросовестных ученых, а менять вообще-то надо систему в целом. Так, Норберт Шварц (Norbert Schwarz) из того же Мичиганского университета заявил: «Я буду участвовать в такой цепочке, если вся психологическая наука решит, что должно быть так, но не в том случае, если это будет направлено на одну область исследований».
Пока, однако, о глобальных изменениях в организации психологических исследований ничего не слышно. Наука как социальный институт довольно консервативна. Тем не менее появились инструменты независимой проверки результатов. Ури Симонсон опубликовал свою методику в открытом доступе, сформулировав шесть простых рекомендаций по обработке данных для самих ученых (чтобы никто больше не оказался в положении обманутого соавтора) и четыре — по оценке статей (для рецензентов научных журналов). Сам Симонсон с 2013 года сотрудничает с основанным в то же время Center for Open Science, который успел запустить еще несколько проектов по проверке воспроизводимости экспериментов. Например, в области онкологии — Reproducibility Project: Cancer Biology.

Свой вклад внесли лингвисты из Корнельского университета Дэвид Марковиц и Джеффри Хэнкок (David Markowitz, Jeffrey Hancock). Они предложили методику оценки вероятности того, что статьи сфальсифицированы, по особенностям письма автора. Свой алгоритм лингвисты разрабатывали на статьях Дидерика Стапеля. Они обнаружили четкие закономерности. Например, в поддельных статьях было больше научных терминов, но меньше прилагательных в описаниях экспериментов, ведь у автора не было настоящих воспоминаний об их проведении. К тому же в фэйках в полтора раза чаще встречались слова-усилители — «сильно», «чрезвычайно», «заметно».

 
Сработало 

Самый же главный эффект этой «саги о воспроизводимости» в том, что изменилось само отношение к проверке учеными работ друг друга. Научные журналы стали гораздо благосклоннее относится к статьям, где авторы отчитываются о повторении экспериментов коллег. Раньше подобную работу почти невозможно было опубликовать: редакторы куда больше жаловали уникальные эксперименты.

В мае—июне 2015, за три месяца до появления отчета Reproducibility Project, в социальной психологии снова произошел скандал. В декабре 2014-го в журнале Science была опубликована статья Майкла ЛаКура (Michael LaCour) из Калифорнийского университета в Лос-Анджелесе о том, какие методы эффективней работают при убеждении людей в необходимости легализации однополых браков. Вывод исследователя был таков: наибольший эффект оказывают личные беседы, которые ведут сами геи и лесбиянки. В этом случае якобы ранее сомневавшиеся не только принимают необходимость легализации гей-браков, но и начинают сами агитировать близких.

В мае группа ученых под руководством Дэвида Брукмана (David Broockman) из Стэнфорда решила проверить результаты этого исследования. И подобных фантастических эффектов не получила. Дальнейшее разбирательство выявило, что компания, которая по документам проводила для ЛаКура опрос, на самом деле ни с кем не разговаривала. На вопрос, кто же собирал информацию, ЛаКур ответить не смог, а первичные данные оказались «уничтожены». Тут нужно отдать должно соавтору ЛаКура Дональду Грину (Donald Green), который был ни при чем, но, узнав о происходящем, сам отозвал статью из Science.

Четыре года назад, до грома, грянувшего над головой социальных психологов, ЛаКура никто не разоблачил бы. Ученые из другого университета вряд ли стали бы проверять результаты исследования, редакция Science не отреагировала бы так молниеносно, сняв статью за 24 часа. Да и в СМИ эта история вряд ли попала бы. Но кажется, времена действительно изменились, что не может не радовать.

источник

 

Продолжим тему психологии: давайте вспомним Как работает промывка мозгов или например вот некоторые Ошибочные аргументы вашего мышления. Вот Как работает тест Роршаха и вот самые распространенные 11 когнитивных искажений

Оригинал статьи находится на сайте ИнфоГлаз.рф Ссылка на статью, с которой сделана эта копия - http://infoglaz.ru/?p=79513
Subscribe to  masterok

Posts from This Journal by “Разоблачаем” Tag


promo masterok january 2, 12:00 46
Buy for 300 tokens
Вот так выглядит ушедший от нас 2017 год. А вот кстати, начало 2018 года показывает еще больший трафик, чем декабрь 2017: И вот один из дней - рекордсменов за всю историю журнала тоже уже в 2018 году: Красная цифра - это общее количество уникальных посетителей попавших в блог. В…

  • 1
Ничуть не только психолухи. Это и среди технарей не редкость. Лично рецензировал исследование (методы оценки сцепления), где рандомно раскиданные точки аппроксимировали где прямой, где экспонентой - как автору было удобнее. Так что гуманитариев за такую лажу даже упрекать неудобно :)))

Ну дык если теория говорит, что должна быть экспонента - отчего бы не нарисовать в полулогарифмическом масштабе и не провести прямую?

Ой, зачем вы человека в таких хитростях подозреваете. Там всё проще было. "Так, что мы еще не вписывали в это облачко? Какие мы еще графики знаем?" Я совершенно серьезно, работа была сделана в полной уверенности, что рецензентам лень смотреть графики, они сразу на страницу "выводы" пролистают. Но попался молодой и любопытный на их голову.

Ну дурные исследования я и сам видел. Иногда они даже сами-то, судя по всему, честные, но... Вот исследуют новый хороший антибиотик - на беду только взяли какой-то очень уж могутный штамм МРЗС. Всандалили бедным кроликам в глазки, половину лечили антибиотиком, половине капали физраствор... Все глазки ослепли, все залиты гноем, дрянь полная - но ведь в пролеченных антибиотиком глазках оказалось на 1-2 логарифмическую единицу (то есть в 10-100 раз) меньше КОЕ! Посему вывод: антибиотик показал себя эффективным в лечении МРЗС по сравнению с плацебо-контролем!

пжад, я как раз с такими глазками дома сижу :(

Если честно - не понял даже, приведен ли пример правильного вывода или наоборот.

Ну раз глазки ослепли, странно говорить об эффективнос

Хотя действительно, в пролеченных глазках было обнаружено меньше бактерий, чем в плацебо-контроле. Вывод "верный", но манипулятивный: антибиотик уменьшил количество бактерий по сравнению с плацебо, но отнюдь не помешал их размножению (введено было меньше бактерий, чем обнаружено в конце опыта) и потере зрения.

ЗЫ: КОЕ - колониеобразующая единица. Бактерии считают так: берут пробу, разводят в разных соотношениях и каждое разведение высевают в свою чашечку с питательной средой. В чашечках, где разведение слабое, колонии бактерий сплошные, их не выходит посчитать, а вот где сильнее разведение - там получаются четко разделенные колонии. Вот в таких чашечках считают, сколько получилось колоний, умножают на разведение - получается количество колониеобразующих единиц в изначальной пробе. Обычно используют десятичный логарифм этого числа, поскольку числа получаются разных порядков. Например, если КОЕ было 1000000 штук, то пишут, что их было 6 логарифмических единиц.

Ясно, спасибо.
Сталкивался с этими терминами, но не вкуривал.

Мать тридцать пять лет отработала в геофизике. В поле. Это когда мальчики с гравиметром пошли реально в поля, принесли данные, а девочки (многие с малыми детьми) это все дело садились и обрабатывали. Компьютеров естественно тогда не было, как максимум - программируемый калькулятор МК-52.

Так вот при мне был случай, когда она по журналу просто отправила двоих назад в поле. По одной простой причине: так не бывает. У вас идеально гладко все, ТАК НЕ БЫВАЕТ, мать вашу.

Позже выяснилось, что она была права. Парни просто выдули литр самогона и заполнили журнал на коленке исходя из теоретических знаний. И попались.

Да, и таких спецов я видел. Увы - скорее в виде исключений. Впрочем, не всё плохо - большинство мне известных людей, которых можно обозначить как "специалист" работают вполне добросовестно. И если косячат, то тоже добросовестно :)

пару лет назад проходил медкомиссию. тЭрапЭФт услышал , шо я иногда страдаю изжогой и заговрщически предложил избавить меня от неё за отдельную плату антибиотиками , а не "по старинке".
вот даж не знаю , кого зачислить в бОльшие идиоты. вроде как уже доказано , шо изжогу и язву вызывают "хеликобактер пилори" , даж нобелевка за енто получена , а большинство лечит "по старинке" и только "продвинутые" тайком (не забывая о своём кармане) лечат исходя из этого (кстати , лечится вполне легко препаратами висмута и антибиотиками ещё прежних поколений). это какая ж инерция должна быть и вера в старых авторитетов? "без бумажки ты ...". вот так и живут : ежли профЭссор али академик , то все без сомнений кивают и поддакивают , а к любым новым относятся пристрастно (да чё там - просто топят , ежли те пытаются что-то оспаривать). и только прохиндеи используют для личной наживы.

Ну, я тут прокомментировать не возьмусь. Я не медик, хотя пациент опытный :)
Сталкивался с ровно противоположными мнениями разных врачей о лечении одной болячки. Сталкивался с теми, кто действуют по старинке, но эффективно. И в качестве подопытной свинки тоже оказывался, не по своей воле.
Что говорить, был у меня неприятный случай - так 3 разных спеца отнесли его на проблемы в области своей компетенции, а про коллег отзывались.. негативно. Результатов не добились все трое.
Да даже продолжать не хочу на тему медицины.

анекдот про "ох уж эти хирурги - всё б им резать..." - не анекдот :-) тут ещё узкая специализация сказывается. есть у меня приятель : целый талмуд болячек был , которые безуспешно лечил , психованный был да ещё и бухал. несколько лет назад в рамках какой-то медкомиссии нашли у него камни в печени. операцию провели полостную , не лапороскопическую , полгода зелёный ходил и ... ни всех этих болячек , ни психов , перестал пить (сказал "просто не хочется") , с женой всё наладилось.

  • 1