?

Log in

No account? Create an account

masterok


Мастерок.жж.рф

Хочу все знать


Previous Entry Share Next Entry
Более половины психологических экспериментов оказались фальшивками
masterok

Кто из нас хоть раз не постил у себя на страничке в соцсетях ссылки на «полезные» психологические статьи? Так вот, оказывается, минимум половина психологических исследований — фальшивка. «Чердак» разобрался, как так получилось, и выяснил, можно ли в принципе теперь верить исследованиям по психологии.

Недавняя новость о том, что результаты более половины психологических исследований невозможно воспроизвести, шокировала многих. Масштабная проверка психологов и их работ началась неспроста: в 2011 году в психологии произошла настолько громкая история, что сотни ученых стали сомневаться в чистоплотности коллег.

Великий фальсификатор 

Нидерландский психолог Дидерик Стапель без преувеличения был звездой социальной психологии и гордостью родной науки, ничем особо не блиставшей чуть ли не со времен физика Лоренца. В 40 лет ученый стал профессором университета Тилбурна, получил несколько престижных научных премий, публиковался в Science и вообще считался крупным специалистом в своей области. Харизматичный молодой профессор часто давал интервью журналистам. Поводов хватало: своими экспериментами нидерландскому психологу удавалось подтвердить самые «ходовые» гипотезы о поведении человека.

Например, в 2010 году Стапель выяснил, что власть заставляет людей предъявлять к другим более строгие моральные требования, чем к себе. В 2011-м — что люди более склонны к проявлению классовых и национальных стереотипов и дискриминации, когда вокруг них валяется мусор и разбиты стекла. Стапель почти доказал, что постоянное присутствие мяса в рационе со временем делает людей эгоистичными… Но эта статья так и не успела попасть в печать: в августе 2011-го трое аспирантов Стапеля обнаружили в данных, взятых из статей руководителя, расхождения, прямо указывавшие, что работы сфальсифицированы. Они доложили об «открытии» в деканат — университет собрал комиссию для расследования. Позже такие комиссии были созданы еще в двух университетах — Гронингена и Амстердама, где ученый работал прежде. И научная карьера Дидерика Стапеля пошла крахом.

Подлоги стали вскрываться один за другим. Выяснилось, что с 2004 года Стапель вообще не проводил никаких экспериментов — он попросту выдумывал их, а затем давал фальшивые данные для анализа студентам, аспирантам и будущим соавторам. Последние, как выяснило расследование, ничего не подозревали. В психологических исследованиях из соображений этики не принято делиться «сырыми» данными, так что коллег Стапеля не смущало отсутствие анкет, опросных листов или записей наблюдения.

Когда Стапель понял, что разоблачен, он поступил так, как обычно поступают серийные убийцы в триллерах: стал сам указывать на «места преступления». Итог шокировал всех. Из 49 статей, опубликованных Стапелем в качестве главного соавтора, 24 оказались основаны на выдуманных данных. Сколько было фальшивых статей, где имя нидерландского психолога числилось во второй строке, лишь потому что он «любезно» предоставил данные коллегам, выяснить не удалось: во многих случаях исходная информация об исследованиях была удалена.

В сентябре 2011-го Стапеля уволили из университета Тилбурна. Диплом PhD (Philosophy Doctor — приблизительный аналог российской степени кандидата наук) в университет Амстердама он вернул сам. Дидерик Стапель также принес публичные извинения своим коллегам, признав, что «потерпел провал как ученый и выставил в дурном свете всю социальную психологию». Его раскаяние могло бы вызвать человеческое сочувствие, но коллег Стапеля в тот момент волновали уже более глобальные вопросы.

Кризис системы 

Сами гипотезы Стапеля из-за отсутствия экспериментов не стали заведомо ложными — они лишь вернулись в статус непроверенных, для которых только предстоит поставить эксперименты. Но теперь стало очевидно, что отличить настоящее исследование от поддельного не так-то просто. Профессора, работавшие на одном факультете со Стапелем, задним числом вспоминают: им и раньше казалось, что его результаты «слишком хороши, чтобы быть правдой». Но мало кто решится спорить с ученым такого уровня. Как выяснилось при проверке, аспиранты, которые обрабатывали данные и должны были заметить расхождения практически сразу, разбирались в методах статистического анализа на уровне: «это получилось с помощью какой-то кнопки в Exсel». Возник вопрос, сколько еще таких Стапелей сидит в профессорских креслах? В рядах социальных психологов началось очистительное движение.

Профессор психологии из Виргинского университета Брайан Ноузек (Brian Nosek), основатель Open Science Framework, который в то время был еще не организацией, а всего лишь «облачным» сервисом, позволявшим ученым хранить свои проекты в сети и делиться ими с коллегами, собрал по всему свету команду волонтеров и дал старт масштабному проекту по воспроизведению психологических экспериментов (Reproducibility Project: Psychology). Именно его результаты три года спустя попадут в топ всех новостных лент. Пока интернет-добровольцы только разрабатывали методику воспроизведения, руководство университетов тоже не сидело сложа руки и начало чистку рядов. Что происходило в это время в «храмах науки», наглядно демонстрирует работа социального психолога Ури Симонсона (Uri Simonsohn) из Пенсильванского университета, за свои заслуги получившего прозвище Data Detective (расследователь данных).

Сомнительная стройность 

Симонсон, в отличие от многих своих коллег, хорошо разбирался в методах математической статистики. Когда случился скандал со Стапелем, он стал активно помогать родному университету проверять исследования на предмет нестыковок. Слава о Симонсоне распространилась в научных кругах, и в том же 2011 году он получил письмо от коллег из Роттердамского университета Эразма в Нидерландах с просьбой проверить одну статью профессора Дирка Сместерса (Dirk Smeesters).

Как и его соотечественник Стапель, психолог Сместерс работал в рамках концепции так называемого «социального прайминга» (от англ to prime — предшествовать), полагающей, что незначительные детали окружения могут менять наши мысли и поведение на бессознательном уровне. В статье, присланной Симонсону, например, утверждалось, что синий цвет подталкивает людей к тому, чтобы соглашаться с общественными требованиями и мнениями, а красный — к тому, чтобы им противоречить. Как и в случае со Стапелем, результаты экспериментов Сместерса идеально подтверждали его гипотезы. Изучив цифры, Ури Симонсон пришел к выводу, что данные экспериментов как минимум были подправлены, чтобы получить более впечатляющий положительный эффект.

Не желая ходить по головам, «расследователь», помимо ответа своему первому корреспонденту, написал письмо лично Сместерсу. В ответ он получил заверение, что статья будет отозвана. Однако коллеги Сместерса, подтвердив свои подозрения, не стали удовлетворяться отзывом одной статьи и сообщили о подтасовке результатов в администрацию университета.

Сместерсу пришлось объяснить суть использованной им методики, после чего университет начал собственную проверку. В итоге к 2014 году из научных журналов было отозвано семь статей, где Сместерс числился соавтором. Среди них исследование, утверждающее, что напоминание о деньгах вызывает у людей ощущение угрозы; новости, связанные со смертью, влияют на выбор тех или иных брендов, а рекламные картинки с полными и худыми моделями по-разному влияют на потребительское поведение людей в зависимости от индекса массы их тела. В июне 2012-го Сместерс был уволен, но, в отличие от Стапеля, никакого раскаяния не проявил. Больше того, он заявил, что как человек не чувствует себя виноватым и уверен, что многие его коллеги поступают точно так же, просто не попадаются, ведь вся система научных исследований соблазняет ученого на то, чтобы подправить данные, если они не укладываются в его гипотезы.

Эти слова вызвали бурю возмущения. Однако истории, подтверждавшие, что Сместерс не так уж неправ, повторялись. Еще не утих шум вокруг Сместерса, как Ури Симонсон взялся за проверку другого исследователя — Лоуренса Санны (Lawrence Sanna) из Мичиганского университета. И снова та же история: слишком «чистые» положительные результаты, слишком красивое подтверждение гипотез, нестыковки в цифрах, и все это опять в социальном прайминге. Санна, к примеру, доказывал, что люди ведут себя более альтруистично, находясь на едущем вверх эскалаторе. Эта и еще две его статьи были отозваны из научных журналов.

Реформа снизу 

В сентябре 2012-го под впечатлением от происходящего психолог Даниэль Канеман (Daniel Kahneman), получивший в 2002 году Нобелевскую премию по экономике за «исследования формирования суждений и принятия решений» в сфере финансов, написал открытое письмо исследователям социального прайминга. В нем нобелиат предлагал ученым ради сохранения репутации своей науки изменить принцип проведения исследований. Например, создать «цепочку» лабораторий, каждая из которых воспроизводила бы эксперименты соседа.

Вокруг обращения разгорелась дискуссия. С одной стороны, многие поддержали Канемана, а психолог-когнитивист из Калифорнийского университета в Сан-Диего Хэл Прашер (Hal Pashler) даже заявил, что его исследовательская группа уже пыталась повторить несколько экспериментов коллег в рамках концепции социального прайминга и не получила нужных результатов.

Но звучали и мнения в духе «а почему только мы?» Исследователи, получившие письмо, напоминали, что на социальный прайминг обратили внимание из-за конкретных недобросовестных ученых, а менять вообще-то надо систему в целом. Так, Норберт Шварц (Norbert Schwarz) из того же Мичиганского университета заявил: «Я буду участвовать в такой цепочке, если вся психологическая наука решит, что должно быть так, но не в том случае, если это будет направлено на одну область исследований».
Пока, однако, о глобальных изменениях в организации психологических исследований ничего не слышно. Наука как социальный институт довольно консервативна. Тем не менее появились инструменты независимой проверки результатов. Ури Симонсон опубликовал свою методику в открытом доступе, сформулировав шесть простых рекомендаций по обработке данных для самих ученых (чтобы никто больше не оказался в положении обманутого соавтора) и четыре — по оценке статей (для рецензентов научных журналов). Сам Симонсон с 2013 года сотрудничает с основанным в то же время Center for Open Science, который успел запустить еще несколько проектов по проверке воспроизводимости экспериментов. Например, в области онкологии — Reproducibility Project: Cancer Biology.

Свой вклад внесли лингвисты из Корнельского университета Дэвид Марковиц и Джеффри Хэнкок (David Markowitz, Jeffrey Hancock). Они предложили методику оценки вероятности того, что статьи сфальсифицированы, по особенностям письма автора. Свой алгоритм лингвисты разрабатывали на статьях Дидерика Стапеля. Они обнаружили четкие закономерности. Например, в поддельных статьях было больше научных терминов, но меньше прилагательных в описаниях экспериментов, ведь у автора не было настоящих воспоминаний об их проведении. К тому же в фэйках в полтора раза чаще встречались слова-усилители — «сильно», «чрезвычайно», «заметно».

 
Сработало 

Самый же главный эффект этой «саги о воспроизводимости» в том, что изменилось само отношение к проверке учеными работ друг друга. Научные журналы стали гораздо благосклоннее относится к статьям, где авторы отчитываются о повторении экспериментов коллег. Раньше подобную работу почти невозможно было опубликовать: редакторы куда больше жаловали уникальные эксперименты.

В мае—июне 2015, за три месяца до появления отчета Reproducibility Project, в социальной психологии снова произошел скандал. В декабре 2014-го в журнале Science была опубликована статья Майкла ЛаКура (Michael LaCour) из Калифорнийского университета в Лос-Анджелесе о том, какие методы эффективней работают при убеждении людей в необходимости легализации однополых браков. Вывод исследователя был таков: наибольший эффект оказывают личные беседы, которые ведут сами геи и лесбиянки. В этом случае якобы ранее сомневавшиеся не только принимают необходимость легализации гей-браков, но и начинают сами агитировать близких.

В мае группа ученых под руководством Дэвида Брукмана (David Broockman) из Стэнфорда решила проверить результаты этого исследования. И подобных фантастических эффектов не получила. Дальнейшее разбирательство выявило, что компания, которая по документам проводила для ЛаКура опрос, на самом деле ни с кем не разговаривала. На вопрос, кто же собирал информацию, ЛаКур ответить не смог, а первичные данные оказались «уничтожены». Тут нужно отдать должно соавтору ЛаКура Дональду Грину (Donald Green), который был ни при чем, но, узнав о происходящем, сам отозвал статью из Science.

Четыре года назад, до грома, грянувшего над головой социальных психологов, ЛаКура никто не разоблачил бы. Ученые из другого университета вряд ли стали бы проверять результаты исследования, редакция Science не отреагировала бы так молниеносно, сняв статью за 24 часа. Да и в СМИ эта история вряд ли попала бы. Но кажется, времена действительно изменились, что не может не радовать.

источник

 

Продолжим тему психологии: давайте вспомним Как работает промывка мозгов или например вот некоторые Ошибочные аргументы вашего мышления. Вот Как работает тест Роршаха и вот самые распространенные 11 когнитивных искажений

Оригинал статьи находится на сайте ИнфоГлаз.рф Ссылка на статью, с которой сделана эта копия - http://infoglaz.ru/?p=79513
Subscribe to  masterok

Posts from This Journal by “Разоблачаем” Tag


promo masterok январь 2, 12:00 46
Buy for 300 tokens
Вот так выглядит ушедший от нас 2017 год. А вот кстати, начало 2018 года показывает еще больший трафик, чем декабрь 2017: И вот один из дней - рекордсменов за всю историю журнала тоже уже в 2018 году: Красная цифра - это общее количество уникальных посетителей попавших в блог. В…

  • 1
Вот это номер!
Весьма интересная статья, спасибо!

Давно подозревал, что психологи втирают в массы откровенную ахинею. Разумеется ахинею не на 100%, а на 70-80%.

"Сместерс был уволен, но, в отличие от Стапеля, никакого раскаяния не проявил. Больше того, он заявил, что как человек не чувствует себя виноватым и уверен, что многие его коллеги поступают точно так же, просто не попадаются, ведь вся система научных исследований соблазняет ученого на то, чтобы подправить данные, если они не укладываются в его гипотезы." ©
я б даже сказал , шо ентим страдають многие (и в любых областях) при отсутствии контроля и наказания. можно даже не проводить эксперимента :-)

Что вообще говорить за статистику? Статистика что дышло.

Есть такая штука, как погрешность. Если у вас есть числовые данные с погрешностью в 4%, то при их сложении вы получите погрешность 8%, а при умножении - уже 16%. Что будет при умножении матрицы на вектор, даже говорить не приходится. К тому же есть эксцессы методологии в стиле "вероятность всего 50% - или случится, или нет".

Статопросы тоже имеют очень серьезные требования к методологии - надо знать, кого и где опрашивать, чтобы получить заказанный результат, да и честный результат можно так "нормировать", что его мама родная не узнает.

Или как проводится, например, прогнозирование числовых рядов (курсов валют, например). Если взять реальный ряд, то получится каша. Потому из него выбрасывают "исключения" - всякие там черные вторники, черные пятницы и прочее, исключают и целые участки с "нетипичным поведением", типа черных декабрей. И аппроксимируют оставшееся. Тогда как совершенно понятно, что эти "исключения" и представляют единственный интерес при прогнозировании таких вещей. Как предсказать следующий черный вторник, если все это выбрасывают еще до начала вычислений?

Ну и конечно есть моменты когда вы получаете грант, тупо пропиваете, а отчет пишите из головы - это конечно не изжить никогда.

Психолухи такие психолухи.

Ничуть не только психолухи. Это и среди технарей не редкость. Лично рецензировал исследование (методы оценки сцепления), где рандомно раскиданные точки аппроксимировали где прямой, где экспонентой - как автору было удобнее. Так что гуманитариев за такую лажу даже упрекать неудобно :)))

А потом по этим "исследованиям" выдумывают "социальные" законы и ЗАСТАВЛЯЮТ всех их выполнять.

Из того, что гуляет в соцсетях фейком является не половина, а 99%. (сам дипломированный психолог)
По факту - просто развлечение, замаскированное под тестирование, с настройкой на "поглаживание" (есть такое понятие в психологии)

Edited at 2015-10-26 05:19 am (UTC)

То, что "гуляет в соцсетях", относится к психологии по двум причинам: там упоминается "психологический тест" и люди на это клюют (согласитесь, это психология)

100п5

Это прекрасно. Еще чуть-чуть, и психологию наконец-то вычеркнут из списка наук для мальчиков.

ВСЕГДА удивляла всякая социологическая лабуда либералов.

На эту тему интересные отсылки есть в "протоколах сионских мудрецов" -- например:

---
Говорите и поступайте уверенно, напористо и агрессивно, обескураживающе и ошеломляюще. Больше шума и словесной мишуры, больше непонятного и наукообразного. Создавайте теории, гипотезы, направления, школы, методы реальные и нереальные; чем экстравагантнее, тем лучше! Пусть не смущает вас, что они никому не нужны, пусть не смущает вас, что о них завтра забудут. Придет новый день. Придут новые идеи. В этом выражается могущество нашего духа, в этом наше самоутверждение, в этом наше превосходство. Пусть гои оплачивают наши векселя. Пусть ломают голову в поисках рациональных зерен в наших идеях, пусть ищут и находят в них то, чего там нет. Завтра мы дадим новую пищу их примитивным мозгам.
Не важно, что говорите вы - важно, как говорите. Ваша самоуверенность будет воспринята как убежденность, амбиция - как возвышение ума, манера поучать и поправлять - как превосходство. КРУТИТЕ ИМ МОЗГИ, ВЗВИНЧИВАЙТЕ НЕРВЫ! Подавляйте волю тех, кто вам возражает. Компрометируйте выскочек и крикунов, натравливайте самолюбие толпы на скептиков. В беседах и диспутах используйте риторические приемы, которые находятся на грани приличия. Спрашивайте фамилию, место работы, должность сомневающегося и возражающего. Это, как правило, шокирует и запугивает их, и они ретируются. Требуйте ответов, а получив их, твердите, не анализируя по существу: "Это не так, это совсем не так!"
---

Статистика.
Если ты ешь на обед куру, а твой сосед ниче не ест за день. То в среднем вы с ним едите по пол куры в день.
Если маша девственница, а света гуляет направо и налево. То в среднем они обе шлюхи.

над теми, кто скудоумно доверяет психологам, следует издеваться. все правильно чел сделал.

Читал двоих здоровых на голову психологов (один американский семейный и одна наша из Магнитки, позже ставшая монахиней).

А с какими доводилось случайно сталкиваться лицом к лицу -- крайний раз в поезде, например -- так тех к людям на пушечный выстрел подпускать нельзя, они ж психбольные и с манией правоты (выливающейся в уверенность в своём праве лезть кому попало в душу прям в ботинках)...

отдельная пестнЯ - психолухи из "нетрадиционных". вот где "абзац и полный анамнез".

Страшней, когда так действуют политики и экономисты...

Ваша запись появилась в рейтинге 3000-ТОП. Отслеживать судьбу записи вы можете по этой ссылке.
Подписаться на рассылку или отказаться от рассылки можно здесь.

"Психология - НЕ наука!" (с) кто-то из преподов ВЕИПа. Моя девушка там училась, и именно оттуда эту аксиому вынесла. Поскольку меня психологии учила моя весьма сложная жизнь, а не преподы, и за не усвоенный материал я отвечал собственной шкурой, а не пересдачей, то разобравшись в том, чему в том самом ВЕИПе учили, я с этим согласился.
Современная психология - это сборник мифов и плацебометодик, не имеющих отношения к реальности от слова "совсем". И если применить к психологии научный подход - от неё мало что останется.
И парадокс в том, что найти тех немногих психологов, которые действительно понимают что к чему, может только тот, кому это уже не нужно, так как он сам уже в теме. Да и те, кто реально разбирается, в 99% случаев просто умалчивают о многих весьма неприятных фактах, очень больно бьющих по ЧСВ, и из-за этого вынуждены действовать такими извилистыми обходными путями, что глаза на лоб лезут. А иначе - никак, иначе - хомячок обидится и уйдёт, оставив в отзывах "КГ/АМ".
Кстати, психологам запрещают заниматься самоанализом. То есть, психолог не имеет права разбираться с собственной проблемой самостоятельно, и должен идти с ней к другому психологу. Забавно, правда? Хирургам почему-то не запрещают делать операции самим себе, а психологам - запрещено. Хотя по сравнительному уровню эффективности психологи до сих пор топчутся на уровне "выдавить прыщ, вскрыть гнойник, зашить открытую рану".
Это притом, что многим реально работающим методикам уже не одна тысяча лет - религии и политики успешно пользуются ими как минимум, со времён Римской Империи (про неё, по крайней мере, имеется куча достоверной инфы). И что характерно, эти методы сработают и у викингов, и у папуасов, а вот того же Фрейда папуасы вполне обоснованно сочтут полным идиотом. Особо продвинутые папуасы добавят, что это потому, что он не только сам - идиот, но и жил среди идиотов, и писал об идиотах.

Именно так. Не наука.

Мне на прием психолог жена привела мужа вялотекущего шизофреника, немного алкоголирующего, периодически галюцинирующего, в этом она увидела только белую горячку.

И на осторожный наводящий вопрос, на что это похоже, утвердилась во мнении.

Сама перерабатывает, в неврозе. В общем жалко девочку, мужа подлечиваем.

Никого не смущают темы исследовани?  Например: "люди ведут себя более альтруистично, находясь на едущем вверх эскалаторе"!


Что это бл... за бред?
Гранты сознательно выделяются не на научную, а на желтопресснонаучную деятельность


  • 1