schegloff (schegloff) wrote,
schegloff
schegloff

Categories:

Воспроизводимость психологических экспериментов

По наводке leo_sosnine:

Как и многие науки, психология подвержена "публикабельному уклону", поскольку журналы принимают только статьи с положительными результатами экспериментов (подтверждающих выдвинутые исследователями гипотезы)... [в результате психологам, получив статистически значимый результат на малой выборке, выгоднее сразу же его опубликовать, а не подвергать его дополнительным проверкам].

В последнее время психологи обеспокоились "кризисом воспроизводимости" [точнее, ее отсутствия], и создали неформальное движение по проверке опубликованных результатов. [Одним из его проектов стал Reproducibility Project, запущенный в ноябре 2011 года под руководством Брайана Носека, в ходе которого планировалось проверить результаты 100 психологических экспериментов, опубликованных в ведущих журналах]. Несколько лет психологи с нетерпением ждали результатов этого проекта, и вот [сегодня, 28 августа] они появились.

[Как и следовало ожидать], это безрадостный документ. Хотя 97% первоначальных публикаций сообщали о статистически значимых результатах, только 36% удалось успешно воспроизвести.


Вот первоисточник: Ninety-seven percent of original studies had significant results (P < .05). Thirty-six percent of replications had significant results...

Мне сразу же вспомнилась история с физическим экспериментом - определением заряда электрона:

с 1910 по 1913 гг. американский физик Роберт Милликен дискутировал со своим австрийским оппонентом Феликсом Эренфельдом по поводу величины заряда электрона. Предварительно полученные данные Милликена и Эренфельда сильно отличались друг от друга. У того и другого идея эксперимента заключалась в том, что капли масла вносили в электрическое поле, а затем измеряли минимальную силу поля, при которой эти капли оставались во взвешенном состоянии. На основании полученных им данных Эренфельд утверждал, что существуют субэлектронные частицы, заряд которых составляет определенную долю заряда электрона. Милликен был уверен в том, что заряд был единичным. Чтобы опровергнуть выводы своего оппонента, Милликен опубликовал статью с новыми сверхточными результатами, которые свидетельствовали в пользу его собственных предположений. Как бы между прочим в статье сообщалось, что «это не выборочные результаты по отдельной группе капель, а результаты по всем каплям за время эксперимента, который продолжался в течение шестидесяти дней».[218]

Один ученый, специализирующийся на истории науки, недавно изучил лабораторные журналы Милликена. В результате открылась совершенно иная картина. Каждый из предварительных результатов был снабжен такими комментариями, как «очень низкий, что-то не так» или «прекрасно, опубликовать».[219] Оказалось, что из 140 полученных результатов в опубликованной статье были приведены только 58.


Как видите, "публикабельный уклон" не является монополией психологов, физики (и даже нобелевские лауреаты) тоже ему подвержены.

В общем, упоминая результаты всяческих экспериментов, полезно уточнять, сколько раз их удалось воспроизвести. Кстати, результаты Reproducibility Project также пока не подтверждены независимыми исследователями :)
Subscribe
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 6 comments