Psychologen Haben Einen Plan, Um Die Gebrochene Wissenschaft Der Psychologie Zu Reparieren

{h1}

Psychologen wissen seit mindestens 2011, dass mit ihrem fachgebiet etwas nicht stimmte. Jetzt gibt es einen plan, um dinge zu reparieren, und es scheint zu funktionieren.

Mit der Psychologie war etwas nicht in Ordnung. Eine Kaskade von Warnhinweisen traf im Jahr 2011 auf einmal ein. Berühmte psychologische Experimente scheiterten immer wieder, als Forscher sie in ihren eigenen Laboren erneut durchführten. Schlimmer noch: Die Standardmethoden, die die Forscher in ihren Labors verwendeten, erwiesen sich bei genauer Untersuchung als wuschwitzig genug, um so ziemlich alles zu beweisen. Unsinn, lächerliche Behauptungen tauchten in wichtigen Zeitschriften auf. Es war ein Moment der Krise.

Das erste Anzeichen, dass es Zeit für eine Abrechnung sei, berichteten Forscher gegenüber WordsSideKick.com, war ein einziger Artikel, der 2011 vom Cornell-Psychologen Daryl Bem im renommierten Journal of Personality and Social Psychology veröffentlicht wurde.

In dem Artikel wurden neun Studien erörtert, die Bem im Laufe von zehn Jahren durchgeführt hatte, von denen acht den Eindruck erweckten, dass der Mensch Dinge wahrnehmen kann, die er nicht sehen kann, oder Dinge, die noch nicht geschehen sind. [Was ist eine wissenschaftliche Hypothese?]

Sein Artikel präsentierte, was wie ein richtiger Beweis für Vorerkenntnis aussah, "im Wesentlichen für ESP" oder die außersinnliche Wahrnehmung, sagte Sanjay Srivastava, ein Forschungspsychologe an der University of Oregon, gegenüber WordsSideKick.com.

Für Wissenschaftler, die ihr Leben dieser Wissenschaft und diesen Methoden gewidmet hatten, war es, als wäre der Teppich plötzlich unter ihnen herausgerissen worden.

"Mit rund 100 Probanden in jedem Experiment waren seine Stichprobengrößen groß", schrieb Daniel Engber von Slate, der die psychologische Krise ausführlich behandelt hat, im Jahr 2017. "Er hatte nur die herkömmlichsten statistischen Analysen verwendet. Er verdoppelte - und dreifach geprüft, um sicherzustellen, dass bei der Randomisierung seiner Reize keine Störungen auftraten. Trotz aller Sorgfalt hätte Bem es nicht gewagt, einen derart kontroversen Befund einzusenden, wenn er die Ergebnisse in seinem Labor nicht reproduzieren konnte, und wiederholen Sie sie noch einmal, und wiederholen Sie sie dann noch fünfmal. In seiner fertigen Arbeit werden neun separate Ministudien von ESP aufgeführt. Acht davon haben dieselbe Wirkung gezeigt. "

Bem war kein Randwissenschaftler. Dies waren solide Ergebnisse, die überzeugend gezeigt wurden.

"Die Zeitung schien allen Regeln der Wissenschaft zu folgen und zeigte damit etwas, das fast jeder für unmöglich hielt", sagte Srivastava. "Und wenn das passiert, dann sagen Sie: Okay, entweder ist das Unmögliche nicht wirklich unmöglich, wie es vielleicht ESP gibt, oder es gibt etwas darüber, wie wir Wissenschaft betreiben, um unmögliche Ergebnisse zu beweisen."

Mit anderen Worten, das war nach allen Maßstäben der Psychologie eine gute Wissenschaft.

"Unannehmbar einfach"

Innerhalb von Monaten, nachdem Bems ESP-Papier veröffentlicht wurde, veröffentlichte ein Trio von Forschern an der University of Pennsylvania und der University of California, Berkeley, in der Zeitschrift Psychological Science einen Artikel, der in einigen Punkten noch beunruhigender war, so die Psychologin Simine Vazire der University of California, Davis.

Joseph Simmons, Leif Nelson und Uri Simonsohns "False-Positive Psychology" -Papier zeigten, dass es "inakzeptabel einfach ist," statistisch signifikante "Beweise zu veröffentlichen, die damit übereinstimmen irgendein Hypothese."

Es schien wahrscheinlich, dass viele Forscher, die mit Methoden arbeiteten, an die sie allen Grund zu glauben glaubten, Ergebnisse gemeldet hatten, die einfach nicht stimmten. Um dies zu beweisen, verwendeten sie vorhandene Methoden in der Psychologie, um unter anderem zu zeigen, dass das Hören des Beatles-Songs "When I'm Sixty-Four" die Menschen eineinhalb Jahre jünger macht. Wenn die Psychologie richtig funktioniert, müssten die Forscher den Vorschlag akzeptieren, dass die Texte von Paul McCartney die Fähigkeit haben, Ihr Geburtsdatum buchstäblich zu verschieben.

"Eine wichtige Sache"

Psychologie ist keine Wissenschaft von sicheren Dingen. Menschen sind komisch und unordentlich und tun Dinge aus allen möglichen Gründen. Wenn also Psychologen ein Experiment durchführen, besteht immer die Gefahr, dass ein Effekt, den sie sehen, ob ESP oder etwa die Tendenz, beim Riechen von Hamburgern hungrig zu werden, nicht echt ist und nur zufällig entsteht. [25 seltsame Dinge, die Menschen jeden Tag tun und warum]

Die Statistik bietet jedoch ein Instrument zur Messung dieses Risikos: den P-Wert.

"P-Wert, um es einfach auszudrücken: Wenn alles nur Rauschen wäre, wenn alle Daten zufällig wären, wie groß wäre die Wahrscheinlichkeit, dass ich ein Muster wie das beobachtete beobachtet hätte?" Vazire erzählte WordsSideKick.com. "Was ist die Chance, dass ich einen Unterschied so groß oder größer gesehen hätte, wenn es sich nur um zufällige Daten handelte?"

Wenn eine Studie einen P-Wert von 0,01 aufweist, bedeutet dies, dass ohne wirklichen Effekt immer noch eine Chance von 1 Prozent besteht, ein Ergebnis zu erzielen, das größer oder größer ist - ein falsch positives Ergebnis. Ein Wert von 0,20 bedeutet, dass selbst ohne wirklichen Effekt noch eine 20-prozentige Chance auf ein mindestens so großes Ergebnis besteht.

"Als Feld haben wir entschieden, dass ein p-Wert von weniger als 5 Prozent als statistisch signifikant angesehen wird", sagte Vazire. [Was ist eine Theorie?]

Wenn der P-Wert darauf schließen lässt, dass ein Ergebnis nur eine 5-prozentige Chance hätte, ohne einen wirklichen Effekt zu erscheinen, ist es signifikant genug, um es ernst zu nehmen. Das war die Regel in der Psychologie. Und es schien zu funktionieren - bis es nicht funktionierte.

Entscheidungen

Wie war es also bei diesem Test "inakzeptabel einfach", falsche Schlüsse zu ziehen?

Das Problem, so Simmons, Nelson und Simonsohn, bestand darin, dass die Forscher zu viele "Freiheitsgrade" bei der Durchführung ihrer Studien hatten. Während die Psychologen Experimente durchführen, schrieb das Team, treffen sie Entscheidungen nach Entscheidungen, die ihre Ergebnisse so beeinflussen können, dass P-Werte alleine nicht erkannt werden können.

Der P-Wert-Test, sagte Vazire, "funktioniert, solange Sie nur einen P-Wert pro Studie berechnen."

Aber so haben Wissenschaftler nicht immer gearbeitet.

"Wenn ich einen Datensatz mit einem Dutzend oder mehr Variablen bekomme" - etwa Alter, Geschlecht, Bildungsstand oder verschiedene Arten der Ergebnismessung - "kann ich damit herumspielen", sagte Vazire. "Ich kann verschiedene Dinge ausprobieren und verschiedene Untergruppen betrachten."

Vielleicht hat nicht jeder in einer Studiengruppe Hunger bekommen, wenn er Hamburger riecht (wie im Fall der vorgestellten Studie von früher). Aber viele Männer zwischen 30 und 55 Jahren tun dies. Wissenschaftler könnten eine scheinbar statistisch signifikante Behauptung, dass Männer in diesem Alter hungrig werden, wenn sie Hamburger riechen, genau berichten können, und sie erwähnen einfach nicht, dass der Effekt bei keinem anderen untersuchten Menschen auftrat.

"Wenn wir es viele Male versuchen dürfen, werden wir letztendlich ein Ergebnis bekommen, das extrem aussieht, aber es ist tatsächlich ein Zufall", sagte Vazire.

Und diese Art von erlesenem Ergebnis zu präsentieren, wurde einfach nicht als Betrug angesehen.

"Früher war es üblich, sich die während einer Studie gesammelten Daten anzusehen und dann Entscheidungen zu treffen", sagte Srivastava. "Wie ist die Variable der Schlüsseltest Ihrer Hypothese oder die Entscheidung, wie viele Probanden gesammelt werden sollen."

Eine Möglichkeit, aus zufälligem Rauschen ein positives Ergebnis zu erzielen, sagte Srivastava, besteht darin, Probanden in kleinen Chargen zu einer Studie hinzuzufügen. Sammeln Sie einige Ergebnisse und sehen Sie, ob die Daten die Antworten liefern, nach denen Sie suchen. Wenn nicht, fügen Sie noch etwas hinzu. Spülen Sie und wiederholen Sie den Vorgang, bis ein statistisch signifikanter Effekt auftritt, und erwähnen Sie niemals in der Abschlussarbeit, wie viele Nudges und Kontrollen erforderlich waren, um dieses Ergebnis zu erzielen.

In diesen Fällen haben die meisten Psychologen wahrscheinlich nicht versucht, falsch positive Ergebnisse zu finden. Aber es sind Menschen, die positive Ergebnisse wollten, und zu oft haben sie Entscheidungen getroffen, die sie dazu gebracht haben.

Was war geplant und was nicht?

Sobald klar wurde, dass die normalen Methoden der Psychologie nicht funktionieren, stellte sich die Frage, was man dagegen tun sollte.

"Ich habe am Anfang viel über die Stichprobengröße gesprochen und darüber, wie wir größere Stichproben benötigen", sagte Vazire.

Es ist sehr viel schwieriger, die Ergebnisse in einem Experiment, das an 2.000 Personen durchgeführt wurde, absichtlich oder unabsichtlich zu täuschen, als beispielsweise in einer Studie mit 20 Personen. [Was ist ein wissenschaftliches Gesetz?]

"Dies war gewissermaßen der erste große Schub in der Psychologie unter den Menschen, die auf eine Reform drängten, aber letztendlich verlagerte sie sich mehr auf Transparenz", sagte sie.

Und da begann der eigentliche Pushback.

"Ich würde sagen, es gibt einen ziemlich guten Konsens in der Psychologie, dass wir unsere Daten wann immer möglich öffentlich zugänglich machen sollten und dass wir unsere Materialien, Verfahren und Code - [notwendig] - zur Replizierung unserer Studien - öffentlich verfügbar machen sollten."

Zunehmend drängten sich reformistische Psychologen - darunter auch Srivastava und Vazire - für eine andere Lösung, die aus klinischen Versuchen in der pharmazeutischen Industrie entliehen wurde: der Vorregistrierung.

"Vorregistrierung sehe ich als einen anderen Zweig der Transparenz an, damit andere überprüfen können, was geplant war und was nicht", sagte Vazire.

Es ist ein Zwangsmechanismus, der die Freiheitsgrade einschränkt, um die sich Simmons, Nelson und Simonsohn Sorgen machen.

"Vorregistrierung bedeutet, dass Sie, bevor Sie Daten für eine Studie sammeln, einen Plan aufschreiben, was Sie tun werden", sagte Srivastava. "Sie identifizieren alle Dinge, über die Sie Entscheidungen treffen müssen, und treffen diese Entscheidungen im Voraus." [10 Dinge, die Sie nicht über Sie wussten]

Zu diesen Entscheidungen gehören unter anderem, welche Variablen Psychologen analysieren, wie viele Themen sie einschließen, wie sie schlechte Themen ausschließen. All dies wird im Voraus niedergeschrieben und irgendwo mit einem Zeitstempel veröffentlicht, sodass andere Forscher zurückgehen und nachprüfen können es.

Die Idee ist, dass sich Forscher ohne zu viele Freiheitsgrade nicht zu falsch positiven Ergebnissen bewegen.

"Wissenschaft in Ketten"

Aber nicht jeder liebt die Idee.

"Es gibt definitiv einen Generationsunterschied", sagte Srivastava. "Wenn ich mit jüngeren Studenten und jungen Leuten in der frühen Karriere spreche, scheint es für sie oft nur sinnvoll zu sein."

Dies ist eine weithin sichtbare, aktivistische Gruppe - die Vorregistrierung ist ein heißes Thema in der Online-Psychologie-Community - und auch aufgrund dieses Aktivismus hat die Praxis bedeutende Fortschritte gemacht. (Die prominente Zeitschrift Psychological Science befürwortet jetzt beispielsweise die Vorregistrierung.) Die Befürworter der Vorregistrierung sind jedoch kein klares Machtzentrum in der Psychologie, und ihre Bemühungen sind auf erhebliche Widerstände gestoßen.

Dieser Pushback ist oft inoffiziell. Die Kontroverse scheint auf Twitter und um die Wasserkühlgeräte der Psych-Abteilung viel hitziger zu sein als auf den Journalseiten. Nicht zu viele Forscher haben öffentlich Positionen gegen Vorregistrierung festgelegt.

Aber die Vorregistrierung ist nicht ohne prominente Gegner. Sophie Scott, Neurowissenschaftlerin am University College London und Expertin für psychische Prozesse des Sprechens, schrieb 2013 eine Kolumne für Times Higher Education mit dem Titel "Vorregistrierung würde Wissenschaft in Ketten setzen" und argumentiert, dass der Praxis "widerstanden werden muss".

"Die Begrenzung spekulativerer Aspekte der Dateninterpretation birgt die Gefahr, dass Papiere eindimensionaler werden", schrieb sie und fügte hinzu: "Die Notwendigkeit, Studien und deren Interpretation vor der Datenerfassung zu verfeinern, würde uns daran hindern, aus unseren Fehlern auf dem Weg zu lernen."

Scott argumentierte auch, dass die Vorabregistrierung einer engen Art wissenschaftlicher Arbeit zu viel Anerkennung einräumt: Hypothesenprüfung. Nicht alle Wissenschaftler arbeiten daran, im Voraus herauszufinden, welche Fragen sie beantworten wollen, schrieb sie. Die Vorabregistrierung würde die Erkundungsforschung töten.

Vazire räumte ein, dass die Befürchtung besteht, dass eine Vorregistrierung die Fähigkeit der Forscher einschränken könnte, unerwartete Auswirkungen zu erkennen.

Sie sagte: "Viele von uns, die sich für eine Vorregistrierung einsetzen, sagen, dass dies nicht stimmt. Sie können alles. Alles, was Sie wollen. Sie müssen nur ehrlich sein, dass Sie sich erkundigen, und dies war nicht geplant."

Explorative Forschung könne immer noch "super aufregend und publikationswürdig" sein, aber die Forscher sollten sich nicht sicher auf ihre Ergebnisse verlassen. "Der Teil dieser Kritik ist wahr und ich denke, wir müssen wirklich sehr klar sein Ich bin mit diesem Ergebnis weniger zuversichtlich ", sagte Vazire.

"Fast alles, was ich tue, ist Erkundung", sagte sie. "Ich bin gerade sehr offen darüber, dass dies eine Hypothese ist, die noch geprüft werden muss und daraus noch keine Schlussfolgerungen gezogen werden sollten."

"Wissenschaftler sind Menschen"

Befürworter der Vorregistrierung erkennen schnell an, dass dies kein Allheilmittel für die Krankheiten der psychologischen Wissenschaft ist.

Im Jahr 2011, im selben Jahr, als ESP und falsch-positive Artikel veröffentlicht wurden, wurde der niederländische Psychologe Diederik Stapel, der mit seiner Arbeit den Bereich der Sozialpsychologie geprägt hatte, von der Universität Tilburg suspendiert, um Daten in "Dutzenden von Studien" herzustellen, so New Scientist. Es war ein weiterer schwerer Schlag, aber von einer anderen Art als der für Bem, der wirklich zu glauben schien, dass seine Ergebnisse ESP zeigten.

"Die Vorabregistrierung ist keine gute Kontrolle gegen Betrug", sagte Srivastava. "Es ist eine gute Kontrolle gegen gut gemeinte Fehler und eine Kontrolle gegen gewöhnliche menschliche Neigungen und Gewohnheiten."

Und wie Vazire feststellte, ist es möglich, eine Studie unvollständig oder falsch vorzuregistrieren, sodass die Forschung immer noch zu viele Freiheitsgrade hat. Es gibt bereits Beispiele "vorregistrierter" Studien, die Reformisten wegen lascher und unvollständiger Registrierungsbemühungen kritisiert haben.

Das heißt, anstatt nur zu sagen "Diese Studie wurde vorregistriert [link]", heißt es im Hauptartikel, dass * vor allem was * vorregistriert wurde (Ausschlussregeln, Scoring, Transformationen usw.) und dass der Ergebnisabschnitt strukturell zwischen Vorregistrierung und Nichtregistrierung unterscheiden muss. Voruntersuchungen

- Sanjay Srivastava (@hardsci) 27. Februar 2018

Vorerst, sagte Srivastava, soll das Projekt für Reformer das Argument für die Vorregistrierung als Ausweg aus der psychologischen Krise weiterführen und ihre Kollegen davon überzeugen, mitzugehen.

"Ein Universum ist, dass Wissenschaftler Menschen sind", sagte Srivastava, "und die Menschen haben Vorurteile, und wir haben Anreize und all diese anderen Dinge, gegen die wir nachprüfen müssen."

Ursprünglich auf WordsSideKick.com veröffentlicht.


Videoergänzungsan: 2015 Personality Lecture 12: Existentialism: Dostoevsky, Nietzsche, Kierkegaard.




Forschung


Was Ist Die Kulturelle Bedeutung Von Kirschblüten?
Was Ist Die Kulturelle Bedeutung Von Kirschblüten?

Was Wäre, Wenn Doping Legal Wäre?
Was Wäre, Wenn Doping Legal Wäre?

Wissenschaft Nachrichten


Wurde Der Chilenische Dichter Pablo Neruda Ermordet?
Wurde Der Chilenische Dichter Pablo Neruda Ermordet?

5 Faszinierende Anwendungen Für Künstliche Intelligenz (Das Sind Keine Killerroboter)
5 Faszinierende Anwendungen Für Künstliche Intelligenz (Das Sind Keine Killerroboter)

Schrödinger-Bakterien? Physik-Experiment Führt Zur Ersten Verschränkung Lebender Organismen
Schrödinger-Bakterien? Physik-Experiment Führt Zur Ersten Verschränkung Lebender Organismen

Das Gehirn Von Alkohol: Warum Einige Trinker Blackout
Das Gehirn Von Alkohol: Warum Einige Trinker Blackout

Milchprodukte Könnten Mehr Menschliche Zwillinge Verursachen
Milchprodukte Könnten Mehr Menschliche Zwillinge Verursachen


DE.WordsSideKick.com
Alle Rechte Vorbehalten!
Die Wiedergabe Von Irgendwelchen Materialien Erlaubt Nur Prostanovkoy Aktiven Link Zu Der Website DE.WordsSideKick.com

© 2005–2019 DE.WordsSideKick.com