19.11.2018
Ein Team von 186 Forschern weltweit hat überprüft, inwieweit psychologische Studien replizierbar sind. Die Hälfte der Ergebnisse ließ sich nicht wiederholen. Die Studie ermöglicht ein besseres Verständnis für die Bedingungen vertrauenswürdiger Forschung.
Ein internationales Forscherteam aus dem Fachbereich Psychologie hat im Journal Advances in Methods and Practices in Psychological Science eine Studie mit mehr als 15.000 Versuchsteilnehmern veröffentlicht, in deren Rahmen 28 psychologische Studien wiederholt wurden. Nur bei 14 ließen sich die Ergebnisse reproduzieren. 60 Forschergruppen weltweit waren an dieser Replikationsstudie beteiligt, darunter auch ein Team um Dr. Felix Schönbrodt von der Fakultät für Psychologie und Pädagogik der LMU.
Untersucht wurde sowohl die Zuverlässigkeit von klassischen als auch neueren Studien der Psychologie. Ausgewählt wurden die Studien nach einem zuvor festgelegten Kriterienkatalog. Dabei ging es unter anderem um ihren Einfluss in der Wissenschaft, also darum, wie häufig sie zitiert werden. Auch wurden nur Studien genommen, die sich online durchführen lassen, da sie über dieselbe Internetplattform, auf die die beteiligten Forschergruppen Zugriff hatten, wiederholt wurden. Koordiniert wurde die Studie vom Center for Open Science, einem internationalen Zusammenschluss von Wissenschaftlerinnen und Wissenschaftlern sowie Institutionen aus der Forschung und Verlagen mit Sitz in den USA, der sich für gute wissenschaftliche Praxis einsetzt.
Die Studie war anders konzipiert als bisherige Replikationsstudien. So wurde jede der untersuchten 28 Studien von allen 60 Forschergruppen wiederholt. Das Ergebnis, wonach nur die Hälfte der wiederholten Studien replizierbar war, bestätigt jedoch bisherige Replikationsprojekte. „Man muss allerdings dazu sagen, dass die 28 Studien nicht durch eine Zufallsstichprobe ausgewählt wurden. Das Ergebnis lässt sich also nicht unbedingt auf sämtliche Studien in der Psychologie übertragen“, schränkt Felix Schönbrodt ein.
Die Repräsentationsstudie lässt auch Aussagen darüber zu, welche Rolle die Stichprobe für die Reproduzierbarkeit spielt. So ließ sich die verbreitete Annahme nicht bestätigen, dass Ergebnisse etwa aufgrund kultureller Unterschiede der Teilnehmergruppen nicht reproduzierbar sind. Studien, deren Effekte wiederholbar waren, ließen sich mit nur wenigen Schwankungen auch in allen beteiligten Gruppen wiederholen. An der Replikationsstudie waren 186 Forscher aus 36 Ländern beteiligt. „Wenn in einer Studie ein deutlicher Effekt messbar war, war dies im Grunde überall der Fall“, sagt Schönbrodt.
„Als Reaktion auf die unerwartet niedrigen Replikationsquoten in derartigen Studien haben sich in vielen wissenschaftlichen Disziplinen inzwischen selbstkritische aber auch sehr konstruktive Reformbewegungen gebildet“, sagt Schönbrodt, der Geschäftsführer des 2017 an der LMU gegründeten Open Science Centers ist. Das interdisziplinäre Zentrum setzt sich für eine offene, transparente und replizierbare Forschung ein.