Das Prinzip Open Science kann als ein Bestandteil von guter wissenschaftlicher Praxis angesehen werden und ist am Institut für Psychologie in Forschung und Lehre repräsentiert. Es bezeichnet einen offenen und transparenten Umgang mit allen Phasen empirischer Forschung. Dazu zählt beispielsweise das Verfügbarmachen von wissenschaftlichen Erkenntnissen, etwa im Sinne von frei zugänglichen Publikationen (sog. Open Access), das der Forderung entspricht, die durch öffentliche Gelder (z. B. Drittmittel) geförderte Forschung für die Öffentlichkeit sichtbar zu machen. Der Open Science-Ansatz geht allerdings über diesen Schritt der Ergebnisverwertung hinaus und verbindet den Gedanken der Offenheit und Transparenz mit der Gesamtheit des explorativen, hypothesengenerierenden sowie des konfirmatorischen, d. h. hypothesentestenden, Forschungsprozesses. Ziel ist die Verbes-serung der Reproduzierbarkeit, Nachvollziehbarkeit und Verfügbarkeit wissenschaftlicher Erkenntnisse und langfristig somit die Sicherstellung der Glaubwürdigkeit und Verlässlichkeit wissenschaftlicher Ergeb­nisse.

Open Science beginnt somit bereits bei der Entwicklung von wissenschaftlichen Fragestellungen: Theoretischer Hintergrund, aktuelle Fragestellung sowie ggf. generierte Hypothesen sollen zu Beginn einer Studie transparent dokumentiert werden (sog. Präregistrierung), sodass die späteren Ergebnisse auf dieser Grundlage mit der ursprünglichen Planung verglichen und ent-sprechend eingeordnet werden können. Dabei können sowohl offene, explorative Forschungsfragen als auch konfirmatorische Hypothesen gleichermaßen präregistriert werden. Wenngleich Open Science somit alle Bereiche empirischer Forschung umfasst, gilt es, ein besonderes Augenmerk auf den konfirmatorischen Forschungsprozess zu legen (siehe Abbildung 1), da es hier besonders viele Ansatzpunkte gibt, um die aktuelle Wissenschaftspraxis in dieser Hinsicht zu optimieren.

Der konfirmatorische Prozess ist durch ein hypothesengeleitetes Vorgehen gekennzeichnet, bei dem die Planung, Durchführung, Interpretation und Berichtlegung der Analyse sich streng an den zu Beginn formulierten Hypothesen ausrichten. In den letzten Jahrzehnten haben Metastudien, die die Befunde von Primärstudien zusammenfassen, allerdings vielfach aufgezeigt, dass dies nicht immer der Fall ist (Open Science Collaboration, 2015). So werden zur Prüfung von Hypothesen z. T. sehr unterschied-liche Analysestrategien und Materialien genutzt, Ergebnisse unterschiedlich interpretiert und aufbe­reitet und Hypothesen a posteriori formuliert. Daneben werden auch sogenannte fragwürdige wissen­schaftliche Praktiken identifiziert, wie etwa das p-Hacking, die aufgrund des wahrgenommenen Publikationsdrucks und einer Bevorzugung signifikanter gegenüber nicht signifikanter Ergebnisse in der empirischen, konfirmatorischen Forschung keine Seltenheit sind (Fiedler & Schwarz, 2016; John, Loewenstein, & Prelec, 2012). Unter p-Hacking werden Strategien verstanden, die eingesetzt werden, um ein nicht signifikantes Ergebnis doch noch signifikant zu machen (z. B. eine Veränderung der Stichprobe durch Ausschluss oder weitere Rekrutierung, bis das Ergebnis signifikant wird).

Auch Studierende sehen sich häufig mit solchen Praktiken konfrontiert, so weist eine Umfrage unter Psychologiestudierenden (Kvetnaya et al., 2019) darauf hin, dass im Laufe des Studiums bis zu zwei Drittel der Studierenden (im ersten Studienjahr) fragwürdige wissenschaftliche Praktiken nutzen. Die Häufung solcher Praktiken wird als einer der Gründe für die Replikationskrise diskutiert, die darin besteht, dass z. B. in der Psychologie viele klassische Experimente und lange als gesichert geltende Erkennt-nisse nicht reproduziert bzw. repliziert werden konnten (Fiedler & Schwarz, 2016; Open Science Collaboration, 2015).

Open Science beschreibt daher Maßnahmen, um Forschungsprozesse transparenter zu gestalten und beinhaltet auch eine klare Forderung nach mehr Replikationsstudien und einem höheren Ansehen für Replikationsforschung in der Forschungsgemeinschaft. Diese Maßnahmen lassen sich den Schritten des konfirmatorischen Forschungsprozesses zuordnen (siehe Abbildung 2).

Für die hypothesengeleitete Entwicklung des Analyseplans wird eine Poweranalyse zur Schätzung der benötigten Stichproben-größe empfohlen, zudem sollten Hypothesen und Auswertungsstrategien in einem Protokoll dokumentiert und präregistriert werden, sodass die später umgesetzten und berichteten Datenerhebungen und -analysen damit abgeglichen werden können. Wie oben dargestellt, gilt dies ebenfalls für explorative, ergebnisoffene Fragestellungen; solange konfirmatorische und explorative Frage-stellungen klar voneinander abgegrenzt werden, lassen sich beide problemlos prä-registrieren. Im Rahmen von Registered Reports (derzeit von über 250 Journals umgesetzt) können solche Pläne bereits einem Peer-Review-Verfahren unterzogen werden, sodass – im Fall einer Annahme durch das Journal – der spätere Ergebnisbericht unabhängig von der Signifikanz der Befunde zur Publikation angenommen ist. Auf diese Weise soll der Anreiz für fragwürdige Praktiken, wie p-Hacking, reduziert werden. Die Phase der Datenerhebung kann durch ein Open Lab Notebook begleitet werden, bei dem der Prozess formativ evaluiert wird, indem etwa Schwierigkeiten bei der Rekrutierung von Personen oder der Durchführung der Erhebung festgehalten werden. Durch die Bereitstellung dieser Informationen können andere Personen von den Erfahrungen profitieren und z. B. Hinweise für die eigene Studiengestaltung ableiten. Um eine Reproduktion der Ergebnisse zu ermöglichen und eine Replikation der Studie zu erleichtern, sollten Auswertungsroutinen (häufig als Syntax oder Code bezeichnet) sowie Datensätze und Studienmaterialien – soweit im Einklang mit geltendem Daten­schutz­recht möglich – geteilt und frei verfügbar gemacht werden. Damit die Forschungsergebnisse schließlich schnell Eingang in die weitere Forschung sowie die Öffentlichkeit finden, sollten Open Access-Publikationen angestrebt werden, die wissenschaftliche Artikel frei verfügbar machen. Als letzte Maßnahme wird die Förderung und Zunahme von Replikationsstudien angestrebt, um Ergeb­nisse replizieren und Erkenntnisse somit sichern zu können.

Referenzen

Fiedler, K., & Schwarz, N. (2016). Questionable research practices revisited. Social Psychological and Personality Science, 7(1), 45-52.

John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524-532.

Kvetnaya, T., Frank, M., Brachem, J, Hill, M., Schramm, L. F. F., & Eiberger, A. (2019). Questionable research practices and Open Science in undergraduate empirical projects: results from a nationwide survey amongst German psychology students. Research Symposium – Open Practices in Education (OPINE). 14-15 Nov 2019, Frankfurt a. M., Germany.

Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.