Die abweichenden Analysen und Interpretationen von statistischen Daten hatten zur Corona-Krise bereits eindrücklich aufgezeigt, wie “flexibel” Statistik sein kann. Sogar seriös durchgeführte wissenschaftliche Studien können trotz gleichen Ausgangsdaten zu unterschiedlichen Ergebnissen kommen.
Genau diese Unschärfe, die auch bei wissenschaftlich seriös durchgeführten Studien und evidenzbasierten Ergebnissen auftreten kann, untersuchten rund 200 internationale Forscher*innen. In einem Experiment analysierten sie unabhängig voneinander ein- und denselben Datensatz über Gehirnaktivität während einer Magnetresonanztomographie. Ziel war es abzuschätzen, wie variabel die Ergebnisse trotz gleicher Datengrundlage sein können. Fazit: Es gab je nach Analyse-Methode eine beträchtliche Varianz bei den Resultaten. Neben dieser Feststellung zeigt die Studie aber auch Wege zur Verbesserung der Konsistenz und Replizierbarkeit bei der Bildgebungs-Forschung auf. Aktuell im Fachjournal Nature publiziert.
Gleiche Daten für jedes Team
In der Studie zur Analyse, Replikation und Vorhersage von Neuroimaging Daten (NARPS; https://www.narps.info/) sammelten zunächst Forscher*innen einen Hirnbild-Datensatz von 108 Teilnehmer*innen, mit dem die Gehirnaktivität während einer Entscheidungsaufgabe mittels funktioneller Magnetresonanztomographie registriert wurde. Dieser Datensatz wurde an 70 Analyseteams aus der ganzen Welt verteilt. Aus Österreich waren die Universität Wien mit den Neuropsychologen Claus Lamm, Lei Zhang und Annabel Loosecat Vermeer, sowie die Mit-Initiatoren des Projektes um die Behavioral Finance-Gruppe von Michael Kirchler von der Universität Innsbruck, beteiligt.
Jedes Team analysierte unabhängig voneinander die gleichen Daten. Zur Prüfung von neun vordefinierten Hypothesen setzten sie ihre jeweiligen Standard-Methoden ein. Bei jeder dieser neun Hypothesen wurde gefragt, ob sich die Aktivität in einem bestimmten Teil des Gehirns in Bezug auf einen bestimmten Aspekt der Entscheidungen verändern würde.
Anstoß für Projekt aus Ökonomie
Eine Gruppe international führender Ökonom*innen und Behavioral-Finance-Expert*innen lieferte den ersten Anstoß für das Projekt und leitete den Prognosemarkt-Teil. Prognosemärkte sind ein innovatives Instrument, mit dem überprüft werden soll, ob Expert*innen in der Lage sind, die Ergebnisse eines Forschungsprojektes vorherzusagen – in diesem Fall: ‘welche der neun getesteten wissenschaftlichen Hypothesen werden bestätigt?’
Verschiedene Analyse-Ansätze – unterschiedliche Antworten
Die Wissenschafter*innen hatten bis zu drei Monate Zeit, um die Daten zu untersuchen. Danach lieferten sie ihre Endergebnisse für die neun Hypothesen plus einer detaillierten Informationen über die Art und Weise, wie sie die Daten analysiert hatten. Wichtigste Erkenntnis des NARPS-Projektes: Wenn derselbe komplexe Bildgebungs-Datensatz mit verschiedenen Analyse-Ansätzen analysiert wurde führte es zu einer beträchtlichen Varianz in Bezug auf die Beantwortung der Hypothesen ob diese zutreffen oder nicht. Bei fünf der Hypothesen gab es erhebliche Unterschiede in der Beantwortung.
Dieser Unterschied lässt sich durch die unterschiedlichen methodischen Ansätze erklären, die für die Beantwortung der Hypothesen angewandt wurden. Bei einer binären Entscheidung mit “Ja” oder “Nein” geht viel Information verloren, während bei der Meta-Analyse durch die Aggregierung von Daten mehr Informationen vorliegen. Daher kommt der Transparenz darüber, wie es zu den Ergebnissen gekommen ist und welche Annahmen der Analyse zugrunde liegen, hohe Bedeutung zu. Je komplexer eine zu untersuchende Thematik ist, umso mehr unbekannte Variablen wirken auf eine Fragestellung, umso divergierender werden die Analysen und Ergebnisse sein. Wenngleich die einzelnen Analysen, mit denen die Wissenschaft zu jeweils unterschiedlichen Ergebnissen kommt, in sich schlüssig und konsistent sind.
“Projekte wie diese leisten einen zentralen Beitrag, um den Prozess des wissenschaftlichen Erkenntnisgewinns und die damit verbundenen Unsicherheiten besser zu verstehen – und zwar weit über die Disziplinengrenzen hinweg. Dabei spielt die sich selbst korrigierende und auf Erkenntnisgewinn aufbauende wissenschaftliche Methode, aber auch der fundierte und selbstkritische wissenschaftliche Diskurs eine zentrale Rolle”, schließt Claus Lamm.
Publikation in Nature:
Variability in the analysis of a single neuroimaging dataset by many teams, Tom Schonberg et.al.
DOI: 10.1038/s41586-020-2314-9
https://www.narps.info/
Wissenschaftlicher Kontakt
Univ.-Prof. Mag. Dr. Claus Lamm
Institut für Psychologie der Kognition, Emotion und Methoden
Universität Wien
+43-1-4277-471 30
This email address is being protected from spambots. You need JavaScript enabled to view it.
(GZ)
Quelle: Universität Wien
Foto: (c) Universität Wien
Der Beitrag Kann seriöse Wissenschaft zu unterschiedlichen Ergebnissen führen? erschien zuerst auf Jobbörse und Netzwerk für Naturwissenschafter /-innen.
