In der Wissenschaft führen gleiche Daten oft zu unterschiedlichen Schlüssen, sodass Botvinik-Nezer et al. (2019) ein Experiment mit Daten aus der Gehirnforschung durchgeführt haben, um festzustellen, woran das liegen könnte. Man bat 70 unabhängige Teams Ergebnisse desselben Datensatz aus einer funktionellen Magnetresonanztomographie zu analysieren und neun Ex-ante-Hypothesen zu testen. Es handelte sich um Daten aus einem in Israel durchgeführten Experiment, um die Aktivität bei kognitiven Prozessen festzustellen.
Es zeigte sich, dass keine zwei Teams die gleiche Arbeitsweise bei der Datenanalyse wählten, was dazu führte, dass teils deutliche Unterschiede in der Beantwortung auftraten und für fünf der Hypothesen gab es stark unterschiedliche Schlüsse. In einer Metaanalyse über die Arbeiten aller Gruppen wurde deutlich, dass die Teams bei der grundsätzlichen Aufarbeitung der bereitgestellten Daten recht nahe beisammen lagen, doch führten die ähnlichen Zwischenergebnisse zu zum Teil sehr unterschiedlichen Resultaten.
In einem ebenfalls durchgeführten Prognosemarkt konnten die Teams auch ihre Einschätzungen zu den erwarteten Ergebnissen der neun Hypothesen abgeben, indem sie Geld auf unterschiedliche mögliche Resultate setzen konnten. Dabei zeigte sich, dass die Marktteilnehmer überoptimistisch hinsichtlich der Wahrscheinlichkeit von signifikanten Ergebnissen waren, selbst dann, wenn sie die Daten zuvor selbst analysiert hatten. Diese Ergebnisse zeigen auch, dass die analytische Flexibilität erhebliche Auswirkungen auf wissenschaftliche Schlussfolgerungen haben kann. Das bestätigt die Bedeutung der Validierung und gemeinsamen Nutzung komplexer Analyse-Workflows und zeigen die Notwendigkeit, mehrere Analysen derselben Daten durchzuführen.
Literatur
Botvinik-Nezer, Rotem, Holzmeister, Felix, Camerer, Colin F., Dreber, Anna, Huber, Juergen, Johannesson, Magnus, Kirchler, Michael, Iwanir, Roni, Mumford, Jeanette A., Adcock, R. Alison, Avesani, Paolo, Baczkowski, Blazej M., Bajracharya, Aahana, Bakst, Leah, Ball, Sheryl, Barilari, Marco, Bault, Nadège, Beaton, Derek, Beitner, Julia, Benoit, Roland G., Berkers, Ruud M. W. J., Bhanji, Jamil P., Biswal, Bharat B., Bobadilla-Suarez, Sebastian, Bortolini, Tiago, Bottenhorn, Katherine L., Bowring, Alexander, Braem, Senne, Brooks, Hayley R., Brudner, Emily G., Calderon, Cristian B., Camilleri, Julia A., Castrellon, Jaime J., Cecchetti, Luca, Cieslik, Edna C., Cole, Zachary J., Collignon, Olivier, Cox, Robert W., Cunningham, William A., Czoschke, Stefan, Dadi, Kamalaker, Davis, Charles P., Luca, Alberto De, Delgado, Mauricio R., Demetriou, Lysia, Dennison, Jeffrey B., Di, Xin, Dickie, Erin W., Dobryakova, Ekaterina, Donnat, Claire L., Dukart, Juergen, Duncan, Niall W., Durnez, Joke, Eed, Amr, Eickhoff, Simon B., Erhart, Andrew, Fontanesi, Laura, Fricke, G. Matthew, Fu, Shiguang, Galván, Adriana, Gau, Remi, Genon, Sarah, Glatard, Tristan, Glerean, Enrico, Goeman, Jelle J., Golowin, Sergej A. E., González-García, Carlos, Gorgolewski, Krzysztof J., Grady, Cheryl L., Green, Mikella A., Guassi Moreira, João F., Guest, Olivia, Hakimi, Shabnam, Hamilton, J. Paul, Hancock, Roeland, Handjaras, Giacomo, Harry, Bronson B., Hawco, Colin, Herholz, Peer, Herman, Gabrielle, Heunis, Stephan, Hoffstaedter, Felix, Hogeveen, Jeremy, Holmes, Susan, Hu, Chuan-Peng, Huettel, Scott A., Hughes, Matthew E., Iacovella, Vittorio, Iordan, Alexandru D., Isager, Peder M., Isik, Ayse I., Jahn, Andrew, Johnson, Matthew R., Johnstone, Tom, Joseph, Michael J. E., Juliano, Anthony C., Kable, Joseph W., Kassinopoulos, Michalis, Koba, Cemal, Kong, Xiang-Zhen, Koscik, Timothy R., Kucukboyaci, Nuri Erkut, Kuhl, Brice A., Kupek, Sebastian, Laird, Angela R., Lamm, Claus, Langner, Robert, Lauharatanahirun, Nina, Lee, Hongmi, Lee, Sangil, Leemans, Alexander, Leo, Andrea, Lesage, Elise, Li, Flora, Li, Monica Y. C., Lim, Phui Cheng, Lintz, Evan N., Liphardt, Schuyler W., Losecaat Vermeer, Annabel B., Love, Bradley C., Mack, Michael L., Malpica, Norberto, Marins, Theo, Maumet, Camille, McDonald, Kelsey, McGuire, Joseph T., Melero, Helena, Méndez Leal, Adriana S., Meyer, Benjamin, Meyer, Kristin N., Mihai, Glad, Mitsis, Georgios D., Moll, Jorge, Nielson, Dylan M., Nilsonne, Gustav, Notter, Michael P., Olivetti, Emanuele, Onicas, Adrian I., Papale, Paolo, Patil, Kaustubh R., Peelle, Jonathan E., Pérez, Alexandre, Pischedda, Doris, Poline, Jean-Baptiste, Prystauka, Yanina, Ray, Shruti, Reuter-Lorenz, Patricia A., Reynolds, Richard C., Ricciardi, Emiliano, Rieck, Jenny R., Rodriguez-Thompson, Anais M., Romyn, Anthony, Salo, Taylor, Samanez-Larkin, Gregory R., Sanz-Morales, Emilio, Schlichting, Margaret L., Schultz, Douglas H., Shen, Qiang, Sheridan, Margaret A., Silvers, Jennifer A., Skagerlund, Kenny, Smith, Alec, Smith, David V., Sokol-Hessner, Peter, Steinkamp, Simon R., Tashjian, Sarah M., Thirion, Bertrand, Thorp, John N., Tinghög, Gustav, Tisdall, Loreen, Tompson, Steven H., Toro-Serey, Claudio, Torre Tresols, Juan Jesus, Tozzi, Leonardo, Truong, Vuong, Turella, Luca, van ‘t Veer, Anna E., Verguts, Tom, Vettel, Jean M., Vijayarajah, Sagana, Vo, Khoi, Wall, Matthew B., Weeda, Wouter D., Weis, Susanne, White, David J., Wisniewski, David, Xifra-Porxas, Alba, Yearling, Emily A., Yoon, Sangsuk, Yuan, Rui, Yuen, Kenneth S. L., Zhang, Lei, Zhang, Xu, Zosky, Joshua E., Nichols, Thomas E., Poldrack, Russell A. & Schonberg, Tom (2019). Variability in the analysis of a single neuroimaging dataset by many teams. Nature, doi:10.1038/s41586-020-2314-9.
