A
α-Fehler 12, 13, 16, 21, 22, 24, 25, 36, 37, 45, 48, 50, 54, 61, 62, 64
Alternativhypothese, siehe Hypothesentest
American Statistical Association XII, 4, 5
A Posteriori-Verteilung 17, 29, 30, 31, 32, 33
A Priori-Verteilung 30, 32, 33, 34, 37
ASA, siehe American Statistical Association
B
Bad Science V, XI, 3, 4, 111, 124, 127, 128, 129, 130, 131, 132, 133
Bayesianische Inferenz V, 28, 32
Bayesianischer Modellvergleich 32
Bayes-Statistik V, 2
β-Fehler 45
Big Data 130
BMI, siehe Body Mass Index
Body Mass Index 72, 73, 112, 114, 116, 119, 122, 123
C
Cauchy-Verteilung 37
Cohens d 9, 11, 13
cum hoc ergo propter hoc 131
D
Data Science XI
Datenerhebung 15, 16, 19, 22, 45, 114, 116, 118
Disclosure 111, 115
Doppelblindgutachten 129
E
Effektstärke 9, 10, 11, 12, 13, 15, 20, 21, 23, 54, 121
Experimentalgruppe, siehe Testgruppe
F
False Positive 136
Falsifizierbarkeit 92
FCOI, siehe Financial Conflict of Interest
Fehler I. Art, siehe α-Fehler
Fehler II. Art, siehe β-Fehler
File Drawer Effekt 22, 136
Financial Conflict of Interest 114, 115
Funding Effekt 111, 113, 115, 124
Funnel Plot 23
G
Gibbs Sampling 35, 41
Grundgesamtheit 6, 7, 8, 9, 10, 12, 15, 17, 18, 22, 36, 46, 116, 117, 118, 119, 121, 122
H
HARKing V, 5, 15, 16, 25, 44, 57, 58, 59, 60, 61, 62, 63, 64, 81, 82, 92, 124
HDI, siehe Highest Density Interval
HDR, siehe Highest Density Region
Hierarchische Modellierung 33
Highest Density Interval 30, 31, 32, 36, 37, 38, 39
Highest Density Region 30
Hypothesentest V, 5, 23, 27, 28, 47, 48, 67
I
Irrtumswahrscheinlichkeit 39, 61, 62
K
Kausalität 72, 73, 82, 118, 131
kognitive Dissonanz 119, 120
Konfidenzintervall 2, 5, 17, 18, 19, 23, 24, 25, 55, 121, 131, 133
Kontrollgruppe 6, 17, 36, 73, 119, 133
Korrelation 46, 51, 52, 53, 55, 68, 69, 72, 73, 76, 77, 81, 82, 87, 88, 89, 131
Korrelationskoeffizient 47, 67, 68, 78, 79
Kritischer Rationalismus 92
L
Langzeitbefragung 118
Likelihood-Funktion 29, 30, 33
lineare Regression 2, 72, 73, 87
LNCSB, siehe low/no calorie sweetened beverages
low/no calorie sweetened beverages 112, 116, 117, 118, 119, 120, 121, 122, 123, 124
M
Markov Chain Monte Carlo 35, 42
MCMC, siehe Markov Chain Monte Carlo
MDES, siehe minimum detectable effect size
Metaanalyse 5, 20, 21, 22, 23, 24, 25, 55, 113, 114
minimum detectable effect size 122
Mittelwert 7, 9, 15, 17, 18, 22, 32, 34, 38, 39, 98, 108
Monte Carlo-Simulation 36
152N
National Health and Nutrition Examination Study 35, 36
National Health and Nutrition Examination Survey 112, 119
NHANES, siehe National Health and Nutrition Examination Study; siehe National Health and Nutrition Examination Survey
NHST, siehe Nullhypothesen-Signifikanztest
Nulleffekte, siehe Effektstärke
Nullhypothese, siehe Hypothesentest
Nullhypothesen-Signifikanztest 27, 28, 31, 35, 40
O
Online-Access-Panel 116, 117, 122
Overreporting 118
P
Peer Review 115, 127, 129
p-Hacking V, 5, 15, 16, 21, 22, 23, 25, 27, 44, 46, 64, 65, 66, 67, 69, 70, 92
Population, siehe Grundgesamtheit
Positive Predictive Value 12, 13
Power 5, 6, 9, 10, 11, 12, 13, 15, 17, 19, 20, 21, 22, 23, 24, 25, 103, 130
PPV, siehe Positive Predictive Value
Precision 32, 37
Publication Bias 22, 23, 24, 25, 45, 55, 59, 63, 64, 98, 136
p-Wert V, XII, 2, 4, 5, 6, 7, 8, 9, 10, 11, 12, 15, 16, 17, 18, 19, 20, 21, 23, 24, 25, 28, 39, 45, 46, 55, 65, 66, 67, 68, 69, 70, 72, 81, 82, 124, 130, 131, 133
Q
Quotenstichprobe 117
R
Rangkorrelationskoeffizient 68, 75, 78
Region of Practical Equivalence 30, 31, 32, 36, 37
Regressionskoeffizient 72
Replikationskrise XII, 72, 135, 136
Replikationsstudie 5, 17, 19, 20, 21, 22, 24, 25, 64, 90
Research Bias 113, 114
Researcher Degrees of Freedom 16, 22, 24, 45
Robustheit 37
ROPE, siehe Region of Practical Equivalence
Rubin Causal Model 73
Rücklaufquote 130
S
sampling to a foregone conclusion 28, 35, 36
Sensitivitätsanalyse 37
Shrinkage 39
signifikant XII, 6, 8, 9, 12, 13, 15, 16, 18, 19, 22, 23, 27, 36, 38, 45, 47, 48, 50, 51, 52, 53, 55, 59, 61, 62, 64, 67, 69, 70, 72, 73, 75, 79, 81, 82, 87, 88, 89, 90, 112, 113, 122, 123, 130, 131
signifikanter Effekt 7, 8, 12, 13, 14, 17, 21, 22, 35, 55, 64
Signifikanz 9, 15, 16, 19, 20, 25, 39, 40, 45, 59, 62, 64, 66, 67, 68, 70, 72, 78, 90, 121, 122, 123, 127
Signifikanzniveau 6, 7, 8, 9, 10, 13, 20, 21, 23, 48, 50, 130, 131
soziale Erwünschtheit 119, 120
spurious correlation 73, 131
SSB, siehe sugar-sweetened beverages
Standardabweichung 7, 8, 9, 17, 18, 34, 39, 116
Standardfehler 2
Stichprobe V, XI, 6, 9, 10, 12, 15, 17, 18, 19, 21, 22, 32, 36, 46, 47, 48, 50, 51, 52, 53, 54, 55, 82, 116, 117, 121, 122, 130, 133
sugar-sweetened beverages 112, 113, 122
T
Testgruppe 36, 73
Treatment-Kontrollgruppe, siehe Kontrollgruppe
t-Test 9, 17, 28, 36, 37, 39, 47, 48
t-Wert 2
U
Underreporting 118
V
Varianzheterogenität 39
W
Wilcoxon-Mann-Whitney-Test 39, 40
www.beck.de
ISBN Print: 978-3-8006-6028-5
ISBN E-Book: 978-3-8006-6029-2
© 2020 Franz Vahlen GmbH, Wilhelmstraße 9, 80801 München
Satz: Fotosatz Buck
Zweikirchener Str. 7, 84036 Kumhausen
Druck und Bindung: Druckhaus Nomos
In den Lissen 12, 76547 Sinzheim
Umschlaggestaltung: Ralph Zimmermann – Bureau Parapluie
Bildnachweis: © olly18 – depositphotos.com
eBook Datagroup int. SRL, 300665 Timisoara, România
Gedruckt auf säurefreiem, alterungsbeständigem Papier
(hergestellt aus chlorfrei gebleichtem Zellstoff)
Vorwort
Autorenliste
Inhaltsverzeichnis
Einleitung der Herausgeber
Teil I Methodische Grundlagen
1. Wie man Bad Science nicht auf den Leim geht
2. Schluss mit Sterne-Gucken!
3. Fallstricke des Nullhypothesen-Signifikanztests
Teil II (K)eine Anleitung zum Mogeln
4. Schritt für Schritt zum falsch-positiven Ergebnis
5. HARKing: Hypothesizing After Results are Known
6. p-Hacking: Methodische Erläuterungen zum Artikel „Flüchtlinge wollen in Länder mit langen Ländernamen immigrieren“
Teil III Wie man unter Zuhilfenahme statistischer Methoden Nonsens-Forschung einen wissenschaftlichen Anstrich verpasst
7. Flüchtlinge wollen in Länder mit langen Ländernamen immigrieren – Eine fiktive Anwendung zu p-Hacking
8. Verursacht Reality-TV Augenkrebs?
Teil IV Handfeste Konsequenzen in der wirklichen Welt
9. Das Problem mit Glyphosat – ist es nun krebserregend oder nicht?
X10. Coke macht mehr draus
11. Herangehensweise zur Einordnung von Publikationen als Bad Science anhand unterschiedlicher Merkmale
Nachwort: Die Dunkle Seite ist ein „Missing Data“-Problem
Literaturverzeichnis
Stichwortverzeichnis
Die dunkle Seite der Statistik
von
Florian Meinfelder
Rebekka Kluge
Verlag Franz Vahlen München
Unter dem Begriff „Bad Science“ verstehen die Autoren und Herausgeber dieses Bandes sowohl schlampiges Vorgehen beim wissenschaftlichen Arbeiten, als auch auf Grund von Vorurteilen zu einseitig geratene Untersuchungen, bis hin zum Fälschen von Ergebnissen.
Die Beiträge dieses Sammelbandes basieren auf Seminararbeiten des „Blockseminar Survey Methodik“, das im Rahmen des Masterstudiengangs Survey-Statistik von der Otto-Friedrich-Universität Bamberg angeboten wurde.
Die Verfassenden der Beiträge sind somit alle Studierende, die an diesem Seminar teilgenommen und sich thematisch mit der Problematik „Bad Science“ auseinandergesetzt haben. Auf Grund der großen Relevanz des Themas wurde die Veröffentlichung der Artikel im Rahmen dieses Sammelbandes beschlossen, damit noch mehr Leser von den Erkenntnissen profitieren können. Inhaltlich wird eine theoretische Auseinandersetzung mit dem p-Wert allgemein, mit der Größe von Stichproben, dem Vorgehen des p-Hacking, der Schwäche von klassischen Hypothesentests und dem Vorgehen des HARKing aufgearbeitet.
Rebekka Kluge ist seit dem Abschluss des Masterstudiums in Survey-Statistik und Soziologie an der Otto-Friedrich-Universität Bamberg im Jahr 2018 bei GESIS – Leibniz-Institut für Sozialwissenschaften als Doktorandin tätig. Dort beschäftigt sie sich vor allem damit, wie Umfragen methodisch korrekt erhoben werden können. Sie vertritt die Auffassung, dass Studierenden der Begriff der „Bad Science“ möglichst früh über den Weg laufen sollte, um sie aufdecken zu können.
Dr. Florian Meinfelder war bis 2010 in der Marktforschung tätig, bevor er an den Lehrstuhl für Statistik und Ökonometrie der Otto-Friedrich-Universität Bamberg als Lehrkraft für besondere Aufgaben wechselte, wo er seitdem unterrichtet und forscht. Er ist der Überzeugung, dass ein mündiger Umgang mit datenbasierten Informationen in unserer Gesellschaft von zunehmender Bedeutung sein wird.
Unter dem Begriff „Bad Science“ verstehen wir sowohl schlampiges Vorgehen beim wissenschaftlichen Arbeiten, als auch auf Grund von Vorurteilen zu einseitig geratene Untersuchungen1, bis hin zu absichtlichem Fälschen von Ergebnissen. In allen Fällen spielen statistische Verfahren sehr häufig eine Rolle.
Die Beiträge dieses Sammelbands basieren auf Seminararbeiten des „Blockseminar Survey Methodik“ aus dem Sommersemester 2016, das im Rahmen des Masterstudiengangs Survey-Statistik von der Otto-Friedrich-Universität Bamberg angeboten wurde und an dem per Videokonferenz auch Studierende der Masterstudiengänge Statistics der Berliner Universitäten und Survey Statistics der Universität Trier teilgenommen hatten. Thema des jährlich stattfindenden Seminars war seinerzeit „Bad Science“. Der Grundgedanke war folgender:
„Wenn die Seminarteilnehmer zukünftig eventuellen Missbrauch erkennen können sollen, dann lasst sie am besten (vorübergehend!) in die Rolle der Gegenseite schlüpfen!“
Die Verfassenden der Beiträge sind somit alle Studierende, die an diesem Seminar teilgenommen und sich thematisch mit der Problematik „Bad Science“ auseinandergesetzt haben, um ihre eigene Sensibilität für den Missbrauch statistischer Methoden zu erhöhen. Auf Grund der großen Relevanz des Themas wurde die Veröffentlichung der Artikel im Rahmen eines Sammelbands beschlossen, damit noch mehr Leser von den Erkenntnissen profitieren können. Inhaltlich wird eine theoretische Auseinandersetzung mit dem p-Wert allgemein, mit der Größe von Stichproben, dem Vorgehen des p-Hacking, der Schwäche von klassischen Hypothesentests und dem Vorgehen des HARKing aufgearbeitet.
Das Seminar enthielt drei Themenschwerpunkte:
I. Methodischer Hintergrund
II. Angewandte „Bad Science“
III. Methodische Kritik eines prominenten Beispiels
Ausgehend von den drei Themenschwerpunkten hat sich letztendlich nach Sichtung der Arbeiten eine Untergliederung in vier Teile als sinnvoll herauskristallisiert – eingerahmt VIvon einem Beitrag, der zweigeteilt wurde, da er sich als Einführung und als Zusammenfassung eignete. Um den Übergang der einzelnen Teile hervorzuheben, enthält das Buch von den Herausgebern verfasste Zwischentexte, die eine kurze Einführung in das Thema des jeweiligen Teils beinhalten.
Neben der sogenannten Replikationskrise diente als Impulsgeber für das Seminar und somit auch für dieses Buch die medial sehr präsente „Schokoladenstudie“, eine absichtlich gefälschte Studie, die von zwei Journalisten initiiert wurde und das Ziel hatte, den ganzen fragwürdigen Prozess von vermeintlich sensationellen wissenschaftlichen Ergebnissen bis in die Massenmedien zu beleuchten.2 Zu beiden Themen folgen im Laufe des Buches an diversen Stellen ausführliche Informationen.
Wir bedanken uns an dieser Stelle sehr für die Unterstützung durch Sina Ebert, die uns bei der Fertigstellung des Buches tatkräftig unterstützt hat.
Ebenfalls danken wir allen Studierenden, die im Sommersemester 2016 das Seminar aktiv mitgestaltet haben. Es gab noch einige weitere wunderbare Seminararbeiten, die es aus verschiedenen Gründen nicht ins Buch geschafft haben.
Einer Person möchten wir ganz besonders danken – leider posthum: Prof. Dr. Susanne Rässler, die im August letzten Jahres plötzlich und unerwartet verstorben ist. Sie war eine wundervolle Mentorin und hat mit ihrer positiven Energie und Ausstrahlung nicht nur an der Otto-Friedrich-Universität bleibende Spuren hinterlassen. Ohne sie gäbe es den Masterstudiengang Survey-Statistik nicht und somit wäre auch dieses Buch nie zustande gekommen.
Mannheim und Bamberg, Juli 2019Rebekka Kluge und
Florian Meinfelder
|
Mannheim und Bamberg, Juli 2019 |
Rebekka Kluge und |
1 Bayes-Statistik bietet einen transparenten Weg, „Vorurteile“ oder Vorinformationen, die nicht in Form einer Datenmatrix vorliegen, einzubeziehen.
2 Für den Artikel Chocolate with high Cocoa content as a weight-loss accelerator, den die Journalisten von Wissenschaftlern im entsprechenden Wissenschaftsenglisch verfassen ließen (Bohannon u. a., 2015), findet sich unter https://imed.pub/ojs/index.php/iam/article/view/1087/728 nur noch der Hinweis, dass der Artikel aus dem Journal International Archives of Medicine zurückgezogen wurde.
Rebekka Kluge,
GESIS-Leibniz Institut für Sozialforschung, Mannheim
Florian Meinfelder,
Lehrstuhl für Statistik und Ökonometrie, Otto-Friedrich-Universität Bamberg
Michael Bergrab,
1. Bürgermeister Gemeinde Lisberg / Lehrstuhl für Statistik und Ökonometrie, Otto-Friedrich-Universität Bamberg
Anne Meyer,
BÜRO MAYER GmbH & Co. KG, Hallstadt
Anna-Carolina Haensch,
GESIS – Leibniz-Institut für Sozialwissenschaften, Mannheim
Doris Stingl,
Lehrstuhl für Statistik und Ökonometrie, Otto-Friedrich-Universität Bamberg
Corinna Stöckinger,
Kantar Health GmbH, München
Kilian Heck,
Fachbereich Biologie, Technische Universität Darmstadt
Benedikt Müller,
AGF Videoforschung GmbH, Frankfurt
Marc Zerwas,
HELLA Aglaia Mobile Vision GmbH, Berlin
Kristina M. Neufang,
Professur für Wirtschafts- und Sozialstatistik, Universität Trier
Jonas Levin Kreusel,
Criteo GmbH, München
Thomas Goerttler,
Fachgebiet für Neuronale Informationsverarbeitung, Technische Universität Berlin
Simon Kupferer,
Schober Information Group Deutschland GmbH, Leinfelden-Echterdingen
Dominik Seitz,
Department of Computer Science, Tschechische Technische Universität in Prag
VIIIAnja Rappl,
IMBE-Institut für Medizininformatik, Biometrie und Epidemiologie, Friedrich-Alexander-Universität Erlangen-Nürnberg
Lisa Hepp,
C.C.Buchner Verlag GmbH & Co. KG, Bamberg
Rebekka Kluge,
GESIS-Leibniz Institut für Sozialforschung, Mannheim
Silvia Schwanhäuser,
IAB-Institut für Arbeitsmarkt und Berufsforschung, Nürnberg
Katharina Stark,
LIfBi-Leibniz-Institut für Bildungsverläufe e. V., Bamberg
Eines vorweg: Wir sind mit Leidenschaft und Herzblut Statistiker. Statistik ist eine wundervoll vielseitige wissenschaftliche Disziplin, die ihren Charme aus der Entwicklung und Anwendung mathematischer Modelle zieht, die es uns erlauben, aus Daten (typischerweise Stichproben) der unterschiedlichsten Disziplinen Schlussfolgerungen zu ziehen. Oder um es mit den Worten eines der berühmtesten Statistiker des 20. Jahrhunderts auszudrücken:
„The best thing about being a statistician is that you get to play in everyone’s backyard.“
John W. Tukey (1915–2000)3
Dieses von Tukey angesprochene Bei-Allen-auf-dem-Hof-Mitspielen bedeutet zwar, dass ein Statistiker sich in der Theorie in den unterschiedlichsten Wissenschaftsfeldern betätigen kann, in der Praxis hat sich seitdem jedoch eine gewisse Spezialisierung herausgebildet, so dass das Berufsbild „Statistiker“ sehr diffus geworden ist und es je nach Substanzwissenschaft zum Beispiel Ökonometrie, Biometrie beziehungsweise Biostatistik, Psychometrie, oder empirische Sozialforschung heißt. Dies hat auch zu verschiedenen Praktiken und Methoden geführt und mit der Vielfalt erhöht sich auch die Wahrscheinlichkeit für das Auftreten schlechter Praktiken. Und da Statistik über alle wissenschaftliche Disziplinen hinweg in empirischen Studien eine Rolle dabei spielt, Daten in wissenschaftlich verwertbare Informationen zu transformieren, erhöht sich auch die Wahrscheinlichkeit für schlechte Wissenschaft – Bad Science – die mit Statistik in Verbindung gebracht wird. Und so gibt es eine Reihe von Zitaten, die Otto-Normalbürger viel eher als das von John W. Tukey mit Statistik in Verbindung bringt:
„Ich vertraue keiner Statistik, die ich nicht selbst gefälscht habe.“ Dieses Zitat oder eine leichte Abwandlung in Form einer Empfehlung: „Traue keiner Statistik, die du nicht selbst gefälscht hast!“ ist vielen Menschen in Deutschland geläufig. Fragt man nach dem Urheber des Zitats vernimmt man gelegentlich ein unsicheres: „War das nicht der Churchill?“.
Mit sehr großer Wahrscheinlichkeit4 stammt das Zitat nicht von Winston Churchill, denn im Vereinigten Königreich ist es gänzlich unbekannt, im Gegensatz zu einem ähnlichen Zitat: „Lies, damn lies, and Statistics.“, das Benjamin Disraeli, einem weiteren ehemaligen britischen Premierminister, zugeschrieben wird (und dessen Urheber er vermutlich ebensowenig ist). Der wahrscheinlichste Urheber für das einleitende Zitat war die Propaganda-Abteilung von Joseph Goebbels, die das Ziel verfolgte, den englischen Premierminister zu diffamieren. Unabhängig von der Urheberschaft, haftet Statistik der XIIRuf an, man könne mit ihr alles beweisen (auch das Gegenteil5). Damit wird Statistik zu einem Instrument stilisiert, beliebigen Standpunkten und Aussagen einen wissenschaftlichen Anstrich zu geben. Was zunächst nach Klischees und oberflächlicher Polemik anmutet, wirft bei genauerer Untersuchung tatsächlich einige Fragen nach der Sinnhaftigkeit bestimmter Vorgehensweisen in der Anwendung von statistischen Verfahren auf.
Warum also dieser Sammelband? Immerhin gibt es bereits einige Veröffentlichungen, die Manipulationsmöglichkeiten mit statistischen Verfahren thematisieren wie den Klassiker „How to Lie with Statistics“ (Huff, 1954) oder das deutschsprachige Pendant „So lügt man mit Statistik“ (Krämer, 2015). Zum einen richtet sich das Buch eher an ein Fachpublikum, das bereits Erfahrung im Umgang mit statistischen Methoden besitzt (ohne, dass wir interessierte Laien vergraulen möchten!), zum anderen gab es in den letzten Jahren einige interessante Entwicklungen, die unsere Disziplin etwas mehr in das Rampenlicht der Öffentlichkeit gerückt haben6 – und wieder waren es negative Schlagzeilen und wieder war Statistik als Disziplin eigentlich schuldlos. Was war geschehen? Vor einigen Jahren begann man insbesondere in der Psychologie Experimente zu replizieren, um die aus den Ursprungsstudien erworbenen Kenntnisse abzusichern – und häufig gelang genau dieses nicht (mehr dazu im Nachwort dieses Bandes). Dies löste die so genannte „Replikationskrise“ aus, als deren Hautpverursacher schnell der „p-Wert“ ausgemacht wurde: Eine statistische Kennzahl, deren Wert ge- und missbraucht wurde, um einen Effekt nachzuweisen. Die American Statistical Association (ASA) veröffentlichte in ihrem Journal The American Statistician ein Editorial mit dem Titel Moving to a World Beyond „p < 0.05“ (Wasserstein u. Lazar, 2016). Gemeint war damit die gängige Praxis, einen p-Wert kleiner 0,05 als „signifikantes“ (und damit oft als „wahr“ angesehenes) Ergebnis zu präsentieren. Der Missbrauch dieses p-Werts und einige ähnliche Praktiken werden in diesem Buch erläutert, persifliert und konstruktiv kritisiert. Außerdem weist das Buch auf diverse weitere Quellen hin, die dem interessierten Leser zusätzliche Einblicke in den Themenkomplex „Bad Science“ vermitteln.
3 John Wilder Tukey ist auch der Prototyp für das neue Berufsbild Data Scientist, da er nicht nur sehr datenorientiert geforscht hat und dabei mit dem Boxplot eine der bekanntesten Datenvisualisierungen erfunden hat, sondern auch auf dem seinerzeit sehr neuen Gebiet der Informatik aktiv war – unter anderem gilt er als Schöpfer der Begriffe „Bit“ und „Software“.
4 Statistiker sind nie zu 100 % sicher!
5 Ein weiteres Zitat, diesmal vom britischen Politiker Baron James Callaghan.
6 Zum Beispiel im Rahmen eines Artikels der Süddeutschen Zeitung: https://www.sueddeutsche.de/wissen/wissenschaft-das-magische-p-1.3676252