Gisteren berichtte ik over een sterk staaltje onderzoeksfraude, door een PhD student, over het effect van ‘canvassing’: het langs de deuren gaan voorafgaande aan (Amerikaanse) verkiezingen. Hier nog een onderzoek dat ‘stinkt’: iemand heeft aangetoond dat je van donkere chocolade afvalt. Hoe zit dit precies?

Onderzoeksopzet

Nog zo’n interessant verhaal: van chocolade val je af. Ook onzin. Wat hier achter zit: een onderzoeksjournalist had, samen met nog een paar journalisten en met hulp van een dokter en een statistiticus, een onderzoek in elkaar gedraaid waaruit zou blijken dat je door chocola af zou vallen. Het idee was om te onderzoeken hoe je een onzin-verhaal de media in kunt krijgen. Nu was dat onderzoek natuurlijk slecht: te kleine steekproef, niet gecontroleerd voor andere verklaringen, te veel ongerelateerde zaken gemeten, enzovoort… (een recept voor ‘false positives’ waarbij je uit je statistiek kan halen wat je wilt). Van donkere chocola val je af!

En uiteindelijk werd dit verhaal nog gepubliceerd ook. Niet in een goed academisch tijdschrift met peer review, nee, tegen betaling in een nep-academisch tijdschrift. Helaas gebeurt deze praktijk regelmatig… en zo komt slecht onderzoek de wereld in.

Persberichten

De journalisten presenteerden dit onderzoek met persberichten met mooie plaatjes, statistieken, en oneliners – allemaal om het de media makkelijk te maken – en de ‘primeur’ is vervolgens in tig tv-programma’s, tijdschriften en kranten terecht gekomen. Slechts zeer weinig redacteuren hebben vervolgonderzoek gedaan om te kijken om bijvoorbeeld de onderzoeker wel bestond (ja maar het is geen onderzoeker), het onderzoeksinstituut wel bestond (nee), het tijdschrift wel echt was (nee), of hebben slechts de simpele vraag gesteld of het onderzoek wel goed is uitgevoerd (nee dus).

Waarom al die moeite?

Er wordt zo ontzettend veel in de media gesproken over belangrijke zaken als het effect van goede voeding (en wat is dan precies goede voeding), ziektes (wat je wel en niet moet doen, zoals vaccineren), effecten op het milieu (bestaat er klimaatverandering)… en dat zijn allemaal hele belangrijke onderwerpen die er toe doen. Niet alleen onderzoekers hebben de verplichting tot het doen van goed onderzoek (zie mijn verhaal van gisteren); ook journalisten hebben de verplichting om dat onderzoek te controleren, en om een zuivere vertaling te doen van dat onderzoek – en om zaken niet uit z’n verband te trekken.