De midlifecrisis van de wetenschappen

Recent onderzoek toont aan dat we momenteel in een reproductiecrisis leven. En daarmee wordt niet bedoeld dat we allemaal onvruchtbaar aan het worden zijn. Het is eerder de wetenschap die onvruchtbaar lijkt te worden. Veel replicatiestudies blijken namelijk niet de significante resultaten van hun voorgangers te kunnen staven, en een niet te onderschatten proportie daarvan spreekt zelfs de oorspronkelijke resultaten tegen.

De harde realiteit

Volgens een bevraging uit 2016 bij meer dan 1500 wetenschappers bleek dat 70% van de wetenschappers al had gefaald om een onderzoek van iemand anders te repliceren, en dat de helft zelfs al had tekortgeschoten een onderzoek van henzelf te repliceren. Vox publiceerde zo eerder al een grafiek met een compilatie van studies die aantoont dat al ons voedsel zowel kanker veroorzaakt als voorkomt. De crisis blijkt vooral een probleem te zijn in de psychologische en (bio)medische wetenschappen.

De vraag is dan in hoeverre het systeem van peerevaluatie zijn werk nog goed doet. Hoe kan het dat studies die later onwaar blijken te zijn, toch als betrouwbaar worden bestempeld? Francis Tuerlinckx, vicedecaan onderzoek aan de faculteit Psychologie, legt uit: 'Het is eerder een samenloop van factoren, waarvan tijdsgebrek de grootste is. Als onderzoekers een artikel krijgen ter evaluatie, dan gaan die vaak af op wat daarin te lezen valt. Vaak is het onmogelijk om in die korte tijd dat experiment opnieuw te doen, dus dan moeten ze een inschatting kunnen maken op basis van het rapport. Doorgaans bevatten die niet voldoende informatie om alles heel goed in te kunnen schatten.'

Tuerlinckx legt de schuld niet alleen bij de peers, maar ook bij de originele onderzoekers: 'Die onbestaande correlatie is nu wel aan het veranderen, maar vroeger werd niet alle data vrijgegeven. Ruwe data, welke stimuli werden gebruikt, al dan niet programmeercode ... Hierbij is het geschreven verslag slechts een klein aspect van de hele studie. In dat opzicht is er dus niet genoeg informatie ter beschikking om die onderzoeken goed te kunnen evalueren.'

Een tekort aan incentivering

Een groot probleem is het tekort aan incentivering voor wetenschappers om deze studies te ondernemen. Op een praktisch niveau zijn replicaties tijdconsumerend en nemen ze energie en middelen weg van onderzoekers om andere, originele projecten te ondernemen. Maar ook qua publiceren zijn deze studies niet aantrekkelijk, vooral omdat ze als onorigineel worden beschouwd. En als het wel lukt, worden ze eerder gezien als stijloefeningen dan als echte bijdragen tot het veld. Deze studies brengen daarom minder erkenning en beloning, wat op zijn beurt resulteert in een lagere jobzekerheid voor de onderzoeker in kwestie.

Al deze redenen kunnen herleid worden tot de problematische publish or perish mentaliteit. Onderzoekers moeten zoveel mogelijk publiceren om zoveel mogelijk beurzen en middelen te kunnen ontvangen, en daarbij is impact en vernieuwing een belangrijke factor. Het heeft Peter Higgs van 1959 tot 1964 geduurd om een enkele paper over het Higgs-deeltje te schrijven; een prestatie die in de huidige sfeer onhaalbaar zou zijn.

Door die mentaliteit gebeurt het onderzoek minder grondig en worden sensationele resultaten gemakkelijker beïnvloed om als waar over te komen. Cherry picking is hierbij een sneu fenomeen waardoor enkel de meest spraakmakende resultaten worden gepubliceerd, en niet de resultaten waaruit blijkt dat er geen correlatie is tussen bepaalde zaken. Dat laatste is echter ook een resultaat, al zien vaak noch onderzoekers noch tijdschriften daar de meerwaarde van in.

Maar bij de wetenschappelijke tijdschriften is er al een mentaliteitswijziging gaande, zegt Tuerlinckx: 'Tijdschriften lijken tegenwoordig meer open te staan voor replicaties, wat tien jaar geleden absoluut niet het geval was. Men lijkt zich bewust te worden van het probleem. Sommige tijdschriften hebben nu ook een mechanisme waarbij ze het protocol van een onderzoek al op voorhand evalueren. Hierbij bepalen ze a priori of een onderzoek gepubliceerd zal worden, ongeacht de resultaten.' Dat laatste kan ervoor zorgen dat de sensatiedrang bij onderzoekers daalt en onderzoek dus meer onderbouwd zal worden uitgevoerd.

Het belang van evaluatie

Dan rest nog de vraag hoe onderzoeksinstituten vandaag die replicatiecrisis kunnen aanpakken. Op een fundamenteler niveau kunnen universiteiten ervoor zorgen dat het origineel onderzoek beter bestand is tegen replicaties. Twijfelachtige onderzoekspraktijken, zoals cherry picking, datamanipulatie, te kleine steekproeven en post-hoc framing (waarbij een ontdekte uitkomst wordt voorgelegd als een bevestigende uitleg, red.) kunnen hierbij beter geëvalueerd worden.

Tuerlinckx toont ook het belang aan van de keuze van de steekproef, waarbij hij bemerkt dat tot een aantal jaren geleden te kleine steekproeven en de impact daarvan onderschat werden. 'Ik durf niet te zeggen dat dit vandaag overal veel beter is. Er moet vooral meer aandacht aan worden besteed.'

Wanneer het onderzoek eenmaal is afgerond, kunnen er ook meer middelen worden aangeboden om replicaties uit te voeren. Tuerlinckx legt hierbij de focus op openheid en financiële steun: 'Het zou vooral helpen om zoveel mogelijk van het onderzoek openbaar te maken. Zo hebben onderzoekers genoeg materiaal om de onderzoeken grondig te repliceren. In Nederland zijn er bijvoorbeeld ook al financiële incentives, met name aparte beurzen voor replicatiestudies.'

De spreiding van de zaak

Voorlopig lijkt de crisis zich vooral te beperken tot de psychologie, het medische veld en enkele uitschieters. Volgens Tuerlinckx zijn de positieve wetenschappen beter behoed tegen het fenomeen, want als er diepere theoretische of praktische implicaties zijn voor onderzoeken, is de motivatie om dat opnieuw te doen veel groter. Wetenschappen die theoretisch meer verankerd zijn hebben in dat opzicht dus een grotere drijfveer om replicaties uit te voeren.

Een belangrijke nuance dient wel gemaakt te worden. Deze crisis betekent niet noodzakelijk dat psychologie en medisch onderzoek als onwetenschappelijk beschouwd moeten worden. Wel heeft het als gevolg dat enkele domeinen die vroeger als robuust werden beschouwd, vandaag de dag wankeler blijken te zijn dan eerder gedacht.

We kunnen ook van geluk spreken dat we deze crisis hebben ontdekt. Want je kunt pas je problemen oplossen als je ze onder ogen durft te komen. En de hedendaagse wetenschap blijkt duidelijk volwassen genoeg om daarmee akkoord te gaan.