Publicatiebias, een probleem voor wetenschappelijke beeldvorming

Onderzoeken die positieve resultaten laten zien, en waarvan de bevindingen ook statistisch significant zijn, hebben drie keer meer kans om gepubliceerd te worden. Statistische significantie betekent dat de bevindingen van het onderzoek aantonen dat deze niet op toeval berusten. Met een pos­itief resultaat wordt bedoeld dat het onderzoek uitwijst dat de oorspronkelijke hypothese wordt bevestigd.

Er ontstaat een vertekening van de werkelijkheid. Een voorbeeld verduidelijkt dit. Stel: er zijn twintig onderzoeken gedaan naar een vaccin voor COVID-19. Negentien onderzoeken laten een negatief resultaat zien; ze spreken de hypothese dat het vaccin effectief is tegen. Eén onderzoek laat wel een positief verband zien.

Het positieve onderzoek is het enige onderzoek dat gepubliceerd wordt in wetenschappelijke tijdschriften. De populaire media nemen dit over, met als titel: '95% kans dat vaccin x effectief is tegen corona.'

Niet alle wetenschapsdomeinen even hard getroffen

Niet voor alle wetenschapsdomeinen is publicatiebias even belangrijk. Dit heeft te maken met het kunnen uitsluiten van vals positieve resultaten. Vals positieve resultaten zijn bevindingen waarvan je weet dat ze onwaar zijn, maar de bevindingen tonen dat de hypothese waar zou zijn. Een voorbeeld: een man doet mee aan een zwangerschapsonderzoek en het blijkt dat hij zwanger is.

In de deeltjesfysica, bijvoorbeeld, is publicatiebias een minder groot probleem. Hier kunnen onderzoekers de vals positieve resultaten er makkelijk uit filteren. Terwijl dit in de geneeskunde en de sociale wetenschappen minder goed lukt. Fysici hanteren een standaardmodel dat al decennialang wordt bestudeerd, en dat bijzonder goed geconfirmeerd is.

Als bijvoorbeeld het bestaan van een nieuw deeltje wordt geponeerd, dan is er veel vertrouwen dat dit deeltje ook bestaat. 'Als je van tevoren al veel meer vertrouwen hebt in de hypothese, dan kan je stellen dat de kans op vals positieve resultaten veel lager is', stelt wetenschapsfilosoof aan de KU Leuven Jan Heylen. In de fysica kan daarnaast gewerkt worden met enorme hoeveelheden data.

Voor de geneeskunde en sociale wetenschappen ligt dit anders. Het menselijk lichaam en gedrag zijn complex, de standaardmodellen veranderen nogal eens, en de hoeveelheid data is altijd beperkt, omdat het moeilijk is met grote hoeveelheden proefpersonen te werken.

Daardoor zijn in die gevallen vals positieve resultaten moeilijk eruit te filteren en is de publicatiebias dus veel prominenter. Neem het voorbeeld van het coronavaccin. Hier worden veel meer vals positieve resultaten gepubliceerd dan dat het geval is bij een hypothese uit de deeltjesfysica.

De publicatiebias overwinnen

Wetenschappelijke tijdschriften zouden ook onderzoeken kunnen publiceren die geen verbanden aantonen. Dat is echter een utopische oplossing. Mensen zijn in het algemeen niet geïnteresseerd in negatieve bevindingen. Omdat wetenschappelijke tijdschriften graag een groot lezerspubliek hebben, is de kans klein dat de tijdschriften zulke bevindingen zullen publiceren. Heylen stelt dat 'op dat vlak de grote tijdschriften minder betrouwbaar zijn'. Al denkt hij dat dit eerder onbewust dan bewust wordt ingezet.

Gelukkig zijn de sociale wetenschappen en de geneeskunde niet machteloos. Onderzoekers kunnen aan preregistratie doen. Alvorens een onderzoek start, wordt dan in een databank aangegeven dat er een onderzoek gaat gebeuren. Zo kan men bij de meta-analyse ook onderzoeken die geen verband aantonen meenemen. Ondanks dat alleen onderzoeken met positieve bevindingen worden gepubliceerd met betrekking tot een bepaalde hypothese, ziet men dan ook welke onderzoeken negatieve resultaten opleverden.