Missers in medisch onderzoek deel 2:

Medisch onderzoek is niet altijd even goed. In drie blogs bespreken we daarom de drie meest voorkomende missers. Deel twee: een grote medische blunder uit de jaren negentig. Door een verkeerde selectie van patiënten slikten miljoenen vrouwen een medicijn dat zorgde voor een hoger risico op hartaanvallen.

8 maart 2021

Vrouwen die na de overgang behandeld worden met hormonen krijgen minder hartaanvallen¹ dan vrouwen zonder hormoonbehandeling². Dat ontdekten onderzoekers in de jaren negentig van de vorige eeuw tijdens meerdere grote observationele onderzoeken. Wat een overweldigend positief resultaat, dachten ze in die tijd. Maar het bleek een grote medische misser te zijn.

Vrouwen die door loting een hormoonbehandeling kregen liepen een 24% hogere kans op een hartaanval dan de groep vrouwen die geen hormoonbehandeling ontvingen!
Pixabay CC0

Die misser ontstond dus in een aantal grote observationele onderzoeken. Een van deze observationele studies bestudeerde zestien jaar lang bijna 60.000 vrouwen. In zo’n observationeel onderzoek observeren onderzoekers slechts wat er in de praktijk gebeurt, zonder verder zelf in te grijpen met een behandeling. Het risico op hartaanvallen bij de groep vrouwen die oestrogeen en progestin gebruikte was met wel 60% verlaagd, vergeleken met de vrouwen die niet deze hormonen gebruikten! Deze overweldigend positieve resultaten zorgden ervoor dat artsen deze behandeling al snel aanraadden aan vrouwen in de overgang om hartaanvallen te voorkomen, vooral in de Verenigde Staten. Op een gegeven moment gebruikte ongeveer een op de vijf Amerikaanse vrouwen³ in de overgang deze medicijnen⁴. Onder vrouwelijke Amerikaanse dokters was dit zelfs de helft ⁵!

Het zorgde dan ook voor een grote schok toen in 2003 een groot gerandomiseerd experiment tot een totaal andere conclusie kwam ⁶. Uit dit onderzoek bleek namelijk dat vrouwen die door loting hormoonbehandeling kregen juist een 24% hogere kans op een hartaanval liepen dan de groep vrouwen die geen hormoonbehandeling kregen! In de jaren na de publicatie van dit gerandomiseerde onderzoek kelderde het aantal vrouwelijke hormoongebruikers ⁷. Omdat in dit gerandomiseerde experiment door loting werd bepaald welke vrouwen hormonen kregen en welke niet (uiteraard met toestemming van de proefpersonen zelf) en de studie verder ook goed was uitgevoerd, weten we dat de resultaten hiervan betrouwbaar zijn. Er was dus helaas iets niet pluis in de eerdere observationele onderzoeken. Maar wat dan?

Hoe een verkeerde selectie leidt tot fatale resultaten

De foute resultaten kwamen door een verkeerde selectie van patiënten. De onderzoekers van de observationele studies hadden namelijk vrouwen onderzocht die al een aantal jaar hormonen gebruikten, en niet de vrouwen die net waren begonnen met deze medicijnen. Waarom dit leidt tot verkeerde conclusies zie je bij dit gerandomiseerde experiment.

In het linker panel zie je hoe de gerandomiseerde studie uit 2003 in elkaar zat. Eerst werd een groep vrouwen verzameld die het medicijn nog niet gebruikte. De randomisatie (loting) bepaalde welke vrouwen de hormoonbehandeling kregen en welke niet. In de figuur stellen de rode poppetjes de vrouwen voor die van nature al een hoger risico hebben op een hartaanval, bijvoorbeeld door een erfelijke aanleg. De zwarte poppetjes zijn de vrouwen die van nature een lager risico op een hartaanval hebben. De loting zorgt ervoor dat beide groepen even veel vrouwen hebben met een hoog risico op een hartaanval: elke groep bevat twee vrouwen met een hoog risico (en twee vrouwen met een laag risico).

Het enige verschil tussen de groepen is dus de behandeling. Als we beide groepen vijf jaar lang volgen en ontdekken dat er een verschil is in het aantal hartaanvallen, dan weten we zeker dat dit verschil door de behandeling komt. Conclusie: de hormoongebruikers hebben een 24% hoger risico op hartaanvallen.

Stel je nu eens voor dat de onderzoekers van de gerandomiseerde studie pas na twee jaar waren begonnen met het bijhouden van alle hartaanvallen. Dit betekent dat alle vrouwen die in de eerste twee jaar zijn overleden aan een hartaanval niet meer mee kunnen doen in de analyse. Omdat hormoonbehandeling het risico op hartaanvallen verhoogt, komt dit extra hard aan bij de vrouwen die van nature al een hoog risico hierop hebben. De hormoonbehandeling is voor hen dus zeker fataal!

Dit leidt ertoe dat de vrouwen met een hoog risico alleen overblijven in de onbehandelde groep. Dit zie je ook terug in het rechter panel van de figuur: na twee jaar komen de rode poppetjes (vrouwen met van nature een hoog risico op hartaanvallen) alleen nog maar voor in de groep die oorspronkelijk geen hormoonbehandeling toegewezen kregen, terwijl in de behandelde groep geen hoog risico vrouwen meer voorkomen. En dat is dus waar het mis ging.

In het observationele onderzoek werden namelijk vrouwen geselecteerd die al jarenlang de behandeling kregen. Hierdoor was het geen eerlijke vergelijking meer: de onderzoekers waren appels met peren aan het vergelijken. Deze verkeerde manier van analyseren laat dan ook paradoxaal zien dat hormoonbehandeling het risico op hartaanvallen met 60% verlaagt, terwijl we weten dat het risico met 24% is verhoogd!

Selectiebias

In medisch-wetenschappelijk jargon noemen we dit selectiebias: door een verkeerde selectie krijgen we een verkeerd resultaat. Als we een gerandomiseerd onderzoek doen dan gaat het eigenlijk automatisch al goed. Het zou natuurlijk raar zijn om de eerste twee jaar aan data weg te gooien en alleen te kijken naar vrouwen die de eerste twee jaar hebben overleefd zonder hartaanval. Maar in observationeel onderzoek gaat de selectie niet automatisch goed, en moet je van tevoren heel goed nadenken welke groepen met elkaar worden vergeleken. Als de onderzoekers van de observationele studies wél alle vrouwen correct vanaf de start van de behandeling hadden gevolgd, waren we er misschien veel eerder achter gekomen dat de behandeling eigenlijk schadelijk was.

Nu denk je misschien: “Ho eens even! In je vorige blog legde je uit dat in observationele studies confounding zit. Omdat in observationele studies niet geloot is wie welke behandeling krijgt, zijn we sowieso appels met peren aan het vergelijken!”. En daarin heb je helemaal gelijk. Ook al zouden we in een observationeel onderzoek beide groepen vanaf het begin volgen, dan zijn de groepen bij de start van de behandeling nog niet hetzelfde. Dan krijgen we alsnog een verkeerd resultaat. Voor die verschillen kunnen we echter wel corrigeren in de statistische analyses, zoals je in het vorige blog ook al las. Een observationeel onderzoek uit 2008 liet dat inderdaad zien⁸. Als alle vrouwen vanaf het begin waren gevolgd en er goed voor confounding was gecorrigeerd, dan kreeg je dezelfde conclusies als bij het gerandomiseerde experiment.

Was deze blunder te voorkomen?

In de jaren negentig wisten we nog niet zo goed hoe we observationele studies op de juiste manier moesten analyseren. In de afgelopen dertig jaar zijn er gelukkig grote sprongen gemaakt in causal inference (vertaald: oorzakelijke gevolgtrekkingen). Dit is het wetenschappelijke gebied dat zich bezig houdt met het trekken van de juiste conclusies uit observationeel onderzoek. Zo weten we nu dat we patiënten in observationeel onderzoek altijd moeten volgen vanaf de start van de behandeling, omdat we anders selectiebias krijgen ⁹. Ook zijn er enorme sprongen gemaakt in statistische analyses om te corrigeren voor confounding ¹⁰.

Ondanks dat we dit nu allemaal weten gaat het af en toe nog steeds mis. Een recent voorbeeld is het verband tussen cholesterolverlagers en kanker. Observationele onderzoeken lieten zien dat mensen die cholesterolverlagers gebruikten een lager risico hadden op kanker ¹¹. Dit resultaat werd echter ook veroorzaakt door selectiebias: de mensen die cholesterolverlagers gebruikten werden niet vanaf de start van de behandeling gevolgd, maar pas na een aantal jaar. Een correcte analyse waarbij patiënten wel vanaf het begin van de behandeling werden gevolgd¹² liet zien dat er helemaal geen lager risico op kanker is¹³.

Dit soort fouten komen meestal door onkunde van de onderzoeker, die niet goed is getraind in het juist analyseren van de data. Tijdens de opleiding tot epidemioloog, die ik volg aan het Leids Universitair Medisch Centrum, leer je dit soort fouten herkennen én voorkomen. Zodat dit soort medische missers niet meer worden gemaakt.

Disclaimer

Deze blog bevat geen medisch advies. Neem bij vragen over je behandeling altijd contact op met de behandelend arts en stop niet zelfstandig met medicatie.

Referenties

¹ Grodstein F, Stampfer MJ, Manson JE, Colditz GA, Willett WC, Rosner B, et al. Postmenopausal estrogen and progestin use and the risk of cardiovascular disease. N Engl J Med. 1996;335(7):453-61.

² Grodstein F, Manson JE, Colditz GA, Willett WC, Speizer FE, Stampfer MJ. A prospective, observational study of postmenopausal hormone therapy and primary prevention of cardiovascular disease. Ann Intern Med. 2000;133(12):933-41.

³ Hersh AL, Stefanick ML, Stafford RS. National use of postmenopausal hormone therapy: annual trends and response to recent evidence. JAMA. 2004;291(1):47-53.

⁴ Connelly MT, Richardson M, Platt R. Prevalence and duration of postmenopausal hormone replacement therapy use in a managed care organization, 1990-1995. J Gen Intern Med. 2000;15(8):542-50.

⁵ McNagny SE, Wenger NK, Frank E. Personal use of postmenopausal hormone replacement therapy by women physicians in the United States. Ann Intern Med. 1997 Dec 15;127(12):1093-6. doi: 10.7326/0003-4819-127-12-199712150-00007. PMID: 9412312.

⁶ Manson JE, Hsia J, Johnson KC, Rossouw JE, Assaf AR, Lasser NL, Trevisan M, Black HR, Heckbert SR, Detrano R, Strickland OL, Wong ND, Crouse JR, Stein E, Cushman M; Women’s Health Initiative Investigators. Estrogen plus progestin and the risk of coronary heart disease. N Engl J Med. 2003 Aug 7;349(6):523-34. doi: 10.1056/NEJMoa030808. PMID: 12904517.

⁷ Ettinger B, Wang SM, Leslie RS, Patel BV, Boulware MJ, Mann ME, McBride M. Evolution of postmenopausal hormone therapy between 2002 and 2009. Menopause. 2012 Jun;19(6):610-5. doi: 10.1097/gme.0b013e31823a3e5d. PMID: 22207318.

⁸ Hernán MA, Alonso A, Logan R, Grodstein F, Michels KB, Willett WC, Manson JE, Robins JM. Observational studies analyzed like randomized experiments: an application to postmenopausal hormone therapy and coronary heart disease. Epidemiology. 2008 Nov;19(6):766-79.

⁹ Edouard L Fu, Merel van Diepen, Yang Xu, Marco Trevisan, Friedo W Dekker, Carmine Zoccali, Kitty Jager, Juan Jesus Carrero, Pharmacoepidemiology for nephrologists (part 2): potential biases and how to overcome them, Clinical Kidney Journal, 2020;, sfaa242

¹⁰ Edouard L Fu, Rolf HH Groenwold, Carmine Zoccali, Kitty J Jager, Merel van Diepen, Friedo W Dekker. Merits and caveats of propensity scores to adjust for confounding. Nephrol Dial Transplant. 2019 Oct 1;34(10):1629-1635. doi: 10.1093/ndt/gfy283. PMID: 30215791.

¹¹ Nielsen SF, Nordestgaard BG, Bojesen SE. Statin use and reduced cancer-related mortality. N Engl J Med. 2012 Nov 8;367(19):1792-802. doi: 10.1056/NEJMoa1201735. PMID: 23134381.

¹² Dickerman BA, García-Albéniz X, Logan RW, Denaxas S, Hernán MA. Avoidable flaws in observational analyses: an application to statins and cancer. Nat Med. 2019 Oct;25(10):1601-1606. doi: 10.1038/s41591-019-0597-x. Epub 2019 Oct 7. PMID: 31591592; PMCID: PMC7076561.

¹³ Dale KM, Coleman CI, Henyan NN, Kluger J, White CM. Statins and cancer risk: a meta-analysis. JAMA. 2006 Jan 4;295(1):74-80. doi: 10.1001/jama.295.1.74. PMID: 16391219.

Reageer