Evidence-Based Medicine door een wetenschapsfilosofische Bril bekeken. Dr. Leen De Vreese Centrum voor Logica en wetenschapsfilosofie Leen.devreese@ugent.be

Overzicht EBM: de drijfveren. De kern van EBM: Evidence hierarchy. Vermeende superioriteit van randomized controlled trials. Biases in the big picture. Interne validiteit vs. Externe validiteit. Invloed van waarden en risicodenken. Probabilistische causaliteit vs. Causale mechanismen. EBM en medische vooruitgang. Conclusie: integratie en nederigheid.

Ebm: de drijfveren Waarop was geneeskunde gebaseerd vóór EBM? Tot jaren ‘70: groot vertrouwen in medische beslissingen en medische autoriteit. Jaren ’70-’80: toenemend onderzoek dat dit vertrouwen onderuit haalde. 2de helft 20ste eeuw: toenemend belang en aanvaarding van resultaten uit statistisch onderzoek. Ontstaan EBM: ‘90 – Department of Medicine and Clinical Epidemiology en Department of Biostatistics - McMaster University, Ontario, Canada David Sackett: “bringing critical appraisal to the bedside” Gordon Guyatt: “evidence-based medicine”

Ebm: De Drijfveren EBM werd geïnterpreteerd als “nieuw paradigma” waarbij medische beslissingen worden genomen obv de “systematische” en “relevante” resultaten van klinisch onderzoek ipv de “onsystematische “ oordelen van individuele clinici obv de basiswetenschappen: A new rationale is emerging. Evidence-based medicine de-emphasizes intuition, unsystematic clinical experience, and pathophysiological rationale as sufficient grounds for clinical decision-making and stresses the examination of evidence from clinical research. Drijfveren: Weg van autoriteit Weg van intuiïtie, klinische ervaring en de pathofysiologische kennis als basis Naar meer rationele basis voor medische beslissingen Naar beter gebruik van de beschikbare literatuur Zoektocht naar nieuwe houvast en objectieve standaarden.

De kern van EBM: evidence hierarchy Systematic reviews of randomized trials * Single randomized trials Systematic review of observational Studies Single observational study Physiologic Studies Unsystematic clinical observations

De kern van EBM: evidence hierarchy Breed idee over wat “evidence” is, tegelijkertijd zeer eng idee over wat “goede evidentie” is: If the study wasn’t randomised, we suggest that you stop reading it and go on to the next article in your search (Note: We can begin to rapidly critically appraise articles by scanning the abstract to determine if the study is randomised; if it isn’t we can bin it.) Only if you can’t find any randomised trials should you go back to it. Hiërarchie centraal en strikt opgelegd, terwijl er nauwelijks expliciete verantwoordingen voor te vinden zijn. Kritieken focussen vooral op de hiërarchie en de plaats van RCT’s aan de top in het bijzonder.

Vermeende superioriteit van randomized controlled trials “Enkel door gerandomiseerd onderzoek in staat om echte causale relaties te vinden tussen behandelingen en effecten.” Enkel dmv RCT zou behandelings- en controlegroep zo kunnen ingedeeld worden dat alle gekende en ongekende verstorende factoren evenwichtig verdeeld zijn. Versus John Worrall: behandelings- en controlegroep kunnen hoogstens in de “probabilistische betekenis” voor alle factoren in evenwicht worden gebracht: kleine kans op onevenwichtige verdeling mbt elke specifieke, ongekende, verwarrende factor. Dit staat tegenover oneindig aantal mogelijke, ongekende verwarrende factoren. Dus kans dat er een onevenwicht is mbt een bepaalde verwarrende factor is eerder groot. Om dit probleem uit te schakelen: randomisatie zou een onbeperkt aantal keren herhaald moeten worden. Bovenstaande geldt dus enkel in het geval van een ideale RCT. Je kan nooit weten in hoeverre een specifieke RCT de ideale RCT benadert. Maakt randomisatie verre van nutteloos, maar toont wel dat het niet de speciale garanties biedt die RCTs over het algemeen superieur zouden maken.

Vermeende superioriteit van randomized controlled trials “Onderzoeksmethoden bovenaan de hiërarchie zijn minder gevoelig aan biases.” Selection bias: Kan vermeden worden dmv allocation concealment (het verzwijgen van de basis waarop proefpersonen werden ingedeeld). Staat op zich los van de onderzoeksmethode. Ascertainment bias: Heeft niet te maken met randomisatie en kan vermeden worden door blinding.

Biases in the big picture Probleem van biases is eerder een algemeen probleem dat de invloed van waarden in allerlei fasen, en op allerlei vormen van, onderzoek toont. Voorbeelden: Planningsfase: Keuze voor bepaalde onderzoeksvraag (verborgen agenda, invloed industrie, invloed van beschikbare fondsen,…), verkeerd opzet,… Uitvoeringsfase: populatiekeuze, interventiekeuze (te laat, te vroeg,…), duur, vergelijkingskeuze, selectie, vaststelling resultaten Rapporteringsfase: stopzetten van onderzoek, selectieve rapportering Verspreidingsfase: publicatiebias, taal, vertraging,… Meta-analyses vormen daarvoor geen oplossing.

Interne validiteit versus externe validiteit RCT’s zijn eigenlijk “nomologische machines”. Zo opgezet dat ze bepaalde omstandigheden creëren die repliceerbare resultaten geven. Geven een “clean evaluation.” Grote zorg voor interne validiteit. Gaat om gemiddelde effecten in zorgvuldig geselecteerde groepen proefpersonen. Maar wat met externe validiteit? Hoe veralgemeenbaar zijn de resultaten?? RCT’s zijn niet ontworpen om klinische praktijk te informeren. EBM geeft geen duidelijk antwoord op de toepasbaarheid van de resultaten in individuele gevallen. Vb. Zelden wordt het uitblijven van bepaalde effecten of het voorkomen van bijwerkingen in bepaalde proefpersonen in een RCT belicht in de rapportering.

Invloed van waarden en risicodenken In de analyse en toepassing van informatie uit onderzoek is meer van invloed dan de puur wetenschappelijke zoektocht naar de beste evidentie. Invloed van (impliciete) niet-epistemische waarden (ethische en sociale) als (noodzakelijke) bias bij het interpreteren van onderzoeksresultaten. Belangrijk zijn vb. ideeën over risico’s: hoe groot mogen risico’s zijn, welke soorten zijn al dan niet aanvaardbaar enz. Meer data lossen onenigheid die voortkomt uit onderliggende waardenveronderstellingen niet op. Patient values en Values-based medicine

Probabilistische causaliteit versus causale mechanismen EBM’s grote nadruk op probabilistische causaliteit leidt tot meer en meer aandacht voor statistische onderzoeksresultaten, die vaak op onkritische wijze aanvaard worden. Onderwaardering van het nut van de grondige kennis van lower level causal mechanisms: Vooronderstelling van de plausibiliteit dat een onderliggend verklarend mechanisme kan gegeven worden als basis voor de aanvaarding van resultaten. Dat een interventie werkt, betekent echter niet dat ze werkt dmv het veronderstelde mechanisme. Het gebrek aan kennis over pathofysiologische processen kan de ontwikkeling van nieuwe (en betere) interventies tegenwerken. This leads to an increasing impact of statistical results in clinical practice, apart from what I call “deep causal understanding” in the (causal) relations we intervene in. This can create a situation in which statistical results are uncritically accepted. One cannot set up or interpret a trial or an observational study without any knowledge of (possible) causal mechanisms. In the background, knowledge of causal mechanisms and hypotheses about possible causal mechanisms always play a role. However, the problem is that what guides the researchers in setting up a trial and interpreting the results is often just the conviction that it is plausible that certain mechanisms (of which they do not know the details) are at work. The finding that an intervention works nonetheless does not imply that it works through the presupposed plausible mechanism. Also, the finding that a certain correlation holds, does not need to imply that it concerns a causal relation that arose through the supposed, plausible causal mechanism. Although it is clear that we often can make efficient use of our findings from randomized trials and observational studies without having the full knowledge of the underlying causal mechanisms at our disposal, it can also be important to try to get a grip on which causal mechanisms are really at work. More, not having the knowledge of the underlying pathophysiologic processes might hinder the development of novel and potentially more efficacious interventions, as van der Wilt and Zielhuis [15] pointed out. They give the example of breathing retraining as treatment for panic attacks. According to the hyperventilation model, the plausible mechanism was that hyperventilation led to a reduced amount of carbon dioxide in the blood which then caused the panic attacks. However, it turned out that hyperventilation did not reduce the carbon dioxide in the blood. Now it is assumed that breathing retraining leads to a greater level of skilled control which reduces the panic attacks. The latter insight led to new therapies which would not have been developed without the research into the underlying causal mechanism.

Probabilistische causaliteit versus causale mechanismen Onderwaardering van het nut van grondige kennis van higher-level causal mechanisms: In zoverre de resultaten uit RCT’s kunnen wijzen op mogelijke causale mechanismen die verder onderzocht kunnen worden, zal dat hoofdzakelijk lower level mechanisms betreffen. EBM past in het dominante biomedische (reductionistisch) paradigma. De favoriete methodologieën zijn niet geschikt voor onderzoek waarvoor het van belang is om vb. de historische en sociale context in overweging te nemen. Randomized controlled trials and observational studies not only rely on background knowledge about causal mechanisms, their results can also point to possible causal mechanisms that can be surveyed in further research. However, this will always concern lower-level causal mechanisms. After all, EBM fits in with the dominant biomedical, reductionist paradigm. The methodology is not appropriate for studies that require a consideration of the historical and social context, as Pearce [12] points out with respect to epidemiological research: “The danger is that attempting to eliminate the influence of all other causes of diseases - in an attempt to control confounding - strips away the essential historical and social context, (...) Thus, the tendency to only study factors that fit the clinical trial paradigm should be resisted, and appropriate study designs should be chosen (or developed) to fit the public health question that is being addressed. (...) We seem to be using more and more advanced technology to study more and more trivial issues, while the major population causes of disease are ignored.” [12, 682].

Probabilistische causaliteit versus causale mechanismen Sterkte van causale mechanismen: Verschaffen ons dieper inzicht. Katalysator voor de ontwikkeling van betere behandelingen. Betere zorg voor patiënten die niet in het perfecte plaatje van de proefpersonen in onderzoek passen. Basisonderzoek lijkt beter geschikt om tot grotere stappen in medische vooruitgang te leiden op lange termijn. HLCM: levert nuttige kennis voor preventie/interventie op groepsniveau. Versus sterkte van probabilistische oorzaken: kunnen ons veel nuttige (causale) informatie leveren waar grondige kennis over de complexe onderliggende causale mechanismen ontbreekt.

Ebm en medische vooruitgang Leidt EBM tot wetenschappelijke vooruitgang? Wat is “wetenschappelijke vooruitgang in geneeskunde?” Vooruitgang die door EBM wordt beoogd is vooruitgang die is gebaseerd op meten ipv begrijpen. EBM wordt eerder gedreven door pragmatische doeleinden dan door theoretische doeleinden. EBM leidt tot kleine stapjes vooruit waar we anders misschien helemaal geen idee zouden hebben wat te doen omwille van een gebrek aan causale kennis. EBM prefers measuring the impact of (causal) factors to aiming for further understanding of how these factors influence diseases. This way of searching for progress is driven by pragmatic aims rather than theoretical ones: the best way to get forward in the medical sciences according to the EBM paradigm is by getting to know what works rather than how it works. Such knowledge also adds to decisiveness with respect to the care for patients, which can be seen as progress in the care for people. All this fits in with a problem-solving approach rather than a knowledge gaining approach to scientific progress. The direct relevance for everyday medical practice drives the evidence-based approach and the progressive results are little gains in piecemeal knowledge about the best solutions rather than important gains in thorough understanding. This means that also the discovery of small differences in outcomes are within an EBM approach presented and interpreted as interesting knowledge that can lead to important steps forward, e.g., when comparing the effects of a new drug with the effects of a similar, existing one. As Mittra argues: "(...) surely, we do not expect the RCT to deliver a therapeutic breakthrough by itself, in the same way that we would not expect a weighing machine, no matter how sophisticated, to deliver a miraculous drug that will abolish obesity. It is equally clear that if indeed there were to be a revolutionary drug or intervention, the RCT would be neither ethically permissible nor required. [13, 504-505]. Hence, results from EBM lead primarily to small steps in pragmatically useful knowledge. But these are small progressive steps where we might otherwise not have any clue at all about the possible, or the best, interventions due to our lack in detailed causal knowledge. In that sense, EBM indeed adds to the best care on the basis of the best possible evidence.

Ebm en medische vooruitGang Aantal (extra) redenen waarom we EBM niet heilig moeten verklaren: Het verschil tussen het ideaal en de werkelijkheid. Impact van de bevindingen in de praktijk is vaak beperkt. Het gevaar van het creëren van gaten in onze kennis, eerder dan ze op te vullen. Balans houden tussen wat we investeren en wat we winnen: Over 16000 RCT’s were reported in the literature in 2005 alone, yet few questions are asked as to their purposefulness or impact on the progress of medicine (Zwarenstein and Oxman 2006). It seems that the RCT, simply because it provides the highest level of clinical evidence, is to be performed for its own sake, like an ideology that is to be blindly followed and not questioned. (Mittra, 2009) First, there is the difference between the ideal and the real. While these methods can be very helpful and useful, it is just as much important to recognize that their evidence is also very assailable. The literature on EBM has plenty of critical comments showing the limitations of this approach. They demonstrate that we should also be humble and careful when using these methods and when applying their evidence. Ironically, the more complex the disease state we try to get understanding of, and hence, the more we seem to be in need of methods that can circumvent causal knowledge gaps, the more assailable the evidence that results from these methods will be. In other words, where we are most in need of these methods that are highly valued by EBM, they also seem the least reliable. Secondly, although RCTs can bring us pragmatically useful knowledge, we should also recognize that the impact of the findings in practice is all together often limited. A lot of the RCTs that are currently carried out only detect small differences and/or only answer very specific questions. Further, the fact that a considerable part of the RCTs is currently commercially driven, leads to even less reasons for hope for unexpected interesting results. Consequently, although we cannot know to what extent we will ever be able to get a better grip on (the complexity of) diseases by alternative methods, it is clear that we should not expect that too much of the pioneering knowledge will come from RCTs [cf.13]. Therefore, also the reflex to promote only more RCTs in response to our limited knowledge [cf.14] is shortsighted. Lastly and probably most importantly, if we not only turn to EBM’s favourite methods in cases where we miss important causal knowledge to understand what happens, but just prefer these methods in general at the expense of the use of methods that can lead to deeper understanding (as actually is the case for EBM), than we start creating knowledge gaps, rather than circumventing them when this is our best hope for making any short term progress. And since in the end, the RCT and observational methods should be based themselves on the available theoretical knowledge for their set-up and the interpretation of their results, this reversal not only limits what we can gain from the other methods as such, but also what we can gain in the long run by means of RCTs and observational studies themselves.

Ebm en medische vooruitgang Objectieve feiten of bruikbare fictie? Wij construeren een beeld van de werkelijkheid. Ons beeld reflecteert steeds, in meerdere of minder mate, de wijze waarop wij naar de wereld kijken, haar conceptualiseren en haar in theorieën trachten te beschrijven. Eerder bruikbare fictie. Geen zekerheden, geen absolute waarheden. Wikken en wegen, kritisch blijven en zoeken naar evenwicht.

Conclusie: Integratie en nederigheid In tegenstelling tot EBM gedachtengoed: Bijdrage van elke vorm van evidentie naar waarde schatten en tegelijkertijd kritisch blijven tov elke vorm van evidentie. Erkennen dat geen enkele vorm van evidentie (en geen enkele achterliggende methodologie) ideaal is. De geloofwaardigheid van elke vorm van evidentie is afhankelijk van zijn samenhang met andere evidentie uit verschillende bronnen. Verschillende vormen van evidentie samenbrengen en integreren om de best mogelijke evidentie te verkrijgen. Blijven werken aan de verbetering van (de toepassing van) onze onderzoeksmethoden. De rol van waarden herkennen en erkennen.

Dank u! Verder lezen? Bluhm, R. (2007). Clinical Trials as Nomological Machines: implications for evidence-based medicine. In: Kincaid, H & McKitrick, J. (eds.). Establishing Medical Reality. Springer, pp. 149-166. Borgerson, K. (2009). Valuing Evidence, Perspectives in Biology and Medicine, 52 (2): 218-233. De Melo-Martín, I. & Intemann, K. (2012). Interpreting Evidence: Why values can matter as much as science, Perspectives in Biology and Medicine, 55(1): 59-70. De Vreese, L. (2011). Evidence-Based Medicine and Progress in the Medical Sciences, Journal of Evaluation in Clinical Practice, Special Issue, 17(5): 852-856. Mittra, I. (2009). Why is Modern Medicine Stuck in a Rut?, Perspectives in Biology and Medicine, 52(4): 500-517. Worral, J. (2002). What Evidence in Evidence-Based Medicine, Philophy of Science, 69(3): S316-S330. Worral, J. (2007). Why there’s no Cause to Randomize, British Journal for the Philosophy of Science, 58: 451-488.