Beoordeling van ‘evidence-based’ richtlijnen voor de verslavingszorg Studiedag « Evidence-based werken in de verslavingszorg » Brussel, 27 maart 2007 Beoordeling van ‘evidence-based’ richtlijnen voor de verslavingszorg Dr. Céline Douilliez Université de Lille (Villeneuve d’Ascq, France) celine.douilliez@univ-lille3.fr [Centre de Recherche en Défense Sociale (Tournai, Belgique)]

OVERZICHT Doelstellingen van het onderzoek Fase 1: evaluatie en selectie van evidence-based richtlijnen Fase 2: evaluatie van de geselecteerde richtlijn door praktijkwerkers Conclusies

Voorstelling van de doelstellingen van het onderzoek -1 Inleiding Vertaling van de Engelse term « clinical practice guidelines »  « richtlijnen voor de klinische praktijk » (RKP) = « methodisch ontwikkelde voorstellen en richtlijnen om praktijkwerkers en patiënten te helpen bij hun zoektocht naar de meest geschikte zorg, gegeven bepaalde klinische omstandigheden » (Lohr & Field, 1992) Impliciet, « evidence-based », empirisch onderbouwd Les termes anglais « clinical practice guidelines » ou « guidelines » ont plusieurs équivalents en langue française, notamment « recommandations pour la pratique clinique », « recommandations pour la pratique médicale », « recommandations de bonnes pratiques ». Après consultation des experts de langue française du sujet, il est apparu que le terme « recommandations pour la pratique clinique » (RPC) est le plus utilisé. Il a été adopté pour la présente version de la grille AGREE en traduction du terme « clinical practice guidelines ».

Voorstelling van de doelstellingen van het onderzoek - 2 Beantwoorden van 3 vragen: Welke evidence-based richtlijnen bestaan er voor de verslavingszorg ? Literatuurstudie en selectie van richtlijnen In welke mate zijn de bestaande richtlijnen wetenschappelijk onderbouwd? Evaluatie met AGREE-instrument Welke bestaande richtlijn(en) kunnen er aanbevolen worden voor de verslavingszorg in België? Onder welke voorwaarden? Selectie van één richtlijn Bevraging van een aantal praktijkwerkers

OVERZICHT Doelstellingen van het onderzoek Fase 1: evaluatie en selectie van evidence-based richtlijnen Fase 2: evaluatie van de geselecteerde richtlijn door praktijkwerkers Conclusies

Fase 1: evaluatie en selectie van evidence-based richtlijnen Literatuurstudie van bestaande richtlijnen Beoordeling van de kwaliteit van deze richtlijnen Selectie van één richtlijn

Literatuurstudie van evidence-based richtlijnen - 1 Geraadpleegde databanken [laatste trimester 2005] : Pubmed, Medline, Cochrane Library, Psycinfo, Psycarticles, Web of Science Combinatie van zoektermen guidelines’, ‘protocols’, ‘evidence based guidelines’, ‘practice guidelines’, ‘effectiveness’, ‘effects’, Alcohol, benzodiazepines, cannabis, opiaten en cocaïne Indeling van de richtlijnen op basis van misbruikte middel(en) en per interventie (+ algemene richtlijnen) Om een overzicht te krijgen van de bestaande evidence-based richtlijnen en relevante literatuur met betrekking tot de verslavingszorg werd er uitvoerig gezocht in de databases Pubmed, Medline, Cochrane Library, Psycinfo, Psycarticles en Web of Science. De search engine ‘Google’ werd eveneens geraadpleegd. De nadruk werd vooral gelegd op meta-analyses, systematische reviews, RCT’s (randomized controlled trials) en bestaande evidence-based richtlijnen. Evidence-based richtlijnen zijn documenten met aanbevelingen ter ondersteuning van de besluitvorming door professionals in de zorg en patiënten, gebaseerd op de resultaten van wetenschappelijk onderzoek met daarop gebaseerde discussie en aansluitende meningvorming, gericht op het expliciteren van doeltreffend en doelmatig handelen (Kwaliteitsinstituut voor Gezondheidszorg CBO, 2006). De gebruikte zoektermen voor het overzicht van de literatuur en de richtlijnen omvatten de interventie/behandelvorm gecombineerd met ‘guidelines’, ‘meta-analysis’, ‘protocols’, ‘evidence based guidelines’, ‘practice guidelines’, ‘effectiveness’, ‘effects’, en ‘systematic review’. Het literatuuronderzoek werd uitgevoerd in oktober, november en december 2005. Er werd vertrokken vanuit de bestaande literatuuroverzichten van Van Gageldonk et al. (1997) en Rigter et al. (2004). Voor de interventies waarvoor zij reeds een degelijk overzicht boden, werd alleen nog recentere literatuur opgezocht. Voor de andere interventies werd ook naar literatuur van voor het jaar 1997 gezocht. Voor de farmacologische interventies werden de richtlijnen van Lingford-Hughes e.a. (2004) als leidraad gebruikt: zij geven een gedetailleerd overzicht van het gebruik van medicatie in de behandeling van middelengerelateerde stoornissen. Het literatuuronderzoek beslaat de volgende middelen: alcohol, benzodiazepines, cannabis, opiaten en cocaïne. Hierbij wordt uitgegaan van de DSM-IV indeling. Amfetaminen werden niet opgenomen in dit literatuuronderzoek omdat relatief weinig onderzoek verricht wordt naar de effectiviteit van behandeling voor amfetamineproblemen. Behandeling lijkt wel mogelijk te zijn, maar meer en beter onderzoek is geboden. Het nut van behandeling moet worden afgezet tegen de uitkomsten van zelf afkicken (Rigter et al., 2004).   Na een eerste screening van de databanken en aan de hand van eerdere reviews en onderzoeken (Van Gageldonk et al., 1997 & Rigter et al., 2004) werd een lijst opgemaakt van de meest voorkomende psychosociale en farmacotherapeutische interventies voor de verslavingszorg. Er wordt geen onderscheid gemaakt tussen psychologische en sociale interventies aangezien deze in de praktijk sterk overlappen en elkaar aanvullen (Rigter et al., 2004). Voor de farmacotherapeutische interventies werd een opsomming gegeven van een aantal belangrijke psychofarmaca in de verslavingszorg. De psychosociale interventies werden als volgt ingedeeld: globale settings en benaderingen (ambulante behandeling, dagbehandeling, therapeutische gemeenschappen, residentiële behandeling, kortdurende residentiële behandeling, kortdurende interventie, harm reduction), psychotherapieën (gedragstherapie, cognitieve gedragstherapie, psychodynamische therapie, relatie– en familietherapie) individuele counseling, groepstherapie, specifieke interventies (motivationeel interviewen, de Community Reinforcement Approach, training van copingvaardigheden, zelfmonitoring, zelfcontroletraining, stressmanagement), terugvalpreventie, nazorg, casemanagement, alternatieve interventies (bezigheidstherapie, acupunctuur) en zelfhulpgroepen (Narcatics Anonymous, Anonieme Alcoholisten, 12 stappen / Minnesota). Onder sommige van de hiervoor opgesomde interventies vallen een aantal specifieke interventies.

Literatuurstudie van evidence-based richtlijnen - 2 MIDDEL/INTERVENTIE AANTAL RICHTLIJNEN % RICHTLIJNEN DIE EVIDENCE-BASED ZIJN Alcohol 7 43 % Cocaïne 1 100 % Opiaten 23 9 % Benzodiazepines 0% Alcohol & cannabis 0 % Alcohol, cocaïne en opiaten 2 Specifieke interventies 17 29% Algemene richtlijnen 5 20 % 55 25%

Fase 1: evaluatie en selectie van evidence-based richtlijnen Literatuurstudie van bestaande richtlijnen Beoordeling van de kwaliteit van deze richtlijnen Selectie van één richtlijn

Instrument voor de beoordeling van richtlijnen Keuze van een evaluatie-instrument: AGREE: Appraisal of Guidelines for Research and Evaluation (the AGREE collaboration, 2002) Onderzoeksproject gefinancierd door de Europese Unie Samenwerking tussen 16 Europese landen Instrument vertaald in 13 talen (waaronder Frans en Nederlands) Doel : ontwikkelen van een instrument voor de evaluatie van richtlijnen en om de bestaande richtlijnen te standaardiseren voor de klinische praktijk over heel Europa Documenten terug te vinden op: http://www.agreecollaboration.org La grille AGREE est un outil générique, destiné principalement à aider l’élaboration de recommandations pour la pratique clinique et l’évaluation de leur qualité méthodologique. Les termes anglais « clinical practice guidelines » ou « guidelines » ont plusieurs équivalents en langue française, notamment « recommandations pour la pratique clinique », « recommandations pour la pratique médicale », « recommandations de bonnes pratiques ». Après consultation des experts de langue française du sujet, il est apparu que le terme « recommandations pour la pratique clinique » (RPC) est le plus utilisé. Il a été adopté pour la présente version de la grille AGREE en traduction du terme « clinical practice guidelines ». Le terme « recommandation » (« recommendation » de la version anglaise) est utilisé pour désigner une recommandation particulière dans une RPC. Quelles recommandations pour la pratique clinique peuvent être évaluées avec la grille AGREE ? La grille AGREE est conçue pour évaluer des RPC développées par des groupes locaux, régionaux, nationaux ou internationaux ou des institutions : 1. des nouvelles RPC ; 2. des RPC existantes ; 3. l’actualisation de RPC existantes. La grille AGREE est générique et peut être appliquée à tout type de RPC quels que soient le problème de santé, l’intervention médicale ou le type de soins : diagnostic, prévention et promotion de la santé, traitements ou autres

AGREE - Doelen en doelgroep Voor het beoordelen van richtlijnen: Nieuwe richtlijnen Bestaande richtlijnen Actualiseren van bestaande richtlijnen Voor verschillende soorten richtlijnen: voor elk type, ongeacht het probleem, de interventie of zorgvorm Gebruikers? Beleidsmakers in de gezondheidszorg Personen die richtlijnen ontwikkelen Professionnals in de gezondheidszorg Personen betrokken bij opleiding en vorming

AGREE: Structuur van het instrument - 1 23 criteria, ingedeeld in 6 domeinen: Onderwerp en doelstellingen (3 items) Bv. « De doelstellingen van de richtlijn(en) worden expliciet beschreven » Betrokkenheid van de beoogde doelgroepen (4 items) Bv. « De groep die de richtlijnen ontwikkelt, bestaat uit vertegenwoordigers van alle beoogde beroepsgroepen » Methodologie van de opgestelde richtlijn (7 items) Bv. « Er werden systematische methoden gebruikt om de mate van wetenschappelijk bewijs te onderzoeken » 1. Structure et contenu de la grille La grille comprend 23 critères ou items qui sont organisés en 6 domaines. Chaque domaine est conçu pour décrire une dimension particulière de la qualité des recommandations pour la pratique clinique. « Champ et objectifs » (item 1-3) concerne l'objectif global de la RPC, les questions cliniques abordées et les groupes de patients cibles. « Participation des groupes concernés » (item 4-7) examine dans quelle mesure la RPC prend en considération les points de vue des utilisateurs potentiels. « Rigueur d’élaboration » (item 8-14) décrit le processus de recherche et de synthèse des preuves scientifiques ainsi que les méthodes utilisées pour formuler les recommandations et pour les actualiser. « Clarté et présentation » (item 15-18) étudie la formulation et le format des RPC. « Applicabilité » (item 19-21) examine la prise en compte dans la RPC de ses conséquences en terme d’organisation, de changement d’attitude et de coût lors de son application. « Indépendance éditoriale » (item 22-23) concerne l'indépendance

AGREE: Structuur van het instrument - 2 Helderheid en presentatie (3 items) Bv. « De richtlijnen zijn duidelijk en bevatten geen ambiguïteit ». Toepasbaarheid (3 items) Bv. « De potentiële organisatorische barrières bij de toepassing van de richtlijnen worden bediscussieerd ». Onafhankelijkheid van de opstellers (2 items) Bv. « De opstellers van de richtlijn zijn onafhankelijk van de subsidiërende instantie ».

AGREE – scoring Antwoordschaal gaande van 4 (helemaal akkoord) tot 1 (helemaal niet akkoord)   « helemaal akkoord »: indien u zeker bent dat het criterium volledig werd gerespecteerd « helemaal niet akkoord » : indien u zeker bent dat het criterium helemaal niet van toepassing is of indien er onvoldoende informatie beschikbaar is Handleiding voor gebruikers [in het Engels] : bij elk item, hulpmiddel voor het scoren Berekening van een score voor elk van de 6 domeinen Geen globale score 4. Échelle de réponse Chaque item est coté sur une échelle à quatre points allant de 4 « tout à fait d’accord » à 1 « pas du tout d’accord » avec deux points intermédiaires : 3 « d’accord » et 2 « pas d’accord ». L’échelle mesure le degré d’accord avec le critère : - si vous êtes sûr(e) que le critère a été entièrement respecté, répondez « tout à fait d’accord » ; - si vous êtes sûr(e) que le critère n’a pas du tout été respecté ou s’il n’y a pas de renseignements disponibles, répondez « pas du tout d’accord »; - si vous n’êtes pas sûr(e) que le critère a été respecté, par exemple parce que les renseignements ne sont pas clairs ou parce que seule une partie de la recommandation remplit le critère, répondez « d’accord » ou « pas d’accord » en évaluant jusqu'à quel point vous pensez que la question a été abordée. 5. Guide de l’utilisateur Des renseignements supplémentaires sont donnés dans le « guide de l’utilisateur » en regard de chaque item. Ces renseignements sont destinés à vous aider à comprendre les questions et les concepts abordés par l’item. Merci de lire soigneusement ce guide avant de donner votre réponse. 6. Commentaires Chaque item est accompagné d’une case pour des commentaires. Utilisez cette case pour justifier votre réponse. Par exemple, vous pouvez être "pas du tout d’accord parce que l'information n'est pas disponible, l’item n'est pas applicable ou la méthode décrite dans les renseignements fournis est inadéquate. La dernière page de la grille prévoit un espace pour des commentaires supplémentaires.

AGREE - beoordeling Globale beoordeling Sterk aan te bevelen Scores van 3 of 4 voor de meeste items + de score van de meeste domeinen ligt boven de 60% Aan te bevelen, met een aantal bedenking of na aanpassingen Ongeveer evenveel items met een hoge (3 of 4) en lage score (1of 2) + de meeste domeinen hebben een score tussen 30 en 60% Niet aan te bevelen De meeste items krijgen een score van 1 of 2 en de score voor de meeste domeinen ligt lager dan 30% Onduidelijk 4. Instructions for overall judgement The AGREE Instrument provides criteria to assess the quality of clinical guidelines. These criteria mainly concern the methods used for developing the guideline and the quality of the reporting. However, the clinical content of the recommendations applied in local settings, and their impact on patients’ outcomes should also be taken into account in order to make an overall judgement about the usefulness of the guideline. This can be interpreted as a weighted judgement about the scientific rigour of the process for developing guideline as well as the practical considerations of applying it. Rating the overall assessment The appraiser should make a judgement based on the guideline as a whole as well as the rating of individual items. It is unlikely that a guideline will rate high on all of the items and domains. The number of high rated items and the balance between the domains should help determine the overall assessment of the guidelines. Guidelines for rating the overall assessment: S t rongly Recommend the guideline rates high (3 or 4) on the majority of items and most domain scores are above 60%. This indicates that the guideline has a high overall quality and that it could be considered for use in practice without provisos or alterations R e c o m m e n d (with pro v i s o s or alterations) the guideline rates high (3 or 4) or low (1 or 2) on a similar number of items and most domain scores are between 30 and 60%. This indicates that the guideline has a moderate overall q u a l i t y. This could also be due to insufficient or lacking information in the guideline for some of the items. If provisos or alterations are made – and sufficient information is provided on the guideline development method - the guideline could still be considered for use in practice, in particular when no other guidelines on the same clinical topic are available. Would not re c o m m e n d the guideline rated low (1 or 2) on the majority of items and most domain scores are below 30%. This indicates that the guideline has a low overall quality and serious shortcomings. Therefore it should not be recommended for use in practice.

AGREE – psychometrische eigenschappen van het instrument the AGREE collaboration, 20031 Aanvaardbaarheid: 95% Betrouwbaarheid: α= 0.64 tot 0.88 Interbeoordelaars-coëfficiënt : 0.57 tot 0.91 (met 4 beoordelaars) This draft was then field-tested on 100 guidelines from eleven of the participating countries with 195 appraisers. After refinement a second draft was field-tested using a random sample of three guidelines per country from the original 100, with 70 newly recruited appraisers. The final version of instrument contains 23 items grouped into the six domains. Acceptability of the instrument was high: 95% of the appraisers found the instrument easy to apply and perceived it to be useful for judging the quality of guidelines. Reliability was satisfactory for most domains: Cronbach’s _ ranged from 0.64 to 0.88; inter-rater reliability (i.e. intra class correlations) ranged from 0.57 to 0.91 with four appraisers per guideline. More details about the validation study can be found in: The AGREE Collaboration. Development and validation of an International Appraisal Instrument for assessing the quality of clinical practice guidelines: the AGREE Project. Qual Saf Health Care 2003;12:18-23. 1. The AGREE Project (2003). The AGREE Collaboration. Development and validation of an International Appraisal Instrument for assessing the quality of clinical practice guidelines. Quality and Safety in Health Care, 12, 18-23.

Beoordelingsprocedure Afzonderlijke beoordeling, gevolgd door het zoeken van een consensus tussen de 3 beoordelaars Driedubbele codering van 4 richtlijnen (willekeurig gekozen uit de geselecteerde richtlijnen) Interbeoordelaarscoëfficient (voor 3 richtlijnen > 0.9; voor de 4de = 0.78) Codering door één enkele beoordelaar bij de overige 51 richtlijnen

Beoordeling van geselecteerde richtlijnen: resultaten - 1

Beoordeling van geselecteerde richtlijnen: resultaten - 1 MIDDEL/INTERVENTIE n ++ + - Alcohol 7 100% 0% Cocaïne 1 Opiaten 23 43.5% 26.1% 30.4% Benzodiazepines Alcohol & cannabis Alcohol, cocaïne en opiaten 2 Specifieke interventies 17 17.7% 47.1% 35.3% Algemene richtlijnen 5

Fase 1: evaluatie en selectie van evidence-based richtlijnen Literatuurstudie van bestaande richtlijnen Beoordeling van de kwaliteit van deze richtlijnen Selectie van één richtlijn

Selectie van één richtlijn Om in aanmerking te komen voor selectie moest de richtlijn: Recent zijn Sterk aan te bevelen zijn volgens AGREE Bij voorkeur algemeen zijn (zowel voor de behandeling van alcohol-, opiaten- en cocaïnemisbruik) Selectie van de « Practice guidelines for the treatment of patients with substance use disorders: alcohol, cocaine, opioids » (APA, 2006) Vertaling in het Frans en Nederlands van de: Inhoudstafel Samenvatting (6 pagina’s) Uiteindelijk werd beslist volgende richtlijn te selecteren: ‘Practice guideline for the treatment of patients with substance use disorders, 2nd Edition’ (2006) van de American Psychiatric Association’ (APA). Deze richtlijn werd ook onafhankelijk door de drie onderzoeksequipes beoordeeld aan de hand van het AGREE instrument (zie tabel 11). In totaal werden dus zes richtlijnen door drie beoordelaars beoordeeld, met name de APA-richtlijnen uit 1995 en 2006, alsook de vier eerder genoemde richtlijnen (zie 4.1 tabel 9). De meest recente APA-richtlijn (2006) vormt de conceptrichtlijn. De aanbevelingen uit deze richtlijn hebben het voordeel zeer recent te zijn (2006) en van toepassing te zijn voor de behandeling van gebruikers van de meeste middelen die in het onderzoek werden opgenomen (alcohol, cannabis, cocaïne en opiaten). Dit zijn tevens de meest gebruikte drugs in België en de Europese Unie (EMCDDA, 2005). Enige uitzondering vormen de benzodiazepines, waarvoor er slechts één richtlijn gevonden werd (DGV, 2005), maar die na beoordeling niet aan te bevelen bleek (zie tabel 10). Bovendien is de methodologie waarmee de aanbevelingen werden opgesteld van hoge kwaliteit. De American Psychiatric Association (APA) houdt zeer strikte criteria voor voor de ontwikkeling van evidence-based richtlijnen.

OVERZICHT Doelstellingen van het onderzoek Fase 1: evaluatie en selectie van evidence-based richtlijnen Fase 2: beoordeling van de geselecteerde richtlijn door praktijkwerkers Conclusies

Navraag bij praktijkwerkers Doelstelling De mening van praktijwerkers bevragen met betrekking tot de geselecteerde richtlijn Werkwijze: Beoogde particpanten: geselecteerde voorzieningen die betrokken waren bij het eerste deel van het onderzoek (n=60) Documentatie die opgestuurd werd naar de participanten: Een samenvatting in het Frans of het Nederlands Een inhoudstafel in het Frans of het Nederlands De integrale richtlijn in het Engels Beoordelingsformulier Respons-rate Vlaanderen: 22/32 (69%) Wallonië: 12/28 (43%)

Resultaten : inhoud Worden volgens u belangrijk klinische vragen of problemen over het hoofd gezien in de bijgevoegde richtlijn? Zo ja, welke? Onzekerheid met betrekking tot de toepasbaarheid van deze Amerikaanse richtlijn in de Belgische context Ontbrekende informatie of onvoldoende uitgewerkte aspecten, bijvoorbeeld: andere misbruikte middelen dan alcohol, opiaten en cocaïne polidruggebruik de rol van motivatie de rol van het sociaal netwerk comorbidteit Vragen met betrekking tot de juistheid van het wetenschappelijk onderzoek met betrekking tot bepaalde onderwerpen

Resultaten : algemene beoordeling - 1

Resultaten : algemene beoordeling - 2

Resultaten: toepassing - 1

Resultaten: toepassing - 2 Waarom zou u bereid zijn deze richtlijnen toe te passen? Omdat dit overeenstemt met wat de voorziening reeds doet Omdat dit toelaat om de kwaliteit van de zorg te optimaliseren Omdat ze voldoende algemeen zijn en ruimte laten voor creativiteit Omdat ze in het verlengde liggen van de bestaande praktijk Omdat ze empirisch onderbouwd zijn

Resultaten: toepassing - 3

Resultaten: mogelijke knelpunten bij implementatie Gebrek aan financiële middelen Beperkingen eigen aan de werkomgeving Gebrek aan kennis over het zorgaanbod in de regio Onmogelijkheid om de richtlijnen in hun geheel daadwerkelijk in de praktijk te implementeren

Resultaten: noodzakelijke aanpassingen Welke aanpassingen zijn nodig, opdat u de richtlijnen zou kunnen toepassen binnen de voorziening waar u werkt? Vorming van het personeel Extra personeel Tijd om te overleggen met andere voorzieningen Motiveren van het personeel Geleidelijke, progressieve verspreiding Grootschalige en ruime verspreiding Meer concrete uitwerking nodig van de voorgestelde effectieve therapieën Staven van therapeutische modellen met gevalsstudies

Taal van de richtlijnen

Conclusies