Procesevaluatie van therapeutische projecten Mark leys Informatiemiddag FOD 11 oktober 2007 Federaal Kenniscentrum voor de gezondheidszorg Centre fédéral d’expertise des soins de santé Een toelichting bij de onderzoeksmethodologie

procesevaluatie TP2 Delen in presentatie 1.Opdracht KCE 2.Een opmerking over het concept evaluatieonderzoek 3.De probleemstelling & multimethod 4.Een overzicht van de onderzoekstechnieken & hun doel

procesevaluatie TP3 Deel 1 1.Opdracht KCE 2.Een opmerking over het concept evaluatieonderzoek 3.De probleemstelling & multimethod 4.Een overzicht van de onderzoekstechnieken & hun doel

procesevaluatie TP4 Achtergrond: Rol van het KCE Methodologische ondersteuning Onafhankelijk wetenschappelijk werk Rekening houdend met bestaande wetenschappelijke kennis Beleidsondersteunende conclusies Vraag van FOD VVL & RIZIV Welomschreven opdracht van minister

procesevaluatie TP5 Verschillende partijen RIZIV –Financiert activiteiten binnen TP Adminstratieve follow up Volgt de ervaringen met de projecten FOD –Transversaal overleg –Coordineert activiteiten registratie Datawarehouse, helpdesk, organisatie overleg, … KCE –Methodologie procesevaluatie (zie infra)

procesevaluatie TP6 Opdracht KCE Analyse van therapeutische projecten –Individuele TP –Binnen hun cluster –Veralgemeenbare vaststellingen over de clusters heen Ontwikkelen van inhoudelijke tools voor het transversaal overleg –I.f.v. rapportering op clusterniveau voor de FOD Doelstelling: bruikbare resultaten opleveren voor beleidsondersteuning

procesevaluatie TP7 Deel 2 1.Opdracht KCE 2.Een opmerking over het concept evaluatieonderzoek 3.De probleemstelling & multimethod 4.Een overzicht van de onderzoekstechnieken & hun doel

procesevaluatie TP8 “Evaluatie-onderzoek” Evaluatie als onderzoeksmethode –Een vorm van praktijkgericht wetenschappelijk onderzoek Niet “oordelen” maar “meten” en “begrijpen” De sector vanuit de verworven kennis ondersteuning bieden voor besluitvorming Het KCE “maakt” geen beleid !

procesevaluatie TP9 Deel 3 1.Opdracht KCE 2.Een opmerking over het concept evaluatieonderzoek 3.De probleemstelling & multimethod 4.Een overzicht van de onderzoekstechnieken & hun doel

procesevaluatie TP10 Probleemstelling Dragen de “bottom-up” voorgestelde werkwijzen bij tot – “zorg op maat” –“Continuiteit van zorg”? Welke barrières en mogelijkheden ervaren de TP om nieuwe coördinatie- en organisatiemodellen (samenwerking tussen verschillende type actoren) te realiseren?

procesevaluatie TP11 Werkwijze: vereiste informatie Je moet iets weten over je doelgroep (patiënten/cliënten) Beschrijving van case-mix in TP Monitoren van evolutie patiënt/cliënt Je moet iets weten over de werkwijze van het TP

procesevaluatie TP12 “multi-method” benadering (I) “multi-method” benadering (I) “Planevaluatie” –Een inhoudsanalyse van de doelstellingen en vooropgestelde werkwijze van de TP Inhoudsanalyse projectplannen + interviews op het niveau van de projecten –Doel een inhoudelijke typering maken van de verschillende voorstellen mbt organisatie- & coordinatiemodellen Een vergelijking maken met de literatuur

procesevaluatie TP13 “multi-method” benadering (II) “multi-method” benadering (II) Procesevaluatie –Gevalstudie-Case study TP is de onderzoeks”eenheid” Veldwerk, interviews, verschillende relevante informatiebronnen… Op herhaalde basis contact –Between case vergelijking Waar zitten overeenkomsten en verschillen tussen de benaderingen per TP? –Op clusterniveau en overall vergelijking

procesevaluatie TP14 Conclusies / aanbevelingen Vergelijking TP cluster Vergelijking TP algemeen Registratie patienten Registratie project Case study organisatie TP Plan- evaluatie TP literatuur

procesevaluatie TP15 Deel 4 1.Opdracht KCE 2.Een opmerking over het concept evaluatieonderzoek 3.De probleemstelling & multimethod 4.Een overzicht van de onderzoekstechnieken & hun doel

procesevaluatie TP16 Onderzoekstechnieken (overzicht) Registratie op patiënt- cliëntniveau Registratie op TP niveau Inhoudsanalyse van de bottom-up voorstellen (documenten + interviews) Case studies; diepte analyse van de ervaringen met coordinatie- en organisatieprocessen (& between case vergelijking)

procesevaluatie TP17 Onderzoekstechnieken (overzicht) Registratie op patiënt- cliëntniveau Registratie op TP niveau Inhoudsanalyse van de bottom-up voorstellen (documenten + interviews) Case studies; diepte analyse van de ervaringen met coordinatie- en organisatieprocessen (& between case vergelijking)

procesevaluatie TP18 Patiënten- cliëntenregistratie Patiënten- cliëntenregistratie Doelstelling –1: case-mix identificeren –2: monitoring/ beschrijving van evolutie van patiënten/cliënten op geaggregeerd niveau (cfr case mix & TP) op verschillende aspecten van levenssfeer Selectie Instrumenten gebaseerd op literatuuronderzoek –Validatie door experts –Vergelijking met internationale monitoringsystemen

procesevaluatie TP19 Instrumenten & Literatuur Doelstelling bij “moderate or severe & enduring mental illness”: –Streven naar integratie in community (de- institutionalisering) –Aangepaste support leveren op verschillende levensdomeinen (zorg op maat + continuiteit) = coordinatie van verschillende soorten voorzieningen Monitoren van patiënten –Multidimensioneel Instrumenten zijn daaraan aangepast –Instrumenten geselecteerd ifv monitoring doelen, niet voor “klinische” doeleinden

procesevaluatie TP20 Multidimensionele patiënten- cliëntenregistratie Multidimensionele patiënten- cliëntenregistratie Algemene gegevens –Sociodemografisch –Ernst van de aandoening Gegevens voor “zorg op maat” en continuïteit van zorg –Gebruik van voorzieningen/diensten –Behoeften –Zelfstandig functioneren in samenleving –Kwaliteit van leven

procesevaluatie TP21 “technische” aspecten “technische” aspecten Instrumenten aangepast aan de resp doelgroepen die in TP aan bod komen Prospectieve 3 maandelijkse monitoring -Aandoening is geen lineair verlopend proces -“meetverlies” vermijden

procesevaluatie TP22 Gegevens op projectniveau Inzicht krijgen in de activiteiten op het niveau van de projecten –Descriptieve informatie over de TP Wie, wat, hoeveel (en monitoring evolutie,…) –Welke activiteiten gebeuren ifv de patiënt (wie, hoeveel, wat?) Opgenomen in patiëntenregistratie –Welke activiteiten gebeuren die niet strikt patiëntgebonden zijn op TP niveau Opgenomen in registratie project + Case studies (interviews over ervaringen)

procesevaluatie TP23 Onderzoekstechnieken (overzicht) Registratie op patiënt- cliëntniveau Registratie op TP niveau Inhoudsanalyse van de bottom-up voorstellen (documenten + interviews) Case studies; diepte analyse van de ervaringen met coordinatie- en organisatieprocessen (& between case vergelijking)

procesevaluatie TP24 “planevaluatie”: onderzoek naar TP “zoals bedoeld” Onderzoek naar het “ontwerp” van de ingediende TP –Hoe zien de ontwerpen van de resp TP eruit? Wie, wat, waar, hoe, wanneer…. –Hoe interpreteren ze de doelstellingen van de oproep van het Riziv? –Welke doelstellingen schuiven de TP naar voor

procesevaluatie TP25 Analyse van de TP-voorstellen Documentenanalyse (desk research) –Projectvoorstellen zoals ingediend op RIZIV Interviews met TP (veldwerk) –Coordinator & andere betrokken actoren Doel: – inhoudsanalyse maken van de visies rond “continuiteit”, “zorg op maat” & samenwerkingsmodellen –Ontwerpen vergelijken –Vergelijking maken met “evidence” in de wetenschappelijke literatuur

procesevaluatie TP26 Onderzoekstechnieken (overzicht) Registratie op patiënt- cliëntniveau Registratie op TP niveau Inhoudsanalyse van de bottom-up voorstellen (documenten + interviews) Case studies; diepte analyse van de ervaringen met coordinatie- en organisatieprocessen (& between case vergelijking)

procesevaluatie TP27 Procesevaluatie: TP “zoals uitgevoerd” Doel: –Opvolgen en “begrijpen” van implementatie van het TP –het “verloop” (de veranderingen tov initieel plan, de redenen voor aanpassingen) van de uitvoering van de interventie –“diepte”informatieverzamelen over barrières en facilitoren van samenwerkings- en organisatiemodellen Regelmatig contacten en interviews

procesevaluatie TP28 Procesevaluatie: vragen In hoeverre verschilt het “uitgevoerde” TP van het “geplande” TP? –Hoe werkt het TP precies? –Welke doelen zijn bereikt, welke niet? Waarom? Zijn doelen en werkwijze bijgesteld? –Welke hinderpalen of knelpunten doen zich voor? –Welke ongewenste effecten doen zich voor? Welke varianten van “uitvoering” TP doen zich voor (binnen een cluster)? Welke middelen worden ingezet voor de uitvoering van TP? Voldoet het TP aan voorwaarden waarvan verwacht kan worden dat ze effect zullen hebben voor doelgroep?

procesevaluatie TP29 Procesevaluatie: data “Dynamische dataverzameling” Gegevens uit registratie patientniveau Gegevens uit registratie projectniveau Gegevens uit (semi-gestructureerde) interviews

procesevaluatie TP30 Dataverzameling Uiteenrafelen centrale concepten (inductief en deductief ) voor ontwikkelen van semi - gestructureerde interviewschema’s (iteratief proces) Dimensies bvb Samenwerking, coordinatie, netwerken, … Voorwaarden voor realisatie van dimensies Belangen en betekenissen van betrokkenen Inductief = vanuit de observaties in het veld Deductief = vanuit bestaande organisatietheorieën/ -kennis

procesevaluatie TP31 “outcomes” Wat is bereikt op het niveau van de patienten-clienten? –Descriptief (voor- na meting) –Geen oorzakelijkheid / causaliteit –Zijn bevindingen representatief voor TP? Enkel “interne” toetsing van geselecteerde van TP –Vergelijking binnen cluster en (op bepaalde aspecten) voor alle TP –Geen “externe” generaliseerbaarheid

procesevaluatie TP32 Data-analyse Meting bij de start en (prospectieve) na meting –Cross-sectionele analyse (case mix) –Longitudinale analyse Kwalitatieve en kwantitatieve rapportering