PRISMA-RT a collective in the radiotherapy in the Netherlands Petra Reijnders M.A manager patientsafety MAASTRO clinic and secretary PRISMA-RT septembre 2010

content presentation “Past, present and future” Who are we ? How did we start ? Development until now ! Opportunities ?

association between 17 radiotherapy departments www.prisma-rt.nl

how did we start?

Why did MAASTRO became pioneer in 2002? Organisational changes Technology-push Standardisation versus individualisation MAASTRO development Incidents Masterthesis 2003

What is special in the radiotherapy ? Misses Overdose: healthy tissue is damaged Underdose: tumor not optimal treated (recidive ) Wrong location (combination of above) Als laatste niet vermelden resultaat van fouten in onze sector is het concreet verwisselen van een patient waarbij alle bovenstaande zaken gecombineerd kunnen voorkomen 7

2. Visuality of the incidents Late effects group of patients 3. High tech complex care Strong process standardization Technique-human inter phase Rapid innovation within radiotherapy

New safety mindset Humans make mistakes but the environment, the technique and organization can enhance or reduce the mistakes

What do we want with reports = LEARN Goal: analyses-results and effective actions Insight on failure modes and root causes to prevent system deviations Not intervene based on 1 incident but look for trends 1998:rapport door beleid en beheersstudent over het functioneren van onze meldingscommissie Probleem: onvoldoende aansluiting van analyse meldingen en verbetermogelijkheden communicatieproblemen van csie en achterban motivatieproblemen leden csie onvrede over meldingssystematiek De directie stond natuurlijk open voor deze kritiek Vroeger model: registreerde soorten voorkomende meldingen zoals: vergeten controles, fouten blokken, aantal gemiste hulpmiddelen etc. Via boekje van Groot Schuylenburg (gehandicapten zorg instelling ) -> Tjerk contact -> Catharina half jaren 90 ingevoerd systeem Met onze meldingscommissei gekeken: Voordelen: analyse zuiverheid door te kijken naar oorzaken richtinggevendheid acties kwaliteitsverbeter instrument Waarom het hert en de jager: we wensen gericht te kunnen schieten om een doel dat richting geeft aan verbetering en niet in het wilde weg te schieten en hopen dat je een hert raakt 10

PRISMA - model Prevention and Recovery System for Monitoring and Analysis developed by prof. T.W.v.d Schaaf PRISMA is the abbreviation of Prevention and Recovery System for Monitoring and Analysis. This system is developed in the eighties for Axxon chemical industry in Rotterdam, by Professor van der Schaaf from the technical university in Eindhoven. End nineties he translated this model to a healthcare version which was first used by the radiotherapy department of the Catharina Hospital in Eindhoven. Maastro clinic started to use the healthcare version of the PRISMA-model in January 2003.

Patient irridiated with data of an other patient patient data exchange Patient irridiated with data of an other patient after summon patient A patient B entered change of teams during the treatmentsession wrong verification of the patient Patient mistaked in hearing his name Patient was waiting for a long time Patient was already in the linac room the second tean thought that the first team already checked Programme was too full a machine failure to many things to do during the treatment time was nog enough OP Voorval met 3 soorten hoofdoorzaken: verkeerde pat na oproep kamer ingegaan, geen controle van naam plaatsgevonden door behandelteam en er trad een wisseling van team op (NB 50pat/dag op 1 toestel , per pat 10 min behandeltijd) Onderliggende oorzaken worden verder duidelijk. Hieruit blijkt dus dat zowel de organisatie, techniek, patient en ook de mens een basisoorzaak zijn dat heeft geleidt tot deze melding OM Patient was deaf it was summoned by an intercom the communication was incorrect TD PRF OP TD HRC

classification of base causes Technical Failure (T): T-EX,TD,TC,TM Organisatonal Failure (O): O-EX,OK,OP,OM,OC Human Failure (H): H-EX,HKK,HRQ,HRC,HRV,HRI,HSS, HST Patient Related factor: PRF De basis voor de PRISMA analyse vormt de indeling volgens oa. Rasmussen/Reason op basis van veiligheidstheoriën. Deze cathegorie verdeling wordt meestal gehanteerd op moment dat het maken heeft met faalwijzen.T.O.M. en als laatste patientgerelateerde factor 13

Kwartaal basis de resultaten bekend maken 30.0% 15 1 5.0% 0.0% HRV HRM HRI OP OM TD HRC OK HKK OC HSS TM PRF HRQ TC O-EX H-EX Periodieke analyse middels deze grafieken waarbij de scores van de basisoorzaken zichtbaar worden gemaakt. Kwartaal basis de resultaten bekend maken 14

Trend analyses total incidents 1835

Amount of (near) incidents / month gemiddeld 7 afwijkende bestralingen per maand 16

Trend misses <5% or > 5% dosis deviation

Epid incident mail fysica Incident work flow (1) Incident Miss Near Discussion Incidentcom. Mail informant * Thank note * Read only incident * Status incident * Addition * Mail RTO * evt Mail AIO * Mail MRT Dosisdev. >5% Dosisdev. <5% Mail analists Pre Selection Epid incident mail fysica

Incident work flow (2)

mile stones MAASTRO 2002: PRISMA-reporting system 2003: data statistics and pass on to colleague departments 2004: first HFMEA/SAFER 2005: internal visitation and selective treatment check 2006: culture: SAT training and PSO 2007: PVT team incl. policy plan 2008: VMS certificate & PRISMA-RT development 2009: safety walkaround/revisitation by Lloyds President directeur shell die in opdracht van het ministerie van VWS een adviesrapport heeft geschreven in nov 2004 om de zorg veiliger te maken conform de systemen in het bedrijfsleven: hier werk je veilig of je werkt hier niet Prestatie indicatoren heven inzicht over het functioneren van organisaties. Inzichtelijk maken van risico’s zal zo’n PI kunnen zijn 21

our Dutch pride MAASTRO’s VMS

PRISMA related projects Master university projects Costmodel: recovery in relation to the costs of reports Transitional risk effect research Electa -> Siemens Communication research with Siemens Benchmark projects: collaboration Cath/ZRTI: patient identification and datatransfer research OZRC : EPID process comparising using PRISMA

Prisma related national projects In 2005 heeft de eerste datavergelijking tussen de betrokken instellingen plaatsgevonden. Voor deze benchmark is ervoor gekozen te focusseren op de 2 meest risicovolle processen. Op dit moment is er 3 keer een bijeenkomst geweest om de data van betreffende processen te vergelijken. De ervaringen van de betrokken instellingen was positief. Tijdens deze bijeenkomsten wordt de overall data-analyse besproken. Inhoudelijk wordt er vooral aandacht besteedt aan de verschillen en wordt geprobeerd samen een beeld te vormen waar deze verschillen in zitten. Met name verder uitdiepen van verschillen (waarom komt bij instelling A iets wel veel voor en instelling B niet) geeft veel toegevoegde waarde aan de data-analyse. De kwantificatie van de datavergelijking is op dit moment nog een lastig item. Niet alle instellingen zijn even ver in het implementatie traject van de PRISMA-systematiek. Toekomstige ontwikkelingen zullen veel verbetering leveren aan de kwantificatie van de datavergelijking er daarmee wordt het lerend effect vergroot. 24

Advantages of a national system confidence more individual input more specific organisational improvements bigger amount of contributors big database in shorter time period bigger analyse in shorter time period bigger and faster range of learning moments (incl insight about new risks) decentral central wat zijn ook al weer de voordelen voor ons al organisaties. Wat maakt onze sector zo vergelijkbaar. De gestandaardiseerdheid van onze high tech complexe zorg processen waarbij de kleine uitvoeringsvariaties juist zicht geven op de best practices. de zogenaamde leermomenten National/sector Figuur: T.W.v.d. Schaaf 4-11-2004

conditions Uniform data comparising PRISMA correctly Database to make comparison possible Interrater agreement test Commitment organizations Privacy protocol for data distribution

development

mile stones nov-2003kwaliteitsconferentie OZRC: presentatie PRISMA methodiek door MAASTRO aan de 6 zelfstandige radiotherapie instellingenApril t/m okt-2004PRISMA scholing aan de OZRC instellingeneind 2004 start van samenwerkingsproject afd. Radiotherapie van Catharina, ZRTI, MAASTRO oa. op basis van PRISMA mbt de processen: patientenidentificatie en datatransferjan-2005PRISMA scholing van de instelling NKI-AVL 2005tweetal benchmarkbijeenkomsten met OZRC instellingen mbt PRISMA datavergelijking PRISMA-RTjan-2005afstudeer onderzoek PRISMA in het RISO ( B. van Raaij) + afsluitende presentatie voor alle PRISMA geschoolde radiotherapieinstellingen gecombineerd met PRISMA casusbesprekingen van de instellingenjul-2005bachelor onderzoeksproject mbt kostenrelatie van herstel bij incidenten in MAASTRO okt-2005afstudeer onderzoek over risico's bij transitie ( J. Rutteman) + afsluitende presentatie voor alle PRISMA geschoolde radiotherapieinstellingen gecombineerd met PRISMA casusbesprekingen van de instellingennov-2005presentatie over PRISMA en samenwerkingsprojecten in het NVMBR jaar congresjan-2006bijeenkomst PRISMA-radiotherapie in TU / PRISMA- herscholingjul-2006bijeenkomst PRISMA-radiotherapie in TU / PRISMA- herscholingaug-2006eerste contacten NVZ mbt expertise over centrale database mogelijkhedenokt-2006bijeenkomst PRISMA-radiotherapie tbv verdere samenwerking en het plan mbt centrale database ontwikkelingfebr. 2007bijeenkomst PRISMA-radiotherapie met de presentatie van een rapport met de vergelijking van firma's en databases. Tevens het ontstaan van de naam PRISMA-RT en het verder opzetten van contacten met NVZ/DHD en het uitzetten van tekening intentieverklaringen. mei -2007formeel accoord NVZ mbt samenwerking met PRISMA-RT.aug-2007afstudeer onderzoek apparatuur onderzoek MAASTRO (J. Weterings) + afsluitende presentatie voor PRISMA radiotherapieokt-2007afronding van het samenwerkingsproject afd. Radiotherapie van Catharina, ZRTI, MAASTRO oa. op basis van PRISMA mbt de processen: patientenidentificatie en datatransferokt-febr 2008Oprichten binnen PRISMA-RT van de expertgroep febr. 2008start implementatie GRECOM server bij NVZ/DHD mei. 2008eerste ledenvergadering van de vereniging PRISMA-RTjuli /sep 2008scholing van de leden van PRISMA-RT van de database 7-okt-2008bijeenkomst bestuur PRISMA-Rt/DHD/grecom mbt evaluatie traject implementatie. en afspraken mbt acceptatie van de database door het expertteam22-nov-2008vereniging PRISMA-RT officieel de domeinnaamhouder van prisma-rt.nl15-12-2008accepance door de pilot instellingen van de PRISMA-RT database van Grecom22-12-2008aanmelding van Reinier de Graaf Groep als lid 2009Instellingen leren werken met database en sluiten aan op het benchmark-deelAug 2009Site : www.prisma-rt.nl in de lucht31-aug-09Presentatie ESTRO door Gytha Cuppen15 okt-09PRISMA-casus scholing en uitzetten van interobservaribiliteitsonderzoekOkt-09Eerste benchmark data analyseNov 09Relaese updata database

2004: education OZRC PRISMA 2005: 2 benchmark projects & master/bachelor research in MAASTRO 2006: first inventarisation departments 2007: declaration of intent, NVZ contract partner and location for the database, research for commercial database, selection of Grecom/TPSC 2008: foundation of expert team and start of implementation of the database within the departments, dec. 08: lid 17 may 08: formal first meeting of PRISMA-RT 2009: start data input, website on line, first benchmark data available

membres of PRISMA-RT Academisch Medisch Centrum, afdeling radiotherapie Arnhems Radiotherapeutisch Instituut (Stichting Kankerbestrijding Arnhem en omgeving) Dr. Bernard Verbeeten Instituut Catharina ziekenhuis Eindhoven, afdeling radiotherapie Erasmus universitair Medisch Centrum Rotterdam,afdeling radiotherapie HAGA ziekenhuis, afdeling radiotherapie, lokatie Leyenburgh ISALA, afdeling radiotherapie MAASTRO clinic Medisch Spectrum Twente, afdeling radiotherapie Nederlands Kanker Instituut - Antoni van Leeuwenhoek Ziekenhuis, afdeling radiotherapie VU Medisch Centrum, afdeling radiotherapie Radiotherapeutisch Instituut Friesland Radiotherapeutisch Instituut Stedendriehoek en Omstreken Universitair Medisch Centrum Groningen, afdeling radiotherapie Universitair Medisch Centrum Utrecht,afdeling radiotherapie Zeeuws Radiotherapeutisch Instituut Reinier de Graaf groep, afdeling radiotherapie

IMS/ PRISMA database 2005 first contact MAASTRO- Grecom/TPSC Development PRISMA-module and input of MAASTRO 2006/2007 development SAFER-module End of 2006: TPSC database PRISMA-RT 2008: implementation & pilot TPSC database 2009: Cooperation Maastro/TPSC

Databenching ‘The Problems in the past’ Data collection was difficult Data comparison took al long time Plan a meeting Discus data was learning process Extent to other processes was almost impossible

Control chart A statistical tool used to differentiate process deviations caused by: normal process variation variation caused by special causes

Why use control chart ? Monitor process variation during a period Differentiate between special & normal variation Evaluate effects of process changes Communication tool for process performance

PRISMA RT netwerk Een database die gebruikt kan worden als centrale database van meerdere instellingen en daarnaast de mogelijkheid biedt om instituut specifieke analyses uit te kunnen voeren. 37

Daarnaast allerlei monitoringsvarianten mogelijk !! Eén keer per dag zal dan een synchronisatie uitgevoerd worden. (Nadat incidenten zijn toegevoegd aan de nog-te-synchroniseren lijst. Analysen die nog niet af zijn moeten niet gelijk gesynchroniseerd worden) Alleen de classificaties en contextvariabelen worden naar de centrale server verstuurd. Alles maakt gebruik van beveiligde verbindingen. 1.Procesniveau 2.Afdelingsniveau 3. Sectorniveau Daarnaast allerlei monitoringsvarianten mogelijk !! 38

Databenching ‘The Future’ Interrator reliability Lokal confirm reliability database meassure the performance analysts Collective unables oppertunity to improve knowledge to analyse improve the reliability of the collective data uniformity of analyses and continuity of knowledge

Why use the interobservariability research ? So departments are comparable and speak the same language 40

Method LIBB 50 ad random base cause prescriptions => Percentages agreement between observers/analysts => Comparing with gold standard of classification codes Percentage overeenstemming berekend op 3 nivo’s: 1. nivo van de basisoorzaken afzonderlijk 2. nivo van de basisoorzaken, waarbij de menselijke oorzaken op subcategorie zijn gegroepeerd ( in tabel genoemd: % overeenstemming met Human op SRK) 3. nivo van de hoofdcategorieën 41

Results LIBB, 2009 Of 51 analysts, scores were compared of 14 departments Agreement Base cause level: 69% Base cause level but only human causes were combined: 87% Main cause level: Human, Org and Technical: 90% Wanneer de menselijke basisoorzaken worden gegroepeerd op nivo van ‘Knowledge-based’, “Rule-based” en “Skill-based” stijgt het percentage overeenstemming met 18%. Wanneer dan nog enkel onderscheid wordt gemaakt op technisch, organisatorisch of menselijk falen stijgt het percentage nog maar met 3%. Er bestaat zodoende voornamelijk veel variatie in het coderen binnen de menselijke subcategorieen. 42

Results LIBB, 2009 Beschrijving basisoorzaak 5 Gouden standaard Frequentie gouden standaard in % Modus / Modale codering Frequentie van de modus in % 5 Bij controle van gegevens, is automatisch aangenomen dat gegevens correct zijn omdat iemand anders gegevens afgetekend heeft oc 24 hrv 58 30 Behandelend arts vergeet door te geven aan administratie dat patient opgenomen ligt en dus niet voor CT en bestraling komt hrc 20 hri 65 33 Administratie geeft patient niet door dat zijn tijdstip van bestraling is veranderd h-ex 16 prf 69 15 epid-beelden hebben een zeer slechte beeldkwaliteit, moeilijk te matchen tm 34 td 42 35 Fysicus schat situatie op versneller verkeerd in 8 41 Patientgegevens onterecht opgeborgen zonder dat er boostplan van patient gemaakt is 29 37 10 geen eenduidigheid in communicatie overdracht van voorbereiding naar versneller. Verschillende formulieren werken verwarrend op 45 11 De technici van de eigen instelling hebben de beperking van de versneller niet gecommuniceerd naar hoofdlaborant 18 Arts is zich niet bewust en stelt laborant niet op de hoogte van wijziging fractioneringsschema maar alleen de adminstratie om het aantal afspraken te wijzigen Exclud. (te veel discussie HRC/ HKK) Hoe te handelen bij een specifieke storing van de versneller niet duidelijk voor alle laboranten 49 Aangezien de gouden standaard voor de eerste maal ingevuld is door gezamenlijke discussie van de expertteamleden, zijn de coderingen naast de codering van de basisoorzaken op basis van de gemiddelde overeenstemming van de 51 analysten gelegd. In onderstaande tabel enkel de verschillen getoond. De geel gemarkeerde oorzaken zijn verschillend. De blauw gemarkeerde percentages zijn oorzaken die onder de 50% gemiddelde overeenstemming scoorden. Van de 50 basisoorzaken is de gemiddelde overeenstemming bij 4 oorzaken lager dan 40%. Wanneer voor deze coderingen met lage waardes overeenstemming uit de percentages overeenstemming worden gehaald, stijgt het percentage van de totale overeenstemming op nivo van de basisoorzaken van 69 naar 70%. 43

Conclusion LIBB Recommendation LIBB 2009 Sufficient /Good agreement of 69% Differences are focussed within the Human classification codes Recommendation LIBB 2009 Individual education for the low scoring analysts Periodically repeating of LIBB Aanbevelingen Voor de volgende interbeoordelaarstoets zal echter nog meer aandacht worden gegeven aan de formulering van de basisoorzaken en wellicht zouden beschrijvingen uit een andere setting dan de radiotherapie helpen om de invloed van het referentiekader te verminderen. 44

Databenching ‘The Future’ Definition of context variables? Datamining/ Textmining? Comparing more data/information ? (HFMEA) Eliminate the influence of the culture of reporting

Databenching ‘The Future’ Departement A starts implementing a new process Conduct a HFMEA/SAFER Comparing HFMEA with the national PRISMA-database Discover problems of collegae departments and use this information to complete the pro-active riskanalyses. Department A learns anticipates on this information during further implementation.

Mission “Safe irridiation in every radiotherapy department !!” SLOGAN???

Databenching ‘The Future’ PRISMA-RT (Belgium,Germany / Denmark)? PRISMA-RT (Europe)? PRISMA-RT (world)?

PRISMA

Questions?

Law protection in Nederlands no legislation for data protection of a database for reporting case NL: a calamity has to be reported to the national inspection on health care. The patient file did not have any information about the event. Hereby other information was claimed. In MAASTRO data of reports are made anonymous after 3 mounts when the analyses is conducted

Extra info The main conclusion is that only calamities gives the ligal opportunity to ask for the available information from a database of incidents. So at the moment the databases are not immune for juridicairy actions. In my organization we have a database of reports. Every 3 months the reports are made anonymous so the information about the person, who has put in the report, is erased. All the other information about patient and context is still available. By my knowledge, the time period, by which the persons information is erased, is not been defined in the Netherlands. The information from our minister of Health Dr. Klink: He does not want to change the law to protect the person who report because the document (beleidsdocument veilig melden ) is sufficient according to him.