Nieuwe toetsing Evaluatie vorige toetsing

Presentatie over: "Nieuwe toetsing Evaluatie vorige toetsing"— Transcript van de presentatie:

1 Nieuwe toetsing Evaluatie vorige toetsing
Mieke Kraan – van der Est Kwaliteitsadviseur SPSZN

2 Inhoud: NT Nieuwe protocol NT-beeldbeoordeling
Resultaten van de NT-toetsing Resultaten herbeoordeling NT SEO Nieuwe protocol SEO beeldbeoordeling Resultaten de SEO toetsing Resultaten van de herbeoordeling SEO Evaluatie van SEO beoordeling Karakteristieken geauditeerde SEO-echoscopisten SEO-beeldbeoordeling op beeldniveau SEO-beeldbeoordeling na training op beeldniveau Karakteristieken en hun invloed op de SEO-beeldbeoordeling Validatie van de SEO beeldbeoordeling

3 NT-beeldbeoordeling versie 2
Kwantitatieve beoordeling blijft gelijk 1. Aantal NT-metingen ≥150 eerste twee jaar, ≥100 daaropvolgende jaren 2. Mediane NT MoM-waarde 1,00 grenzen: 0,90 en 1,10 3. % boven de mediaan 50% grenzen: 40% en 60%

4 NT-beeldbeoordeling versie 2
Kwalitatieve beoordeling, wijzigt: De echoscopist kiest zelf de 3 beste uit een selectie van 5. Het logboek bestaat uit 3 casus. (per casus: CRL + NT-meting). De CRL meting wordt beoordeeld De CRL wordt net zo zwaar meegeteld als de NT-meting De doorsnede van de foetus wordt zwaarder meegewogen in de CRL meting De vergroting wordt zwaarder meegewogen in de NT-meting Per casus max. 10 punten voor de CRL en 10 punten voor NT. Voor NT ≥ 20 punten en CRL ≥ 20 punten. Voor 3 casus ≥ 40 punten is voldoende, Afkapwaarde: 67%

5 NT-beeldbeoordeling

6 NT-beeldbeoordeling

7 Resultaten van de NT-toetsing
1. Beeldbeoordeling NT-logboek 2. Kwantitatieve analyse 43 NT echoscopisten getoetst een aantal is door een ander regionaal centrum getoetst.

8 Resultaten van de NT-toetsing
Resultaten van de totale NT-beoordeling (kwalitatief en kwantitatief, N=43)) Zowel de beeldbeoordeling als de statistiek moeten voldoende zijn. In totaal hebben = 15 echoscopisten de eerste toets niet gehaald.

9 Resultaten van de NT-toetsing
Resultaten van de totale NT-beoordeling (kwalitatief en kwantitatief, N=43))

10 Resultaten van NT-herbeoordeling (N=15)
Afhankelijk van het resultaat eerste NT-toetsing wat wordt herbeoordeeld. 15 onvoldoendes: 14 statistische her-analyses 9 her- beeldbeoordelingen (logboek)

11 19% NT-MoM en 51% NT-mediaan ( van de 47%) buiten de landelijke norm
19% NT-MoM en 51% NT-mediaan ( van de 47%) buiten de landelijke norm. 13% van de 30 echoscopisten beeld onvoldoende

12 Resultaten van NT-mediaan 0-meting in 2011 (mw. Snijders)

13 Resultaat NT-mediaan tijdens 1ste toetsing en herbeoordeling
14 kwantitieve herhalen, echter 13 onvoldoende, 3 moeten nog gedaan worden.

14 Conclusie NT-toetsing leidt verbetering: 0-meting>toetsing>herbeoordeling 1) Buiten NT-MoM: 19% > 12% > 0% 2) Buiten NT-mediaan: 51% > 30% > 5% 3) Onvoldoende beeldbeoordeling: 13% > 14% > 0% In Astraia ‘first trimester auditrapport, stand van de statistiek te zien.

15 SEO beeldbeoordeling, landelijk protocol versie 2
1. Kwantitatieve beoordeling: blijft gelijk Aantal SEO’s ≥ 250 eerste twee jaar, ≥150 volgende jaren Geen statistiek > reden: geen normstelling op dit moment. 2. Kwalitatieve beoordeling: wijzigt Zelf 3 beste casus uit een selectie van 5. Het logboek bestaat uit 3 casus. (per casus: alle verplichte NVOG beelden) Het logboek bestaat uit minimaal: minimaal 26 beelden Extra beeld: bij wervelkolom coronaal lumbo-(sacraal) en (lumbo)-sacraal

16 SEO beeldbeoordeling, landelijk protocol versie 2
Beoordelingscriteria vastgelegd in de bijlage A van het protocol. Regionaal: Annotatie blijft advies (links, rechts) Geen bewegende beelden Wijzigingen in beoordelingscriteria: Wervelkolom sagitaal telt zwaarder mee. Niet goed: 0 punten. Goed: 2 punten. Biometrie apart Plaatsing van de ellips HC (hoofd omtrek) apart Maximum aantal punten per casus is 72. Max 59 anatomie en max 13 voor biometrie Voor 3 casus ≥140 punten. De afkapwaarde 67%.

17 SEO beeldbeoordeling, landelijk protocol versie 3
Van de 26 SEO- beelden mogen (eigen keuze!) een aantal dezelfde beelden voor verschillende beoordelingen: 1. Hoofd,axiale doorsnede transventriculair vlak, beoordeling schedelbot/structuur = meting achterhoorn = biometrie HC (hoofdomtrek), BDP/DBP (biparietale diameter) 2. (Achter)hoofd, axiale doorsnede transcebellair vlak = biometrie TCD (transcerebellaire diameter) 3. Abdomen, maagvulling = biometrie AC (buikomtrek) SEO beeldbeoordeling, landelijk protocol versie 3 Is in de maak! Zodra het vrijgegeven wordt , wordt u geïnformeerd. Basis: NVOG modelprotocollen SEO versie foetale biometrie versie 1

18 Resultaten SEO toetsing

19 Resultaten SEO herbeoordeling
14 SEO echoscopisten hebben een onvoldoende beeldbeoordeling. 13 herbeoordelingen geweest. 1 SEO echoscopist is gestopt

20 Eerste toets versus herbeoordeling SEO (N=13)
Punten totaal beste drie SEO logboeken Per casus maximaal 56 punten met een minimum van 42 punten voor elke casus. 3keer 56 is 168 punten.

21 Evaluatie methode SEO beeldbeoordeling
logboeken (geanonimiseerd) van 85 echoscopisten Alle beoordelingen in een database; 1 logboek, 5 casus, 25 structuren per casus, 2 of 3 items (vergroting, doorsnede evt. caliper) Opnieuw benoemen: a=absent, 0= onvoldoende beoordeling 56 items per logboek Analyse van de karakteristieken van de audit. Statistische analyse van de beeldbeoordeling voor de beste 3 casus. Welke karakteristieken hebben invloed op de beeldbeoordeling

22 Basiskarakteristieken getoetste echoscopisten
Visitatie gegevens Geauditeerde echoscopisten aantal (%) Zorginstelling Ziekenhuis 33 (39%) Echopraktijk 43 (50%) Verloskundigenpraktijk 9 (11%) Aantal echografisten werkzaam in zorginstelling 1-2 echoscopisten 12 (14%) 3-7 echoscopisten 48 (57%) >7 echoscopisten 25 (29%) SEO ervaring Ervaren (≥2 jaar werkzaam) 63 (74%) Startend (< 2 jaar werkzaam) 22 (26%) Voldoet aan de jaarlijkse norm voor het aantal SEO Ja 60 (71%) Nee Visitatie periode 1 (Okt 2012 – Sept 2013) 27 (32%) 2 (Okt Sept 2014) 37 (43%) 3 (Okt April 2015) 21 (25%)

23 Uitkomsten evaluatie SEO beeldbeoordeling (beste 3 casus)
Tabel 2. doorsnede vergroting plaatsing calipers voldoende Onvol- doende Afwezig voldoendTotaal n = 255 e Centraal Zenuwstelsel Axial e doorsnede hoofd 237 (92.9%) 18 (7.1%) 238 (93.3%) 17 (6.7%) - 215 (84.6%) a 39 (15.4%) Suboccipito-bregmale doorsnede 234 (91.8%) 21 (8.2%) 17 (6.7) 247 (97.2%) a 7 (2.8%) Wervelkolom 217 (85.1%) 38 (14.9%) Gelaat Sagitale doorsnede profiel 193 (75.7%) 45 (17.6%) 209 (82.0%) 29 (11.3%) Orbitale diameter 8 (3.1%) 231 (90.6%) 11 (4.3%) 13 (5.1%) Coronale doorsnede neus, lippen, kin 219 (85.9%) 34 (13.3%) 236 (92.5%) 2 (0.8%) Thorax Vorm en echogeniciteit van de longen 213 (83.5%) 36 (14.1%) 32 (12.5%) 6 (2.4%) Diafragma 200 (78.4%) 50 (19.6%) 216 (84.7%) 5 (2.0%) Vierkamerbeeld 223 (87.4%) 55 (21.6%) Hart: linker uitstroombaan 31 (12.2%) 211 (82.7%) 43 (16.9%) 1 (0.4%) Hart: rechter uitstroombaan 223 (87.5%) 29 (11.4%) 220 (86.3%) 3 (1.2%) Hart: three vessel view 222 (87.1%) Buik Buikomtrek 230 (90.6%) a 24 (9.4%) 234 (92.9%) c 214 (86.6%) d 33 (13.4%) Buikwand 221 (87.0%) a 28 (11.0%) 216 (85.0%)a 33 (13.0%) Darmen 210 (82.4%) 212 (83. 2%) 22 (8.6%) Linker nier 227 (89.0%) 35 (13.7%) 166 (65.9%) c 86 (34.1%) Rechter nier 210 (82.3%) 212 (83.1%) 41 (16.1%) 154 (61.1%) c 97 (38.5%) Blaas 241 (94.5%) 9 (3.5%) 222 (87.0%) Extremiteiten Femur 14 (5.5%) 229 (89.8%) 23 (9.0%) 233 (94.7%) e 10 (4.1%) Linker been en voet 202 (79.2%) 44 (17.3%) 226 (88.6%) 20 (7.9%) Rechter been en voet 204 (80.0%) Linker arm en hand Rechter arm en hand 15 (5.9%) Navelstreng 240 (94.5%)a 12 (4.7%) 16 (6.3%) Placenta en cervix 199 (78.0%) 42 (16.5%) a= 1 ontbreekt, c = 3 ontbreekt, d = 8 ontbreekt , e = 9 ontbreekt.

24 Conclusies van de SEO beeldbeoordeling
1. Best beoordeelde foetale structuren zijn: de blaas de navelstrengvaten het femur. 2. Minst beoordeelde foetale structuren zijn; de sagitale doorsnede van het profiel de placenta-cervix het diafragma 3. Voor de calipers: best beoordeeld: meting suboccipito-bregmale doorsnede (97% goed) minst beoordeeld: meting van de pyela (66% rechts en 61% links goed) 4. 2% van de verplichte beeldopslag ontbrak (beste 3 casus)

25 De SEO herbeoordeling Analyse in maart 2015: 11 SEO herbeoordeling (2 nog niet uitgevoerd) De score van de eerste beoordeling is geanalyseerd met de score die behaald is bij de herbeoordeling. Alleen de beste drie casus worden geëvalueerd. Er is een significante verbetering in de beoordeling tussen het eerste logboek en het tweede logboek.

26 Het verband tussen de SEO-score en de karakteristieken
Gemiddeld aantal punten (3 casus) Regressie - coëfficient (B) p waarde 95%-CI Type zorginstelling Ziekenhuis 145 0.00 referentie Echopraktijk 144 -5.62 0.31 -16.5 – 5.3 Verloskundigenpraktijk 147 12.67 0.09 -1.9 – 27.2 Aantal echoscopisten werkzaam in zorginstelling 1-2 echoscopisten 130 3-7 echoscopisten 21.4 0.001 8.8 – 34.0 >7 echoscopisten 151 26.9 < 0.001 12.2 – 41.6 SEO ervaring Ervaren (≥2 jaar werkzaam) Startend (< 2 jaar werkzaam) 146 6.2 0.25 -4.4 – 16.7 Voldoet aan de norm voor het jaarlijkse aantal SEO Ja Nee 138 -14.0 0.009 -24.5 – -3.6 Visitatie periode 1 (Okt 2012 – Sept 2013) 2 (Okt Sept 2014) 148 11.0 0.04 0.6 – 21.5 3 (Okt April 2015) 6.8 0.23 -4.3 – 17.9 P-waarde < 0.05 dan is er significant verband

27 Validatie van SEO beeldbeoordeling
Representatieve verdeling voor de validatie 6 beelden goede kwaliteit 4 beelden voldoende kwaliteit 2 onvoldoende kwaliteit Van elke auditor 3 casus Totaal 12 casus Geanonimiseerd

28 Validatie beeldbeoordeling SEO
Alle auditoren beoordeelden de onvoldoende casus ook als onvoldoende Inter-auditor variabiliteit is berekend door mw. Ursem. De icc (interclass correlation) was 0.974! Een icc >0.8 is goed en een icc > 0.9 is excellent. Dus de scoringmethode werkt heel goed. De interauditor variabiliteit is heel goed, wat betekent dat er uniform wordt beoordeeld door alle auditoren.

29 Conclusies 86% van de beoordeelde casus (beste 3) is van voldoende kwaliteit bij de eerste beoordeling Significant verschil in kwaliteit SEO na training/ feedback tijdens visitatie Er is een positief verband tussen het aantal echoscopisten dat werkt in de zorginstelling en de SEO score Er is een positief verband tussen het halen van de norm (jaarlijks aantal SEO’s) en de SEO-score De beoordeling van het SEO is uniform

30 Met dank aan: Aan alle geauditeerde echoscopisten uit Zuidwest Nederland Auditoren voor het beoordelen van echobeelden: Titia Cohen – Overbeek (PND Erasmus MC) Margreet Husen – Ebbinge (PND Erasmus MC) Ernst Schoonderwaldt (PND Erasmus MC) Cathy Rebel – de Vries (PND Reinier de Graaf , Star-MDC) Averil de Reus (PND Erasmus MC) Karin den Hollander (PND Erasmus MC) Statistische analysen: - Amber de Jong ( student 3e jaar gezondheid en leven VU) - Ingrid Peters (SPSZN) - Nicolette Ursem (SPSZN)

31 Andere tips voor de derde visitatieronde:
Blijf up-to-date door o.a. de nieuwsbrieven van de SPSZN Echoscopische nascholing 16 punten van de BEN in 2 jaar Echoapparatuur max. 5 jaar, met upgrade max. 8 jaar Hou overzicht op verrichtingen en follow-up gegevens Volg de landelijke registratierichtlijnen voor het SEO Tijdig updaten van Astraia software Frequentie voor het opladen van gegevens naar Peridos: Maandelijks NT en eens per kwartaal SEO 7) Bezwaarregistratie in Peridos via BSN nummer zwangere 8) Geef uw verlof door i.v.m. ontheffing van de verrichtingsnorm 9) Bel de Stichting bij vragen