Nieuwe toetsing Evaluatie vorige toetsing Mieke Kraan – van der Est Kwaliteitsadviseur SPSZN

Inhoud: NT Nieuwe protocol NT-beeldbeoordeling Resultaten van de NT-toetsing Resultaten herbeoordeling NT SEO Nieuwe protocol SEO beeldbeoordeling Resultaten de SEO toetsing Resultaten van de herbeoordeling SEO Evaluatie van SEO beoordeling Karakteristieken geauditeerde SEO-echoscopisten SEO-beeldbeoordeling op beeldniveau SEO-beeldbeoordeling na training op beeldniveau Karakteristieken en hun invloed op de SEO-beeldbeoordeling Validatie van de SEO beeldbeoordeling

NT-beeldbeoordeling versie 2 Kwantitatieve beoordeling blijft gelijk 1. Aantal NT-metingen ≥150 eerste twee jaar, ≥100 daaropvolgende jaren 2. Mediane NT MoM-waarde 1,00 grenzen: 0,90 en 1,10 3. % boven de mediaan 50% grenzen: 40% en 60%

NT-beeldbeoordeling versie 2 Kwalitatieve beoordeling, wijzigt: De echoscopist kiest zelf de 3 beste uit een selectie van 5. Het logboek bestaat uit 3 casus. (per casus: CRL + NT-meting). De CRL meting wordt beoordeeld De CRL wordt net zo zwaar meegeteld als de NT-meting De doorsnede van de foetus wordt zwaarder meegewogen in de CRL meting De vergroting wordt zwaarder meegewogen in de NT-meting Per casus max. 10 punten voor de CRL en 10 punten voor NT. Voor NT ≥ 20 punten en CRL ≥ 20 punten. Voor 3 casus ≥ 40 punten is voldoende, Afkapwaarde: 67%

NT-beeldbeoordeling

NT-beeldbeoordeling

Resultaten van de NT-toetsing 1. Beeldbeoordeling NT-logboek 2. Kwantitatieve analyse 43 NT echoscopisten getoetst een aantal is door een ander regionaal centrum getoetst.

Resultaten van de NT-toetsing Resultaten van de totale NT-beoordeling (kwalitatief en kwantitatief, N=43)) Zowel de beeldbeoordeling als de statistiek moeten voldoende zijn. In totaal hebben 13 + 2 = 15 echoscopisten de eerste toets niet gehaald.

Resultaten van de NT-toetsing Resultaten van de totale NT-beoordeling (kwalitatief en kwantitatief, N=43))

Resultaten van NT-herbeoordeling (N=15) Afhankelijk van het resultaat eerste NT-toetsing wat wordt herbeoordeeld. 15 onvoldoendes: 14 statistische her-analyses 9 her- beeldbeoordelingen (logboek)

19% NT-MoM en 51% NT-mediaan ( van de 47%) buiten de landelijke norm 19% NT-MoM en 51% NT-mediaan ( van de 47%) buiten de landelijke norm. 13% van de 30 echoscopisten beeld onvoldoende

Resultaten van NT-mediaan 0-meting in 2011 (mw. Snijders)

Resultaat NT-mediaan tijdens 1ste toetsing en herbeoordeling 14 kwantitieve herhalen, echter 13 onvoldoende, 3 moeten nog gedaan worden.

Conclusie NT-toetsing leidt verbetering: 0-meting>toetsing>herbeoordeling 1) Buiten NT-MoM: 19% > 12% > 0% 2) Buiten NT-mediaan: 51% > 30% > 5% 3) Onvoldoende beeldbeoordeling: 13% > 14% > 0% In Astraia ‘first trimester auditrapport, stand van de statistiek te zien.

SEO beeldbeoordeling, landelijk protocol versie 2 1. Kwantitatieve beoordeling: blijft gelijk Aantal SEO’s ≥ 250 eerste twee jaar, ≥150 volgende jaren Geen statistiek > reden: geen normstelling op dit moment. 2. Kwalitatieve beoordeling: wijzigt Zelf 3 beste casus uit een selectie van 5. Het logboek bestaat uit 3 casus. (per casus: alle verplichte NVOG beelden) Het logboek bestaat uit minimaal: minimaal 26 beelden Extra beeld: bij wervelkolom coronaal lumbo-(sacraal) en (lumbo)-sacraal

SEO beeldbeoordeling, landelijk protocol versie 2 Beoordelingscriteria vastgelegd in de bijlage A van het protocol. Regionaal: Annotatie blijft advies (links, rechts) Geen bewegende beelden Wijzigingen in beoordelingscriteria: Wervelkolom sagitaal telt zwaarder mee. Niet goed: 0 punten. Goed: 2 punten. Biometrie apart Plaatsing van de ellips HC (hoofd omtrek) apart Maximum aantal punten per casus is 72. Max 59 anatomie en max 13 voor biometrie Voor 3 casus ≥140 punten. De afkapwaarde 67%.

SEO beeldbeoordeling, landelijk protocol versie 3 Van de 26 SEO- beelden mogen (eigen keuze!) een aantal dezelfde beelden voor verschillende beoordelingen: 1. Hoofd,axiale doorsnede transventriculair vlak, beoordeling schedelbot/structuur = meting achterhoorn = biometrie HC (hoofdomtrek), BDP/DBP (biparietale diameter) 2. (Achter)hoofd, axiale doorsnede transcebellair vlak = biometrie TCD (transcerebellaire diameter) 3. Abdomen, maagvulling = biometrie AC (buikomtrek) SEO beeldbeoordeling, landelijk protocol versie 3 Is in de maak! Zodra het vrijgegeven wordt , wordt u geïnformeerd. Basis: NVOG modelprotocollen SEO versie 2 + foetale biometrie versie 1

Resultaten SEO toetsing

Resultaten SEO herbeoordeling 14 SEO echoscopisten hebben een onvoldoende beeldbeoordeling. 13 herbeoordelingen geweest. 1 SEO echoscopist is gestopt

Eerste toets versus herbeoordeling SEO (N=13) Punten totaal beste drie SEO logboeken Per casus maximaal 56 punten met een minimum van 42 punten voor elke casus. 3keer 56 is 168 punten.

Evaluatie methode SEO beeldbeoordeling logboeken (geanonimiseerd) van 85 echoscopisten Alle beoordelingen in een database; 1 logboek, 5 casus, 25 structuren per casus, 2 of 3 items (vergroting, doorsnede evt. caliper) Opnieuw benoemen: a=absent, 0= onvoldoende beoordeling 56 items per logboek Analyse van de karakteristieken van de audit. Statistische analyse van de beeldbeoordeling voor de beste 3 casus. Welke karakteristieken hebben invloed op de beeldbeoordeling

Basiskarakteristieken getoetste echoscopisten Visitatie gegevens Geauditeerde echoscopisten aantal (%) Zorginstelling   Ziekenhuis 33 (39%) Echopraktijk 43 (50%) Verloskundigenpraktijk 9 (11%) Aantal echografisten werkzaam in zorginstelling 1-2 echoscopisten 12 (14%) 3-7 echoscopisten 48 (57%) >7 echoscopisten 25 (29%) SEO ervaring Ervaren (≥2 jaar werkzaam) 63 (74%) Startend (< 2 jaar werkzaam) 22 (26%) Voldoet aan de jaarlijkse norm voor het aantal SEO Ja 60 (71%) Nee Visitatie periode 1 (Okt 2012 – Sept 2013) 27 (32%) 2 (Okt 2013- Sept 2014) 37 (43%) 3 (Okt 2014 - April 2015) 21 (25%)

Uitkomsten evaluatie SEO beeldbeoordeling (beste 3 casus) Tabel 2.   doorsnede vergroting plaatsing calipers voldoende Onvol- doende Afwezig voldoendTotaal n = 255 e Centraal Zenuwstelsel Axial e doorsnede hoofd 237 (92.9%) 18 (7.1%) 238 (93.3%) 17 (6.7%) - 215 (84.6%) a 39 (15.4%) Suboccipito-bregmale doorsnede 234 (91.8%) 21 (8.2%) 17 (6.7) 247 (97.2%) a 7 (2.8%) Wervelkolom 217 (85.1%) 38 (14.9%) Gelaat Sagitale doorsnede profiel 193 (75.7%) 45 (17.6%) 209 (82.0%) 29 (11.3%) Orbitale diameter 8 (3.1%) 231 (90.6%) 11 (4.3%) 13 (5.1%) Coronale doorsnede neus, lippen, kin 219 (85.9%) 34 (13.3%) 236 (92.5%) 2 (0.8%) Thorax Vorm en echogeniciteit van de longen 213 (83.5%) 36 (14.1%) 32 (12.5%) 6 (2.4%) Diafragma 200 (78.4%) 50 (19.6%) 216 (84.7%) 5 (2.0%) Vierkamerbeeld 223 (87.4%) 55 (21.6%) Hart: linker uitstroombaan 31 (12.2%) 211 (82.7%) 43 (16.9%) 1 (0.4%) Hart: rechter uitstroombaan 223 (87.5%) 29 (11.4%) 220 (86.3%) 3 (1.2%) Hart: three vessel view 222 (87.1%) Buik Buikomtrek 230 (90.6%) a 24 (9.4%) 234 (92.9%) c 214 (86.6%) d 33 (13.4%) Buikwand 221 (87.0%) a 28 (11.0%) 216 (85.0%)a 33 (13.0%) Darmen 210 (82.4%) 212 (83. 2%) 22 (8.6%) Linker nier 227 (89.0%) 35 (13.7%) 166 (65.9%) c 86 (34.1%) Rechter nier 210 (82.3%) 212 (83.1%) 41 (16.1%) 154 (61.1%) c 97 (38.5%) Blaas 241 (94.5%) 9 (3.5%) 222 (87.0%) Extremiteiten Femur 14 (5.5%) 229 (89.8%) 23 (9.0%) 233 (94.7%) e 10 (4.1%) Linker been en voet 202 (79.2%) 44 (17.3%) 226 (88.6%) 20 (7.9%) Rechter been en voet 204 (80.0%) Linker arm en hand Rechter arm en hand 15 (5.9%) Navelstreng 240 (94.5%)a 12 (4.7%) 16 (6.3%) Placenta en cervix 199 (78.0%) 42 (16.5%) a= 1 ontbreekt, c = 3 ontbreekt, d = 8 ontbreekt , e = 9 ontbreekt.

Conclusies van de SEO beeldbeoordeling 1. Best beoordeelde foetale structuren zijn: de blaas de navelstrengvaten het femur. 2. Minst beoordeelde foetale structuren zijn; de sagitale doorsnede van het profiel de placenta-cervix het diafragma 3. Voor de calipers: best beoordeeld: meting suboccipito-bregmale doorsnede (97% goed) minst beoordeeld: meting van de pyela (66% rechts en 61% links goed) 4. 2% van de verplichte beeldopslag ontbrak (beste 3 casus)

De SEO herbeoordeling Analyse in maart 2015: 11 SEO herbeoordeling (2 nog niet uitgevoerd) De score van de eerste beoordeling is geanalyseerd met de score die behaald is bij de herbeoordeling. Alleen de beste drie casus worden geëvalueerd. Er is een significante verbetering in de beoordeling tussen het eerste logboek en het tweede logboek.

Het verband tussen de SEO-score en de karakteristieken Gemiddeld aantal punten (3 casus) Regressie - coëfficient (B) p waarde 95%-CI Type zorginstelling   Ziekenhuis 145 0.00 referentie Echopraktijk 144 -5.62 0.31 -16.5 – 5.3 Verloskundigenpraktijk 147 12.67 0.09 -1.9 – 27.2 Aantal echoscopisten werkzaam in zorginstelling 1-2 echoscopisten 130 3-7 echoscopisten 21.4 0.001 8.8 – 34.0 >7 echoscopisten 151 26.9 < 0.001 12.2 – 41.6 SEO ervaring Ervaren (≥2 jaar werkzaam) Startend (< 2 jaar werkzaam) 146 6.2 0.25 -4.4 – 16.7 Voldoet aan de norm voor het jaarlijkse aantal SEO Ja Nee 138 -14.0 0.009 -24.5 – -3.6 Visitatie periode 1 (Okt 2012 – Sept 2013) 2 (Okt 2013- Sept 2014) 148 11.0 0.04 0.6 – 21.5 3 (Okt 2014 - April 2015) 6.8 0.23 -4.3 – 17.9 P-waarde < 0.05 dan is er significant verband

Validatie van SEO beeldbeoordeling Representatieve verdeling voor de validatie 6 beelden goede kwaliteit 4 beelden voldoende kwaliteit 2 onvoldoende kwaliteit Van elke auditor 3 casus Totaal 12 casus Geanonimiseerd

Validatie beeldbeoordeling SEO Alle auditoren beoordeelden de onvoldoende casus ook als onvoldoende Inter-auditor variabiliteit is berekend door mw. Ursem. De icc (interclass correlation) was 0.974! Een icc >0.8 is goed en een icc > 0.9 is excellent. Dus de scoringmethode werkt heel goed. De interauditor variabiliteit is heel goed, wat betekent dat er uniform wordt beoordeeld door alle auditoren.

Conclusies 86% van de beoordeelde casus (beste 3) is van voldoende kwaliteit bij de eerste beoordeling Significant verschil in kwaliteit SEO na training/ feedback tijdens visitatie Er is een positief verband tussen het aantal echoscopisten dat werkt in de zorginstelling en de SEO score Er is een positief verband tussen het halen van de norm (jaarlijks aantal SEO’s) en de SEO-score De beoordeling van het SEO is uniform

Met dank aan: Aan alle geauditeerde echoscopisten uit Zuidwest Nederland Auditoren voor het beoordelen van echobeelden: Titia Cohen – Overbeek (PND Erasmus MC) Margreet Husen – Ebbinge (PND Erasmus MC) Ernst Schoonderwaldt (PND Erasmus MC) Cathy Rebel – de Vries (PND Reinier de Graaf , Star-MDC) Averil de Reus (PND Erasmus MC) Karin den Hollander (PND Erasmus MC) Statistische analysen: - Amber de Jong ( student 3e jaar gezondheid en leven VU) - Ingrid Peters (SPSZN) - Nicolette Ursem (SPSZN)

Andere tips voor de derde visitatieronde: Blijf up-to-date door o.a. de nieuwsbrieven van de SPSZN Echoscopische nascholing 16 punten van de BEN in 2 jaar Echoapparatuur max. 5 jaar, met upgrade max. 8 jaar Hou overzicht op verrichtingen en follow-up gegevens Volg de landelijke registratierichtlijnen voor het SEO Tijdig updaten van Astraia software Frequentie voor het opladen van gegevens naar Peridos: Maandelijks NT en eens per kwartaal SEO 7) Bezwaarregistratie in Peridos via BSN nummer zwangere 8) Geef uw verlof door i.v.m. ontheffing van de verrichtingsnorm 9) Bel de Stichting bij vragen