Inleiding voor de discussie over controlekaarten in de werkgroep Lucht

Presentatie over: "Inleiding voor de discussie over controlekaarten in de werkgroep Lucht"— Transcript van de presentatie:

1 Eerste-lijns kwaliteitscontrole bij milieu-analyses Algemene principes Controlekaarten
Inleiding voor de discussie over controlekaarten in de werkgroep Lucht 8 juni 2007 Raf De Fré – Rudy Van Cleuvenbergen

2 Method validation and quality control for environmental analysis
De kwaliteitsverantwoordelijke voor milieumetingen bij VITO, Rudy Van Cleuvenbergen, zou een algemene inleiding over kwaliteitscontrole en controlekaarten te geven. Wegens belet heeft hij onderstaande presentatie ter beschikking gesteld, waarvan een aantal slides zijn overgenomen: Method validation and quality control for environmental analysis door Rudy Van Cleuvenbergen (Masterclass cursus voor een Interscience publiek) November 2005

3 “Waarborging van de kwaliteit van de meet- en kalibratieresultaten ” - ISO 17025: 2005, 5.9.
§5.9.1: “Het laboratorium moet beschikken over procedures voor kwaliteits-beheersing om de validiteit van de uitgevoerde beproevingen en kalibraties te bewaken. De resulterende gegevens moeten zodanig worden geregistreerd dat trends worden opgemerkt en dat voor zover praktisch mogelijk statistische methodes worden toegepast voor de beoordeling van de resultaten. Deze bewaking moet worden gepland en beoordeeld en kan o.a. omvatten: regelmatig gebruik van gecertificeerde referentiematerialen en/of interne kwaliteitscontrole op basis van secundaire referentiematerialen; deelname aan interlaboratoriumvergelijkingen …. herhaling van proeven of kalibraties met dezelfde of andere methodes hernieuwde beproeving van bewaarde objecten correlatie van de resultaten voor verschillende eigenschappen van een object. Opmerking: de gekozen methodes moeten geschikt zijn voor het type en de omvang van de proeven.”

4 “Waarborging van de kwaliteit van de meet- en kalibratieresultaten ” in ISO 17025: 2005 - vervolg
§ 5.9.2: “Kwaliteitsbeheersingsgegevens moeten worden geanalyseerd en, indien wordt vastgesteld dat ze buiten tevoren gestelde criteria vallen, moet geplande actie worden genomen om het probleem te corrigeren en te voorkomen dat incorrecte resultaten worden gerapporteerd. Definitie van het kwaliteitscontroleprogramma: (volgens Rudy VC - in deze context van milieu-analyses) Zelfcontrole programma gedurende het routinegebruik van een testmethode, om de voortdurende geldigheid van de gerapporteerde resultaten te verzekeren en de evolutie van de performantiekarakteristieken van de methode op te volgen.

5 Bredere context: “One ring to … forever bind them”
External requirements (legislation, accreditation/recognition bodies, …) Customer requirements (--->contract review) Method validation (incl. calibration) QC programme Measurement uncertainty

6 “The Shewart cycle” of “Deming wheel”
Do Check Act Plan Improvement

7 Richtlijnen voor QC bij analyses
CITAC / Eurachem Guide “Guide to quality in analytical chemistry – an aid to accreditation”, 2002 ( Eurachem Guide “Selection, use and interpretation of proficiency testing (PT) schemes by laboratories – 2000” ( EA-04/14 “The selection and use of reference materials”, 2002 ( ISO 8258:1991/Cor. 1:1993 “Shewhart control charts” NPR 6603:1988 “Water en slib – Richtlijnen voor interne kwaliteitsbeheersing met controlekaarten bij chemische analyses”

8 Het kwaliteitscontrole programma
3 niveaus van kwaliteitscontrole (QC) 1ste lijn : controles uitgevoerd en geëvalueerd door de operator Als controle van kritische aspecten van methode Om de continu geldigheid van resultaten in routine te verzekeren Standaard onderdeel van het analytisch proces 2de lijn: interne controlestalen, samenstelling niet gekend door operator “Blinde stalen”; planning en evaluatie door QA management van labo Bij voorkeur niet herkenbaar als 2de lijns-controlestalen 3de lijn: externe controlestalen, concentratie niet gekend door labo Ringtest, interlaboratorium vergelijking (IC) of Proficiency Testing (PT) Aanbieding van stalen en rapportering/evaluatie door externen

9 Het kwaliteitscontrole programma
Conventie voor ISO (accreditatie) en erkenning: minimaal 2 van de 3 vereist 1ste lijn + 3de lijn Aanbevolen program indien fit-for-purpose PT schema beschikbaar 1ste lijn + 2de lijn Moet worden toegepast indien geen PT schema bestaat, of indien bestaande PT schema’s niet fit-for-purpose zijn (e.g. stalen of referentiewaarden niet representatief, te weinig deelnemers…) 2de lijn + 3de lijn ? (nvdr: nooit gehoord of gezien) conclusie: 1ste-lijns kwaliteitscontrole is steeds vereist In recente Belac richtlijnen en internationaal is 3de lijns niet meer zo vrijblijvend: meedoen indien beschikbaar!

10 Key steps Plan Wat: vastleggen welke Q-controles + hele QC programma in Q-handboek Hoe: procedures - werkinstructies (routinepraktijken, software-grafieken, bijzondere eisen van klanten….), bereiding of aankoop van referentiestalen… Wanneer : frequentie vastleggen (absoluut of relatief) Do elk van de gekozen niveaus volgens planning in Q-handboek Check QC werk is enkel effectief indien evaluatie Moet steunen op vooraf vastgelegde out-of-control criteria, die consistent zijn/blijven met de performantiekarakteristieken van de methode en …

11 Key steps (vervolg) Act
Nonconformiteiten moeten terdege onderzocht (weerslag op welke stalen, potentieel effect op kwaliteit resultaten) en tot gepaste remediërende en/of correctieve acties leiden Remediërende acties: korte-termijn acties voor het wegwerken van de niet-conformiteit en impact op resultaten (bv. oplossen technisch probleem, gevolgd door hermeting) Correctieve acties: (indien nodig, bijv. bij weerkerend probleem): bijkomende interne acties om te voorkomen dat gelijkaardige nonconformiteiten opnieuw optreden in de toekomst (bijv. oorzaken opzoeken, gevolgd door selectie/applicatie van meest belovende benadering om oorzaken weg te nemen, met finale check van effectiviteit van genomen maatregelen) Als een nonconformiteit twijfel zaait over de kwaliteit van resultaten en niet kan geremedieerd worden (bijv. omdat geen dubbelstaal beschikbaar is), dan moet de klant verwittigd worden door een duidelijke waarschuwing in het rapport Interne feedback – ook positieve – is van cruciaal belang om de motivatie van de operators te behouden (bijv. trendanalyse, resultaten 2de/3de lijns QC)

12 Registraties registratie en archiveren vereist voor elk van de key steps Plan : instructies (incl. criteria of statistische controle) moeten ondubbelzinnig beschreven zijn in de analyse- en/of algemene procedure; waar nodig refereren naar formulieren, controlekaarten etc. Do : deel van normale analytische registraties Check : moet aantoonbaar zijn (bv. data evaluatie software, manuele ticking, bijgeschreven commentaar, specifiek formulier …) Act : registratie in algemeen kwaliteitsbeheerssysteem van labo voor nonconformiteiten is aangewezen indien correctieve acties nodig of vorige analyses getroffen; in andere gevallen kan registratie van evaluatie/actie in de analysefile, controle kaart, instrument logboek e.d. volstaan

13 Eerste lijns QC Focus op verschillende aspecten is mogelijk, typisch:
Geschiktheidstest van meetsysteem, reagentia… Controle van analysepad (staalvoorbereiding, kalibratie…) Afwezigheid van besmetting, interferenties… Kritische aspecten dienen steeds gecontroleerd. Deze zijn bepaald door parameter, methode, techniek, materiaal.. ---> 1ste lijns QC program wordt in de praktijk afgestemd op: efficiëntie duurzaamheid = uitvoerbaar & houdbaar op lange termijn complementariteit met andere gebruikte QC tools

14 1ste lijn QC Enkele mogelijkheden: Gebruik van referentiestalen
Gebruik van blanks (systeem-, reagens-, procedure-, veld- …) Duplicaat analyses Standaardadditie Interne standaarden en isotoop dilutie Systeem performantie checks Plausibiliteitscontrole van resultaten (verhouding tussen parameters, bijdrage tot som, verwacht resultaat na vorige …) Bevestigende analyse met andere methode/techniek/materiaal… …

15 Gebruik van referentiestalen
Laat controle toe van meeste/alle stappen van de analyseweg Meet vooral within-lab reproducibility, dus referentiestaal moet geen CRM zijn Materiaal moet voldoende homogeen en stabiel zijn, en zo representatief als mogelijk (matrix, parameter, concentraties) Bij voorkeur Shewhartkaart voor evaluatie

16 Gebruik van procedure blanks
Moet gericht zijn op de volledige procedure Ideaal is afwezigheid van het analyt in de blank (< LOD, < LOQ/2) Evaluatie kan problematisch zijn wegens (onbekend) verband met oorzaak van blank Normaal één van volgende: Vaste absolute grens Vaste grens in verhouding tot resultaat (%) Statistische controle (controlekaart) Correctie voor procedure blank (risico met reproduceerbaarheid !)

17 Gebruik van standaardadditie, interne standaarden
Duplicaat analyses Bijzonder nuttig indien geen representatief referentiestaal beschikbaar (bijv. zwevende stoffen in afvalwater) Geeft geen indicatie over constante fout Evaluatie kan steunen op: Vaste grens, bij voorkeur statistisch afgeleid (verschil tussen resultaten <2.8 sr of sR) Shewhart R-kaart, met actiegrenzen bij 3,27 maal het gemiddelde genormaliseerde bereik en alarmgrenzen bij 2,46 maal ( “the average normalised range”) Gebruik van standaardadditie, interne standaarden Spiking methode moet toespitst worden op representatieve toevoeging, bijzonder voor vaste matrices Berekening van de recovery van interne standaard (bijv. met gebruik van injectiestandaard) is krachtig middel voor controle van hele analyseweg van elk staal

18 Systeem performantie checks
Instrumentele detectielimiet (bijv. voor sporenanalyse, …) Signaal/Ruis verhouding voor kritische component Resolutie (bijv. voor scheidingstechnieken …) Complete scheiding of hoogte vallei tussen kritisch paar pieken Kalibratie checks Onafhankelijke standaard (bijv. indien analyt onstabiel) Controle oplossing (bijv. indien kalibratiecurve slechts periodiek opgesteld of niet toepasbaar voor deze techniek) Drift controle tussen/na stalen (bijv. indien respons kan fluctueren) Correlatiecoëfficiënt van kalibratiecurve …

19 Gebruik van controlekaarten
grafiek van testresultaten i.f.v. de tijd of staalnummer, waarop controlegrenzen zijn aangegeven Shewhart kaart: met statistisch bepaalde grenzen, om snel onwaarschijnlijke resultaten of afwijkende trends te ontdekken ---> vooral aanbevolen voor evaluatie van referentiestaal (X-kaart) of duplicaat analyses (R-kaart) Gebruik van Shewhart kaarten wordt beschreven in diverse normen en richtlijnen (bv. ISO 8258, NPR 6603); er is geen “uniek” stel instructies

20 Shewhart kaart: historiek en principes
Ontwikkeld door Walter Shewhart voor controle van industriële producten (Bell Labs 1924) – verder door W.E. Deming Principe: eigenschappen van elk product wisselen; dit kan door waarschijnlijkheids-statistiek worden beschreven Ingrijpen heeft slechts zin als er variaties buiten de gewone statistiek optreden; anders maakt men het proces nog onstabieler Normaalverdeling is niet vereist voor de frequentie van het voorkomen van uitliggers op 2s en 3s; dit lijkt universeel geldig Toepassing in industrie, economie, wetenschappen, analyse…. Nadien zijn veel varianten uitgevonden voor specifieke testen, veel voor trendanalyse

21 Shewhart controlekaart: illustratie
zone + 3s: bovenste controlegrens A + 2s bovenste alarmgrens B C gemiddelde C B - 2s onderste alarmgrens A - 3s: onderste controlegrens

22 Gebruik van Shewhart kaart: voorbeeld
Start gebaseerd op 15 onafhankelijke metingen waarvan gemiddelde en standaardafwijking worden berekend Teken op een grafiek voor controle van de volgende 30 metingen gemiddelde actiegrenzen of controlegrenzen (± 3s, of 99,7 % van normaalverdeling) alarm- of waarschuwingsgrenzen (± 2s, of 95 % van normaalverdeling) Evaluatie van metingen 1 meting per reeks of dag wordt op kaart getekend en beoordeeld; andere beoordeeld maar niet geplot (within-lab reproducibility !) Actie indien : 1 punt buiten actiegrenzen 2 opeenvolgende punten buiten zelfde alarmgrens 7 opeenvolgende punten met toenemende afwijking van gemiddelde

23

24 Bijkomende trendanalyse op volledige kaarten - historiek
Extreme waarden die technisch te verklaren zijn worden gemerkt en niet meegeteld voor verdere statistische verwerking De evolutie van de standaardafwijking en het gemiddelde worden statistisch getest (op significante afwijkingen): 30 punten van kaart N tegen historiek van max. 90 punten (kaart N-1, N-2, N-3) Test voor s: 2-zijdige F-test met α = 0,01; voor ca. 90 punten vereenvoudigd tot: 0,75 < < 1,48 Test voor gemiddelde: 2-zijdige t-test met α = 0,01; voor historiek van ca. 90 punten herleid tot < 0,54 Indien één van beide testen faalt = ‘out-of-control’ situatie Indien beide testen OK, nieuwe berekening van gemiddelde en grenzen uit alle data van kaarten N, N-1 and N-2

25 Andere types controlekaarten (dan Shewart)
kaart met vaste grenzen indien statistische grenzen niet haalbaar CUSUM of “cumulative sum” bijzonder gevoelig om drift tijdig te detecteren (vanaf 0,25 s) krijgt voorkeur bij vast opgestelde meettoestellen volgens EN14181 vele andere types, minder verspreid & bekend bij metingen Moving average (MA, EWMA), p, np, c, u, z.., 3-way, multivariaat.. (ergens een meer geschikt type voor controlegas???)

26 Gebruik van controlekaarten met vaste grenzen
De vaste grenzen moeten goed onderbouwd zijn Bij voorkeur uit statistische analyse van een grote reeks representatieve data Direct gebruik van vereisten uit normen of wetgeving kan leiden tot ongemerkt afglijden van de performantiekarakteristieken van de methode Een vorm van trendanalyse moet gepland en toegepast worden Bij voorkeur minstens voor controlestaal en minstens 1x/ jaar (--> management review) Statistisch afgeleide grenzen dienen herzien wanneer significante trends worden ontdekt Bij realistische statistisch afgeleide grenzen ligt ca % van de metingen in de uiterste kwartielen

27 Controlekaart als essentieel bewijsstuk voor QC (= wat auditeur moet kunnen zien)
Continuïteit van kwaliteitscontrole en registratie hiervan Voor alle parameters recentste controlekaart: best op figuur Redelijkheid van de grenzen (2s < totale meetonzekerheid) Gemeten waardes (indien ref. waarde gekend) Historiek van de kwaliteit op voorgaande controlekaarten stabiliteit van de standaardafwijking stabiliteit van het gemiddelde Verficatie van acties genomen na out-of-control situaties Grafische voorgestelde controlekaart is praktisch een must alternatieve systemen kunnen, indien voldaan aan onderstaande

28 Samengevat Eerste lijnscontrole is nodig voor alle kritische stappen van het meetproces Er zijn verschillende vormen van 1° lijnscontrole: bv. lektest, drift-controle op zero en span, controlestaal, controle van instrumentparameters… Behoorlijke planning – uitvoering – controle – actie is vereist voor elke 1° lijns- QC (Deming cirkel: P-D-C-A) Controlekaart is standaardinstrument voor opvolging van 1° lijns-QC. Shewartkaart is de eerste keuze De 1°lijnscontrole gebeurt onmiddellijk, voor de analyse Voor erkende labo’s is gebruik van controlegassen verplicht als 1° lijnscontrole …

29 Probleem: Hoe de sprong vermijden
Probleem: Hoe de sprong vermijden? - continuïteit van 1°-lijnscontrole met referentiegassen?