Icastat - AMO Icastat - AMO 1 NHV - dinsdag 6 maart 2012 drs. Paul K. Baggelaar Icastat ir. Eit C.J. van der Meulen AMO Trendanalyse op maat voor een meetnet waterkwaliteit een meetnet waterkwaliteit Trendanalyse op maat voor een meetnet waterkwaliteit een meetnet waterkwaliteit

Icastat - AMO Icastat - AMO 2 Hoofddoelstellingen milieumeetnetten Beschrijven en beoordelen van: 1. de toestand objectiveren met behulp van normen 2.de verandering van de toestand objectiveren met behulp van statistische methoden vergt veel inspanning bij grootschalig meetnet (duizenden reeksen)

Icastat - AMO Icastat - AMO 3 TrendTrend  Vorm van niet-stationariteit  Verandering in het centrum van de kansverdeling van meetwaarden over tenminste enkele jaren  We richten ons op de monotone trend

Icastat - AMO Icastat - AMO 4 Onderdelen van trendanalyse 1. Trenddetectie: objectieve uitspraak over wél of géén trend 2. Trendkwantificering: schatting van de grootte van de trend

Icastat - AMO Icastat - AMO 5 Toetsen op monotone trend Bekendste: toets op lineaire regressiehelling Y t = b 0 + b 1 X t + e t onderzoeksvariabele tijdsindex intercept hellingtijd modelresidu

Icastat - AMO Icastat - AMO 6 Trendtoetsen met lineaire regressie Toetshypothesen: Verwerp H 0 als T > t (0,975;n-2) Toetsingsgrootheid: Student-t-waarde

Icastat - AMO Icastat - AMO 7 Voorwaarden trendtoetsen met lineaire regressie 1. Modelresiduën zijn afkomstig uit (dezelfde) normale kansverdeling 2. Modelresiduën vertonen geen autocorrelatie

Icastat - AMO Icastat - AMO 8 Voorbeeld lineaire regressie

Icastat - AMO Icastat - AMO 9 Modelresiduën normaal verdeeld?

Icastat - AMO Icastat - AMO 10 Modelresiduën geen autocorrelatie?

Icastat - AMO Icastat - AMO 11 Uitgebreide lineaire regressie modelruis autoregressieve modelparameter modelresidu

Icastat - AMO Icastat - AMO 12 Voorbeeld uitgebreide lineaire regressie

Icastat - AMO Icastat - AMO 13 Modelresiduën geen autocorrelatie?

Icastat - AMO Icastat - AMO 14 Mogelijke kenmerken milieugegevens  Ondergrens van nul  Gecensureerde meetwaarden (bv. < 1  g/l)  Uitschieters, meestal naar boven  Scheve kansverdeling (naar rechts)  Seizoenspatroon  Correlatie in tijd of ruimte Rekening mee houden bij statistische analyse

Icastat - AMO Icastat - AMO 15 Nóg uitgebreidere lineaire regressie aantal seizoenen seizoensindex seizoenseffect modelruis autoregressieve modelparameter seizoensindicator modelresidu

Icastat - AMO Icastat - AMO 16 Voorbeeld verdelingsvrije toets: Mann-Kendall-toets

Icastat - AMO Icastat - AMO 17 Uitbreidingen Mann-Kendall-toets Toetsingsgrootheid per seizoen

Icastat - AMO Icastat - AMO 18 Toetsen op monotone trend Parametrisch Lineaire regressie | +s | +a | +sa | Verdelingsvrij Mann-Kendall | +s | +a | +sa | Spearman | +s | Lettenmaier | +a | +sa | Farrell | +s | Wanneer welke toets gebruiken?

Icastat - AMO Icastat - AMO 19 Criteria bij keuze trendtoets 1. Empirisch significantieniveau niet hoger dan gehanteerd significantieniveau (  ) verleent objectiviteit en zeggingskracht aan signaleringsfunctie van het meetnet 2. Hoogste onderscheidend vermogen (1-  ) van alle trendtoetsen die aan 1. voldoen er wordt dan zo efficiënt mogelijk informatie gefilterd uit de duur betaalde meetgegevens

Icastat - AMO Icastat - AMO 20 Voorbeeld keuze trendtoets

Icastat - AMO Icastat - AMO 21

Icastat - AMO Icastat - AMO 22

Icastat - AMO Icastat - AMO 23 Kenmerken verdelingsvrij toetsen 1.Doet bij normale kansverdeling niet veel onder voor parametrisch toetsen 2.Is bij niet-normale kansverdeling krachtiger dan parametrisch toetsen 3.Geen last van uitschieters !

Icastat - AMO Icastat - AMO 24 En transformeren?  Lukt zelden volledig en toepassen van een parametrische toets/schatter is dan niet optimaal  Geeft ‘kromme’ trends in de meetschaal Bij niet-normaliteit geven wij de voorkeur aan verdelingsvrije methoden

Icastat - AMO Icastat - AMO 25 Toetsen geselecteerd voor de procedure Parametrisch Lineaire regressie en uitbreidingen Verdelingsvrij Mann-Kendall en uitbreidingen

Icastat - AMO Icastat - AMO 26 Preferentieprocessen van de toetsen

Icastat - AMO Icastat - AMO 27

Icastat - AMO Icastat - AMO 28 TrendkwantificeringTrendkwantificering Theilhelling en Kendall-seizoenshelling zijn beide zuivere en robuuste schatters, met zuivere en robuuste schatters, met grotere nauwkeurigheid dan lineaire regressie- helling bij scheve kansverdelingen

Icastat - AMO Icastat - AMO 29 Principe Theilhelling Theilhelling is mediaan van de hellingen = 1.00

Icastat - AMO Icastat - AMO 30 Robuustheid Theilhelling

Icastat - AMO Icastat - AMO 31 Nauwkeurigheid Theilhelling RMSE Ratio = (RMSE Theilhelling) / (RMSE lin reghelling) [Hirsch et al., 1991]

Icastat - AMO Icastat - AMO 32 Toepassingen procedure Grootschalige meetnetten waterkwaliteit  RIWA  RWS  10 waterschappen  drinkwaterbedrijf  Provincie  VMM Structureren presentatie uitvoer is uitdaging !

Icastat - AMO Icastat - AMO 33 ConclusiesConclusies 1. Maatwerk bij trendanalyse loont: meer onderscheidend vermogen bij trendtoetsen en grotere nauwkeurigheid bij trendschatten 2. Selectie toets/schatter obv soort kansverdeling en al of geen seizoenseffecten en/of autocorrelatie 3. Bij niet-normaliteit verdelingsvrije methoden 4. Selectieprocedure en trendanalyse zijn zodanig geobjectiveerd dat ze automatisch uitgevoerd kunnen worden

Icastat - AMO Icastat - AMO 34 Vragen?Vragen?