Icastat - AMO Icastat - AMO 1 NHV - dinsdag 6 maart 2012 drs. Paul K. Baggelaar Icastat ir. Eit C.J. van der Meulen AMO Trendanalyse op maat voor een meetnet.

Presentatie over: "Icastat - AMO Icastat - AMO 1 NHV - dinsdag 6 maart 2012 drs. Paul K. Baggelaar Icastat ir. Eit C.J. van der Meulen AMO Trendanalyse op maat voor een meetnet."— Transcript van de presentatie:

1 Icastat - AMO Icastat - AMO 1 NHV - dinsdag 6 maart 2012 drs. Paul K. Baggelaar Icastat ir. Eit C.J. van der Meulen AMO Trendanalyse op maat voor een meetnet waterkwaliteit een meetnet waterkwaliteit Trendanalyse op maat voor een meetnet waterkwaliteit een meetnet waterkwaliteit

2 Icastat - AMO Icastat - AMO 2 Hoofddoelstellingen milieumeetnetten Beschrijven en beoordelen van: 1. de toestand objectiveren met behulp van normen 2.de verandering van de toestand objectiveren met behulp van statistische methoden vergt veel inspanning bij grootschalig meetnet (duizenden reeksen)

3 Icastat - AMO Icastat - AMO 3 TrendTrend  Vorm van niet-stationariteit  Verandering in het centrum van de kansverdeling van meetwaarden over tenminste enkele jaren  We richten ons op de monotone trend

4 Icastat - AMO Icastat - AMO 4 Onderdelen van trendanalyse 1. Trenddetectie: objectieve uitspraak over wél of géén trend 2. Trendkwantificering: schatting van de grootte van de trend

5 Icastat - AMO Icastat - AMO 5 Toetsen op monotone trend Bekendste: toets op lineaire regressiehelling Y t = b 0 + b 1 X t + e t onderzoeksvariabele tijdsindex intercept hellingtijd modelresidu

6 Icastat - AMO Icastat - AMO 6 Trendtoetsen met lineaire regressie Toetshypothesen: Verwerp H 0 als T > t (0,975;n-2) Toetsingsgrootheid: Student-t-waarde

7 Icastat - AMO Icastat - AMO 7 Voorwaarden trendtoetsen met lineaire regressie 1. Modelresiduën zijn afkomstig uit (dezelfde) normale kansverdeling 2. Modelresiduën vertonen geen autocorrelatie

8 Icastat - AMO Icastat - AMO 8 Voorbeeld lineaire regressie

9 Icastat - AMO Icastat - AMO 9 Modelresiduën normaal verdeeld?

10 Icastat - AMO Icastat - AMO 10 Modelresiduën geen autocorrelatie?

11 Icastat - AMO Icastat - AMO 11 Uitgebreide lineaire regressie modelruis autoregressieve modelparameter modelresidu

12 Icastat - AMO Icastat - AMO 12 Voorbeeld uitgebreide lineaire regressie

13 Icastat - AMO Icastat - AMO 13 Modelresiduën geen autocorrelatie?

14 Icastat - AMO Icastat - AMO 14 Mogelijke kenmerken milieugegevens  Ondergrens van nul  Gecensureerde meetwaarden (bv. < 1  g/l)  Uitschieters, meestal naar boven  Scheve kansverdeling (naar rechts)  Seizoenspatroon  Correlatie in tijd of ruimte Rekening mee houden bij statistische analyse

15 Icastat - AMO Icastat - AMO 15 Nóg uitgebreidere lineaire regressie aantal seizoenen seizoensindex seizoenseffect modelruis autoregressieve modelparameter seizoensindicator modelresidu

16 Icastat - AMO Icastat - AMO 16 Voorbeeld verdelingsvrije toets: Mann-Kendall-toets

17 Icastat - AMO Icastat - AMO 17 Uitbreidingen Mann-Kendall-toets Toetsingsgrootheid per seizoen

18 Icastat - AMO Icastat - AMO 18 Toetsen op monotone trend Parametrisch Lineaire regressie | +s | +a | +sa | Verdelingsvrij Mann-Kendall | +s | +a | +sa | Spearman | +s | Lettenmaier | +a | +sa | Farrell | +s | Wanneer welke toets gebruiken?

19 Icastat - AMO Icastat - AMO 19 Criteria bij keuze trendtoets 1. Empirisch significantieniveau niet hoger dan gehanteerd significantieniveau (  ) verleent objectiviteit en zeggingskracht aan signaleringsfunctie van het meetnet 2. Hoogste onderscheidend vermogen (1-  ) van alle trendtoetsen die aan 1. voldoen er wordt dan zo efficiënt mogelijk informatie gefilterd uit de duur betaalde meetgegevens

20 Icastat - AMO Icastat - AMO 20 Voorbeeld keuze trendtoets

21 Icastat - AMO Icastat - AMO 21

22 Icastat - AMO Icastat - AMO 22

23 Icastat - AMO Icastat - AMO 23 Kenmerken verdelingsvrij toetsen 1.Doet bij normale kansverdeling niet veel onder voor parametrisch toetsen 2.Is bij niet-normale kansverdeling krachtiger dan parametrisch toetsen 3.Geen last van uitschieters !

24 Icastat - AMO Icastat - AMO 24 En transformeren?  Lukt zelden volledig en toepassen van een parametrische toets/schatter is dan niet optimaal  Geeft ‘kromme’ trends in de meetschaal Bij niet-normaliteit geven wij de voorkeur aan verdelingsvrije methoden

25 Icastat - AMO Icastat - AMO 25 Toetsen geselecteerd voor de procedure Parametrisch Lineaire regressie en uitbreidingen Verdelingsvrij Mann-Kendall en uitbreidingen

26 Icastat - AMO Icastat - AMO 26 Preferentieprocessen van de toetsen

27 Icastat - AMO Icastat - AMO 27

28 Icastat - AMO Icastat - AMO 28 TrendkwantificeringTrendkwantificering Theilhelling en Kendall-seizoenshelling zijn beide zuivere en robuuste schatters, met zuivere en robuuste schatters, met grotere nauwkeurigheid dan lineaire regressie- helling bij scheve kansverdelingen

29 Icastat - AMO Icastat - AMO 29 Principe Theilhelling Theilhelling is mediaan van de hellingen = 1.00

30 Icastat - AMO Icastat - AMO 30 Robuustheid Theilhelling

31 Icastat - AMO Icastat - AMO 31 Nauwkeurigheid Theilhelling RMSE Ratio = (RMSE Theilhelling) / (RMSE lin reghelling) [Hirsch et al., 1991]

32 Icastat - AMO Icastat - AMO 32 Toepassingen procedure Grootschalige meetnetten waterkwaliteit  RIWA  RWS  10 waterschappen  drinkwaterbedrijf  Provincie  VMM Structureren presentatie uitvoer is uitdaging !

33 Icastat - AMO Icastat - AMO 33 ConclusiesConclusies 1. Maatwerk bij trendanalyse loont: meer onderscheidend vermogen bij trendtoetsen en grotere nauwkeurigheid bij trendschatten 2. Selectie toets/schatter obv soort kansverdeling en al of geen seizoenseffecten en/of autocorrelatie 3. Bij niet-normaliteit verdelingsvrije methoden 4. Selectieprocedure en trendanalyse zijn zodanig geobjectiveerd dat ze automatisch uitgevoerd kunnen worden

34 Icastat - AMO Icastat - AMO 34 Vragen?Vragen?