Multifactoriële designs

Presentatie over: "Multifactoriële designs"— Transcript van de presentatie:

1 Multifactoriële designs
Kindergeneeskunde 7 december 2006

2 programma DEC: formule van Mead Enkele statistische begrippen
Toelichting multifactorieel design Relatie aantallen “volgens Mead” met huidige situatie Simulaties Conclusies

3 Formule van Mead (resource equation)
Formule: E = N – B – T Waarin N = het aantal vrijheidsgraden behorende bij het totaal aantal proefdieren (dus bij n proefdieren is N = n – 1) B = het aantal vrijheidsgraden behorende bij het aantal “blokken” of strata T = het aantal vrijheidsgraden behorende bij het aantal “treatments” (of totaal te testen nulhypothesen, inclusief interacties) E is dan het aantal resterende vrijheidsgraden voor de error (of residuen). Advies van Mead: 10 ≤ E ≤ 20

4 Statistische begrippen
Df = Degrees of Freedom = vrijheidsgraden T-test Significantieniveau Power (onderscheidingsvermogen) ANOVA (lineair model) interactie

5 Fouten van eerste en tweede soort
Beslissing H0 waar H0 niet waar Werkelijkheid OK Fout van de eerste soort, kans hierop: α Fout van de tweede soort, kans hierop: β Power

6 Relatie steekproefgrootte en power
Als α = 0,05 is zα = 1,96, als β = 0,2 is zβ = 0,84, Om n te kunnen bepalen heb je een schatting van de standaarddeviatie (s) nodig en het aan te tonen verschil (d). Waaruit volgt dat n ongeveer 16 (dus 8 per groep) moet zijn om een verschil van een sd te kunnen aantonen met een power van 80%.

7 ANalysis Of VAriance Oneway; uitbreiding van de t-test tot meer dan twee groepen. Getoetst wordt de H0: Dit gebeurt door de variantie tussen de groepen te vergelijken met de variantie binnen de groepen

8 Scatterplot

9 Lineair model In plaats van H0: kun je ook schrijven:
waarin de α’s de afwijkingen zijn van de groepsgemiddelden ten opzichte van het overall gemiddelde en toetsen dat alle α’s gelijk zijn aan 0 Een willekeurige waarneming uit groep i wordt dan geschreven als:

10 Voorwaarden ANOVA Onafhankelijke waarnemingen
Varianties in de groepen zijn gelijk Normale verdeling per groep of voor het lineair model: Residuen normaal verdeeld Homogene spreiding van de residuen

11 Voorbeeld state glucose 1.00 4.00 1.00 4.10 1.00 4.40 1.00 4.10

12 SPSS uitvoer van Oneway ANOVA

13 Relatie statistische technieken
ANOVA op twee groepen = t-test Resultaten van lineaire regressie met dummy-codering is equivalent aan de resulaten van ANOVA Oneway ANOVA uit te breiden naar meerdere verklarende factoren: multifactoriële analyse of “meerweg” ANOVA (two-way, three-way, …)

14 Mead: E = N – B – T (E was df of de error)
Advies van Mead: 10 ≤ E ≤ 20.

15 SPSS uitvoer Oneway ANOVA
Dit is de T (df van treatments) van Mead N = n-1 Dit is E van Mead

16 De formule van Mead toegepast op twee groepen
E = N – B – T B = 0, T = 1 dus als moet gelden dat 10 ≤ E ≤ 20, geldt dat 11 ≤ N ≤ 21 en daarmee voor de steekproefgrootte n: 12 ≤ n ≤ 22, dus de groepen moeten tussen 6 en 11 groot zijn. Bij n = 12 is bij een power van 80 % een verschil van 1,8 sd aan te tonen Bij n = 22 een verschil van 1,3 sd

17 Multifactorieel design
Kijken naar het effect van verschillende variabelen (factoren) tegelijk (bijvoorbeeld type muis / dieet / state) Mogelijkheid om interacties tussen deze variabelen te toetsen Efficienter dan meerdere kleinere studies

18 Voorbeeld Vergelijking power van t-toets voor één factor (interventie) met two-way ANOVA (interventie / dieet) voor verschillende effectgroottes Zonder interactie / met interactie

19 Twee afzonderlijke experimenten
Twee onafhankelijke experimenten betreffende factor A (effect 1,5 sd) en factor B (geen effect) Simulatie van data: er worden voor experiment A 6 waarnemingen getrokken uit N(20,2) en 6 uit N(23,2) Voor experiment B 2 maal 6 waarnemingen uit N(20,2) Dit wordt maal uitgevoerd, bij ieder experiment toetsen we met de t-toets

20 Resultaten t-testen van de simulaties met steeds12 dieren voor experiment A en 12 voor B: 6543 significant voor A, 510 voor B Dit komt goed overeen met de theorie: de power is ± 65 % bij een verschil van anderhalve sd en een α = 0,05 (factor A) en als er geen effect is (factor B) verwacht je in 5 % van de gevallen ten onrechte de nulhypothese te verwerpen

21 Simulaties met twee factoren in één proefopzet (zonder interactie)
Data gesimuleerd volgens een additief model (effecten van factor A en B zijn geheel onafhankelijk van elkaar) Gesimuleerd worden data uit een normale verdeling met gemiddelden: Factor B = 0 Factor B = 1 Factor A = 0 µ µ + b Factor A = 1 µ + a µ + a + b en dezelfde standaarddeviatie

22 ANOVA zonder toets op interactie, 10.000 toetsen
Aantal per cel: Aantal significante tests voor factor A (1,5 sd) Aantal significante tests voor factor B (geen effect) n=4 (totaal 16) 7908 498 n=5 (totaal 20) 8880 502 n=6 (totaal 24) 9398 495 Bij een t-toets met 2x8 is de power 80% Vergelijk power t-toets: 65 % (n=2x6)

23 Idem, effect A is 1,5 sd, effect B is 1 sd
Aantal per cel: Aantal significante tests voor factor A Aantal significante tests voor factor B n=4 (totaal 16) 7878 4532 n=5 (totaal 20) 8849 5556 n=6 (totaal 24) 9402 6463 Power t-test bij n = 2*6 = 12 factor A: 65 % (dus totaal 24) factor B: 35 %

24 Testen met interactie Eerst kijken naar de test van de interactie: als deze significant is zijn de hoofdeffecten niet meer los te interpreteren. (Het verschil tussen de diëten is anders voor mannetjes dan voor vrouwtjes). Als er in werkelijkheid geen interactie is, zul je in ongeveer 5 % van de gevallen ten onrechte toch een interactie constateren Als er wel een interactie is, zul je dat in twee gescheiden onderzoeken nooit constateren!

25 Effect A = 1,5 sd, effect B = 1 sd, geen interactie (10.000 maal)
Aantal significante tests A Aantal significante tests B Aantal significante interacties n = 4 (totaal 16) 4903 2509 503 n = 5 (totaal 20) 6007 3126 516 n = 6 (totaal 24) 7060 3773 513 Power t-test bij n = 2*6 = 12 factor A: 65 % factor B: 35 %

26 Vergelijking met de onafhankelijke toetsen
Er lijkt slechts een geringe winst in power, maar op het moment dat de interactie niet significant is, toets dan opnieuw, zonder de interactieterm in het model

27 Minder power voor het toetsen van de interactieterm
experimenten met effect A = 1,5 sd, effect b = 0, interactie-effect = 2 sd Aantal significante tests voor A Aantal significante tests voor B Aantal significante tests voor AB n = 4 (totaal 16) 4900 510 4573 n = 5 (totaal 20) 6071 501 5542 n = 6 (totaal 24) 6989 523 6437 Minder power voor het toetsen van de interactieterm

28 Multifactoriële toets in SPSS
Analyze General linear model Univariate (bedoeld wordt één responsievariabele) Vul in: Dependent Variable (Y) Fixed Factor(s) Options (descriptives + homogeniteitstest) Plots (en eventueel Model voor de modelspecificatie)

29 R. Mead, The design of experiments
R. Mead, The design of experiments. Statistical principles for practical application Blz 587 / 588 The resource equation … It is of course possible to keep the value of E in the region of 10 to 20 by doing several small experiments, rather than one rather larger experiment in which the total number of experimental units is much less than the sum of the units in the separate small experiments. This is inefficient because of the need to estimate σ² for each experiment. The experimenter should identify clearly the questions he wishes the experiment to cover, and he should also consider carefully if he is asking enough questions to use the experimental resources efficiently.

30 Conclusies Een gecombineerde studie kan inderdaad efficienter zijn dan meerdere kleinere studies De meeste winst valt te behalen als er geen sprake is van interactie tussen de factoren Indien er een interactie verwacht wordt zullen de aantallen per cel groter moeten zijn dan de formule van Mead voorschrijft