STATISTICS Essentials of Statistiek voor Informatiekunde docent: Frits de Vries assistent: Andreas Slot MARIO F. TRIOLA EDITION 3rd

Programma vandaag Organisatie en opzet van de cursus Waarom Statistiek? Vooruitblik op de stof hoofdstukken 1,2 en 3

Website cursus:

Website cursus:

Boek Literatuur: Mario Triola: Essentials of Statistics, 3rd edition Addison-Wesley Higher Education, 2008

Rooster

Organisatie en opzet (1) Kijk zelf op website naar: Introductie Beoordeling en deadlines Ziekteregeling Rooster Etc.

Organisatie en opzet (2) Uitdelen en inleveren: Week 1: Opdrachten hoofdstuk 1, 2 en 3 Week 2: uitwerkingen hoofdstuk 1,2 en 3 en maak een kopie voor de zelfbeoordeling bij de bespreking

Organisatie en opzet (3) Werkcolleges verplicht? Succes garantie?

Samenhang?

Waarom Statistiek? Lezen en schrijven artikelen vakgebied IK Voorbeeld artikel MIS Quarterly Lezen en schrijven in het dagelijks leven Voorbeeld: tabel actiecommitee in de buurt Baisvoorwaarde: logisch denken en redeneren Voorbeeld: het Monty Hall-probleem

Tabel (1) artikel MIS Quarterly

Tabel (2) artikel MIS Quarterly

Tabel buurtcomité

Intuïtie is onbetrouwbaar Monty Hall probleem Quiz: er zijn 3 gesloten deuren, Achter één deur staat een auto, achter beide andere deuren is niets, Jij mag een deur kiezen.. Welke kans op de hoofdprijs?

Maar dan … De quizmaster opent NA UW KEUZE een van de twee overgebleven deuren en laat zien dat daar niets achter zit. Probleem: U mag nu nog van deur wisselen. Doet U dit?

Analyse Stel de hoofdprijs zit achter deur 1: 2 3 Analyse Stel de hoofdprijs zit achter deur 1: U koos deur 1 (auto). De quizmaster opent een andere deur waarachter niets staat. Ruilen levert verlies op… U koos deur 2 (leeg). De quizmaster opent deur 3 waarachter niets staat. Ruilen levert hoofdprijs! U koos deur 3 (leeg). De quizmaster opent deur 2 waarachter niets staat. Ruilen levert hoofdprijs! Van 50% naar 66% kans? uitleg

Aanpak hoorcolleges Geen uitgebreide bespreking Wel vooruitblik op de stof en bespreking van mogelijke knelpunten Nu: hoofdstuk 1, 2 en 3

Sekties hfst 1, 2 en 3 1.1 Overzicht 1.2 Datatypen 1.3 Kritisch denken 1.4 Ontwerp experimenten 2.1 Overzicht 2.2 Frequentieverdeling 2.3 Histogrammen 2.4 Grafische weergave 3.1 Overzicht 3.2 Centrummaten 3.3 Variatiematen 3.4 Relatieve afwijking 3.5 Exploratieve data-analyse

Belangrijke definities voor gebruik bij de statistiek Triola, hoofdstuk 1 Belangrijke definities voor gebruik bij de statistiek

Sektie 1.1 Belangrijke definities Data Statistiek Populatie Census Steekproef

Definitie Statistiek a collection of methods for - planning studies and experiments, - obtaining data, - and then organizing, summarizing, presenting, analyzing, interpreting, - and drawing conclusions based on the data

Chapter Key Concepts Sample data must be collected in an appropriate way, such as through a process of random selection. If sample data are not collected in an appropriate way, the data may be so completely useless that no amount of statistical torturing can salvage them.

Sektie 1.2 Data typen Definities: Populatie parameter versus steekproef statistic Kwantitatieve versus kwalitatieve data Discrete versus continue data Meetnivo’s: nominaal, ordinaal, interval, ratio

Levels of Measurement Nominal - categories only Ordinal - categories with some order Interval - differences but no natural starting point Ratio - differences and a natural starting point

Sektie 1.3 Kritisch denken Misbruik, ondeskundig gebruik, verkeerd gebruik van de statistiek

Misuse # 1- Bad Samples Voluntary response sample (or self-selected sample) - one in which the respondents themselves decide whether to be included. In this case, valid conclusions can be made only about the specific group of people who agree to participate.

Misuse # 3- Graphs To correctly interpret a graph, you must analyze the numerical information given in the graph, so as not to be misled by the graph’s shape.

Other Misuses of Statistics Loaded Questions Order of Questions Refusals Correlation & Causality Self Interest Study Precise Numbers Partial Pictures Deliberate Distortions

Sektie 1.4 Ontwerp van het onderzoek Soorten studies Observationeel Experimenteel Retrospectief Prospectief (longitudinaal, cohort)

Definition Confounding occurs in an experiment when the experimenter is not able to distinguish between the effects of different factors

Voorbeeld: confounding effects In de Volkskrant van 21 juni staat een artikel over een onderzoek naar de relatie tussen prostaatkanker en de variabele ‘levenstijl’. Het blijkt dat een levensstijl met een gezond dieet, meer beweging en een uur mediteren per dag via een genetische verandering in celmateriaal waarschijnlijk een positief effect heeft op de vermindering van prostaatkanker. De vraag is alleen welk van de genoemde factoren van deze veranderde levensstijl met dit effect samenhangt. Bij statistieken betekent confounding: verstorend

Controlling Effects of Variables Blinding subject does not know he or she is receiving a treatment or placebo Rigorously Controlled Design subjects are very carefully chosen Blocks groups of subjects with similar characteristics Completely Randomized Exp. Design subjects are put into blocks through a process of random selection

Steekproeven

Definitions Random Sample Simple Random Sample (of size n) members of the population are selected in such a way that each individual member has an equal chance of being selected Simple Random Sample (of size n) subjects selected in such a way that every possible sample of the same size n has the same chance of being chosen

Methods of Sampling Random Systematic Convenience Stratified Cluster

Statistiek voor het samenvatten en weergeven van data Triola, hoofdstuk 2 Statistiek voor het samenvatten en weergeven van data

Important Characteristics of Data CVDOT Sektie 2.1 Overview Important Characteristics of Data CVDOT 1. Center: A representative or average value that indicates where the middle of the data set is located. 2. Variation: A measure of the amount that the values vary among themselves. 3. Distribution: The nature or shape of the distribution of data (such as bell-shaped, uniform, or skewed). 4. Outliers: Sample values that lie very far away from the vast majority of other sample values. 5. Time: Changing characteristics of the data over time.

Sektie 2.2 Frequentieverdelingen Gewone (rechte) telling van waarden in een tabel Samenvoegen van waarden in categorieën (classes)

Frequency Distribution Ages of Best Actresses Frequency Distribution Original Data Frequency Distribution

Samenhangende definities Lower class limits Upper class limits Class boundaries Class midpoints Class width Relatieve frequenties Cumulatieve frequenties (cumulatieve percentages)

Frequency Tables

Sektie 2.3 Histogrammen Grafische weergave van verdelingen

Histogram A bar graph in which the horizontal scale represents the classes of data values and the vertical scale represents the frequencies

Relative Frequency Histogram Has the same shape and horizontal scale as a histogram, but the vertical scale is marked with relative frequencies instead of actual frequencies

Critical Thinking Interpreting Histograms One key characteristic of a normal distribution is that it has a “bell” shape. The histogram below illustrates this.

Sektie 2.4 Statistical graphics Andere vormen van visuele weergave Polygon Ogive Dot plot Stemplot Pareto chart Pie chart Scatter plot Time series

Insert figure 2-6 from page 58 Ogive A line graph that depicts cumulative frequencies Insert figure 2-6 from page 58

Dot Plot Consists of a graph in which each data value is plotted as a point (or dot) along a scale of values

Other Graphs

Statistiek voor het beschrijven, verkennen en vergelijken van data Triola, hoofdstuk 3 Statistiek voor het beschrijven, verkennen en vergelijken van data

Descriptive Statistics Sektie 3.1 Overzicht Descriptive Statistics summarize or describe the important characteristics of a known set of data Inferential Statistics use sample data to make inferences (or generalizations) about a population

Sektie 3.2 Centrummaten Gemiddelde (mean) Mediaan (x-tilde) Modus Van steekproef (x-streep) en van populatie (mu) Mediaan (x-tilde) Modus Midrange Gewogen gemiddelde

Notation is pronounced ‘x-bar’ and denotes the mean of a set of sample values x = n  x µ is pronounced ‘mu’ and denotes the mean of all values in a population N µ =  x

Round-off Rule for Measures of Center Carry one more decimal place than is present in the original set of values.

Mean from a Frequency Distribution use class midpoint of classes for variable x

Best Measure of Center

Skewness

Sektie 3.3 Variatiematen Range Standaard deviatie steekproef (s) en populatie (sigma) Variantie (s-kwadraat) Variatiecoëfficiënt (CV)

Key Concept Because this section introduces the concept of variation, which is something so important in statistics, this is one of the most important sections in the entire book. Place a high priority on how to interpret values of standard deviation.

Definition The standard deviation of a set of sample values is a measure of variation of values about the mean.

Sample Standard Deviation Formula  (x - x)2 n - 1 s =

Population Standard Deviation  (x - µ) 2  = N This formula is similar to the previous formula, but instead, the population mean and population size are used.

Standard Deviation - Important Properties The standard deviation is a measure of variation of all values from the mean. The units of the standard deviation s are the same as the units of the original data values. The value of the standard deviation s can increase dramatically with the inclusion of one or more outliers (data values far away from all others).

standard deviation squared Variance - Notation standard deviation squared s  } 2 Sample variance Notation 2 Population variance

Estimation of Standard Deviation Range Rule of Thumb For estimating a value of the standard deviation s, Use Where range = (maximum value) – (minimum value) Range 4 s 

Estimation of Standard Deviation Range Rule of Thumb For interpreting a known value of the standard deviation s, find rough estimates of the minimum and maximum “usual” sample values by using: Minimum “usual” value (mean) – 2 X (standard deviation) = Maximum “usual” value (mean) + 2 X (standard deviation) =

The Empirical Rule

Definition The coefficient of variation (or CV) for a set of sample or population data, expressed as a percent, describes the standard deviation relative to the mean. Sample Population s x CV = · 100% m CV = s · 100%

Sektie 3.4 Maten van relatieve afwijking Z-scores Quartielen Percentielen

Key Concept This section introduces measures that can be used to compare values from different data sets, or to compare values within the same data set. The most important of these is the concept of the z score.

z Score (or standardized value) Definition z Score (or standardized value) the number of standard deviations that a given value x is above or below the mean

Measures of Position z score Round z to 2 decimal places Sample Population x - µ z =  z = x - x s Round z to 2 decimal places

Interpreting Z Scores Whenever a value is less than the mean, its corresponding z score is negative Ordinary values: z score between –2 and 2 Unusual Values: z score < -2 or z score > 2

divide ranked scores into four equal parts Quartiles Q1, Q2, Q3 divide ranked scores into four equal parts 25% Q3 Q2 Q1 (minimum) (maximum) (median)

Percentiles Just as there are three quartiles separating data into four parts, there are 99 percentiles denoted P1, P2, . . . P99, which partition the data into 100 groups.

Sektie 3.5 EDA Uitbijters (outliers) Boxplot

Important Principles An outlier can have a dramatic effect on the mean. An outlier can have a dramatic effect on the standard deviation. An outlier can have a dramatic effect on the scale of the histogram so that the true nature of the distribution is totally obscured.

Definitions For a set of data, the 5-number summary consists of the minimum value; the first quartile Q1; the median (or second quartile Q2); the third quartile, Q3; and the maximum value A boxplot ( or box-and-whisker-diagram) is a graph of a data set that consists of a line extending from the minimum value to the maximum value, and a box with lines drawn at the first quartile, Q1; the median; and the third quartile, Q3

Boxplots

Boxplots - cont

Einde vooruitblik 1, 2 en 3 Volgende week: Vragenuur hoofdstukken 1, 2 en 3 Vooruitblik hoofdstukken 4 en 5