1 ניתוח שונות: Post-hoc analysis ניתוח שונות חד-כיווני עם אפקטים קבועים: Post-hoc analysis ד"ר מרינה בוגומולוב מבוסס חלקית על ההרצאות של פרופ' יואב בנימיני וד''ר רות הלר

ניתוח שונות: אם ניתוח השונות מאשר שיש הבדלים בין התוחלות של הקבוצות, כלומר דחינו את השערת האפס לעיל, מעניין לדעת: מהם ההפרשים בין התוחלות? אילו קבוצות שונות זו מזו? איזו קבוצה שונה ממוצע יתר הקבוצות?... Post-hoc analysis

The family of pairwise comparisons משפחת ההשוואות הזוגיות פרמטרים: מטרות: בניית רווחי סמך סימולטניים בדיקה של משפחת ההשערות עם שליטה על FWER.

אמידת התוחלות: אמידת השונות המשותפת של K אוכלוסיות: 4 אומדים נקודתיים לתוחלות ולשונות

מבחני t ורווחי סמך ללא תיקון למרובות No multiplicity adjustment 5 אלטרנטיבה/ אזור דחייה של מבחן בר''מ רווח סמך ל- ברמת סמך

מבחנים ורווחי סמך סימולטניים לפי בונפרוני Bonferroni method 6 אלטרנטיבה/ אזור דחייה שלמבחן המבטיח רווחי סמך סימולטניים ל- ברמת סמך

מבחנים ורווחי סמך סימולטניים לפי שיטת טוקי Tukey’s T-procedure 7 רווחי סמך סימולטניים ברמת סמך הגדרה בשקף הבא רווחי סמך סימולטניים לפי שיטת טוקי: ההסתברות שלפחות רווח סמך אחד לא יכסה את הפרש התוחלות היא כאשר גדלי המדגם זהים והינה לכל היותר כאשר גדלי המדגם אינם זהים. מבחנים לפי שיטת טוקי:שיטת טוקי שולטת על FWER עבור משפחת ההשוואות הזוגיות ברמה כאשר גדלי המדגמים זהים וברמה לכל היותר כאשר גדלי המדגמים אינם זהים. אם הנחות של ניתוח שונות מתקיימות: רווח סמך ל-

Studentized range distribution 8 יהי מ''מ ב''ת מהתפלגות יהי הטווח של, כלומר יהי אומד ל- המקיים ב''ת ו- נגדיר הינו שברון של. ישנן טבלאות ומחשבונים במחשב לחישוב השברונים של התפלגות זו עבור ערכים שונים של.

רווחי סמך סימולטניים לפי שיטת טוקי כאשר גדלי המדגם שווים: שימוש בהתפלגות של Studentized range 9

הסקה לגבי אילו הפרשי תוחלות בהשוואות הזוגיות שונות מאפס בלי לקחת את מרובות ההשוואות בחשבון, הסיכוי לטעות מסוג ראשון הוא 0.05 בכל השוואה על פי שיטת TUKEY, הסיכוי לטעות מסוג ראשון אחת לפחות היא 0.05:

The family of contrasts משפחת הקונטרסטים The family of interest is the set of all possible contrasts among the factor level means: Estimators: 11

Scheffe confidence intervals for the family of contrasts: Scheffe multiple testing procedure: 12 Scheffe multiple comparison procedure

Example The Kenton Food Company wished to test four different package designs for a new breakfast cereal. 20 stores, with approximately equal sales volumes, were selected as the experimental units. Each store was randomly assigned one of the package designs, with each package design assigned to five stores. A fire occurred in one of the stores during the study period, so this store had to be dropped from the study-one of the designs was tested in only four stores. The stores were chosen to be comparable in location and sales volume. Other relevant conditions that could affect sales (price, special promotional efforts, etc.) were kept the same for all of the stores in the experiment. 13 The example is from the book “Applied Linear statistical Models” by Neter, Kutner, Nachtsheim, and Wasserman.

Example-contnd. Total CharacteristicsPackage Design 3 colors, with cartoons1 3 colors, without cartoons2 5 colors, with cartoons3 5 colors, without cartoons4

Example-contnd. 15 Interest centered in estimating the following four contrasts with family confidence coefficient of 90%: Comparison of 3-color and 5- color designs: Comparison of designs with and without cartoons: CharacteristicsPackage Design 3 colors, with cartoons 1 3 colors, without cartoons 2 5 colors, with cartoons3 5 colors, without cartoons 4 Comparison of the two 3- color designs: Comparison of the two 5- color designs:

Example-contnd. 16 Estimation of

Example-contnd. 17 Similarly: Do the mean sales for 3-color and 5- color designs differ? Is there an overall effect of cartoon in the package design? Is there an effect of cartoon for 3-color design? 5-color design? CharacteristicsPackage Design 3 colors, with cartoons1 3 colors, without cartoons2 5 colors, with cartoons3 5 colors, without cartoons4

Comparison of Tukey’s and Scheffe’s procedures 1.If only pairwise comparisons are to be made, the Tukey procedure gives narrower confidence limits and is therefore the preferred method. 2.Tukey’s procedure can be modified to handle general contrasts of factor level means, however in this case Scheffe’s procedure is preferred since it tends to give narrower confidence intervals. 3.If the F test of factor level equality indicates that the factor level means are not equal, the Scheffe procedure will find at least one contrast (out of all possible contrasts) that differs significantly from 0 (the confidence interval does not cover zero). This contrast may be not one of those that have been estimated. 18

Bonferroni multiple comparison procedure for linear combinations For a family of linear combinations L, Bonferroni confidence intervals: Bonferroni testing procedure: 19

Comparison of Bonferroni procedure with Scheffe and Tukey procedures If all pairwise comparisons are of interest, the Tukey procedure is superior to the Bonferroni procedure, leading to narrower confidence intervals. If not all pairwise comparisons are considered, the Bonferroni procedure may be better. Bonferroni procedure will be better than the Sheffe procedure when the number of contrasts of interest is about the same or less than the number of factor levels. 20

Comparison of Bonferroni procedure with Scheffe and Tukey procedures Scheffe procedure becomes better than Bonferroni when the number of contrasts exceeds the number of factor levels by a considerable amount. In any given problem, one may compute the critical value of Bonferroni, Scheffe, and when appropriate, Tukey’s methods, and select the smallest. This choice is proper since it does not depend on the observed data. 21

The Kenton Food Company Example 22 The sales manager is interested in estimating the following two contrasts with family confidence level 97.5%: Comparison of 3-color and 5- color designs: Comparison of designs with and without cartoons: CharacteristicsPackage Design 3 colors, with cartoons 1 3 colors, without cartoons 2 5 colors, with cartoons3 5 colors, without cartoons 4

The Kenton Food Company Example 23 Comparison of 3-color and 5- color designs: Comparison of designs with and without cartoons: CharacteristicsPackage Design 3 colors, with cartoons 1 3 colors, without cartoons 2 5 colors, with cartoons3 5 colors, without cartoons 4

The Kenton Food Company Example 24 Comparison of 3-color and 5-color designs: Comparison of designs with and without cartoons: CharacteristicsPackage Design 3 colors, with cartoons1 3 colors, without cartoons 2 5 colors, with cartoons3 5 colors, without cartoons 4

Perform comparisons based on Bonferroni. Click the red triangle next to Oneway Analysis of glucose By diet and select Set α Level. Change the alpha level to Now select Compare Means  Each Pair, Student’s t  Detailed Comparison Report רווחי הסמך רחבים יותר משל TUKEY:

Perform comparisons based on Bonferroni. Click the red triangle next to Oneway Analysis of glucose By diet and select Set α Level. Change the alpha level to Now select Compare Means  Each Pair, Student’s t  Detailed Comparison Report רווחי הסמך צרים יותר משל TUKEY:

שימוש בשיטת בונפרוני כאשר (יש חשש ש)הנחות ה-ANOVA לא מתקיימות ניתן לעשות מבחן Wilcoxon (rank sum) לכל השוואה זוגית, ולחשב את ה-p-value לתקן למרובות ההשוואות על ידי דחיית ההשוואות שמתחת לסף של בונפרוני.

Perform comparisons based on Bonferroni. Click the red triangle next to Oneway Analysis of glucose By diet and select Set α Level. Change the alpha level to Now select Nonparametric  Nonparametric multiple comparisons  Wilcoxon each pair ה-p-value בפלט לא לוקח בחשבון את מרובות ההשוואות. איך נתקן את העמודה של ה- p-value להיות ה-Adjusted p-values לפי בונפרוני?

Multiple comparisons with a control- Dunnett’s (1955) method 29 Simultaneous confidence intervals for depends on confidence level, number of groups, degrees of freedom and sample size ratios:

Multiple comparisons with a control- Dunnett’s (1955) method 30 Testing the hypotheses Reject iff depends on the desired FWER level, number of groups, degrees of freedom and sample size ratios:

31 Example with diabetic rats-comparison between the results of Dunnett’s and Tukey’s methods (family conf. level 95%) Tukey’s method for pairwise comparisons: Dunnett’s method for comparisons with control: Family conf. level 95% (3.546, )Control-garlic (-2.996, )Control-fenugreek (-7.134, )Control-onion

32 The implications of the choice of the family: 10 groups, sample size is 5 for each The threshold for significance once the absolute value of the estimator is divided by the estimator’s standard error All contrasts (Scheffe) All pairwise (Tukey) Comparisons with control (Dunnett)2.812 Unadjusted (t-test) 2.021