Ray 7 דוגמא אלגוריתם 1.קבל דוגמאות 2. פלט f a עבור הדוגמה a המינימלית החיובית ?

חסם של Markov חסם של Chebychev ממד (VCdim) Shatter Coefficient למה Sauer ε-net משפט ε-net משפט OCCAM

חסם של Markov חסם של Chebychev ממד (VCdim) Shatter Coefficient למה Sauer ε-net משפט ε-net משפט OCCAM

קצת רקע בהסתברות חסם של Markov יהי X משתנה מקרי חיובי. אזי אינטואיציה: אם ממוצע ציונים הוא a אזי לא יכול להיות שיותר מחצי הציונים גדולים מ- 2a Markov עבור

איפה השתמשנו בזה ש-X חיובי ?

חסם של Markov חסם של Chebychev ממד (VCdim) Shatter Coefficient למה Sauer ε-net משפט ε-net משפט OCCAM

Chebychev חסם של Chebychev יהי X משתנה מקרי. אזי הוכחה: לפי Markov

Cormen, Leiserson, Rivest דוגמא: ניסוי ברנולי ניסוי עם הצלחה בהסתברות p וכשלון בהסתברות q=1-p

m נסיונות ברנולי בלתי-תלויים מספר ההצלחות

חסם של Chebychev בהסתברות לפחות Y/m -קרוב ל- p

חסם של Markov חסם של Chebychev ממד (VCdim) Shatter Coefficient למה Sauer ε-net משפט ε-net משפט OCCAM

ממד (VCdim) Vapnik-Chervonenkis Vapnik Chervonenkis תהי C קבוצה של פונקציות בוליניות נומר ש- מנפֵּצת Shattered ע"י C אם g היא אפס על g היא אחד על

g היא אפס על g היא אחד על מנופֵּצת אם דוגמא האם מנופֵּצת ? האם קיימת קבוצה עם שני אברים מנופֵּצת ?

דוגמא האם מנופֵּצת ? האם קיימת קבוצה מנופֵּצת עם שלשה אברים ?

VCdim(C) גודל הקבוצה הגדולה ביותר המנופצת

דוגמא 3 הוכחהנראה קודם ש-

לא קיימת קבוצה עם ארבעה אברים מנופֵּצת מקרה א: הנקודה הרביעית בתוך המשולש בהנתן ארבעה נקודות. תבחר שלשה נקודות ותבנה משולש אזי אם נקודות המשולש חיוביות אז כל נקודות המשולש הפנימיות חיוביות. מקרה ב: הנקודה הרביעית מחוץ למשולש הקו חייב לחתוך כל צלעות המרובע סתירה.

דוגמא 4

חסם של Markov חסם של Chebychev ממד (VCdim) Shatter Coefficient למה Sauer ε-net משפט ε-net משפט OCCAM

Shatter Coefficient מקדם הנפוץ תהי C קבוצה של פונקציות בוליניות ל- נגדיר נגדיר

דוגמא שים לב ש-הוא המספר אכי גדול כך ש-

דוגמא 2

חסם של Markov חסם של Chebychev ממד (VCdim) Shatter Coefficient למה Sauer ε-net משפט ε-net משפט OCCAM

למה Sauer Norbert Sauer עבור מחלקה עם הוכחה

ההוכחה תהיה באינדוקציה על הבסיס טרויאלי לפי הנחת האינדוקציה

חסם של Markov חסם של Chebychev ממד (VCdim) Shatter Coefficient למה Sauer ε-net משפט ε-net משפט OCCAM

קבוצה של נקודות S נקראת ε-net ל- C אם לכל כך ש- קיימת נקודה כך ש- משפט 1 ה- ε-net אם S היא m נקודות רנדומליות מ-X ו- אזי בהסתברות לפחות 1-δ, S היא ε-net ל- C נשתמש בסמון

משפט 1 ה- ε-net.אם S היא m נקודות רנדומליות מ-X ו- אזי בהסתברות לפחות 1-δ, S היא ε-net ל- C

הוכחהנגדיר נבחר S’, m נקודות רנדומליות מ-X ונגדיר טענה הוכחה נקחשמקייםז"א מחסם Chebychev

טענה

משפט 2 ה- ε-net אם S היא m נקודות רנדומליות מ-X ו- אזי בהסתברות לפחות 1-δ, S היא ε-net ל- C הוכחה למה Sauer נשאר להוכיח

מספיק להוכיח

משפט 2 ה- ε-net אם S היא m נקודות רנדומליות מ-X ו- אזי בהסתברות לפחות 1-δ, S היא ε-net ל- C

חסם של Markov חסם של Chebychev ממד (VCdim) Shatter Coefficient למה Sauer ε-net משפט ε-net משפט OCCAM

Algorithm Occam 1. Get examples  S 2. Run A(S)  h 0 אלגוריתם OCCAM לומד את C הוכחהתהי f פונקצית המטרה. נגדיר S היא ε-net ל-.C f לכל כך ש- קיימת נקודה כך ש- לכלולכן

Ray 7 דוגמא אלגוריתם 1.קבל דוגמאות 2. פלט f a עבור הדוגמא a המינימלית החיובית

דוגמא 8: חצי מישור HalfSpace

דוגמא 9: מצולע קמור עם k צלעות – Polygon k – מימד 2 לפי למה של Sauer

אם אזי לפי למה של Sauer אם הפלט הוא