1. (C) סיון טל גילוי מידע וזיהוי תבניות תרגול מס. 4 חזרה על בעיית השערוך, שיטות פרמטריות. שיטת MAP ( בייסיאנית ) לשערוך פרמטרים. שיטת הנראות המירבית. השיטה הבייסיאנית הכללית ( עם פונקצית מחיר, מזעור סיכון ) התרגול יעסוק בבעיית השערוך של המודל הסטטיסטי, שיטות פרמטריות

2. 2 בעיית השערוך Density Estimation בהינתן מדגם המתפלגים i.i.d, נרצה להעריך את ההתפלגות ממנה נדגמו התצפיות. שיטות פרמטריות : נניח משפחת התפלגויות פרמטרית מסוימת וננסה לשערך את הפרמטרים. וקטור הפרמטרים הנעלמים יסומן. שיטות לא - פרמטריות : אין הנחות לגבי פונקצית ההתפלגות.

3. 3 שיטות פרמטריות אנו מניחים ( או יודעים ) כי המדגם נלקח ממשפחת התפלגויות מסוימת, אך לא יודעים חלק \ כל הפרמטרים. בהינתן מדגם מתויג, נרצה לחשב את ההתפלגות ממנה נלקח : ונותר לחשב את

4. 4 MAP - גישה בייסיאנית לשערוך פרמטרים Maximum APosteriori נתייחס ל - כמצב - עולם מסוים ולבעיית השערוך כאל בעיית הכרעה בייסיאנית : בהינתן המדגם עלינו להכריע מאיזה מבין מצבי העולם השונים הגיע המדגם. נשים לב כי בד ” כ מדובר במקרה רציף - מס ’ מצבי העולם האפשריים אינו בן - מניה. נחפש את שימקסם את הביטוי לעיל. המכנה הוא גורם קבוע שאינו תלוי ב - (normalizing factor) ולכן אין צורך לחשבו לצורך ההכרעה.

5. 5 שיטת MAP ( המשך ) שאנחנו מחפשים הוא :

6. 6 נראות מירבית Maximum Likelihood ככל שהמדגם גדול יותר, הביטוי תלוי פחות ב -. שיטת הנראות המירבית היא למעשה MAP המזניחה את נחפש שיקיים נחפש את הפרמטרים המסבירים הכי טוב את המדגם. נעשה זאת ע ” י חיפוש מקסימום של ( או של כל פונקציה מונוטונית עולה שלה ).

7. 7 נראות מירבית ( המשך ) תרגיל : מהו משערך הנראות המירבית של ( התפלגות אקספוננציאלית ) פתרון :

8. נראות מירבית ( המשך ) המשך הפתרון אנחנו מחפשים את : נשווה את הנגזרת ל -0: משערך הנראות המירבית עבור פרמטר ההתפלגות האקספוננציאלית הוא הממוצע האמפירי של המדגם.

9. 9 נראות מירבית ( המשך ) תרגיל : מהו משערך הנראות המירבית של פתרון :

10. נראות מירבית ( המשך ) המשך הפתרון אנחנו מחפשים את : נשווה את הנגזרת ל -0: הוא החציון של המדגם, כלומר גדול בדיוק מחצי מהתצפיות.

11. 11 בעית השערוך כבעיית הכרעה בייסיאנית שיטת MAP היא שיטה בייסיאנית המניחה פונקצית מחיר מסוימת ( איזו ?). באופן כללי, ניתן לשקול פונקציות מחיר אחרות, וביחס אליהן למזער את הסיכון הכולל. נגדיר פונקצית מחיר - המחיר שאותו נשלם על כך שבחרנו ב - כאשר הפרמטר האמיתי הוא. בד ” כ זו תהיה פונקציה רציפה. הסיכון הכולל הממוצע בבחירת בהינתן מדגם : ואת הסיכון הזה נרצה למזער.

12. 12 השיטה הבייסיאנית הכללית ( המשך ) נבחר תחילה פונקצית מחיר : במקרה זה : ואז המשערך האופטימלי הוא הערך הסביר ביותר עבור בהתחשב בידע המוקדם ובמדגם. במלים אחרות : The optimized classifier זהו המשערך שהצגנו בתחילה :

13. 13 פונקציות מחיר אחרות תרגיל : בהינתן שפונקצית המחיר היא ( במימד אחד ) ובהינתן מדגם -- מהו המשערך האופטימלי ? פתרון : כעת נראה שני משערכים בייסיאניים אחרים, הנובעים מפונקציות מחיר שונות.

14. 14 פונקציות מחיר אחרות ( המשך ) המשערך האופטימלי הוא המקיים : כלומר, החציון של ההתפלגות

15. 15 פונקציות מחיר אחרות ( המשך ) תרגיל : בהינתן שפונקצית המחיר היא : ( ריבוע השגיאה ) ובהינתן מדגם -- מהו המשערך האופטימלי ? פתרון : הסיכון הכולל הממוצע בבחירת הוא : כדי למצוא את עבורו הביטוי מקבל מינימום, נגזור לפי ונשווה ל -0.

16. 16 פונקציות מחיר אחרות ( המשך ) נשווה ל -0, ונקבל : ( נוודא שהנגזרת השנייה חיובית.) זוהי התוחלת המותנית של בהינתן המדגם