1. שיעור 6# Bayesian networks
קבלת החלטות
שיעור 6#
Bayesian networks

2. מבוא לביה"ח הגיע חולה בעל התסמינים הבאים:
שיעול
חום
קושי בנשימה
כיצד תקבע האם לחולה אנתרקס (גחלת) נשימתי? מהו הסיכוי כי החולה סובל מאנתרקס נשימתי אם יש לו את הסימפטומים האמורים?

3. מבוא (המשך) החלטת לשלוח את החולה לצילום רנטגן
תוצאות הצילום מצביעות על הרחבת בלוטת הלימפה בחזה
בשלב זה האמונה שלך כי החולה סובל מאנתרקס נשימתי מתחזקת
למעשה, האמונה שלך כי לחולה אנתרקס נשימתי נובעת מכמה מסימני המחלה הניתנים לאבחון

4. רשתות בייסיאניות
חולה באנתרקס
רשתות בייסיאניות – אחד הנושאים החמים ביותר בקבלת החלטות בעשר השנים האחרונות
בשימוש באוסף רחב של אפליקציות – זיהוי ספאם, זיהוי טקסט, רובוטיקה ומערכות דיאגנוסטיקה
שיעול
חום
קושי בנשימה
הגדלת בלוטת חזה

5. הסתברות מותנית
P(A=true|B=true) – מתוך סך המצבים האפשריים שבהם B מקבל ערך true בכמה גם A מקבל ערך true
זוהי למעשה "ההסתברות של A המותנית ב- B" או "ההסתברות של A בהינתן B"
דוגמה:
H = כאב ראש P(H=true)=1/10
F = התחלה של מחלת השפעת P(F=true)=1/40
כאב ראש הוא דבר נדיר, ושפעת היא אירוע עוד יותר נדיר, אולם אם חלית בשפעת הרי שבהסתברות של 50% יהיה לך כאב ראש P(H=true|F=true)=1/2

6. Joint Probability DistributionC
P(A,B,C)
false
0.1
true
0.2
0.05
0.3
0.15
ה- joint probability יכולה להיות מוגדרת על כל סט של משתנים, לדוגמה: P(A = true, B = true, C = true)
ניתן לקבוע מה ההסתברות לקבלת כל קומבינציה של ערכים
ההסתברויות של הקומבינציות השונות צריכות להסתכם ל- 1
Sums to 1

7. Joint Probability DistributionC
P(A,B,C)
false
0.1
true
0.2
0.05
0.3
0.15
מתוך ה- joint probability distribution ניתן לחשב כל הסתברות הנוגעת ל- A, B ו- C
למשל:
P(A=true) = sum of P(A,B,C) in rows with A=true
P(A=true, B = true | C=true) = P(A = true, B = true, C = true) / P(C = true)
Sums to 1

8. הבעיתיות בשימוש ב- joint probability
הרבה מאוד entries נדרשים בטבלה
עבור k משתנים מקריים בוליאנים נצטרך טבלה בגודל 2k
כיצד ניתן לפשט את ההצגה ואת החישובים? הפיתרון הוא באמצעות היכולת להגדיר אי-תלות

9. אי-תלות היסתברותית
המשתנים A ו- B הם בלתי תלויים אם מתקיים אחד מהתנאים:
P(A,B) = P(A) P(B)
P(A | B) = P(A)
P(B | A) = P(B)
כלומר, ידיעת הערך של A לא מוסיפה לנו שום מידע חדש לגבי הערך של B

10. אי-תלות אי התלות שימושית ביותר
נניח שיש לנו n הטלות מטבע ואנו רוצים לחשב את ה- joint distribution, כלומר P(C1, …, Cn)
אם הטלות המטבע תלויות הרי שנצטרך 2n ערכים בטבלה
אם לעומת זאת אין תלות בין הטלות המטבע הרי
כלומר, לכל מטבע נוכל לשמור טבלה של שני ערכים (סה"כ 2n)

11. Conditional Independence
המשתנים A ו- B יהיו conditionally independent בהינתן C אם מתקיים:
P(A, B | C) = P(A | C) P(B | C)
P(A | B, C) = P(A | C)
P(B | A, C) = P(B | C)
ידיעת B במקרה זה (בהינתן C) לא מוסיפה לנו כלום לגבי A (בהינתן C)
דוגמה: מז"א משפיע על הזמן שיקח לאברהם להגיע למקום עבודתו וגם על הזמן שיקח ליצחק להגיע למקום עבודתו

12. Bayesian Networks הרשת הבייסיאנית בנויה מ: גרף כיווני לא מעגלי
כל צומת בגרף היא משתנה אקראי
הרשת הבייסיאנית בנויה מ:
גרף כיווני לא מעגלי
סט של טבלאות הסתברות לכל צומת בגרף A
צומת X היא אב של צומת Y אם קיים חץ מ- X ל- Y B C D
חץ מ- X ל- Y אומר שיש ל- X השפעה ישירה על Y A
P(A)
false
0.6
true
0.4 A B
P(B|A)
false
0.01
true
0.99
0.7
0.3 B D
P(D|B)
false
0.02
true
0.98
0.05
0.95 B C
P(C|B)
false
0.4
true
0.6
0.9
0.1

13. A
P(A)
false
0.6
true
0.4 A B
P(B|A)
false
0.01
true
0.99
0.7
0.3
לכל צומת Xi פונקצית הסתברות מותנה P(Xi | Parents(Xi)) אשר מכמתת את האפקט של האב על הצומת B C
P(C|B)
false
0.4
true
0.6
0.9
0.1 A B B D
P(D|B)
false
0.02
true
0.98
0.05
0.95 C D

14. Conditional Probability Distribution for C given B
P(C|B)
false
0.4
true
0.6
0.9
0.1
עבור כל קומבינציה של ערכים לאבות (לדוגמה ל- B), הכניסות עבור P(C=true | B) and P(C=false | B) חייבים להסתכם ל- 1
במידה ויש לנו משתנה בוליאני עם k הורים, הטבלה תכיל 2k+1 הסתברויות (כשלמעשה נדרש לאחסן רק 2k)

15. יתרונות הרשת הבייסיאנית
מייצגת את יחסי התלות המותנה בין משתנים בגרף
דרך קומפקטית להצגת ה- joint probability distribution של המשתנים השונים

16. התפלגות ה- Joint Probability
ניתן לחשב את ה-joint probability distribution של המשתנים X1, …, Xn ברשת בייסיאנית באמצעות הנוסחה:
כאשר Parents(Xi) מסמן את הערכים של כל צמתי האב של Xi

17. דוגמה לשימוש ברשת בייסיאנית
נניח שאנו רוצים לחשב:
P(A = true, B = true, C = true, D = true)
= P(A = true) * P(B = true | A = true) *
P(C = true | B = true)* P( D = true | B = true)
= (0.4)*(0.3)*(0.1)*(0.95) A B C D

18. הסקה השימוש ברשת בייסיאנית לצורך חישוב הסתברויות קרוי "הסקה" inference
באופן כללי ההסקה כוללת שאילתות מהסוג:
P( X | E )
E = The evidence variable(s)
X = The query variable(s)

19. HasDifficultyBreathing
Inference
HasAnthrax
HasCough
HasFever
HasDifficultyBreathing
HasWideMediastinum
דוגמה לשאילתה:
P( HasAnthrax = true | HasFever = true, HasCough = true)
יש לשים לב כי למרות ש- HasDifficultyBreathing ו- HasWideMediastinum מצויים ברשת הבייסיאנית, הם לא מקבלים ערכים בשאילתה

20. דוגמה
שביתת רכבות לא מבטיחה שנורמן יאחר (לדוגמה, הוא יכול לקום מוקדם ולהגיע ברכב) אבל יש הסתברות גדולה יותר שיאחר

21. דוגמה (המשך) מה ההסתברות שנורמן יאחר?.
דוגמה (המשך)
מה ההסתברות שנורמן יאחר?
p(Norman late) = p(Norman late | train strike) * p(train strike) + p(Norman late | no train strike)*p(no train strike)= (0.8 * 0.1) + (0.1 * 0.9) = 0.17
מה ההסתברות שיש שביתת רכבות אם ידוע שנורמן איחר?
כלומר, הידיעה שנורמן איחר מגדילה משמעותית את ההסתברות שיש שביתת רכבות (מ- 0.1 ל- 0.47)
נוסחת בייס:

22. דוגמה (המשך) מה ההסתברות שמרטין מאחר?
p(Martin late) = p(Martin late | train strike) * p(train strike) + p(Martin late | no train strike)*p(no train strike)= (0.6 * 0.1) + (0.5 * 0.9) = 0.51
מה ההסתברות שמרטין יאחר אם ידוע שנורמן מאחר?
p(Martin late) = p(Martin late | train strike) * p(train strike) + p(Martin late | no train strike)* p(no train strike)=(0.6 * 0.47) + (0.5 * 0.53) = 0.55

23. סוגים של Evidence
Hard evidence – כאשר ידוע שהצומת X מקבלת ערך ספציפי בודאות (למשל, זכיה ודאית בהימור)
Soft evidence – כאשר ניתן רק לעדכן את ערכי ההסתברות של ערכי X (למשל, אם ידוע לנו תוצאת המחצית במשחק ספורט הרי שניתן לעדכן את ההסתברות לזכיה ולהפסד)

24. Serial Connection
נניח שיש לנו evidence שקרתה תקלה ברמזור (A). הידע הזה מגדיל את האמונה שלנו שהרכבת מאחרת (B), מה שמגדיל גם את האמונה שלנו שנורמן מאחר. כלומר, ה- evidence לגבי A משודר דרך B ל- C: A B C
תקלה ברמזור
רכבת מאחרת
נורמן מאחר

25. Serial Connection
כעת נניח שאנו יודעים את המצב האמיתי של B (למשל יש לנו hard evidence שהרכבת מאחרת).
במצב החדש אין כל ערך במידע לגבי A עבור C משום שצומת B גובר עליו. A B C
תקלה ברמזור
רכבת מאחרת
נורמן מאחר

26. Diverging Connection במקרה כזה מידע לגבי B ישפיע גם על C (ולהיפך)A
במקרה כזה מידע לגבי B ישפיע גם על C (ולהיפך)
זאת, למעט במקרים שבהם יש לנו hard evidence לגבי A B C

27. Converging Connection
במקרה זה, כל evidence מ- B או מ- C יעבור ל- A
אם לא ידוע דבר על A, הרי ש- B ו- C בלתי תלויים
אולם, אם ידוע משהו על A, הרי שההורים שלו B ו- C הופכים להיות תלויים
לדוגמה, אם ההסתברות שמרטין מאחר גדלה, הרי שגם ההסתברות ל- B ו-C גדלה. במקרה זה אנו אומרים כי B ו- C הם conditionally dependent (ב- A)

28. “Explaining away” evidence
ראינו כבר קודם שההסתברות שמרטין מאחר היא ושנורמן מאחר 0.17
כעת נניח שגילינו שמרטין איחר (evidence)
הדבר מגדיל את ההסתברות של שתי הסיבות האפשריות לאיחור

30. בעיית הדשא הרטוב המשתנים: R – rained S – sprinkler being on
G – grass wet
N – neighbors grass wet
כל משתנה יכול לקבל ערך TRUE או FALSE
ה- joint probability distribution, P(R,S,G,N) היא למעשה טבלה עם 16 כניסות

31. בעיית הדשא הרטוב ניתן לחשב הסתברות כל אחד מהמשתנים
R – rained
S – sprinkler being on
G – grass wet
N – neighbors grass wet
בעיית הדשא הרטוב
ניתן לחשב הסתברות כל אחד מהמשתנים
לדוגמה, מה ההסתברות שלא ירד גשם אם ידוע שהדשא של השכן רטוב?
על-פי תורת ההסתברות:
מכיוון שיש משתנים שלא משפיעים אחד על השני (לדוגמה: ), כדאי להשתמש ברשת

32. R – rained
S – sprinkler being on
G – grass wet
N – neighbors grass wet

33. הסקה מה ההסתברות שהדשא רטוב? מה ההסתברות שהדשא של השכן רטוב?
R – rained
S – sprinkler being on
G – grass wet
N – neighbors grass wet
הסקה
מה ההסתברות שהדשא רטוב?
מה ההסתברות שהדשא של השכן רטוב?
מה אם אנחנו יודעים שירד גשם?

34. עוד הסתברויות ומה אם מצאנו שגם הדשא של השכן רטוב? R – rained
S – sprinkler being on
G – grass wet
N – neighbors grass wet
עוד הסתברויות
ומה אם מצאנו שגם הדשא של השכן רטוב?

35. דוגמה נוספת 5 משתנים בינאריים B = אירוע פריצה בבית
E = אירוע רעידת אדמה
A = האזעקה נכבתה
J = ג'ון מתקשר לדווח על האזעקה
M = מרי מתקשרת לדווח על האזעקה
What is P(B | M, J) ? (for example)
ניתן להשתמש ב- joint distribution לצורך החישוב (מחייב 25 = 32 הסתברויות)
לחילופין, אם אנו יודעים את הקשרים בין המשתנים, החישוב הופך יותר קל

36. רשת בייסיאנית