1 גילוי מידע וזיהוי תבניות תרגול מס. 3 התפלגות נורמלית רב - מימדית Kullback-Leibler Divergence - משפט קמירות - נגזרת שנייה משפט Log sum inequality משפט.

Slides:

Advertisements

Similar presentations

Completeness and Expressiveness. תזכורת למערכת ההוכחה של לוגיקה מסדר ראשון : אקסיומות 1. ) ) (( 2. )) ) (( )) ( ) ((( 3. ))) F( F( ( 4. ) v) ( ) v ((

Advertisements

1 Formal Specifications for Complex Systems (236368) Tutorial #4 Refinement in Z: data refinement; operations refinement; their combinations.

Mutual informatiom Royi Itzhak Compobio course. Entropy מדד למידת אי הוודאות של מ"מ אקראי בהתפלגות מסוימת במדעי המחשב אנטרופיה היא מדד למספר הביטים הדרושים.

Number Theory and Algebra Advisor …………… Dr. Shpilka Amir Presented by …… Cohen Gil..………

1 מתמטיקה ב' לכלכלנים שיעור 6 – אינטגרלים, שטחים ושימושיהם. תיאוריה.

מכונת מצבים תרגול מס' 4 Moshe Malka.

מתמטיקה בדידה תרגול 3.

רקורסיות נושאי השיעור פתרון משוואות רקורסיביות שיטת ההצבה

חשבון דיפרנציאלי ואינטגרלי א' (חדו"א)

Inverse kinematics (Craig ch.4) ב"ה. Pieper’s solution נתבונן ברובוט עם 6 מפרקי סיבוב כאשר שלושת הצירים של המפרקים האחרונים נחתכים. נקודת החיתוך נתונה.

חורף - תשס " ג DBMS, Design1 שימור תלויות אינטואיציה : כל תלות פונקציונלית שהתקיימה בסכמה המקורית מתקיימת גם בסכמה המפורקת. מטרה : כאשר מעדכנים.

Na+ P-. הפוטנציאל האלקטרוכימי אנרגיה חופשית ל - 1 mole חומר. מרכיב חשמלי מרכיב כימי מרכיבי הפוטנציאל האלקטרוכימי של חומר X: המרכיב הכימי : RTlnC x R –

תכנות תרגול 2 שבוע : שבוע שעבר כתבו תוכנית המגדירה שלושה משתנים מאתחלת אותם ל 1 2 ו 3 ומדפיסה את המכפלה שלהם את ההפרש שלהם ואת הסכום שלהם.

אוטומט מחסנית הפקולטה למדעי המחשב אוטומטים ושפות פורמליות ( ) תרגיל מספר 11.

אינטרפולציה רועי יצחק.

חורף - תשס " ג DBMS, צורות נורמליות 1 צורה נורמלית שלישית - 3NF הגדרה : תהי R סכמה רלציונית ותהי F קבוצת תלויות פונקציונליות מעל R. R היא ב -3NF.

היום נדבר אל נושא אחד בתורת הגרפים. ובהמשך נשתמש בכלים אלו לפתרון כמה בעיות גאומטריות ובפרט להוכחת Szemeredi Trotter theorem.

1 Formal Specifications for Complex Systems (236368) Tutorial #5 Refinement in Z: data refinement; operations refinement; their combinations.

משפט ההרכבה Composition Theorem תהי C מחלקה של פונקציות בוליניות תהי נגדיר סדרת פונקציות שניתנות לחישוב בזמן פולינומיאלי.

בהסתברות לפחות למצא בעיה במודל PAC עבור בהסתברות ε הפונקציה f טועה מודל ONLINE 1. אחרי כל טעות הפונקציה משתפרת 2. מספר הטעיות קטן.

סמינר במדעי המחשב 3 עודד פרץ משפט הנורמליזציה החזקה.

(C) סיון טל גילוי מידע וזיהוי תבניות תרגול מס. 4 חזרה על בעיית השערוך, שיטות פרמטריות. שיטת MAP ( בייסיאנית ) לשערוך פרמטרים. שיטת הנראות המירבית. השיטה.

Point-Line incidences via Cuttings By Tatiana Kriviliov.

עיבוד תמונות ואותות במחשב אלכסנדר ברנגולץ דואר אלקטרוני : שיטות קידוד שיטות קידוד אורך מלת קוד ואנטרופיה אורך מלת קוד ואנטרופיה קידוד.

א " ב, מילים, ושפות הפקולטה למדעי המחשב אוטומטים ושפות פורמליות ( ) תרגיל מספר 1.

א " ב, מילים, ושפות הפקולטה למדעי המחשב אוטומטים ושפות פורמליות ( ) תרגיל מספר 1.

אלגברה ליניארית 1.

תורת הקבוצות חלק ב'. קבוצה בת מניה הגדרה: קבוצה אינסופית X היא ניתנת למניה אם יש התאמה חד-חד ערכית בין X לבין .

תכנות תרגול 6 שבוע : תרגיל שורש של מספר מחושב לפי הסדרה הבאה : root 0 = 1 root n = root n-1 + a / root n-1 2 כאשר האיבר ה n של הסדרה הוא קירוב.

1 Formal Specifications for Complex Systems (236368) Tutorial #1 Course site : T.A. :Emilia Katz.

תחשיב הפסוקים חלק ג'. צורות נורמליות א. DF – Disjunctive Form – סכום של מכפלות. דוגמא: (P  ~Q  R)  (R  P)  (R  ~Q  ~P) הגדרה: נוסחה השקולה לנוסחה.

מודל ONLINE לומדמורה 1. כל ניתן לחישוב בזמן פולינומיאלי 2. אחרי מספר פולינומיאלי של טעיות ( ) הלומד לא טועה ז"א שווה ל- Littlestone 1988.

א " ב, מילים, ושפות הפקולטה למדעי המחשב אוטומטים ושפות פורמליות ( ) תרגיל מספר 1.

ערכים עצמיים בשיטות נומריות. משוואה אופינית X מציין וקטור עצמי מציינת ערך עצמי תואם לוקטור.

הקיבול איננו תלוי במטען ובפוטנציאל

Kalman Filter תומר באום Based on ch. 8 in “Principles of robot motion” By Choset et al. ב"הב"ה.

הפקולטה למדעי המחשב אוטומטים ושפות פורמליות (236353)

Ray 7 דוגמא אלגוריתם 1.קבל דוגמאות 2. פלט f a עבור הדוגמה a המינימלית החיובית ?

תחשיב הפסוקים חלק ד'. תורת ההיסק של תחשיב הפסוקים.

1 חקירת טרנזיסטור קוונטי הנשלט על ידי שינויי תדר Frequency Controlled Quantum Transistor מבצע : חן טרדונסקי מנחה : ד " ר אראל גרנות.

Data Structures, CS, TAU, Perfect Hashing 1 Perfect Hashing בעיה : נתונה קבוצה S של n מפתחות מתחום U השוואה ל - Hash : * טבלה קבועה (Hash רגיל - דינאמי.

אלכסנדר ברנגולץ דואר אלקטרוני: אלכסנדר ברנגולץ דואר אלקטרוני: פעולות מורפולוגיות.

1 Data Structures, CS, TAU, Perfect Hashing בעיה: נתונה קבוצה S של n מפתחות מתחום U השוואה ל- Hash : * טבלה קבועה (Hash רגיל - דינאמי) * רוצים זמן קבוע.

מרחב הפאזה פרקים בתנודות וגלים לא ליניאריים פרופ' לזר פרידלנד

תוחלת ושונות בהתפלגויות אחרות התפלגות בינומית : X~B(n,p) E(X)=np, σ 2 (x)=np(1-p) התפלגות היפרגיאומטרית : X~H(N,n,M) E(X)=n*M/N, σ 2 (x)=n*M/N(1-M/N)[(N-n)/N-1)]

מערכים עד היום כדי לייצג 20 סטודנטים נאלצנו להגדיר עד היום כדי לייצג 20 סטודנטים נאלצנו להגדיר int grade1, grade2, …, grade20; int grade1, grade2, …, grade20;

מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות פלט: קונסיסטנטי עם פונקציה f ב- C ז"א קונסיסטנטי עם S ז"א מודל הלמידה מדוגמאות Learning.

עקרון ההכלה וההדחה.

יחס סדר חלקי.

תכנות מונחה עצמים Object Oriented Programming (OOP) אתגר מחזור ב' Templates תבניות.

מבוא למדעי המחשב תרגול 3 שעת קבלה : יום שני 11:00-12:00 דוא " ל :

תחשיב היחסים (הפרדיקטים)

מבוא למדעי המחשב, סמסטר א ', תשע " א תרגול מס ' 1 נושאים  הכרת הקורס  פסאודו - קוד / אלגוריתם 1.

Data Structures, CS, TAU, RB-Tree 1 עץ אדום-שחור - עץ חיפוש בינארי - בכל צומת ביט אינפורמציה נוסף - צבע « עץ “ כמעט מאוזן ” « (O(log n במקרה גרוע ביותר.

מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות פלט: קונסיסטנטי עם פונקציה f ב- C ז"א קונסיסטנטי עם S ז"א.

מתמטיקה בדידה תרגול 2.

מבנה מחשבים תרגול מספר 3. טענה על עצים משפט: בעץ שדרגת כל קודקודיו חסומה ב-3, מספר העלים ≤ מספר הקודקודים הפנימיים + 2. הוכחה: באינדוקציה על n, מספר הקודקודים.

(C) סיון טל גילוי מידע וזיהוי תבניות תרגול מס. 9 גילוי מידע וזיהוי תבניות תרגול מס. 9 דחיסת נתונים מהו קידוד תכונות של קידודים אי - שוויון קרפט.

1 Formal Specifications for Complex Systems (236368) Tutorial #3 Z introduction and notation (contd.); Birthday book example (Chapter 1 in the book)

(C) סיון טל 1 גילוי מידע וזיהוי תבניות תרגול מס. 5 Principal Component Analysis חזרה על שיטות שערוך לא פרמטריות.

פיתוח מערכות מידע Class diagrams Aggregation, Composition and Generalization.

תכנות אסינכרוני, תקשורת ופיתוח אפליקציות ל- Windows 8.1 ואפליקציות ל- Windows Phone 8 Control (Part II)

Data Structures Hanoch Levi and Uri Zwick March 2011 Lecture 3 Dynamic Sets / Dictionaries Binary Search Trees.

1 ניתוח שונות: Post-hoc analysis ניתוח שונות חד-כיווני עם אפקטים קבועים: Post-hoc analysis ד"ר מרינה בוגומולוב מבוסס חלקית על ההרצאות של פרופ' יואב בנימיני.

מספרים אקראיים ניתן לייצר מספרים אקראיים ע"י הפונקציה int rand(void);

תירגול 14: מבני נתונים דינאמיים

תיאוריית תכנון סכמות למסדי נתונים יחסיים חלק 4

Marina Kogan Sadetsky –

תוכנה 1 תרגול 13 – סיכום.

NG Interpolation: Divided Differences

Presentation transcript:

1 גילוי מידע וזיהוי תבניות תרגול מס. 3 התפלגות נורמלית רב - מימדית Kullback-Leibler Divergence - משפט קמירות - נגזרת שנייה משפט Log sum inequality משפט אי - שוויון האינפורמציה נורמה (+ משפט )

2 התפלגות נורמלית במימד אחד :

3 ב - מימדים : הוא וקטור - מימדי הוא הוקטור הממוצע, המקיים : היא מטריצת הקו - וואריאנס במימד שהאיבר ה - שלה מוגדר ע ” י : וניתן גם לסמן :

4

5 מספר הערות לגבי ההתפלגות הנורמלית הרב - מימדית ההתפלגות השולית של כל רכיב היא נורמלית. מטריצה סימטרית : היא positive semi-definite האלכסון של מכיל את השונויות של הרכיבים. אם בלתי - תלויים, אז אם כל הרכיבים בת ” ל : מטריצה אלכסונית, וההתפלגות המשותפת היא מכפלת ההתפלגויות השוליות :

6 Kullback-Leibler Divergence הגדרה : אינו מרחק אמיתי - הוא אינו סימטרי : ואינו מקיים את אי - שוויון המשולש. היא מידה של חוסר היעילות בהנחה כי כאשר התפלגות האמיתית היא למשל - בדחיסת נתונים : אם ידוע ניתן לתאר את X ע ” י ביטים. אם נניח נוכל לתאר את X רק ע ” י ביטים. משיקולי רציפות, נשתמש בהנחה : בחישוב

7 דוגמה : יהי ויהיו p,q שתי פונקציות מסה : אזי : אם אז : כלומר - ה ” מרחק ” בין התפלגויות זהות הוא 0.

8 ( המשך הדוגמה ) אם נקבל : “ עולה לנו ” יותר להניח כאשר למעשה מאשר להיפך. עבור נקבל :

9 ( המשך הדוגמה ) משמעות התוצאות : מבחינה סטטיסטית, להניח ודאות כאשר אין ודאות - זה הרבה יותר גרוע מלהניח חוסר ודאות כאשר יש ודאות.

10 שימוש ב - להערכת סבירות של תוצאות מבצעים n ניסויי ברנולי ( עם פרמטר p). מה הסיכוי ל -m הצלחות ? חישוב כזה קשה לביצוע עבור n גדול. נראה דרך אלטרנטיבית, עם שימוש ב - לפי נוסחת סטרלינג :

11 עבור n גדול, האיבר האחרון זניח, ונשמיט אותו מכאן והלאה.

12

13

14 דוגמה לחישוב בעיה : מה הסיכוי לקבל 70 פעמים “ עץ ” ב הטלות של מטבע הוגנת ?

15 משפט : אם לפונקציה יש נגזרת שנייה אי - שלילית ( חיובית ) בכל נקודה, אז קמורה ( קמורה ממש ). תזכורת - הגדרת פונקציה קמורה : הוכחה : פיתוח טיילור של סביב : נתון ולכן הביטוי האחרון אי - שלילי ונקבל את אי - השוויון :

16 ( המשך ההוכחה ) נציב ונקבל : באופן דומה, נציב ונקבל : נכפיל את ( 1 ) ב - : נכפיל את ( 2 ) ב - : נחבר את ( 3 ) ו -( 4 ) ונקבל : וזוהי בדיוק הגדרת הקמירות. אם אז ניתן להחליף כל ב - ולקבל “ קמירות ממש ” של.

17 משפט ( LOG SUM INEQUALITY ): הוכחה : נניח בה ” כ כי הפונקציה היא קמורה ממש, כי חיובית לכל t חיובי.

18 ( המשך ההוכחה )

19 ( המשך ההוכחה )

20 למשפט ה - Log sum inequality מספר שימושים. למשל, הוא מאפשר להוכיח את משפט אי - שוויון האינפורמציה : משפט ( אי - שוויון האינפורמציה ): הוכחה : אי - השוויון נובע ממשפט Log sum inequality, ושוויון מתקיים אםם קל לראות כי בהכרח C=1, כלומר

21 הגדרה : נורמה בין שתי התפלגויות מוגדרת באופן הבא : נורמה מוגדרת ע ” י : למה : הוכחה : ראשית נוכיח את הלמה במקרה ה ” בינארי ”. נניח 2 התפלגויות בינאריות עם פרמטרים כאשר נראה כי : נשים לב כי :

22 ההפרש בין שני צדדי אי - השוויון הוא : נסתכל על כקבוע ונגזור את לפי : מכאן, שכבור קבוע היא פונקציה מונוטונית יורדת. כמו - כן, כאשר נקבל ולכן והוכחנו את המקרה הבינארי.

23 במקרה הכללי, עבור כלשהן נגדיר : נגדיר משתנה מקרי חדש, האינדיקטור של הקבוצה יהיו ההתפלגויות המקבילות עבור Y. ולכן זה נובע מאי - שוויון עיבוד המידע (data processing inequality), שלא יוכח כאן, שמשמעותו שכל מניפולציה שנעשה בנתונים לא תשפר את פוטנציאל ההסקה שלנו ( במקרה זה - לא תגדיל את המרחק בין ההתפלגויות ).

24 לסיכום ההוכחה נראה כי אי - השוויון הראשון נובע מאי - שוויון עיבוד המידע, אי - השוויון השני הוכח כבר עבור המקרה הבינארי, השוויון האחרון נובע מהשוויון :