מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות פלט: קונסיסטנטי עם פונקציה f ב- C ז"א קונסיסטנטי עם S ז"א מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות פלט: קונסיסטנטי עם פונקציה f ב- C ז"א קונסיסטנטי עם S ז"א

פולינומיאלי בכל הפרמטרים חוץ ממספר הדוגמאות m בדרך כלל poly(s,n) זמן ריצת תכנית הלימידה פולינומיאלי בכל הפרמטרים אם קיים פתרון כנ"ל נומר ש- C ניתנת ללמידה מדוגמאות

דוגמא 1 : טרם בוליאני Term AND משתנים Variables ליטרלים Literal דוגמא: טרם בוליאני Term בגודל וניתן לחישוב בזמן זמן פולינומיאלי בלימידת טרם מדוגמאות

הטרם הגדול ביותר הקונסיסטנטי עם כל הדוגמאות החיוביות. לכן טרם המטרה T מקיים. זה שקול ל- לכן אין צורך לבדוק את הנקודות השליליות טרם המטרה T יכול להיות:

אלגוריתם ל- Term Input S L:={x 1,x 1,x 2,x 2,…,x n,x n } For all (a,1) in S Remove x i from L if a i =0 Remove x i from L if a i =1 Output L זמן למידה מתאימה Proper

דוגמא 2 : קלוז בוליאני Clause דה-מורגן Augustus De Morgan

דואליות תכונות משפט הדואליות 1 :אם ניתן ללמוד C מדוגמאות בזמן T אזי ניתן ללמוד C D מדוגמאות בזמן O(T) משפט הדואליות 2 :C ניתנת ללמידה מדוגמאות אם"ם C D ניתנת ללמידה מדומאות

דוגמא 3: DNF ו- CNF DNF הוא OR של טרמים CNF הוא AND של קלוזים Disjunctive Normal form Conjunctive Normal form

DNF ניתנת ללמידה מדוגמאות אם ניתן ללמוד אותו בזמן ולחזיר פונקציה ב- P/poly בגודל

משפט הדואליות 1 :אם ניתן ללמוד DNF מדוגמאות בזמן T אזי ניתן ללמוד CNF מדוגמאות בזמן O(T) משפט הדואליות 2 : DNF ניתנת ללמידה מדוגמאות אם"ם CNF ניתנת ללמידה מדוגמאות

אלגוריתם למידה ל- DNF מדוגמאות מה הבעיה? בעיה פתוחה: למידת DNF מדוגמאות

דוגמא 4: M DNF ו- MCNF MDNF הוא Monotone DNF הוא OR של טרמים מונוטונים – ללא שלילה משפט 1 :אם ניתן ללמוד MDNF מדוגמאות בזמן T אזי ניתן ללמוד DNF מדוגמאות בזמן O(T) משפט 2 : MDNF ניתנת ללמידה מדוגמאות אם"ם DNF ניתנת ללמידה מדוגמאות M DNF D = ?

רעיון ההוכחה:

הוכחה: יהי A אלגוריתם לימידה ל - M DNF נגדיר אלגוריתם B צריר להוכיח טענה 1: אם קיים DNF קונסיסטנטי עם S אזי קיים MDNF קונסיסטנטי עם S New טענה 2: אם h(x,y) קונסיסטנטי עם S New אזי h(x,x) קונסיסטנטי עם S זמן

דוגמא 5: k -DNF ו- k -CNF k -DNF הוא DNF עם טרמים בגודל לכל היותר k 2 -DNF משפט 1 :אם ניתן ללמוד k-MDNF מדוגמאות בזמן T אזי ניתן ללמוד k-DNF מדוגמאות בזמן O(T) משפט 2 : k-MDNF ניתנת ללמידה מדוגמאות אם"ם k-DNF ניתנת ללמידה מדוגמאות 2 -MDNF Valiant 2 -Term 2 -MTerm

אפשר להחליף כל טרם במשתנה יש לכל היותר טרמים אלגוריתם למידה ל - 2-MDNF מדוגמאות

זמן לימידת קלוז עם n משתנים זמן לימידת קלוז עם n 2 משתנים זמן לימידת 2-MDNF מה גודל ההיפטזה?

זמן לימידת קלוז עם n משתנים זמן לימידת קלוז עם n k משתנים זמן לימידת k -MDNF מה גודל ההיפטזה? יש לכל היותר טרמים

משפט 1 : ניתן ללמוד k-DNF מדוגמאות בזמן O(m n k ) עם הפטזה בגודל O(n k ) משפט 2 : ל- k קונסטנטה k-DNF ניתנת ללמידה. האם אפשר להקטין את גודל ההפטזה?

לבקר שוב למידת טרם

Set Cover פלט: מספר מינימלי של קבוצות S i המכסות את U ז"א, האחוד שלהם הוא U קלט:

קלט:

משפט 1: בעית Set Cover היא NP-Complete משפט 2: קיים אלגוריתם שרץ בזמן פולינומיאלי ונותן כסוי בגודל (log |U|) k כאשר k הוא הפתרון האופטימלי.

בעית Set Cover למצא מספר מינימלי של קבוצות שאחודם שווה ל- U בעית Set Coverהיא NP-Complete

בעית Set Cover יש אלגוריתם קרוב שנותן פתרון

משפט: ניתן ללמוד k-DNF מדוגמאות בזמן O(m n k ) עם הפטזה בגודל O(size DNF ( f ) n) הוכחה: גודל ההיפטזה לכל היותר ולכן ו- במקום O(n k )

בעיה פתוחה : ללמוד k-DNF בזמן פולינומיאלי עבור k=ω(1) כלשהו משפט: ניתן ללמוד k-DNF מדוגמאות בזמן O(m n k ) עם הפטזה בגודל O(size DNF ( f ) n)

דוגמא 6: k -term DNF ו- k -clause CNF k -term DNF הוא DNF עם k טרמים 3 -term DNF משפט : מתכונת הדיסטריבוטיביות distributiveהוכחה :

משפט 1 : ניתן ללמוד k-term-DNF מדוגמאות בזמן O(mn k ) עם הפטזה בגודל O(n k ) משפט 2 : ל- k קונסטנטה k-term-DNF ניתנת ללמידה. בעיה פתוחה : ללמוד k-term-DNF עם הפטזה קטנה או בזמן פולינומיאלי עבור k=ω(1) כלשהו

פתרון טריויאלי פתרון יעיל s מכיל גודל פונקצית המטרה, גודל x קצת חזרה

פולינומיאלי בכל הפרמטרים חוץ ממספר הדוגמאות m זמן ריצת תכנית הלימידה פולינומיאלי בכל הפרמטרים אם קיים פתרון כנ"ל נומר ש- C ניתנת ללמידה מדוגמאות

פתרון לא טריויאלי= פתרון דוחס אם קיים פתרון לא טריויאלי נומר ש- C ניתנת ללמידה לא טרויאלית מדוגמאות

דוגמא 7 : מצולע קמור - Polygon k צלעות s הוא k פתרון יעיל מצולע עם poly(k ) צלעות פתרון לא טריויאלי מצולע עם צלעות

m נקודות m 2 קוים זמן זמן פולינומיאלי למשולש, מרובע, מחומש

מספר צלעות k log |U| <k log m פתרון לא טריויאלי זמן

משפט 1 : Polygon במרחב במימד 2 ניתנת ללמידה לא טרויאלית מדוגמאות משפט 2 : Polygon במרחב במימד קבוע ניתנת ללמידה לא טרויאלית מדוגמאות בעיה פתוחה : למידת Polygon במרחב במימד dבזמן פולינומיאלי poly(k,d) בעיה פתוחה : למידת חיתוך שני Halfspace במרחב במימד dבזמן פולינומיאלי poly(k,d)

DNF ניתנת ללמידה לא טרויאלית מדוגמאות אם ניתן ללמוד אותו בזמן ולחזיר פונקציה ב- P/poly בגודל