1. تعميم در يادگيري مبتني بر نمونه ها
دانشگاه امير كبير
دانشكده‌ مهندسي كامپيوتر و فناوري اطلاعات
تعميم در يادگيري مبتني بر نمونه ها
ارائه دهنده: الهام باوفای حقیقی
استاد درس: آقای دکتر شيري
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

2. تعميم در يادگيري مبتني بر نمونه ها
فهرست
مقدمه
تعميم و متناسب سازي
شبه جواب در مسايل معكوس
يادگيري از داده ها با روش معكوس
فضاي بازتوليد هسته هيلبرت
يادگيري از داده ها با روش معكوس و هسته
مزاياي بكارگيري هسته ها
جمع بندي
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

3. تعميم در يادگيري مبتني بر نمونه ها
مقدمه
تبديل تابعي
مسئله معكوس
يادگيري بر اساس داده
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

4. تعميم در يادگيري مبتني بر نمونه ها
تعميم و متناسب سازي
دو مسئله اصلي در يادگيري
انتخاب مدل (فرضيه) مناسب
بدست آوردن پارامترهاي مناسب
بيشترين برازش (Over fitting)
متناسبترين برازش (Regularization)
روش مستقيم (بهترين برازش تصحيح)
روش غير مستقيم
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

5. تعميم در يادگيري مبتني بر نمونه ها
متناسب سازي مستقيم (1)
Tikhonov Regularization
Ridge Regrssion
روش بيزي
ساختار
داده ها
خطاي آموزشي
پارامتر متناسب سازي
پايدار كننده (جريمه)
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

6. تعميم در يادگيري مبتني بر نمونه ها
متناسب سازي مستقيم (1)
پايدار كننده (جريمه)
نرم كننده
جريمه فركانسهاي بالا
فيلتر فركانس بالا:
نرم وزن دار
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

7. تعميم در يادگيري مبتني بر نمونه ها
متناسب سازي مستقيم (2)
Tikhonov Regularization
Ridge Regrssion
روش بيزي
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

8. تعميم در يادگيري مبتني بر نمونه ها
متناسب سازي مستقيم (3)
Tikhonov Regularization
Ridge Regrssion
روش بيزي
max
min
خطاي آموزشي
پايدار كننده (جريمه)
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

9. متناسب سازي مستقيم مشكلات
نقطه ضعف:
توابع متناسب ساز بايد يك ساختار يكنواخت و متقارن داشته باشند.
اما
وجود چند زير ساختار گسسته
مقياس مناسب مدل (فرضيه)
مشكل اصلي:
مقدار پارامتر متناسب سازي
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

10. داراي همان نقاط ضعف و مشكلات متناسب سازي غير مستقيم است
اضافه كردن نويز به نمونه ها
اضافه كردن نويز به پارامتر
اتمام پروسه يادگيري پيش از همگرايي
داراي همان نقاط ضعف و مشكلات متناسب سازي غير مستقيم است
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

11. شبه جواب در مسايل معكوس تعريف مسئله
Computer Tomography
The amount of absorption
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

12. شبه جواب در مسايل معكوس خصوصيات راه حل
Given g in Y, we are looking for f in X such that A( f ) = g.
Existence : For each g in Y there is at least one f in X such that A( f ) = g
Uniqueness : For each g in Y there is at most one f in X such that A( f ) = g
Stability : f depends continuously on g
Well Posed Condition
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

13. شبه جواب در مسايل معكوس بدست آوردن شبه جواب (1)
بدليل ارضا نشدن شرايط
Well Posed Condition
داريم
Ill Posed Condition
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

14. شبه جواب در مسايل معكوس بدست آوردن شبه جواب (2)
تخمين حداقل مربعات خطا
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

15. شبه جواب در مسايل معكوس حساسيت شبه جواب
بازاي مقادير بزرگ
شرايط مريض داريم
متناسب كردن پاسخ
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

16. شبه جواب در مسايل معكوس متناسب سازي جواب
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

17. يادگيري از داده ها با روش معكوس تبديل مسئله يادگيري به يك مسئله معكوس
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

18. يادگيري از داده ها با روش معكوس بررسي شرايط مسئله معكوس جديد
تبديل فضا
فضاي بازتوليد هسته هيلبرت
Reproducing Kernel Hilbert Space (RKHS)
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

19. فضاي بازتوليد هسته هيلبرت خصوصيات
به صورت يكتا توسط يك كرنل شبه مثبت معين متقارن تعريف مي شود
RKHS
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

20. فضاي بازتوليد هسته هيلبرت خصوصيت بازتوليد
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

21. فضاي بازتوليد هسته هيلبرت برخي توابع
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

22. يادگيري از داده ها با روش معكوس و هسته بيشترين برازش
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

23. يادگيري از داده ها با روش معكوس و هسته متناسب ترين برازش
بايد كوچك انتخاب شود
به دليل وجود ضريب
احتمال منفرد بودن ماتريس را كاهش مي دهد
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

24. مزاياي بكارگيري هسته ها
1- تغيير فضا در ماشينهاي بردار پشتيبان
2- اعمال جريمه براي فركانسهاي بالا
نسخه آنالوگ
نسخه ديجيتال (تئوري Mercer)
3- توابع ارزيابي پيوسته و سهولت تعريف ترم متناسب ساز
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

25. احتمال منفرد بودن ماتريس را كاهش مي دهد
جمع بندي
متناسبترين برازش
يادگيري از داده
استفاده از روشهاي مسائل معكوس
استفاده از RKHS جهت تبديل فضا
پيوستگي و اعمال برخي جريمه ها
متناسب سازي
احتمال منفرد بودن ماتريس را كاهش مي دهد
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

26. تعميم در يادگيري مبتني بر نمونه ها
باتشکر از توجه شما 
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

27. فضاي هيلبرت فضاي خطي نرم دار از طريق نرم مي توان همگرايي را نشان داد
دنباله به همگرا است اگر
دنباله يك دنباله كوشي است اگر
هر دنباله كوشي به يك بردار همگرا شود، فضا كامل
فضاي كامل و داراي ضرب داخلي، فضاي هيلبرت
برگشت
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

28. تعميم در يادگيري مبتني بر نمونه ها
يادآوري
بردار
نرمها
تابع
بردار
ضرب
داخلي
تابع
برگشت
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

29. تعميم در يادگيري مبتني بر نمونه ها
تئوري Mercer (1)
برگشت
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها

30. تعميم در يادگيري مبتني بر نمونه ها
تئوري Mercer (2)
برگشت
الهام باوفا
تعميم در يادگيري مبتني بر نمونه ها