2. فهرست مطالب توپولوژی شبکه های عصبی
شبکه های عصبی پس انتشار ( پرسپترون چند لایه با آموزش الگوریتم Back-Propagation: BP)
تابع فعال سازی
الگوریتم آموزش
انتشار خطا به عقب
حل تابع XORبا استفاده از شبکه عصبی چند لایه

3. توپولوژی شبکه
وضعیت نسبی سلولها در شبکه (تعداد و گروه بندی و نوع اتصالات آنها) را توپولوژی شبکه گویند. توپولوژی در واقع سیستم اتصال نرونها به یکدیگر است که توام با روش ریاضی جریان اطلاعات و محاسبه ی وزنها، نوع عملکرد شبکه عصبی را تعیین می کند.
FeedForward Topology
Recurrent Topology

4. FeedForward Topology

5. شبکه عصبی بازگشتی ((Recurrent Neural Network
این شبکه ها، شبکه های عصبی با یک حلقه برگشتی (پس خور) یا بیشتر هستند . برگشت ها می توانند محلی یا کلی باشند. خاصیت اصلی آنها این است که رفتار آن ها هم به وسیله خودشان و هم به وسیله ورودی های خارجی به شبکه تعیین می گردد .

6. شبکه های بازگشتی
Recurrent Network with hidden neuron: unit delay operator z-1 is used to model a dynamic system
z-1
input
hidden
output

7. برگشت محلی

8. شبکه های عصبی پس انتشار Multi-Layer Perceptron (MLP)
(پرسپترون چند لایه با آموزش الگوریتم
Back-Propagation: BP)

9. شبکه های عصبی پس انتشار

10. الگوريتم‌ يادگيري پس انتشار خطا (Back Propagation)
اين الگوريتم جزو الگوريتم‌هاي يادگيري با ناظر است که اساساً از دو مسير اصلي تشكيل شده است:
مسير رفت (Forward path): كه در آن بردار ورودي به شبكه عصبي اعمال شده و تاثير آن از طريق لايه‌هاي مياني به لايه خروجي انتشار مي‌يابد. در اين مسير براي هر ورودي، مقداري تحت عنوان خروجي توسط شبكه محاسبه مي‌شود. در اين مسير، پارامترهاي شبكه ثابت مي‌مانند.
Hidden layer(j)
Output layer (k)

11. الگوريتم‌ يادگيري پس انتشار خطا (Back Propagation)
مسير برگشت (Backward path): پس از توليد خروجي در مرحله رفت، اختلاف خروجي مطلوب (مشاهده شده) و خروجي محاسبه شده توسط شبكه تعيين مي‌شود. سيگنال‌هاي خطا در مسير برگشت از لايه خروجي مجدداً در كل شبكه توزيع مي‌شود و پارامترهاي شبكه مجدداً تنظيم مي‌شوند.
تذكر: فرآيند دوگانه فوق به دفعات تكرار شده تا خروجي شبكه به خروجي مطلوب نزديك شود. هنگامي كه خطاي بدست آمده از آستانه مجاز كمتر شود فرآيند آموزش متوقف مي‌شود.
Hidden layer(j)
Output layer (k)

12. شبکه های عصبی پس انتشار

13. نمونه ای شبکه های عصبی پس انتشار

14. شبکه های عصبی پس انتشار

15. ویژگی های تابع فعال سازی

16. تابع فعال سازی

17. خلاصه الگوریتم آموزش

18. الگوریتم Back-propagation
برای یادگیری وزن های یک شبکه چند لایه، از روش Back Propagation استفاده می شود. در این روش با استفاده از gradient descent سعی می شود تا مربع خطای بین خروجی های شبکه و تابع هدف مینیمم شود.
خطا بصورت زیر تعریف میشود:
outputs خروجیهای مجموعه واحد های لایه خروجی و tkdو okd مقدار هدف و خروجی متناظر با k امین واحد خروجی و مثال آموزشی d است.

19. الگوریتم Back-propagation
فضای فرضیه مورد جستجو در این روش عبارت است از فضای بزرگی که توسط همه مقادیر ممکن برای وزنها تعریف می شود. روش gradient descent سعی میکند تا با مینیمم کردن خطا به فرضیه مناسبی دست پیدا کند. اما تضمینی برای اینکه این الگوریتم به مینیمم مطلق برسد وجود ندارد.

20. شرط خاتمه الگوریتم BP
معمولا الگوریتم BP پیش از خاتمه هزاران بار، با استفاده همان داده های آموزشی تکرار می گردد. شروط مختلفی را میتوان برای خاتمه الگوریتم به کار برد:
توقف بعد از تکرار به دفعات معین.
توقف وقتی که خطا از یک مقدار تعیین شده کمتر شود.
توقف وقتی که خطا در مثالهای مجموعه تائید از قاعده خاصی پیروی نماید.

21. منحنی یادگیری

22. قدرت نمایش توابع
گرچه قدرت نمایش توابع به توسط یک شبکه feedforward بسته به عمق و گستردگی شبکه دارد، با این وجود موارد زیر را می توان به صورت قوانین کلی بیان نمود:
توابع بولی: هر تابع بولی را میتوان توسط یک شبکه دو لایه پیاده سازی نمود.
توابع پیوسته: هر تابع پیوسته محدود را میتوان توسط یک شبکه دو لایه تقریب زد. تئوری مربوطه در مورد شبکه هائی که از تابع سیگموئید در لایه پنهان و لایه خطی در شبکه خروجی استفاده میکنند صادق است.
توابع دلخواه: هر تابع دلخواه را میتوان با یک شبکه سه لایه تا حد قابل قبولی تفریب زد.

23. شبکه های عصبی پرسپترون چند لایه (MLP)

24. ورودیها و خروجی های شبکه برای تابع XOR
شبکه های عصبی پرسپترون چند لایه (MLP)
ورودیها و خروجی های شبکه برای تابع XOR

25. محاسبه وزنهای شبکه برای تابع XOR

26. محاسبات وزنهای شبکه برای تابع XOR

27. محاسبات وزنها، خروجی و خطا شبکه برای تابع XOR