2. ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР (ЖНЖ) Жасанды нейронды қ желілер(ЖНЖ) – математикалы қ модель, сонымен қ атар оны ң биологиялы қ нейронды қ желілеріні ң ұ йымдастыру ж ә не құ рылымды қ принципіне негізделген ба ғ дарламалы қ немесе аппаратты қ қ амтамасыз етуі – тірі а ғ заны ң ж ү йке жасушаларыны ң желісі. Б ұ л т ұ жырымдама мида пайда болатын процестерді зерттеуде ж ә не осы процестерді модельдеу кезінде пайда болды. 1-сурет. Жасанды нейронды қ желіні ң моделі

3. Қазіргі таңда нейрондық желілер машина оқытудың көптеген салаларында қолданылады және әртүрлі күрделі деген мәселелерді шешіп келеді. ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР (ЖНЖ)

4. 1-сурет. Қарапайым нейронның модельі Нейронны ң б ұ л модельінде ү ш негізгі элементті к ө рсетуге болады: синапстар, олардың әрқайсысы өз салмағымен немесе күшімен сипатталады. Нейрондар арасындағы байланысты жүзеге асырады, кіріс сигналын синаптикалық байланыстың күшін сипаттайтын синапстың салмақ коэффициентіне көбейтеді; сумматор, нейрон жасушасының аналогы. Басқа нейрондардан синаптикалық байланыс бойынша түсетін сыртқы кіріс сигналдарын немесе сигналдарды қосуды орындайды. Нейронның қозу деңгейін анықтайды; активация функциясы, қоздыру (тежеу) сигналы келесі нейрондардың синапстарына түсетін нейронның соңғы шығыс деңгейін анықтайды. ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР (ЖНЖ)

5. Топология тұрғысынан қарасақ, нейрондық желілердің үш негізгі түрін бөліп көрсетуге болады: 1) толық байланысты (4-сурет, а); 2) көп қабатты немесе қабатты (4-сурет, б); 3) нашар байланысқан (жергілікті қосылыстармен) (Cурет 4, в). Сурет 1. Жасанды нейрондық желілердің топологиясы ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР (ЖНЖ)

6. Активация функциясы (белсендіру функциясы, қ оздыру функциясы) - жасанды нейронны ң шы ғ ыс сигналын есептейтін функция. Аргумент ретінде кіріс сумматорды ң шы ғ ысынан алын ғ ан сигналды қ абылданады. Келесі активтендіру функциялары жиі қ олданылады. Жай б ө лшекті- сызы қ ты қ функция. Егер кіріс м ә ні шекті м ә ннен(пороговой) аз болса, онда активация функциясыны ң м ә ні минималды р ұқ сат етілетін м ә нге те ң, ә йтпесе максималды р ұқ сат етіледі. 2-сурет. Шекті функция АКТИВАЦИЯ ФУНКЦИЯСЫ

7. Сигмоидальды активация функциясына мысал ретінде келесі ө рнек ар қ ылы аны қ тал ғ ан логистикалы қ функция жатады: – сигмоидальды активтендіру функциясыны ң иілу параметрі Б ұ л функция биологиялы қ нейронны ң шынайы сипаттамасын с ә тті модельдейді. K коэффициенті сызы қ ты қ емес функцияны ң беріктігін аны қ тайды. АКТИВАЦИЯ ФУНКЦИЯСЫ

8. 2-сурет. Активация функцияларының түрлері

9. ReLU ReLU т ү зетілген сызы қ ты қ бірлікті білдіреді ж ә не активтендіру функциясыны ң бір т ү рі болып табылады. Математикалы қ т ұ р ғ ыдан, б ұ л y = max (0, x) ретінде аны қ талады. Қ азіргі уа қ ытта ол қ арапайымдылы ғ ына байланысты е ң к ө п қ олданылатын активация функциясы. Со ңғ ы зерттеулер сонымен қ атар биологиялы қ нейрондарды ң ж ұ мысын д ә лірек сипаттайтынды ғ ын к ө рсетті. + дифференциалданатын - орталы қ талма ғ ан + қ аны ғ у шегі жо қ - инициализация ғ а сезімтал + тез есептеледі АКТИВАЦИЯ ФУНКЦИЯСЫ

11. Softmax Softmax — к ө п ө лшемді жа ғ дайлар ү шін логистикалы қ функцияны жалпылау. Функция ө лшем векторын сол ө лшемдегі OUT векторына т ү рлендіреді, м ұ нда алын ғ ан векторды ң ә рбір NET координаты [0,1] интервалында на қ ты санмен к ө рсетіледі, ал координаталарды ң қ осындысы – 1. Softmax regression based deep sparse autoencoder network for facial emotion recognition in human-robot interaction. L.Chen, M.Zhou// Information Sciences V 428, February 2018, Pages 49-61 АКТИВАЦИЯ ФУНКЦИЯСЫ

12. Радиалды- базисті активациялау функциясы АКТИВАЦИЯ ФУНКЦИЯСЫ

13. Радиалды- базисті активациялау функциясы Радиалды- базисті активациялау функциясы (radbas (S)) - қ алыпты ү лестіру за ң ы ү шін Гаусс функциясы, о ғ ан с ә йкес: м ұ нда ғ ы σ – радиалды- базисті функциясыны ң беріктігін сипаттайтын стандартты квадратты қ ауыт қ у. S м ә ні кіріс ж ә не салма қ векторлары арасында ғ ы Эвклид қ ашы қ ты ққ а с ә йкес аны қ талады: АКТИВАЦИЯ ФУНКЦИЯСЫ

14. 4-сурет. Әр түрлі үлгілерді іске қосу функциялары

15. Нейрондық желілердің модельдері Теорияны әзірлеушілер- Маккалон және Питтс. Нейрондық желілердің басты нәтижелері келесіге жеткен: 1.Кейбір функцияның мәнін есептейтін қарапайым процессорлық элемент түріндегі Нейрон моделі. 2.Логикалық және арифметикалық операцияларды орындау үшін нейрондық желінің құрылымы. 3.Нейрондық желі оқуға, бейнелерді тануға және алынған ақпаратты жалпылауға қабілетті деген болжам айтылды. ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР (ЖНЖ)

16. Нейрондық желілердің модельдері Фрэнк Разенблатт (1958 ж.) персептрон ұғымын енгізген – нейронды желілер моделі. Разенблатт нейронаралық байланыстарды модификациялау мүмкіндігін енгізді. Бұл нейрондық желіні оқытылатындай етті. Алғашқы персептрондар алфавит әріптерін тани алды. ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР (ЖНЖ)

17. 9-сурет. Розенблатт Персептроны Персептронны ң негізінде миды ң а қ паратты қ абылдауыны ң математикалы қ моделі жатыр. Ә рт ү рлі зерттеушілер оны ә рт ү рлі аны қ тайды Жалпы т ү рде (Розенблатт сипатта ғ андай) ол ү ш т ү рлі элементтерден т ұ ратын ж ү йені білдіреді: сенсорлар, ассоциативті элементтер ж ә не реакция элементтері. ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР (ЖНЖ) 10-сурет. Қ арапайым персептрон моделі

18. ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР (ЖНЖ) Жасанды нейронды қ желілерді қ олдану: К ө п ө лшемді функцияларды ң аппроксимациясы ү шін икемді модель. К ө п айнымалы ғ а байланысты ү дерістерді уа қ ыт бойынша болжау құ ралы. Бейнелерді тану құ ралы. Қ ауымдасты қ тар бойынша іздеу құ ралы. Деректер массивіндегі за ң дылы қ тарды іздеуге арнал ғ ан модель.

19. ЖАСАНДЫ НЕЙРОНДЫҚ ЖЕЛІЛЕР (ЖНЖ) Нейрондық желілерді шектеулері: Нейронды есептеу кідірісті енгізбей тез орын алады. Іске қосу функциясын таңдау үшін нақты алгоритмдер жоқ. Формальды Нейрон моделі биотәріздес емес және математикалық абстракция болып табылады.

20. НЕЙРОНДАРДЫ ОҚЫТУ ПРИНЦИПІ (ҚАТЕЛІКТІ КЕРІ ТАРАТУ)

21. НЕЙРОНДАРДЫ ОҚЫТУ ПРИНЦИПІ 5- сурет. Нейронды қ желілерді о қ ыту

22. Персептронды оқыту алгоритмі: 1) Жүйе эталондық бейнені көрсетеді; 2) Егер тану нәтижесі берілген көрсеткішпен сәйкес келсе, онда салмақ коэффициенттері өзгермейді; 3) Егер нейрондық желі нәтижені дұрыс танымаса, онда салмақ коэффициенттеріне тану сапасын арттыру жағына өсу беріледі. Персептронның мүмкіндіктері шектеулі, өйткені әрқашан берілген көптеген бейнелер дұрыс танылатын салмақ коэффициенттерінің комбинациясы жоқ. Себебі, бір қабатты персептрон ЭТАЛОН кеңістігінің сызықтық бөлінген бетін іске асырады, соның салдарынан дұрыс танымау болуы мүмкін. НЕЙРОНДАРДЫ ОҚЫТУ ПРИНЦИПІ

23. Көп қабатты персептрондағы кіріс және шығыс элементтерінің саны есеп шарттарымен анықталады. Жасырын қабаттардың саны әртүрлі болуы мүмкін, қарапайым жағдайда тек бір жасырын қабат Қасиеттері: Әрбір нейрон желісі тегіс сызықты емес іске қосу функциясына ие Бірнеше жасырын қабаттар Жоғары байланыс НЕЙРОНДАРДЫ ОҚЫТУ ПРИНЦИПІ

24. Көпқабатты желілер Схема многослойного персептрона Көршілес қабаттардың нейрондарының арасында ғана байланыс орнатылады. Әрбір қабат көрші қабаттардың кез келген нейронымен түрлендірілген байланыспен қосылған. Нейрондардың арасында байланыс жоқ. Әрбір нейрон тек жоғары тұрған қабатқа ғана сигнал жібере алады және шығу сигналын тек төмен тұрған қабаттан қабылдай алады. Шығыс сигналдары төменгі қабатқа беріледі, ал шығыс векторы алдыңғы қабаттардың белсенді элементтерінің белгілі мәндерін пайдалана отырып, әрбір қабаттың белсенді элементтерінің теңдеулерін тізбектей есептеу жолымен анықталады. НЕЙРОНДАРДЫ ОҚЫТУ ПРИНЦИПІ

25. Көп қабатты персептрондар – тікелей таратудың нейрондық желілері деп аталады. Мұндай желілердегі кіріс сигналы қабаттан қабатқа тікелей бағытта таратылады. Жалпы көріністе көп қабатты персептрон келесі элементтерден тұрады: кіріс қабатын құрайтын кіріс түйіндерінің жиыны; есептеу нейрондарының бір немесе бірнеше жасырын қабаттары; нейрондардың бір шығу қабаты. Көп қабатты персептрон бір қабатты персептронды жалпылау болып табылады. Көп қабатты персептронның мысалы-нейрондық желінің келесі моделі: НЕЙРОНДАРДЫ ОҚЫТУ ПРИНЦИПІ Yan H., Jiang Y., Zheng J., Peng C., Li Q. A multilayer perceptron-based medical decision support system for heart disease diagnosis // Expert Systems with Applications. – 2006. - Vol. 30, № 2. - P. 272-281.

26. Қатені кері тарату әдісімен көп қабатты нейронды желіні оқыту алгоритмі Қатені кері тарату алгоритмі келесідей: Синаптикалық салмақты кішкентай кездейсоқ мәндермен бастамалау. Оқыту жиынынан кезекті оқыту жұпты таңдау; кіру векторын желі кірісіне беру. Желі шығысын есептеу. Желінің шығысы мен талап етілетін шығысының арасындағы айырмашылықты есептеу (оқытушы жұптың мақсатты векторы). Алынған айнымалының орташа квадраттық ауытқуы бар және рұқсат етілген нормамен салыстырылады. Қатені азайту үшін желі салмағын түзету. Әр оқу жиынының векторы үшін 2-ден 5-ке дейінгі қадамдарды барлық жиындағы қате қолайлы деңгейге жеткенге дейін қайталау.

27. Шығыс қабатының синаптикалық салмағын түзету P индексімен синаптикалық салмақ шығатын нейрон, ал q – нейронды белгілейміз: Қ ажетті T q ж ә не іске қ осу логистикалы қ функциясына к ө бейтілген на қ ты OUT q шы ғ ысы арасында ғ ы айырмашылы ққ а те ң шаманы енгіземіз: Қатені кері тарату әдісімен көп қабатты нейронды желіні оқыту алгоритмі FF Сумматор Функция активации F Скрытый слой Выходной слой Выход w p-q OUT p OUT q 5-сурет. Шы ғ у қ абатыны ң синаптикалы қ салма ғ ыны ң блок схемасы

28. Сонда, түзетуден кейін шығыс қабатының салмағы тең болады: мұнда, i – ағымдағы оқу итерациясының нөмірі, wp-q – Нейронды q нейронымен қосатын синаптикалық салмақтың шамасы, ("бұл" грек әрпі) – "оқыту жылдамдығының" коэффициенті, салмақтың өзгеруінің орташа шамасын басқаруға мүмкіндік береді, outp – нейронның p шығуы. Шығыс қабатының синаптикалық салмағын түзету Қатені кері тарату әдісімен көп қабатты нейронды желіні оқыту алгоритмі

29. Қатені кері таратуды оқыту алгоритмі желінің барлық қабаттары бойынша екі жолды болжайды тура Тура өту кезінде кіріс векторы нейрондық желінің кіріс қабатына беріледі, содан кейін желі бойынша қабаттан қабатқа таралады. Нәтижесінде кіріс сигналдары жиынтығы генерацияланады, ол кіріс бейнесіндегі деректер желісінің нақты реакциясы болып табылады. кері Идея d қ атесіні ң сигналын (о қ у адымында есептелген) барлы қ нейрондар ғ а кері тарату болып табылады, оларды ң шы ғ у сигналдары со ңғ ы нейрон ғ а кіреді. Қатені кері тарату әдісімен көп қабатты нейронды желіні оқыту алгоритмі О қ ыту-б ұ л итерация ( қ айталау) реті. Ә рбір итерацияда нейрондарды ң салма қ коэффициенттері жатты ғ у мысалдарынан жа ң а деректерді пайдалана отырып с ә йкестендіріледі. Салма қ коэффициенттеріні ң ө згеруі алгоритмні ң м ә нін құ райды. Тікелей ө ту кезінде желіні ң барлы қ синаптикалы қ салма ғ ы тіркелген. Кері ө ту кезінде барлы қ синаптикалы қ салма қ тар қ ателерді т ү зету ережесіне с ә йкес реттеледі.

30. Желіні оқытудың тікелей өтуі Бұл процесті безендіру үшін нейрондық желіні қолданамыз және екі кіру және бір шығу және екі жасырын қабат бар: Е сигналы-кіріс сигналдарының өлшенген сомасы Оқытудың әрбір қадамы жаттығу мысалдарынан кіріс сигналдарының әсерінен басталады. Осыдан кейін желінің әрбір қабатындағы барлық нейрондар үшін шығыс сигналдарының мәнін анықтауға болады. НЕЙРОНДАРДЫ ОҚЫТУ ПРИНЦИПІ

31. W(xm)n символдары кіріс қ абатында ғ ы xm желілік кіріс пен n Нейрон арасында ғ ы байланыс салма ғ ын к ө рсетеді. yn та ң балары n нейронны ң шы ғ ыс сигналын к ө рсетеді. Бірінші жасырын қ абат ү шін Y=[y1, y2, y3] Шы ғ ыс векторыны ң м ә ні есептеледі НЕЙРОНДАРДЫ ОҚЫТУ ПРИНЦИПІ

32. Қатені тікелей тарату әдісімен көп қабатты нейронды желіні оқыту алгоритмі Екінші жасырын қабат үшін Y=[y4, y5] шығыс векторының мәні есептеледі НЕЙРОНДАРДЫ ОҚЫТУ ПРИНЦИПІ

33. Барлы қ желі ү шін шы ғ ыс м ә ні есептеледі Алгоритмні ң келесі кезе ң інде желіні ң шы ғ у сигналы жатты ғ у деректерінде са қ талатын қ ажетті z шы ғ у сигналымен салыстырылады. Б ұ л екі сигнал арасында ғ ы айырмашылы қ қ ате деп аталады d Шы ғ ыс қ абат желі НЕЙРОНДАРДЫ ОҚЫТУ ПРИНЦИПІ

34. Ішкі нейрондар үшін қате сигналын тікелей есептеу мүмкін емес, себебі бұл нейрондардың шығу мәндері белгісіз. Көп жылдар бойы көп қабатты желіні оқыту үшін тиімді әдіс белгісіз болды Тек сексенінші жылдардың ортасында қатені кері тарату алгоритмі әзірленді. ҚАТЕНІ ТІКЕЛЕЙ ТАРАТУ ӘДІСІМЕН КӨП ҚАБАТТЫ НЕЙРОНДЫ ЖЕЛІНІ ОҚЫТУ АЛГОРИТМІ Идея d қ атесіні ң сигналын (о қ у адымында есептелген) барлы қ нейрондар ғ а кері тарату болып табылады, оларды ң шы ғ у сигналдары со ңғ ы нейрон ғ а кіреді.

35. Қатені кері тарату үшін қолданылатын Wmn салмақ коэффициенттері шығыс сигналын есептеу кезінде қолданылған коэффициенттерге тең. Тек деректер ағынының бағыты өзгереді (сигналдар кіруден беріледі). ҚАТЕНІ ТІКЕЛЕЙ ТАРАТУ ӘДІСІМЕН КӨП ҚАБАТТЫ НЕЙРОНДЫ ЖЕЛІНІ ОҚЫТУ АЛГОРИТМІ

36. Ә рбір yейрон ү шін сигнал қ ателігіні ң шамасы есептелгенде – салма қ коэффициенттерін реттеуге болады. Б ұ л процесс желіні ң барлы қ қ абаттары ү шін қ айталанады. Егер қ ате бірнеше нейроннан келсе, ол жина қ талады: ҚАТЕНІ ТІКЕЛЕЙ ТАРАТУ ӘДІСІМЕН КӨП ҚАБАТТЫ НЕЙРОНДЫ ЖЕЛІНІ ОҚЫТУ АЛГОРИТМІ

37. Салмақ коэффициенттері үшін өзгерістерді есептеу кезінде Нейронды белсендіру функциясынан df(e)/de туындысын есептеу қажет (олардың салмақ коэффициенттері түзетіледі). Сигмоид түріндегі белсендіру функциясы үшін: туынды функцияның өзі арқылы көрінеді: қателікті кері тарату әдісінің есептеу күрделілігін айтарлықтай қысқартуға мүмкіндік береді. ҚАТЕНІ ТІКЕЛЕЙ ТАРАТУ ӘДІСІМЕН КӨП ҚАБАТТЫ НЕЙРОНДЫ ЖЕЛІНІ ОҚЫТУ АЛГОРИТМІ

38. 1 2

39. 3 4 5

40. коэффициент желіні оқыту жылдамдығына әсер етеді. Бұл параметрді таңдау үшін бірнеше әдістер бар. Бірінші әдіс – оқу процесін параметрдің үлкен мәнімен бастау. Салмақ коэффициенттерін түзету кезінде параметр біртіндеп азаяды. Екіншісі-неғұрлым күрделі оқыту әдісі, параметрдің аз мәнімен басталады. Оқу процесінде параметр артады, содан кейін оқудың соңғы сатысында қайта азаяды. Параметрдің төмен мәні бар оқу процесінің басталуы салмақ коэффициенттерінің белгісін анықтауға мүмкіндік береді ҚАТЕНІ ТІКЕЛЕЙ ТАРАТУ ӘДІСІМЕН КӨП ҚАБАТТЫ НЕЙРОНДЫ ЖЕЛІНІ ОҚЫТУ АЛГОРИТМІ 6

42. Нейрондық желілерді оқыту принципі бойынша екі түрге бөлінеді: "мұғаліммен" және "мұғалімсіз" "М ұғ аліммен" о қ ыту д ұ рыс "жауаптарды жинаудан бас қ а, есептеу негізінде қ ала ғ ан жауап пен жауап арасында ғ ы айырмашылы қ ж ә не салма қ ты кейіннен т ү зетумен о қ ыту ә дістері салынды. "М ұғ алімсіз" о қ ыту, желі қ андай да бір " қ орытынды" жасау ғ а (жина қ тау немесе кластерлеу) негіз болатын деректер жиынты ғ ы ғ ана бар. НЕЙРОНДАРДЫ ОҚЫТУ ПРИНЦИПІ Көп қабатты персептрондардағы қатені кері тарату әдісі – мұғаліммен оқытудың типтік үлгісі.