Presentation is loading. Please wait.

Presentation is loading. Please wait.

Prof. Dr Srdjan S. Stanković KIBERNETIKA DANAS

Similar presentations


Presentation on theme: "Prof. Dr Srdjan S. Stanković KIBERNETIKA DANAS"— Presentation transcript:

1 Prof. Dr Srdjan S. Stanković KIBERNETIKA DANAS
Elektrotehnički fakultet Univerzitet u Beogradu

2 Istorijski osvrt * PLATON- upravljanje brodovima
*AMPER - opšta teorija upravljanja društvom *NORBERT VINER - “Kibernetika ili upravljanje i komunikacije u mašinama i živim bićima”, 1948 “Kibernetika i društvo”, 1954

3 Predmet kibernetike INFORMACIJE UPRAVLJANJE

4 Kibernetski pristup Ranije su objekti spoljašnjeg sveta razamatrani prevashodno sa aspekta materijalno-energetskih osobina KIBERNETIKA stavlja akcenat na analizu iformaciono-regulatornih procesa, na način ponašanja, na funkcionisanje sistema Problem “konja” prerasta u problem “konja i jahača”, pri čemu jahač, odnosno informaciono-regulaciona strana, ima primarnu ulogu (Bernštajn) KIBERNETIKA stoga predstavlja novi pravac u nauci koji donosi principijelno novu metodologiju

5 Objekat kibernetike TEORIJSKI: idealizovani funkcionalni sistem
PRAKTIČNO: svi sistemi koji postoje u živoj prirodi, društvu i tehnici

6 Klasifikacija kibernetskih nauka
TEORIJSKA KIBERNETIKA Socijalna kibernetika Biološka kibernetika Tehnička kibernetika Bionika PRIMENJENA KIBERNETIKA -Tehnička kibernetika -Bionika

7 Veza sa filozofskim kategorijama
SISTEM I NJEGOVI ELEMENTI: sistemsko – strukturni prilaz (teorija sistema) Definicije sistema: svaki objekt u prirodi samo oni objekti koji predstavljaju celinu za sebe samo oni objekti koji imaju osobinu svrsishodnosti RELACIJE: diskretno – kontinualno, unutrašnje – spoljnje, deo –celina CELINA: novi kvalitet STRUKTURA I FUNKCIJA, FORMA I SUŠTINA SUBJEKAT - OBJEKAT

8 Princip povratne sprege
Teorijsko konstrukcija kibernetike: UPRAVLJANJE, INFORMACIJA, POVRATNA SPREGA MEMORIJA KIBERNETSKOG SISTEMA DINAMIČKA SVOJSTVA MODELA MOGUĆNIST “PREDVIĐANJA” STOHASTIČKO OKRUŽENJE FUNKCIJA CILJA

9 Cilj i struktura ponašanja
Svrsishodnost – ponašanje živih organizama KIBERNETIKA – teorija svrsishodnosti KIBERNETIKA – teleološka nauka FILOGENEZA, ONTOGENEZA “Život je usmeren ka ostvarenju cilja, a taj cilj je očuvanje samog života” (Pavlov) Kibernetski sistem jeste hijerarhijski sistem, pri čemu se cilj formuliše na nivou veze sistem -okruženje Akt usmeren ka cilju bio je i ostao predmet izučavanja filozofa i teoretičara u kibernetici

10 “Informacija je informacija, ni materija, ni energija”
* Prvi tip informacije: POČETNA, STRUKTURNA Drugi tip informacije: SLOBODNA , RELATIVNA, RADNA. * PRIMER: LJUDSKI MOZAK TEORIJA INFORMACIJA “Informacija je informacija, ni materija, ni energija” NORBERT VINER

11 Parabola o pećini Platon
Senke (projekcije) na zidovima pećine nisu dovoljne da predstavljaju realnost u svim njenim aspektima Platon

12 UPRAVLJANJE Linearni, nelinearni, deterministički, stohastički, adaptivni, robusni, kontinualni, diskretni, hibridni, složeni, hijerarhijski, optimalni, SISTEMI TEORIJA UPRAVLJANJA

13 Samoorganizujući soft-hardver
Odvajanje hardvera i softvera daje računarima snagu koju imaju u brzim izračunavanjima Međutim, to ih sprečava u postizanju UVIDA Primer: Softver za upravljanje fabrikom i softver za neku društvenu igru mogu biti identični, zato što predstave u simboličkom računanju nisu vezane za realni svet Egzekucija je bez razumevanja !!!

14 PROBLEM !!! Inteligencija ? OPŠTA INTELIGENCIJA - svojstvena ljudima
Alati koje nude ili podržavaju računari simuliraju samo uske segmente inteligencije u određenim domenima PROBLEM !!! OPŠTA INTELIGENCIJA - svojstvena ljudima Progres u dupliciranju inteligencije na neorganskom supstratu je teško izvodljiv vez dubljeg uvida u odnos računanja i mišljenja

15 ! ! Kakve su mašine potrebne ? Današnji paralelni računari
Reeke i Edelman, 1988 Treba napustiti separaciju hardvera i softvera i praviti mašine koje rade bez programa i adaptiraju se okolini, kao što rade biološki organizmi. Softver treba da je uklopljen u hardver na nivou supstrata, koji treba da je, tako, samoorganizujući ! ! Današnji paralelni računari su daleko od ovog kvaliteta

16 Integracija senzora, procesora i efektora
Problem: Kako priroda premošćuje jaz između organizacije simbola (sintaksa) i stvarnog značenja (semantika)? Pattee, 1982 Semantičko zatvaranje sintaktičko-semantičke petlje jeste na ćelijskom nivou. Elementarne jedinice moraju da sadrže procesore i elementa za višedimenzionalno povezivanje. Kombinovanje velikog broja elemenata treba da pruži novi kvalitet - CELINU (SEPARATIZAM prema KONEKCIONIZMU)

17 Outline Examples, neuroscience analogy
Perceptrons, MLPs: How they work How the networks learn from examples Backpropagation algorithm Learning parameters Overfitting

18 Examples in Medical Pattern Recognition
Diagnosis Protein Structure Prediction Diagnosis of Giant Cell Arteritis Diagnosis of Myocardial Infarction Interpretation of ECGs Interpretation of PET scans, Chest X-rays Prognosis Prognosis of Breast Cancer Outcomes After Spinal Cord Injury

19 Biological Analogy

20

21 Perceptrons - D rule change weights to weights decrease the error
Output units No disease Pneumonia Flu Meningitis Input units Cough Headache what we got what we wanted - error D rule change weights to decrease the error

22 Perceptrons Output of unit j : o = 1/ (1 + e j j ) j Input to unit j :
- ( a j + q j ) ) j j units Input to unit j : a = S w a j ij i Input to unit i : a i measured value of variable i i Input units

23 AND y q = 0.5 w w x x f(x w + x w ) = y input output 00 f(0w + 0w
1 2 x x 1 2 f(x w + x w ) = y input output 1 1 2 2 00 f(0w + 0w ) = 0 1 2 1, for a > q 01 f(0w + 1w ) = 0 f(a) = 1 2 10 f(1w + 0w ) = 0 0, for a q 1 2 1 1 1 f(1w + 1w ) = 1 q 1 2 some possible values for w and w 1 2 w w 1 2 0.20 0.35 0.20 0.40 0.25 0.30 0.40 0.20

24 XOR y q = 0.5 w w x x f(x w + x w ) = y input output 00 f(0w + 0w
1 2 x x 1 2 f(x w + x w ) = y input output 1 1 2 2 00 f(0w + 0w ) = 0 1 2 1, for a > q 01 1 f(0w + 1w ) = 1 f(a) = 1 2 10 1 f(1w + 0w ) = 1 0, for a q 1 2 1 1 f(1w + 1w ) = 0 q 1 2 some possible values for w and w 1 2 w w 1 2

25 XOR f(w1, w2, w3, w4, w5) (w1, w2, w3, w4, w5) (0.3,0.3,1,1,-2) w5 w1
y q = 0.5 input output w5 w 3 4 00 01 1 z q = 0.5 10 1 w1 w2 1 1 x x 1 2 f(w1, w2, w3, w4, w5) a possible set of values for ws (w1, w2, w3, w4, w5) (0.3,0.3,1,1,-2) 1, for a > q f(a) = 0, for a q q

26 XOR f(w1, w2, w3, w4, w5 , w6) (w1, w2, w3, w4, w5 , w6)
input output 00 w5 w6 01 1 q = 0.5 for all units 10 1 1 1 w1 w2 w4 w3 f(w1, w2, w3, w4, w5 , w6) a possible set of values for ws (w1, w2, w3, w4, w5 , w6) (0.6,-0.6,-0.7,0.8,1,1) 1, for a > q f(a) = 0, for a q q

27 Linear Separation

28

29 Abdominal Pain 1 adjustable weights Male Age T emp WBC Pain Pain
Perforated Non-specific Small Bowel Duodenal Appendicitis Diverticulitis Ulcer Pain Cholecystitis Obstruction Pancreatitis 1 adjustable weights 1 20 37 10 1 1 Male Age T emp WBC Pain Pain Intensity Duration

30 Multilayered Perceptrons

31 Activation Functions... Linear Threshold or step function
Logistic, sigmoid, “squash” Hyperbolic tangent

32 Neural Network Model S Inputs Output Age 34 0.6 Gender 2 4 Stage
.4 S .2 S 0.6 .1 .5 Gender 2 .2 .3 S .8 .7 “Probability of beingAlive” 4 Stage .2 Dependent variable Prediction Independent variables Weights HiddenLayer Weights

33 “Combined logistic models”
Inputs Output Age 34 .6 .5 S 0.6 .1 Gender 2 .7 .8 “Probability of beingAlive” 4 Stage Dependent variable Prediction Independent variables Weights HiddenLayer Weights

34 Hidden Units and Backpropagation

35 Minimizing the Error w w initial error Error surface negative
derivative final error local minimum initial trained w w positive change

36 Gradient descent Error Global minimum Local minimum

37 Overfitting Real Distribution Overfitted Model

38 Overfitting tss Overfitted model tss a = test set min (D tss ) b
= training set tss b Epochs Stopping criterion

39 Overfitting in Neural Nets
Overfitted model “Real” model Overfitted model CHD error holdout training age cycles

40 Parameter Estimation Logistic regression It models “just” one function
Maximum likelihood Fast Optimizations Fisher Newton-Raphson Neural network It models several functions Backpropagation Iterative Slow Optimizations Quickprop Scaled conjugate g.d. Adaptive learning rate

41 What do you want? Insight versus prediction
Insight into the model Explain importance of each variable Assess model fit to existing data Accurate predictions Make a good estimate of the “real” probability Assess model prediction in new data

42 Model Selection Finding influential variables
Logistic Forward Backward Stepwise Arbitrary All combinations Relative risk Neural Network Weight elimination Automatic Relevance Determination “Relevance”

43 Small sets: Cross-validation
Several training and test set pairs are created so that the union of all test sets corresponds exactly to the original set Results from the different models are pooled and overall performance is estimated “Leave-n-out” Jackknife

44 ECG Interpretation

45 Thyroid Diseases

46 Time Series Y = X Output units Hidden units Input units X X n+2
(dependent variables) W eights Hidden units (estimated parameters) Input units (independent variables) X X n n+1

47 Time Series

48 Evaluation

49 Evaluation: Area Under ROCs

50 ROC Analysis: Variations
Area under ROC ROC Slope and Intercept W ilcoxon statistic Confidence interval

51 Kibernetski pristup Ranije su objekti spoljašnjeg sveta razamatrani prevashodno sa aspekta materijalno-energetskih osobina KIBERNETIKA stavlja akcenat na analizu iformaciono-regulatornih procesa, na način ponašanja, na funkcionisanje sistema Problem “konja” prerasta u problem “konja i jahača”, pri čemu jahač, odnosno informaciono-regulaciona strana, ima primarnu ulogu (Bernštajn) KIBERNETIKA stoga predstavlja novi pravac u nauci koji donosi principijelno novu metodologiju

52 Objekat kibernetike TEORIJSKI: idealizovani funkcionalni sistem
PRAKTIČNO: svi sistemi koji postoje u živoj prirodi, društvu i tehnici

53 Klasifikacija kibernetskih nauka
TEORIJSKA KIBERNETIKA Socijalna kibernetika Biološka kibernetika Tehnička kibernetika Bionika PRIMENJENA KIBERNETIKA -Tehnička kibernetika -Bionika

54 Veza sa filozofskim kategorijama
SISTEM I NJEGOVI ELEMENTI: sistemsko – strukturni prilaz (teorija sistema) Definicije sistema: svaki objekt u prirodi samo oni objekti koji predstavljaju celinu za sebe samo oni objekti koji imaju osobinu svrsishodnosti RELACIJE: diskretno – kontinualno, unutrašnje – spoljnje, deo –celina CELINA: novi kvalitet STRUKTURA I FUNKCIJA, FORMA I SUŠTINA SUBJEKAT - OBJEKAT

55 Princip povratne sprege
Teorijsko konstrukcija kibernetike: UPRAVLJANJE, INFORMACIJA, POVRATNA SPREGA MEMORIJA KIBERNETSKOG SISTEMA DINAMIČKA SVOJSTVA MODELA MOGUĆNIST “PREDVIĐANJA” STOHASTIČKO OKRUŽENJE FUNKCIJA CILJA

56 Cilj i struktura ponašanja
Svrsishodnost – ponašanje živih organizama KIBERNETIKA – teorija svrsishodnosti KIBERNETIKA – teleološka nauka FILOGENEZA, ONTOGENEZA “Život je usmeren ka ostvarenju cilja, a taj cilj je očuvanje samog života” (Pavlov) Kibernetski sistem jeste hijerarhijski sistem, pri čemu se cilj formuliše na nivou veze sistem -okruženje Akt usmeren ka cilju bio je i ostao predmet izučavanja filozofa i teoretičara u kibernetici

57 “Informacija je informacija, ni materija, ni energija”
* Prvi tip informacije: POČETNA, STRUKTURNA Drugi tip informacije: SLOBODNA , RELATIVNA, RADNA. * PRIMER: LJUDSKI MOZAK TEORIJA INFORMACIJA “Informacija je informacija, ni materija, ni energija” NORBERT VINER

58 Parabola o pećini Platon
Senke (projekcije) na zidovima pećine nisu dovoljne da predstavljaju realnost u svim njenim aspektima Platon

59 UPRAVLJANJE Linearni, nelinearni, deterministički, stohastički, adaptivni, robusni, kontinualni, diskretni, hibridni, složeni, hijerarhijski, optimalni, SISTEMI TEORIJA UPRAVLJANJA

60 Samoorganizujući soft-hardver
Odvajanje hardvera i softvera daje računarima snagu koju imaju u brzim izračunavanjima Međutim, to ih sprečava u postizanju UVIDA Primer: Softver za upravljanje fabrikom i softver za neku društvenu igru mogu biti identični, zato što predstave u simboličkom računanju nisu vezane za realni svet Egzekucija je bez razumevanja !!!

61 ! ! Kakve su mašine potrebne ? Današnji paralelni računari
Reeke i Edelman, 1988 Treba napustiti separaciju hardvera i softvera i praviti mašine koje rade bez programa i adaptiraju se okolini, kao što rade biološki organizmi. Softver treba da je uklopljen u hardver na nivou supstrata, koji treba da je, tako, samoorganizujući ! ! Današnji paralelni računari su daleko od ovog kvaliteta

62 Integracija senzora, procesora i efektora
Problem: Kako priroda premošćuje jaz između organizacije simbola (sintaksa) i stvarnog značenja (semantika)? Pattee, 1982 Semantičko zatvaranje sintaktičko-semantičke petlje jeste na ćelijskom nivou. Elementarne jedinice moraju da sadrže procesore i elementa za višedimenzionalno povezivanje. Kombinovanje velikog broja elemenata treba da pruži novi kvalitet - CELINU (SEPARATIZAM prema KONEKCIONIZMU)

63 Primena neuralnih mreža

64 Primer iz medicinske prakse
Dijagnoza Struktura proteina Diajagnoza arteritisa gigantskih ćelija Infarkta miokarda Interpretacije EKG-a Interpretacija PET scena, rentgenskog snimka Prognoza Karcinoma dojke Ishoda posle povrede kičmene moždine Neuralna mreža

65 Glavne karakteristike
Primeri, analogno neuronaukama Perceptrons, MLPs: kako oni rade? Kako mreža uči iz primera Backpropagation algoritam Parametri učenja Overfitting Input pattern

66 za akutni infarkt miokarda
Neuralna mreža za akutni infarkt miokarda Miokardni infarkt “Verovatnoća” infarkta miokarda 1 2 50 Muškarac Dob Pušač EKG Intenzitet bola 4 Trajanje Elevacija ST 0.8

67                                

68

69 March 31, 2005                              


Download ppt "Prof. Dr Srdjan S. Stanković KIBERNETIKA DANAS"

Similar presentations


Ads by Google