Download presentation
Presentation is loading. Please wait.
1
Prof. Dr Srdjan S. Stanković KIBERNETIKA DANAS
Elektrotehnički fakultet Univerzitet u Beogradu
2
Istorijski osvrt * PLATON- upravljanje brodovima
*AMPER - opšta teorija upravljanja društvom *NORBERT VINER - “Kibernetika ili upravljanje i komunikacije u mašinama i živim bićima”, 1948 “Kibernetika i društvo”, 1954
3
Predmet kibernetike INFORMACIJE UPRAVLJANJE
4
Kibernetski pristup Ranije su objekti spoljašnjeg sveta razamatrani prevashodno sa aspekta materijalno-energetskih osobina KIBERNETIKA stavlja akcenat na analizu iformaciono-regulatornih procesa, na način ponašanja, na funkcionisanje sistema Problem “konja” prerasta u problem “konja i jahača”, pri čemu jahač, odnosno informaciono-regulaciona strana, ima primarnu ulogu (Bernštajn) KIBERNETIKA stoga predstavlja novi pravac u nauci koji donosi principijelno novu metodologiju
5
Objekat kibernetike TEORIJSKI: idealizovani funkcionalni sistem
PRAKTIČNO: svi sistemi koji postoje u živoj prirodi, društvu i tehnici
6
Klasifikacija kibernetskih nauka
TEORIJSKA KIBERNETIKA Socijalna kibernetika Biološka kibernetika Tehnička kibernetika Bionika PRIMENJENA KIBERNETIKA -Tehnička kibernetika -Bionika
7
Veza sa filozofskim kategorijama
SISTEM I NJEGOVI ELEMENTI: sistemsko – strukturni prilaz (teorija sistema) Definicije sistema: svaki objekt u prirodi samo oni objekti koji predstavljaju celinu za sebe samo oni objekti koji imaju osobinu svrsishodnosti RELACIJE: diskretno – kontinualno, unutrašnje – spoljnje, deo –celina CELINA: novi kvalitet STRUKTURA I FUNKCIJA, FORMA I SUŠTINA SUBJEKAT - OBJEKAT
8
Princip povratne sprege
Teorijsko konstrukcija kibernetike: UPRAVLJANJE, INFORMACIJA, POVRATNA SPREGA MEMORIJA KIBERNETSKOG SISTEMA DINAMIČKA SVOJSTVA MODELA MOGUĆNIST “PREDVIĐANJA” STOHASTIČKO OKRUŽENJE FUNKCIJA CILJA
9
Cilj i struktura ponašanja
Svrsishodnost – ponašanje živih organizama KIBERNETIKA – teorija svrsishodnosti KIBERNETIKA – teleološka nauka FILOGENEZA, ONTOGENEZA “Život je usmeren ka ostvarenju cilja, a taj cilj je očuvanje samog života” (Pavlov) Kibernetski sistem jeste hijerarhijski sistem, pri čemu se cilj formuliše na nivou veze sistem -okruženje Akt usmeren ka cilju bio je i ostao predmet izučavanja filozofa i teoretičara u kibernetici
10
“Informacija je informacija, ni materija, ni energija”
* Prvi tip informacije: POČETNA, STRUKTURNA Drugi tip informacije: SLOBODNA , RELATIVNA, RADNA. * PRIMER: LJUDSKI MOZAK TEORIJA INFORMACIJA “Informacija je informacija, ni materija, ni energija” NORBERT VINER
11
Parabola o pećini Platon
Senke (projekcije) na zidovima pećine nisu dovoljne da predstavljaju realnost u svim njenim aspektima Platon
12
UPRAVLJANJE Linearni, nelinearni, deterministički, stohastički, adaptivni, robusni, kontinualni, diskretni, hibridni, složeni, hijerarhijski, optimalni, SISTEMI TEORIJA UPRAVLJANJA
13
Samoorganizujući soft-hardver
Odvajanje hardvera i softvera daje računarima snagu koju imaju u brzim izračunavanjima Međutim, to ih sprečava u postizanju UVIDA Primer: Softver za upravljanje fabrikom i softver za neku društvenu igru mogu biti identični, zato što predstave u simboličkom računanju nisu vezane za realni svet Egzekucija je bez razumevanja !!!
14
PROBLEM !!! Inteligencija ? OPŠTA INTELIGENCIJA - svojstvena ljudima
Alati koje nude ili podržavaju računari simuliraju samo uske segmente inteligencije u određenim domenima PROBLEM !!! OPŠTA INTELIGENCIJA - svojstvena ljudima Progres u dupliciranju inteligencije na neorganskom supstratu je teško izvodljiv vez dubljeg uvida u odnos računanja i mišljenja
15
! ! Kakve su mašine potrebne ? Današnji paralelni računari
Reeke i Edelman, 1988 Treba napustiti separaciju hardvera i softvera i praviti mašine koje rade bez programa i adaptiraju se okolini, kao što rade biološki organizmi. Softver treba da je uklopljen u hardver na nivou supstrata, koji treba da je, tako, samoorganizujući ! ! Današnji paralelni računari su daleko od ovog kvaliteta
16
Integracija senzora, procesora i efektora
Problem: Kako priroda premošćuje jaz između organizacije simbola (sintaksa) i stvarnog značenja (semantika)? Pattee, 1982 Semantičko zatvaranje sintaktičko-semantičke petlje jeste na ćelijskom nivou. Elementarne jedinice moraju da sadrže procesore i elementa za višedimenzionalno povezivanje. Kombinovanje velikog broja elemenata treba da pruži novi kvalitet - CELINU (SEPARATIZAM prema KONEKCIONIZMU)
17
Outline Examples, neuroscience analogy
Perceptrons, MLPs: How they work How the networks learn from examples Backpropagation algorithm Learning parameters Overfitting
18
Examples in Medical Pattern Recognition
Diagnosis Protein Structure Prediction Diagnosis of Giant Cell Arteritis Diagnosis of Myocardial Infarction Interpretation of ECGs Interpretation of PET scans, Chest X-rays Prognosis Prognosis of Breast Cancer Outcomes After Spinal Cord Injury
19
Biological Analogy
21
Perceptrons - D rule change weights to weights decrease the error
Output units No disease Pneumonia Flu Meningitis Input units Cough Headache what we got what we wanted - error D rule change weights to decrease the error
22
Perceptrons Output of unit j : o = 1/ (1 + e j j ) j Input to unit j :
- ( a j + q j ) ) j j units Input to unit j : a = S w a j ij i Input to unit i : a i measured value of variable i i Input units
23
AND y q = 0.5 w w x x f(x w + x w ) = y input output 00 f(0w + 0w
1 2 x x 1 2 f(x w + x w ) = y input output 1 1 2 2 00 f(0w + 0w ) = 0 1 2 1, for a > q 01 f(0w + 1w ) = 0 f(a) = 1 2 10 f(1w + 0w ) = 0 0, for a q 1 2 1 1 1 f(1w + 1w ) = 1 q 1 2 some possible values for w and w 1 2 w w 1 2 0.20 0.35 0.20 0.40 0.25 0.30 0.40 0.20
24
XOR y q = 0.5 w w x x f(x w + x w ) = y input output 00 f(0w + 0w
1 2 x x 1 2 f(x w + x w ) = y input output 1 1 2 2 00 f(0w + 0w ) = 0 1 2 1, for a > q 01 1 f(0w + 1w ) = 1 f(a) = 1 2 10 1 f(1w + 0w ) = 1 0, for a q 1 2 1 1 f(1w + 1w ) = 0 q 1 2 some possible values for w and w 1 2 w w 1 2
25
XOR f(w1, w2, w3, w4, w5) (w1, w2, w3, w4, w5) (0.3,0.3,1,1,-2) w5 w1
y q = 0.5 input output w5 w 3 4 00 01 1 z q = 0.5 10 1 w1 w2 1 1 x x 1 2 f(w1, w2, w3, w4, w5) a possible set of values for ws (w1, w2, w3, w4, w5) (0.3,0.3,1,1,-2) 1, for a > q f(a) = 0, for a q q
26
XOR f(w1, w2, w3, w4, w5 , w6) (w1, w2, w3, w4, w5 , w6)
input output 00 w5 w6 01 1 q = 0.5 for all units 10 1 1 1 w1 w2 w4 w3 f(w1, w2, w3, w4, w5 , w6) a possible set of values for ws (w1, w2, w3, w4, w5 , w6) (0.6,-0.6,-0.7,0.8,1,1) 1, for a > q f(a) = 0, for a q q
27
Linear Separation
29
Abdominal Pain 1 adjustable weights Male Age T emp WBC Pain Pain
Perforated Non-specific Small Bowel Duodenal Appendicitis Diverticulitis Ulcer Pain Cholecystitis Obstruction Pancreatitis 1 adjustable weights 1 20 37 10 1 1 Male Age T emp WBC Pain Pain Intensity Duration
30
Multilayered Perceptrons
31
Activation Functions... Linear Threshold or step function
Logistic, sigmoid, “squash” Hyperbolic tangent
32
Neural Network Model S Inputs Output Age 34 0.6 Gender 2 4 Stage
.4 S .2 S 0.6 .1 .5 Gender 2 .2 .3 S .8 .7 “Probability of beingAlive” 4 Stage .2 Dependent variable Prediction Independent variables Weights HiddenLayer Weights
33
“Combined logistic models”
Inputs Output Age 34 .6 .5 S 0.6 .1 Gender 2 .7 .8 “Probability of beingAlive” 4 Stage Dependent variable Prediction Independent variables Weights HiddenLayer Weights
34
Hidden Units and Backpropagation
35
Minimizing the Error w w initial error Error surface negative
derivative final error local minimum initial trained w w positive change
36
Gradient descent Error Global minimum Local minimum
37
Overfitting Real Distribution Overfitted Model
38
Overfitting tss Overfitted model tss a = test set min (D tss ) b
= training set tss b Epochs Stopping criterion
39
Overfitting in Neural Nets
Overfitted model “Real” model Overfitted model CHD error holdout training age cycles
40
Parameter Estimation Logistic regression It models “just” one function
Maximum likelihood Fast Optimizations Fisher Newton-Raphson Neural network It models several functions Backpropagation Iterative Slow Optimizations Quickprop Scaled conjugate g.d. Adaptive learning rate
41
What do you want? Insight versus prediction
Insight into the model Explain importance of each variable Assess model fit to existing data Accurate predictions Make a good estimate of the “real” probability Assess model prediction in new data
42
Model Selection Finding influential variables
Logistic Forward Backward Stepwise Arbitrary All combinations Relative risk Neural Network Weight elimination Automatic Relevance Determination “Relevance”
43
Small sets: Cross-validation
Several training and test set pairs are created so that the union of all test sets corresponds exactly to the original set Results from the different models are pooled and overall performance is estimated “Leave-n-out” Jackknife
44
ECG Interpretation
45
Thyroid Diseases
46
Time Series Y = X Output units Hidden units Input units X X n+2
(dependent variables) W eights Hidden units (estimated parameters) Input units (independent variables) X X n n+1
47
Time Series
48
Evaluation
49
Evaluation: Area Under ROCs
50
ROC Analysis: Variations
Area under ROC ROC Slope and Intercept W ilcoxon statistic Confidence interval
51
Kibernetski pristup Ranije su objekti spoljašnjeg sveta razamatrani prevashodno sa aspekta materijalno-energetskih osobina KIBERNETIKA stavlja akcenat na analizu iformaciono-regulatornih procesa, na način ponašanja, na funkcionisanje sistema Problem “konja” prerasta u problem “konja i jahača”, pri čemu jahač, odnosno informaciono-regulaciona strana, ima primarnu ulogu (Bernštajn) KIBERNETIKA stoga predstavlja novi pravac u nauci koji donosi principijelno novu metodologiju
52
Objekat kibernetike TEORIJSKI: idealizovani funkcionalni sistem
PRAKTIČNO: svi sistemi koji postoje u živoj prirodi, društvu i tehnici
53
Klasifikacija kibernetskih nauka
TEORIJSKA KIBERNETIKA Socijalna kibernetika Biološka kibernetika Tehnička kibernetika Bionika PRIMENJENA KIBERNETIKA -Tehnička kibernetika -Bionika
54
Veza sa filozofskim kategorijama
SISTEM I NJEGOVI ELEMENTI: sistemsko – strukturni prilaz (teorija sistema) Definicije sistema: svaki objekt u prirodi samo oni objekti koji predstavljaju celinu za sebe samo oni objekti koji imaju osobinu svrsishodnosti RELACIJE: diskretno – kontinualno, unutrašnje – spoljnje, deo –celina CELINA: novi kvalitet STRUKTURA I FUNKCIJA, FORMA I SUŠTINA SUBJEKAT - OBJEKAT
55
Princip povratne sprege
Teorijsko konstrukcija kibernetike: UPRAVLJANJE, INFORMACIJA, POVRATNA SPREGA MEMORIJA KIBERNETSKOG SISTEMA DINAMIČKA SVOJSTVA MODELA MOGUĆNIST “PREDVIĐANJA” STOHASTIČKO OKRUŽENJE FUNKCIJA CILJA
56
Cilj i struktura ponašanja
Svrsishodnost – ponašanje živih organizama KIBERNETIKA – teorija svrsishodnosti KIBERNETIKA – teleološka nauka FILOGENEZA, ONTOGENEZA “Život je usmeren ka ostvarenju cilja, a taj cilj je očuvanje samog života” (Pavlov) Kibernetski sistem jeste hijerarhijski sistem, pri čemu se cilj formuliše na nivou veze sistem -okruženje Akt usmeren ka cilju bio je i ostao predmet izučavanja filozofa i teoretičara u kibernetici
57
“Informacija je informacija, ni materija, ni energija”
* Prvi tip informacije: POČETNA, STRUKTURNA Drugi tip informacije: SLOBODNA , RELATIVNA, RADNA. * PRIMER: LJUDSKI MOZAK TEORIJA INFORMACIJA “Informacija je informacija, ni materija, ni energija” NORBERT VINER
58
Parabola o pećini Platon
Senke (projekcije) na zidovima pećine nisu dovoljne da predstavljaju realnost u svim njenim aspektima Platon
59
UPRAVLJANJE Linearni, nelinearni, deterministički, stohastički, adaptivni, robusni, kontinualni, diskretni, hibridni, složeni, hijerarhijski, optimalni, SISTEMI TEORIJA UPRAVLJANJA
60
Samoorganizujući soft-hardver
Odvajanje hardvera i softvera daje računarima snagu koju imaju u brzim izračunavanjima Međutim, to ih sprečava u postizanju UVIDA Primer: Softver za upravljanje fabrikom i softver za neku društvenu igru mogu biti identični, zato što predstave u simboličkom računanju nisu vezane za realni svet Egzekucija je bez razumevanja !!!
61
! ! Kakve su mašine potrebne ? Današnji paralelni računari
Reeke i Edelman, 1988 Treba napustiti separaciju hardvera i softvera i praviti mašine koje rade bez programa i adaptiraju se okolini, kao što rade biološki organizmi. Softver treba da je uklopljen u hardver na nivou supstrata, koji treba da je, tako, samoorganizujući ! ! Današnji paralelni računari su daleko od ovog kvaliteta
62
Integracija senzora, procesora i efektora
Problem: Kako priroda premošćuje jaz između organizacije simbola (sintaksa) i stvarnog značenja (semantika)? Pattee, 1982 Semantičko zatvaranje sintaktičko-semantičke petlje jeste na ćelijskom nivou. Elementarne jedinice moraju da sadrže procesore i elementa za višedimenzionalno povezivanje. Kombinovanje velikog broja elemenata treba da pruži novi kvalitet - CELINU (SEPARATIZAM prema KONEKCIONIZMU)
63
Primena neuralnih mreža
64
Primer iz medicinske prakse
Dijagnoza Struktura proteina Diajagnoza arteritisa gigantskih ćelija Infarkta miokarda Interpretacije EKG-a Interpretacija PET scena, rentgenskog snimka Prognoza Karcinoma dojke Ishoda posle povrede kičmene moždine Neuralna mreža
65
Glavne karakteristike
Primeri, analogno neuronaukama Perceptrons, MLPs: kako oni rade? Kako mreža uči iz primera Backpropagation algoritam Parametri učenja Overfitting Input pattern
66
za akutni infarkt miokarda
Neuralna mreža za akutni infarkt miokarda Miokardni infarkt “Verovatnoća” infarkta miokarda 1 2 50 Muškarac Dob Pušač EKG Intenzitet bola 4 Trajanje Elevacija ST 0.8
69
March 31, 2005
Similar presentations
© 2025 SlidePlayer.com Inc.
All rights reserved.