Prof. Dr Srdjan S. Stanković KIBERNETIKA DANAS

Prof. Dr Srdjan S. Stanković KIBERNETIKA DANAS
Elektrotehnički fakultet Univerzitet u Beogradu

Istorijski osvrt * PLATON- upravljanje brodovima
*AMPER - opšta teorija upravljanja društvom *NORBERT VINER - “Kibernetika ili upravljanje i komunikacije u mašinama i živim bićima”, 1948 “Kibernetika i društvo”, 1954

Predmet kibernetike INFORMACIJE UPRAVLJANJE

Kibernetski pristup Ranije su objekti spoljašnjeg sveta razamatrani prevashodno sa aspekta materijalno-energetskih osobina KIBERNETIKA stavlja akcenat na analizu iformaciono-regulatornih procesa, na način ponašanja, na funkcionisanje sistema Problem “konja” prerasta u problem “konja i jahača”, pri čemu jahač, odnosno informaciono-regulaciona strana, ima primarnu ulogu (Bernštajn) KIBERNETIKA stoga predstavlja novi pravac u nauci koji donosi principijelno novu metodologiju

Objekat kibernetike TEORIJSKI: idealizovani funkcionalni sistem
PRAKTIČNO: svi sistemi koji postoje u živoj prirodi, društvu i tehnici

Klasifikacija kibernetskih nauka
TEORIJSKA KIBERNETIKA Socijalna kibernetika Biološka kibernetika Tehnička kibernetika Bionika PRIMENJENA KIBERNETIKA -Tehnička kibernetika -Bionika

Veza sa filozofskim kategorijama
SISTEM I NJEGOVI ELEMENTI: sistemsko – strukturni prilaz (teorija sistema) Definicije sistema: svaki objekt u prirodi samo oni objekti koji predstavljaju celinu za sebe samo oni objekti koji imaju osobinu svrsishodnosti RELACIJE: diskretno – kontinualno, unutrašnje – spoljnje, deo –celina CELINA: novi kvalitet STRUKTURA I FUNKCIJA, FORMA I SUŠTINA SUBJEKAT - OBJEKAT

Princip povratne sprege
Teorijsko konstrukcija kibernetike: UPRAVLJANJE, INFORMACIJA, POVRATNA SPREGA MEMORIJA KIBERNETSKOG SISTEMA DINAMIČKA SVOJSTVA MODELA MOGUĆNIST “PREDVIĐANJA” STOHASTIČKO OKRUŽENJE FUNKCIJA CILJA

Cilj i struktura ponašanja
Svrsishodnost – ponašanje živih organizama KIBERNETIKA – teorija svrsishodnosti KIBERNETIKA – teleološka nauka FILOGENEZA, ONTOGENEZA “Život je usmeren ka ostvarenju cilja, a taj cilj je očuvanje samog života” (Pavlov) Kibernetski sistem jeste hijerarhijski sistem, pri čemu se cilj formuliše na nivou veze sistem -okruženje Akt usmeren ka cilju bio je i ostao predmet izučavanja filozofa i teoretičara u kibernetici

“Informacija je informacija, ni materija, ni energija”
* Prvi tip informacije: POČETNA, STRUKTURNA Drugi tip informacije: SLOBODNA , RELATIVNA, RADNA. * PRIMER: LJUDSKI MOZAK TEORIJA INFORMACIJA “Informacija je informacija, ni materija, ni energija” NORBERT VINER

Parabola o pećini Platon
Senke (projekcije) na zidovima pećine nisu dovoljne da predstavljaju realnost u svim njenim aspektima Platon

UPRAVLJANJE Linearni, nelinearni, deterministički, stohastički, adaptivni, robusni, kontinualni, diskretni, hibridni, složeni, hijerarhijski, optimalni, SISTEMI TEORIJA UPRAVLJANJA

Samoorganizujući soft-hardver
Odvajanje hardvera i softvera daje računarima snagu koju imaju u brzim izračunavanjima Međutim, to ih sprečava u postizanju UVIDA Primer: Softver za upravljanje fabrikom i softver za neku društvenu igru mogu biti identični, zato što predstave u simboličkom računanju nisu vezane za realni svet Egzekucija je bez razumevanja !!!

PROBLEM !!! Inteligencija ? OPŠTA INTELIGENCIJA - svojstvena ljudima
Alati koje nude ili podržavaju računari simuliraju samo uske segmente inteligencije u određenim domenima PROBLEM !!! OPŠTA INTELIGENCIJA - svojstvena ljudima Progres u dupliciranju inteligencije na neorganskom supstratu je teško izvodljiv vez dubljeg uvida u odnos računanja i mišljenja

! ! Kakve su mašine potrebne ? Današnji paralelni računari
Reeke i Edelman, 1988 Treba napustiti separaciju hardvera i softvera i praviti mašine koje rade bez programa i adaptiraju se okolini, kao što rade biološki organizmi. Softver treba da je uklopljen u hardver na nivou supstrata, koji treba da je, tako, samoorganizujući ! ! Današnji paralelni računari su daleko od ovog kvaliteta

Integracija senzora, procesora i efektora
Problem: Kako priroda premošćuje jaz između organizacije simbola (sintaksa) i stvarnog značenja (semantika)? Pattee, 1982 Semantičko zatvaranje sintaktičko-semantičke petlje jeste na ćelijskom nivou. Elementarne jedinice moraju da sadrže procesore i elementa za višedimenzionalno povezivanje. Kombinovanje velikog broja elemenata treba da pruži novi kvalitet - CELINU (SEPARATIZAM prema KONEKCIONIZMU)

Outline Examples, neuroscience analogy
Perceptrons, MLPs: How they work How the networks learn from examples Backpropagation algorithm Learning parameters Overfitting

Examples in Medical Pattern Recognition
Diagnosis Protein Structure Prediction Diagnosis of Giant Cell Arteritis Diagnosis of Myocardial Infarction Interpretation of ECGs Interpretation of PET scans, Chest X-rays Prognosis Prognosis of Breast Cancer Outcomes After Spinal Cord Injury

Biological Analogy

Perceptrons - D rule change weights to weights decrease the error
Output units No disease Pneumonia Flu Meningitis Input units Cough Headache what we got what we wanted - error D rule change weights to decrease the error

Perceptrons Output of unit j : o = 1/ (1 + e j j ) j Input to unit j :
- ( a j + q j ) ) j j units Input to unit j : a = S w a j ij i Input to unit i : a i measured value of variable i i Input units

AND y q = 0.5 w w x x f(x w + x w ) = y input output 00 f(0w + 0w
1 2 x x 1 2 f(x w + x w ) = y input output 1 1 2 2 00 f(0w + 0w ) = 0 1 2 1, for a > q 01 f(0w + 1w ) = 0 f(a) = 1 2 10 f(1w + 0w ) = 0 0, for a q 1 2 1 1 1 f(1w + 1w ) = 1 q 1 2 some possible values for w and w 1 2 w w 1 2 0.20 0.35 0.20 0.40 0.25 0.30 0.40 0.20

XOR y q = 0.5 w w x x f(x w + x w ) = y input output 00 f(0w + 0w
1 2 x x 1 2 f(x w + x w ) = y input output 1 1 2 2 00 f(0w + 0w ) = 0 1 2 1, for a > q 01 1 f(0w + 1w ) = 1 f(a) = 1 2 10 1 f(1w + 0w ) = 1 0, for a q 1 2 1 1 f(1w + 1w ) = 0 q 1 2 some possible values for w and w 1 2 w w 1 2

XOR f(w1, w2, w3, w4, w5) (w1, w2, w3, w4, w5) (0.3,0.3,1,1,-2) w5 w1
y q = 0.5 input output w5 w 3 4 00 01 1 z q = 0.5 10 1 w1 w2 1 1 x x 1 2 f(w1, w2, w3, w4, w5) a possible set of values for ws (w1, w2, w3, w4, w5) (0.3,0.3,1,1,-2) 1, for a > q f(a) = 0, for a q q

XOR f(w1, w2, w3, w4, w5 , w6) (w1, w2, w3, w4, w5 , w6)
input output 00 w5 w6 01 1 q = 0.5 for all units 10 1 1 1 w1 w2 w4 w3 f(w1, w2, w3, w4, w5 , w6) a possible set of values for ws (w1, w2, w3, w4, w5 , w6) (0.6,-0.6,-0.7,0.8,1,1) 1, for a > q f(a) = 0, for a q q

Linear Separation

Abdominal Pain 1 adjustable weights Male Age T emp WBC Pain Pain
Perforated Non-specific Small Bowel Duodenal Appendicitis Diverticulitis Ulcer Pain Cholecystitis Obstruction Pancreatitis 1 adjustable weights 1 20 37 10 1 1 Male Age T emp WBC Pain Pain Intensity Duration

Multilayered Perceptrons

Activation Functions... Linear Threshold or step function
Logistic, sigmoid, “squash” Hyperbolic tangent

Neural Network Model S Inputs Output Age 34 0.6 Gender 2 4 Stage
.4 S .2 S 0.6 .1 .5 Gender 2 .2 .3 S .8 .7 “Probability of beingAlive” 4 Stage .2 Dependent variable Prediction Independent variables Weights HiddenLayer Weights

“Combined logistic models”
Inputs Output Age 34 .6 .5 S 0.6 .1 Gender 2 .7 .8 “Probability of beingAlive” 4 Stage Dependent variable Prediction Independent variables Weights HiddenLayer Weights

Hidden Units and Backpropagation

Minimizing the Error w w initial error Error surface negative
derivative final error local minimum initial trained w w positive change

Gradient descent Error Global minimum Local minimum

Overfitting Real Distribution Overfitted Model

Overfitting tss Overfitted model tss a = test set min (D tss ) b
= training set tss b Epochs Stopping criterion

Overfitting in Neural Nets
Overfitted model “Real” model Overfitted model CHD error holdout training age cycles

Parameter Estimation Logistic regression It models “just” one function
Maximum likelihood Fast Optimizations Fisher Newton-Raphson Neural network It models several functions Backpropagation Iterative Slow Optimizations Quickprop Scaled conjugate g.d. Adaptive learning rate

What do you want? Insight versus prediction
Insight into the model Explain importance of each variable Assess model fit to existing data Accurate predictions Make a good estimate of the “real” probability Assess model prediction in new data

Model Selection Finding influential variables
Logistic Forward Backward Stepwise Arbitrary All combinations Relative risk Neural Network Weight elimination Automatic Relevance Determination “Relevance”

Small sets: Cross-validation
Several training and test set pairs are created so that the union of all test sets corresponds exactly to the original set Results from the different models are pooled and overall performance is estimated “Leave-n-out” Jackknife

ECG Interpretation

Thyroid Diseases

Time Series Y = X Output units Hidden units Input units X X n+2
(dependent variables) W eights Hidden units (estimated parameters) Input units (independent variables) X X n n+1

Time Series

Evaluation

Evaluation: Area Under ROCs

ROC Analysis: Variations
Area under ROC ROC Slope and Intercept W ilcoxon statistic Confidence interval