1. Universitatea Politehnica Bucuresti Anul universitar 2008-2009
Invatare automata
Universitatea Politehnica Bucuresti Anul universitar
Adina Magda Florea
si curs.cs.pub.ro

2. Curs Nr. 12 I. Sisteme de clasificare cu invatare (LCS)
II. Predictie Bayesiana 2

3. I. Sisteme de clasificare cu invatare (LCS)3

4. 1. Abordare LCS LCS Sisteme bazate pe reguli
Reguli prelucrate in paralel
Generarea adaptiva a noi reguli
Testarea calitatii regulilor existente
Tehnica de invatare situata intre invatarea simbolica si cea non-simbolica: RL si AG 4

5. Inceputuri
Holland, 1975, 1980
Scop: emergenta abilitatilor cognitive bazate pe mecanisme adaptive
Set de reguli = clasificatori
Initial: rezolvarea problemelor de interactiune cu un mediu
Recent: interes LCS

6. Structura LCS
[r] [l] [f]

7. De ce LCS? Combina RL cu AG De exemplu Q-learning
Q(a,s)  Q(a,s) + (R(s) +  maxa’Q(a’, s’) – Q(a,s))
(s,a,R(s))
Initial: Bucket brigade

8. Reprezentare (Holland)
Intrare codificata binar
Reguli if then cu conditii si actiuni din alfabetul {0,1,#}
Ex: 00#10 / 010
Populatie de N reguli – clasificatori – au asociat un merit
Selecteaza o regula – mecanism de licitatie pe baza de merit
Actiuni selectate se pun in lista interna mesaje
Bid = fitness (eventual + specificitate (#))
Bucket brigade – la t, bidurile plasate in bucket
Castigatorii la t – cota egala t-1
Fitness – recompensa din mediu pt actiunea executata
Dupa un nr de pasi – GA
Necesita multe cicluri

9. Ajustare pondere reguli Generare noi reguli
Lista mesaje
match
Lista reguli
Structura LCS
mesaj iesire
mesaj intrare
Interfata
iesire
efectori
Interfata
intrare
detectori
Ajustare pondere reguli
Generare noi reguli
recompensa
Mediu

10. 2. Tipuri de LCS Pittsburg style
AG aplicat la populatia de LCS pt a alege cel mai bun LCS
Michigan style
Combinat cu RL pt un singur LCS

11. 3. Clasificatorul LCS – Strength based
LCS – populaie de clasificatori
Un clasificator = <c,a,p>
c – [Conditie]
a – [Actiune]
p – estimare a recompensei asteptate pe care un agent o poate primi daca utilizeaza acest clasificator
[Conditie] – lista de teste pt valori de atribute
Teste: booleene, valori continue, s-expresii
# - situatii de intrare comune

12. Evolutia regulior Se evolueaza partea [Conditie] cu AG
Fiecare clasifiator contine o singura masura de merit care este atat recompensa cat si fitness
Au o dimensiune fixa a populatiei

13. Evolutia regulior
Se determina [M] – match set - multimea clasificatorilor care satisfac starea curenta
Se selecteaza actiunea de executat pe baza unui mecanism de ruleta din [M]
Bazat pe probabilitate calculata ca meritul relativ (al unui clasificator fata de meritul tutuor clasificatorilor)
[A] – action set – multimea clasificatorilor care au ca actiune pe a – actiunea selectata

14. Evolutia regulior 3. Se face suma meritelor din [A] - S
Toti clasificatorii selectati la momentul
t-1 primesc o fractiune () egala din S
- Toti clasificatorii din [A] primesc o fractiune () egala din recompensa R pentru executarea actiunii a la momentul t
- Toti clasificatorii din [M] \ [A] au meritul redus cu un factor 

16. Evolutia regulior
La fiecare moment de timp, exsita o probabilitate p pt AG
AG foloseste mecanismul de ruleta bazat pe fitness clasificatori pentru a selecta 2 clasificatori din populatie
Copii – one point crossover + operator mutatie
Daca [M] vida sau daca contine reguli cu fitness < media fitmess (merit) a intregii populatii - Operator de acoperire
Adauga o noua regula cu [Conditie] care sa faca match pe situatia curenta, [Actiune] aleasa aleator si fitness initial egal cu media fitness a populatiei
Fiecare test din [Conditie] poate lua valoarea # cu o probabiliate de 33%

17. Experimente Bull si Hurst (2002) GA = 0.5 Populatie initiala = 400
Fitness initial = 20
Viteza de invatare () = 0.2
Factor de atenuare () = 0.71
Taxa () = 0.1
Crossover rate = .5
Mutation rate = 0.002
Operator de acoperire = .5

18. 4. Clasificatorul LCS – Assumption - based
In loc de [Conditie] -> [Actiune]
[Conditie] [Actiune] -> [Efect]
[Efect] = efectul asteptat (starea urmatoare) a [Actiune]
Model al tranzitiilor
LCS invata un model al tranzitiilor
Invata un mdel, deci anticipativ
Invata reguli din exemple - generalizare

19. Reprezentare [Efect] = care atribute se schimba
Clasificator [#0#1] [0] [=10=] face predictiile
situatie - [1031]  [1101]
[2011]  [2101]
[1 # # # # # # #] [Nord] [= = = = = = = =]
daca percepe perete la Nord, indiferent de ce percepe in alta directie, deplasarea la nord nu va modifica perceptia

20. [# 1 # # # # # # #] [Est] [1 ? ? ? ? ? ? ? ?]
Nu poate prezice valoarea atributului "?"
Mentine separate valori de recompensa si fitness
AG se executa pe [A] si nu pe toata populatia

21. 5. LCS pentru clasificarea exemplelor
Clasifica concepte
Mediu ofera exemplele de invatare
Concluzia regulilor este clasificarea

22. Problema calugarilor a4 (holding): 1 . sword Monk 1, 2, 3 2 . balloon
3 . flag
a5 (jacket colour):
1 . red
2 . yellow
3 . green
4 . blue
a6 (has tie):
1 . yes
2 . no
Monk 1, 2, 3
a1 (head shape):
1 . round
2 . square
3 . octagon
a2 (body shape):
a3 (is smiling):
1 . yes
2 . no

23. Problema calugarilor Monk 1 (a1 = a2) OR (a5 = 1).
Codifica binar valorile
de atribute

24. Problema calugarilor Monk 2 15 + , 27 -
Exact 2 din cele 6 atribute au ca valoare
prima valoare din lista de valori
Atribute cu n valori
n biti cu 1 pe pozitia i valorii

25. Problema calugarilor Monk 3 (a5 = 3 AND a4 = 1) OR
(a5 ≠ 4 AND a2 ≠ 3) + zgomot

26. II. Predictie Bayesiana
Utilizarea teoriei probabilitatilor in predictie
Predictia Bayesiana calculeaza probabilitatea fiecarei ipoteze pe baza datelor culese si face predictii pe aceasta baza.
Predictia se face pe baza tuturor ipotezelor, nu numai pe baza celei mai bune ipoteze

27. Regula lui Bayes Generalizare P(Y|X) = P(X|Y) P(Y) / P(X)
P(a^b) = P(a|b) P(b)
P(a^b) = P(b|a)P(a)
P(b|a) = P(a|b) P(b) / P(a)
Generalizare
P(Y|X) = P(X|Y) P(Y) / P(X)
cu normalizare
P(Y|X) =  P(X|Y) P(Y) 27

28. Predictie Bayesiana date – probe, ipoteze Dropsuri h1: 100% cirese
h2: 75% cirese 25% lamaie
h3: 50% cirese 50% lamaie
h4: 25% cirese 75% lamaie
h5: 100% lamaie
H (multimea de ipoteze) – tip de punga cu valori h1 .. h5
Se culeg probe (variabile aleatoare): d1, d2, … cu valori posibile cirese sau lamaie
Scop: prezice tipul de aroma a urmatorului drops 28

29. Predictie Bayesiana
Fie D datele cu valoarea observata d
Probabilitatea fiecarei ipoteze, pe baza regulii lui Bayes, este:
P(hi|d) =  P(d|hi) P(hi) (1)
Predictia asupra unei ipoteze necunoscute X
P(X|d) = Σi P(X|hi) P(hi|d) (2)
Elemente cheie: ipotezele apriori P(hi) si probabilitatea unei probe pentru fiecare ipoteza P(d|hi)
P(d|hi) = Πj P(dj|hi) (3)
Presupunem probabilitatea apriori pentru
h1 h2 h3 h4 h5 29

30. P(hi|d) =  P(d|hi) P(hi) (1)
h1 h2 h3 h4 h5
h1: 100% cirese
h2: 75% cirese 25% lamaie
h3: 50% cirese 50% lamaie
h4: 25% cirese 75% lamaie
h5: 100% lamaie
P(lamaie) = 0.1* * * * *1 = 0.5
= 1/0.5 = 2
P(h1|lamaie) =  P(lamaie|h1)P(h1) = 2*0.1*0 = 0
P(h2|lamaie) =  P(lamaie|h2)P(h2) = 2 * (0.25*0.2) = 0.1
P(h3|lamaie) =  P(lamaie|h3)P(h3) = 2 * (0.5*0.4) = 0.4
P(h4|lamaie) =  P(lamaie|h4)P(h4) = 2 * (0.75*0.2) = 0.3
P(h5|lamaie) =  P(lamaie|h5)P(h5) = 2 * (1*0.1) = 0.2
P(hi|d) =  P(d|hi) P(hi) (1) 30

31. P(hi|d) =  P(d|hi) P(hi) (1)
h1 h2 h3 h4 h5
h1: 100% cirese
h2: 75% cirese 25% lamaie
h3: 50% cirese 50% lamaie
h4: 25% cirese 75% lamaie
h5: 100% lamaie
P(lamaie,lamaie) = 0.1* *0.25* *0.5* *0.75* *1*1 = 0.325
= 1/0.325 =
P(h1|lamaie,lamaie) =  P(lamaie,lamaie|h1)P(h1) = 3* 0.1*0*0 =0
P(h2|lamaie,lamaie) =  P(lamaie,lamaie|h2)P(h2) = 3 * (0.25*.25*0.2) =
P(h3|lamaie,lamaie) =  P(lamaie,lamaie|h3)P(h3) = 3 * (0.5*0.5*0.4) = 0.3
P(h4|lamaie,lamaie) =  P(lamaie,lamaie|h4)P(h4) = 3 * (0.75*0.75*0.2) =
P(h5|lamaie,lamaie) =  P(lamaie,lamaie|h5)P(h5) = 3 * (1*1*0.1) = 0.3
P(hi|d) =  P(d|hi) P(hi) (1)
P(d|hi) = Πj P(dj|hi) (3) 31

32. P(hi|d1,…,d10) din ecuatia (1)32

33. P(X|d) = Σi P(X|hi) P(hi|d) (2)
h1 h2 h3 h4 h5
h1: 100% cirese
h2: 75% cirese 25% lamaie
h3: 50% cirese 50% lamaie
h4: 25% cirese 75% lamaie
h5: 100% lamaie
P(d2=lamaie|d1)=P(d2|h1)*P(h1|d1) + P(d2|h2)*P(h2|d1) + P(d2|h3)*P(h3|d1)
+ P(d2|h4)*P(h4|d1) + P(d2|h5)*P(h5|d1) =
= 0*+0.25*0.1+.5* *0.3+1*0.2 = 0.65
P(X|d) = Σi P(X|hi) P(hi|d) (2)
Predictie Bayesiana 33

34. Observatii Ipoteza adevarata va domina in final predictia
Predictia Bayesiana este optimala: fiind dat setul de ipoteze, orice alta predictie va fi corecta mai putin frecvent
Probleme daca spatiul ipotezelor este mare
Aproximare
Se fac predictii pe baza ipotezei celei mai probabile
MAP Learning – maximum aposteriori
P(X|d)=~P(X|hMAP)
In exemplu hMAP=h5 dupa 3 probe deci 1.0
Pe masura ce se culeg mai mlte date MAP si Bayes se apropie 34