Presentation is loading. Please wait.

Presentation is loading. Please wait.

RESTRICTED BOLTZMANN MACHINES FOR IMAGE TAG SUGGESTION Michal Hradiš, Jiří Král Vysoké učení technické v Brně, Fakulta informačních technologií v Brně.

Similar presentations


Presentation on theme: "RESTRICTED BOLTZMANN MACHINES FOR IMAGE TAG SUGGESTION Michal Hradiš, Jiří Král Vysoké učení technické v Brně, Fakulta informačních technologií v Brně."— Presentation transcript:

1 RESTRICTED BOLTZMANN MACHINES FOR IMAGE TAG SUGGESTION Michal Hradiš, Jiří Král Vysoké učení technické v Brně, Fakulta informačních technologií v Brně Božetěchova 2, Brno

2 Image tag suggestion Upload images to web repository System suggests tags for the images User picks from suggested tags Záhlaví ( )2

3 3 horse BOW person outdoor forest singing

4 RBM – Restricted Boltzman Machine Záhlaví ( )4 h v v1v1 v2v2 v3v3 h1h1 h2h2 h3h3 P(horse) P(person) P(dancing) v 1 = P(horse)

5 P(h 1 ) = sig(w 1 v + b h1 ) Záhlaví ( )5 v1v1 v2v2 v3v3 h1h1 h2h2 h3h3

6 P(h) = sig(w v + b h ) Záhlaví ( )6 v1v1 v2v2 v3v3 h1h1 h2h2 h3h3

7 P(v 1 ) = sig(w’ 1 h + b v1 ) Záhlaví ( )7 v1v1 v2v2 v3v3 h1h1 h2h2 h3h3

8 P(v) = sig(w’ h + b v ) Záhlaví ( )8 v1v1 v2v2 v3v3 h1h1 h2h2 h3h3

9 Gibbs sampling Algorithm Start with random values of v Compute P(h) Take sample from P(h) Compute P(v) (Take sample from P(v)) Continue … Fix known variables in v Záhlaví ( )9 h v

10 CRBM Záhlaví ( )10 h vc P(v) = sig(w’ h + b v ), b v =Ac + b a P(h) = sig(w v + b h ), b h =Bc + b b

11 Semantic detectors - TRECVID data 340 classes, 400 hours of video, 18M shot-level annotation outdoors, waterscape, mountains, door, singing, people, cars, dancing, politician, woman, children, face close-up, football 340 classes x 8 bins per histogram = 2720 features Michal Hradis et al.: Semantic Class Detectors in Video Genre Recognition11/15

12 Záhlaví ( )12

13 Záhlaví ( )13

14 Záhlaví ( )14


Download ppt "RESTRICTED BOLTZMANN MACHINES FOR IMAGE TAG SUGGESTION Michal Hradiš, Jiří Král Vysoké učení technické v Brně, Fakulta informačních technologií v Brně."

Similar presentations


Ads by Google