Presentation is loading. Please wait.

Presentation is loading. Please wait.

Projet de recherche sur crédit incitatif GET 2005 Page 1 Audio Visual Speech Recognition Dictionary Grammar Acoustic models Features extraction Decoder.

Similar presentations


Presentation on theme: "Projet de recherche sur crédit incitatif GET 2005 Page 1 Audio Visual Speech Recognition Dictionary Grammar Acoustic models Features extraction Decoder."— Presentation transcript:

1 Projet de recherche sur crédit incitatif GET 2005 Page 1 Audio Visual Speech Recognition Dictionary Grammar Acoustic models Features extraction Decoder

2 Projet de recherche sur crédit incitatif GET 2005 Page 2 Audio processing Features extraction Digits detection Digits recognition: Acoustic parameters : MFCC Context independent HMMs Decoding : Time synchronous algorithm Sound effect Noise : Babble Recognition experiments

3 Projet de recherche sur crédit incitatif GET 2005 Page 3 Video processing Video extraction Lips localisation Images interpolation (same frequency as speech) Features extraction DCT and DCT2 (DCT+LDA) Projections : PRO et PRO2 (PRO+LDA) Recognition experiments

4 Projet de recherche sur crédit incitatif GET 2005 Page 4 Fusion techniques  Parameters fusion : Concatenation Dimension decrease : Linear Discriminant Analysis (LDA) Modelisation : classical HMM with one stream  Scores fusion : Multi-stream HMM

5 Projet de recherche sur crédit incitatif GET 2005 Page 5 Experimental results : parameters fusion

6 Projet de recherche sur crédit incitatif GET 2005 Page 6 Experimental results : Scores fusion at -5db

7 Projet de recherche sur crédit incitatif GET 2005 Page 7 Bibliography G. Potamianos, C. Neti, G. Gravier, A. Garp, A. W. Senior, « Recent Advances in the Automatic Recognition of Audiovisuel Speech ». In proceedings of IEEE Vol. 91, pages sept J.N. Gowdy, A. Subramanya, C. Bartels, and J. Bilmes, « DBN-Based Multi-Stream Models for Audio-Visual Speech Recognition ». IEEE Int. Conf. on Acoustics, Speech, and Signal Processing, May Montreal, Canada F. Brugger, L. Zouari, H. Bredin, A. Ameheaye, G. Chollet, D. Pastor et Y. Ni, « Reconnaissance de la parole audiovisuelle par VMike ». XVIèmes Journées d’Etude sur la Parole JEP. Dinard 2006.


Download ppt "Projet de recherche sur crédit incitatif GET 2005 Page 1 Audio Visual Speech Recognition Dictionary Grammar Acoustic models Features extraction Decoder."

Similar presentations


Ads by Google