Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory הטכניון - מכון טכנולוגי לישראל הפקולטה להנדסת חשמל Technion - Israel institute of technology department of Electrical Engineering Final Presentation Blind Audio Source Separation Using Microphone Array Focusing Winter/Spring Semester

Audio Source Separation המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 2 Projects goal To separate audio sources mixed in a room, without prior knowledge of the room and signal characteristic Implementation Microphone Array Focusing Algorithm using DSP development tools

Problem Description המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 2 “cocktail-party effect”

General Description המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 3

Microphone Array Focusing המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Ex. 2 Microphones, 2 Sources Microphone 1 Microphone 2 x1 y1 x2 y2 Speaker 1 Speaker 2 m1(t) = s1(t-x1) + s2(t-y1) m2(t) = s1(t-x2) + s2(t-y2)

Microphone Array Focusing המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Ex. 2 Microphones, 2 Sources Microphone 1 Microphone 2 x1 y1 x2 y2 Speaker 1 Speaker 2 r1(t) = m1(t+x1) + m2(t+x2) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2) r2(t) = m1(t+y1) + m2(t+y2) = 2*s2(t) + s1(t-x1+y1) + s1(t-x2+y2)

Microphone Array Focusing המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 2 r1(t) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2) Generally for n microphones: E(r1) = E(s1) * n^2 + E(s2) * n SNR gain = n^2 / n = n

Microphone Array Focusing המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 2 r1(t) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2) Generally for n microphones: E(r1) = E(s1) * n^2 + E(s2) * n SNR gain = n^2 / n = n Microphones SNR gain (dB)

Microphone Array Focusing המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 2 Expected Results (Matlab simulation with 4 microphones): For artificial signals Theoretical: 6 dB of SNR improvement Practical: 3-9 dB of SNR improvement Mix: Separated: Speech Music For real room signals 0-3 dB of SNR improvement

Testing Room Setup המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 5

Block Diagram המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 5 Pre Amplifier 6701 EVM Creative SoundBlaster SB2EVM PC Software Speaker Processing Audio Codec Input Files Output Files

Delay Detection Algorithm המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Source 1 Source 2

Delay Detection Algorithm המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Mix 1 Mix 2 Mix3

Delay Detection Algorithm המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Cross Correlation Of Mix 1,2 Cross Correlation Of Mix 1,3

Delay Detection Algorithm המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Mix 1 Moved Mixes Mix 2a Mix 2b Mix 3a Mix 3b

Delay Detection Algorithm המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Mix 1+2a Mix 1+2b Mix 3a Mix 3b

Delay Detection Algorithm המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Result 1 Mix 1+2a+3a Result 2 Mix 1+2b+3b

Delay Detection Algorithm המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Result 1 Source 1 Source 2 Result 2

Delay Detection Algorithm המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 XCorr S1 S2 S3 S4 Find 2 Maximums Shift Signal Add Correlated Signals Shifted S3 Shifted S4 S1

DSP Algorithm Implementation המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 - Radix 2 FFT/IFFT used for cross correlation calculation. - Delay estimation done only once, to save processing time. Can be easily changed. - Sub Blocks must be used – 8 Kbytes Block Size (Memory limits, FFT overflow) - Auxiliary Software: SB2EVM Wav2Dat/Dat2Wav

Results המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Artificial Signals Poor results Real Room Signals No improvement

Conclusions המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Limited Block Size damages separation. EVM limit 16Kbytes Average error vs. Block Size

Conclusions המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Room acoustics degrades the ability to calculate delays

Conclusions המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Direct sound must be stronger then reflected sound

Summary המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6 Microphone Array Focusing can bring good results but it needs… - Bigger Blocks (more memory) - Better room acoustics - De-reverberation - Other delay detection mechanism (video, optical measurements) - More microphones

Thanks… המעבדה למערכות ספרתיות מהירות High speed digital systems laboratory 6