Introduction to Wavelets -part 2 By Barak Hurwitz שלום לכולם! היום אני אעביר את החלק השני של הרצאת מבוא בהמשך ישיר לשבוע שעבר , הרבה מהדברים שתשמעו היום יבואו כהקדמה לנושאים שונים שנזכיר היום ושתרחיבו עליהם בהרצאות עתידיות. Wavelets seminar with Dr’ Hagit Hal-or

List of topics 1D signals 2D signals Reminder Wavelet Transform CWT,DWT Wavelet Decomposition Wavelet Analysis 2D signals Wavelet Pyramid some Examples ההרצאה תהיה בנויה בצורה זו: תזכורת למה צריך מרחב תדר. מה זה WAVELET ולמה הוא טוב? איך ננתח סיגנל בעזרת WAVELETS ? נעשה השוואה עם התמרת פורייה. נראה WAVELETS שונים. נראה בנייה ופירוק של תמונה (סיגנל דו-מימדי) בעזרת WAVELETS. נעבור על דוגמא של קידוד בעזרת WAVELETS. ונסכם בקצרה .

Reminder – from last week Why transform? Why wavelets? Wavelets like basis components. Wavelets examples. Wavelets advantages. Continuous Wavelet Transform. תזכורת קצרה למה שראינו בהרצאה של אלכס: מדוע צריך בכלל את מרחב התדר? מדוע כדאי להשתמש ב WAVELET ? איך נראות פונ' הבסיס של הWAVELET ? דוגמאות ל WAVELET שונים? CWT ועוד. נזכיר מושגים שונים: CWT,STFT וכו' ונראה את היתרונות של ה WAVELET !!!

Reminder -Why transform? דוגמא ראשונה לשימוש במרחב תדר: "הפרעת גדר" בתמונה של הילדה. הפתרון: ייצוג התמונה ע"י מקדמי תדר שונים המתאימים לפונ' בסיס שונות . ההפרעה תתבטא במקדם גבוה במיוחד שע"י משחק איתו נוכל לקבל תמונה חלקה יותר. למצוא תמונה שונה!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

Reminder – Noise in Fourier spectrum ושוב הדוגמא למרחב תדר שבו את מיקום ההפרעה ניתן לראות בבירור וע"י כך להורידה. למצוא תמונה שונה!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

1D SIGNAL Coefficient * sinusoid of appropriate frequency פה אנו רואים כיצד ניתן לייצג סיגנל בעזרת טרנספורם פורייה. חלוקה של הסיגנל לגלי SIN בתדירויות שונות כאשר לכל תדירות יש מקדם מתאים . ברגע שיש לנו את מערך המקדמים (לסיגנל חד מימדי) אנו יכולים לפרק ולשחזר את הסיגנל באופן מלא. The original signal

Wavelet Properties Short time localized waves 0 integral value. Possibility of time shifting. Flexibility. מה זה WAVELET? מימין אנחנו רואים WAVELET ממשפחת דביושי. WAVELET הוא מוגבל (יש לו תחם) האיטגרל שלו הוא 0. תכונות נוספות: אפשרות להזזה בזמן (הוא אינו אינסופי כמו גלי הסינוס למשל) וגמישות (ניתן לכווץ ולמתוח).

Wavelets families כיצד נראה?WAVELET האר , דוביושי ועוד. עוד משפחות של WAVELETS בתמונה.

Wavelet Transform Coefficient * appropriately scaled and shifted wavelet ובאופן דומה פירוק ושחזור של סיגנל לWAVELETS - . רק שפה מקדם מתאים ל WAVELET בהזזה ובסקלה מסוימת. ובמקום גלי SIN בתדירויות שונות ,יש לנו פה פונקציית WAVELET אחת. The original signal

CWT Step 1 Step 2 Step 3 Step 4 Step 5 Repeat steps 1-4 for all scales תזכורת: מקדמי הCWT נוצרים לאורך כל הסיגנל לפי ההתאמה של כל קטע ל WAVELET בהזזה ובגודל שונה. צעדים למציאתם: 1.קח WAVELET והשווה לקטע הראשון בסיגנל. 2.חשב מספר C ,המייצג את ההתאמה בין ה WAVELET לקטע המסויים בסיגנל. ככל ש C גדול יותר ההתאמה טובה יותר. 3.הזז ימינה את הWAVELET וחזור על צעדים 1-2. 4.שנה את גודל הWAVELET וחזור על צעדים 1-3. 5.חזור על 1-4 לכל הסקאלות Step 4 Step 5 Repeat steps 1-4 for all scales

Example – A simulated lunar landscape נראה דוגמא :קו חוף הירח כיצד תראה התוצאה של סיגנל זה? איך נראית תוצאה של CWT בכלל?

CWT of the “Lunar landscape” 1/46 scale לאחר הרצת הCWT נקבל תמונה שבה הערכים מבטאים את מידת הקורלציה (C) עבור כל סקאלה. כאשר בהיר אומר C גבוה משמע התאמה טובה וכהה אומר C נמוך משמע התאמה לא משהו. בצד שמאל אנחנו רואים 32 פונקציות בסיס מהפונ' המקורית MOTHER ועד לסקאלה הגבוהה שהיא מתאימה לתדר הנמוך ביותר. להראות את הסיגנל!!!!!!!!!!!!!!!!!!!!!!!! time mother

Scale and Frequency Higher scale correspond to the most “stretched” wavelet. The more stretched the wavelet – the coarser the signal features being measured by the wavelet coefficient. בדוגמא הקודמת ראינ כי הסקאלה (בצד שמאל) הייתה מ1 עד 46, כאשר סקאלות גבוהות התאימו ל wavelet מתוחים. ככל שה wavelet היו מתוחים יותר- הקטע בסיגנל שהשתתף בהשוואה היה ארוך יותר ולכן קיבלנו את מידת ההתאמה לצורה ה"גסה" יותר של הסיגנל. Low scale High scale

Scale and Frequency (Cont’d) Low scale a : Compressed wavelet :Fine details (rapidly changing) : High frequency High scale a : Stretched wavelet: Coarse details (Slowly changing): Low frequency

Shift Smoothly over the analyzed function בזמן האנליזה ה WAVELET מוזז לכל אורך הסיגנל.

Discrete Wavelet Transform The DWT Calculating the wavelets coefficients at every possible scale is too much work It also generates a very large amount of data Solution: choose only a subset of scales and positions, based on power of two (dyadic choice) חישוב מקדמי ה WAVELET לכל סקאלה אפשרית הוא עבודה קשה וארוכה מדיי!!! וכן נוצרת כמות גדולה מדיי של DATA. פתרון: נבחר תת קבוצה של סקאלות , למשל בחזקות של 2 (DYADIC) 1 2 4 8 16 וכו'. זוהי למעשה ההתמרה הבדידה של ה WAVELET => ה DWT. Discrete Wavelet Transform

Approximations and Details: Approximations: High-scale, low-frequency components of the signal Details: low-scale, high-frequency components Input Signal LPF HPF כל סיגנל ניתן לחלק לתדרים נמוכים ותדרים גבוהים. הערכה הכללית של הסיגנל ( צורתו הכללית) נקבל מהתדרים נמוכים . ואת הפרטים נקבל מהתדרים גבוהים.

Decimation A complete one stage block : The former process produces twice the data To correct this, we Down sample (or: Decimate) the filter output by two. A complete one stage block : A* LPF N input samples produce N approximations coefficients and N detail coefficients. Input Signal HPF D*

Multi-level Decomposition Iterating the decomposition process, breaks the input signal into many lower-resolution components: Wavelet decomposition tree: high pass filter Low pass filter

Wavelet reconstruction Reconstruction (or synthesis) is the process in which we assemble all components back Up sampling (or interpolation) is done by zero inserting between every two coefficients

Example*: * Wavelet used: db2

What was wrong with Fourier? We loose the time information ניזכר מה הבעייתיות בפורייה? 1.אנחנו מאבדים את אינפורמציית הזמן, משמע, מתי קרה מאורע כלשהוא. הערות: הבעייתיות היא בעיקר בתופעות מעבר NON STATIONRY OR TRANSIANTS SIGNALS. גליי הSIN הינם אינסופיים (בתמונה כגודל התמונה). 2.בחישובים אנו משתמשים במספרים מרוכבים , דבר המקשה על החישוב במעבר בין המרחבים.

STFT - Based on the FT and using windowing : Short Time Fourier Analysis STFT - Based on the FT and using windowing : תזכורת: מה הבעייתיות בפורייה? 1.אנחנו מאבדים את אינפורמציית הזמן, משמע, מתי קרה מאורע כלשהוא. הערות: הבעייתיות היא בעיקר בתופעות מעבר NON STATIONRY OR TRANSIANTS SIGNALS. גליי הSIN הינם אינסופיים (בתמונה כגודל התמונה). 2.בחישובים אנו משתמשים במספרים מרוכבים , דבר המקשה על החישוב במעבר בין המרחבים. על מנת לנתח קטע קצר בסיגנל פיתח DENIS GABOR ב1946 שיטה המתבססת על התמרת פורייה הנקראת ---- STFT

STFT between time-based and frequency-based. limited precision. Precision <= size of the window. Time window - same for all frequencies. שיטת ה STFT: 1.מעין פשרה בין מרחב הזמן למרחב התדר. 2.כאשר לשניהם יש ייצוג בדיוק מוגבל. 3.הדיוק נקבע לפי גודל החלון 4.גודל החלון אינו משתנה לכל התדירויות. אז מה לא טוב? הרבה סיגנלים דורשים גישה יותר גמישה , משמע על מנת לשיג דיוק יותר גבוה צריך חלון בגדלים שונים לקטעים שונים או תדירויות שונות. What’s wrong with Gabor?

Wavelet Analysis Windowing technique with variable size window: Long time intervals - Low frequency Shorter intervals - High frequency ניתוח בעזרת WAVELETS: בדומה לשיטת החלון של STFT רק עם חלון בגודל משתנה! לתדירויות נמוכות חלון זמן גדול יותר ולגבוהות חלון זמן קטן יותר. היתרון הוא בדיוק המתקבל בשל ההתאמה של החלון לתדירות. סיכום קצר: במרחב הזמן - יש לנו את דגימת SHANON -NYQIST. במרחב התדר - פורייה. שילוב של שניהם - STFT בעזרת פורייה (חלון זמן קבוע) ולבסוף ניתוח בעזרת WAVELETS. בWAVELET ניתן לראות שלסקאלה נמוכה מתאימה לתדירות גבוהה. למעשה מתאפשר לנו להסתכל ברזולוציות כבחירתנו.

The main advantage: Local Analysis To analyze a localized area of a larger signal. For example: בתמונה רואים גל סינוס עם הפרעה (שנגרם בשל רעש) שקשה להרגיש בה.

Local Analysis (Cont’d) low frequency Fourier analysis Vs. Wavelet analysis: scale Discontinuity effect בפורייה לא נראה כלום!!!(רק את תדירות גל הSIN) ההפרעה תשפיע על כל הטרנספורם ולא במקום מסויים בזמן! בWAVELET נראה בבירור את המיקום המדוייק של ההפרעה בזמן!!! הסבר לתמונה הימנית: לבן- מקדם גבוה שחור- מקדם נמוך time High frequency NOTHING! exact location in time of the discontinuity. more

Y = ( ) 2D SIGNAL a b x - 1 Wavelet function 2D function b – shift coefficient a – scale coefficient 2D function ( ) a b x - Y = 1 , 1D function נעבור לסיגנלים דו-מימדיים (תמונות) בסיגנלים חד – מימדיים היה לנו את a מקדם הכיווץ מתיחה ואת b מקדם הסקאלה. בסיגנלים דו – מימדיים ההזזה יכולה להתבצע לשני כיוונים ולכן מקדם ההזזה יוכל להיות אותו הדבר לשני הצירים ויוכל גם להיות ייחודי לכל ציר.בנוסחא פה a הוא הסקאלה לשני הכיוונים.

Time and Space definition Time – for one dimension waves we start point shifting from source to end in time scale . Space – for image point shifting is two dimensional . 2D הגדרות: זמן – לסיגנל חד-מימדי ההזזה מתבצעת לאורך ציר הזמן מההתחלה עד הסוף. מרחב – לסיגנל דו מימדי (תמונה) ההזזה היא בשני הכיוונים ולכן נצטרך להיות יותר ספציפים.

Image Pyramids ייצוג תמונה ע"י פירמידות שונות: (תזכורת קצרה משיעורי עיבוד תמונה) פירמידה גאוסיינית (מצד שמאל) תמונה המוקטנת כל פעם פי4 .(מופעל פילטר גאוסייאן = על מנת למצע ודוגמים). פירמידה לפלסייאנית (מצד ימין) נוצרת מחיסור בהתאמה כפי שרואים בתמונה (או בעזרת פילטר לפלסייאן ולאחריו דגימה).

וכמו שניתן לבנות פירמידות אלו בעזרת הפעלת פילטר ודגימה. ניתן לבנות את פירמידת ה WAVELET ע"י פילטר מתאים ודגימה!

במישור התדר הפירמידות נראות כך: משמאל הפירמידה הגאוסיינית ומימין הלפלסיאנית.

Wavelet Decomposition

Wavelet Decomposition- Another Example LENNA בסיגנל זו מימדי: משמאל אנו רואים פירוק ב 3 שלבים של תמונת "לנה" . על מנת לקבל את תמונת לנה המקורית כל שעלינו לעשות הוא להתחיל מהתמונה הקטנה ולחבר לה את שלושת הריבועים הסובבים לה בכל שלב . תהליך זה מופיע ב JPEG 2000 והוא יותר טוב מהתהליך שב JPEG הקודם. explain better!!!!!!!!!!!!!!!!!!!!!!!!!!!!! הסבר בשקף הבא.

more high pass high pass high pass בחלק הימני למעלה הhigh pass הופעל בכיוון X ולכן הקווים המאונכים בולטים. בחלק השמאלי למטה הhigh pass הופעל בכיוון Y ולכן הקווים המאוזנים בולטים. קשה לראות אך מימין למטה בולטים הקווים האלכסוניים בהתאמה. more

Coding Example Original @ 8bpp DWT DCT @0.5bpp @0.5 bpp תוצאות של דחיסת תמונה דו-מימדית בעזרת wavelets בדו-מימד.(ציור של דאלי) למעלה אנו רואים את התמונה המקורית.(8 ביט לפיקסל) למטה מימין דחיסת DCT (DISCREAT COSINOS TRANSFORM) למטה משמאל דחיסת DWT (DISCREAT WAVELET TRANSFORM) שניהם קיבלו 0.5 BPP (ייצוג של 0.5 ביט לכל פיקסל) ווכפי שניתן לראות התוצאות טובות יותר בדחיסה בעזרת ה WAVELET. בצד ימין נראה אפקט של בלוקיזציה!!! אם נסתכל טוב נראה בDWT אפקט של "רינגים" (הדים של השפות) אך אין בלוקיזציה וזה נראה הרבה יותר טוב!

Zoom on Details DWT DCT ואם נסתכל מקרוב על השעון שעל השולחן נראה את התופעה ביתר בהירות!

Another Example 0.15bpp 0.18bpp 0.2bpp DCT DWT ושוב נראה בתמונה המפורסמת של לנה את תופעת ה"בלוקיזציה". ונבחין גם בעובדה ששינויים קטנים מאד מתחת לסף מסויים משפיעים מאד על הDCT.

Where do we use Wavelets? Everywhere around us are signals that can be analyzed For example: seismic tremors human speech engine vibrations medical images financial data Music Wavelet analysis is a new and promising set of tools for analyzing these signals מה ראינו: מה זה WAVELETS וכיצד הם עוזרים לנו לייצג סיגנל חד מימדי או דו מימדי ( תמונה) ובמה הם טובים יותר מאפשרויות קודמות שהיו. שימושים: פירמידה (בעיבוד תמונה - היתוך תמונות , באינטרנט שליחה של תמונה קטנה לפני גדולה ועוד) חסכון בביטים בקידוד ( דחיסה וכו') מה נראה:

THE END

סיגנל בסיסי (סכום של סינוסים)

TREE MODE

דוגמא לסיגנל עם רעש: בלוקים מורעשים.

דוגמא לסיגנל שעוצמת הרעשים שונה אצלו במקומות שונים בזמן (ב3 אינטרוולים) פירוק לרמה אחת.

דוגמא לסיגנל שעוצמת הרעשים שונה אצלו במקומות שונים בזמן (ב3 אינטרוולים) פירוק ל 5 רמות.

נסתכל שוב על הסיגנל ואחר כך נסתכל על D1 (משמע נתמקד בפרטים )

פה רואים בבירור את החלוקה ל 3 אינטרוולים

השפעה של הורדת מקדמים על השחזור.

ועוד הורדה......

עד שנקבל רק את ה APPROXIMATION go back

go back אם נרצה להורד רעשים מתמונה!!