1. סמטריית שיקוף בדו-מימד 1 סימטריית שיקוף ב-2D מרצה: סיון רבינוביץ סמינר בעיבוד תמונה, אביב 2005: G. Marola, “On the Detection of the Axes of Symmetry of Symmetric and Almost Symmetric Planar Images, IEEE Transactions on Pattern Analysis and Machine Intelligence, v.11 n.1, p.104-108, January 1989 Y. Hel-Or, S. Peleg, and H. Zabrodsky, “How to Tell Right from Left ” Conference on Computer Vision and Pattern Recognition, pp. 304- 309, Jun. 1988. H. Ogawa: “Symmetry analysis of line drawings using the Hough transform”. Pattern Recognition Letters 12(1): 9-12 (1991)Pattern Recognition Letters 12 Bases On:

2. סמטריית שיקוף בדו-מימד2 נושאי ההרצאה Chirality – הגדרה, זיהוי שמאל וימין זיהוי סימטריה בציורי קו ע"י Hough Transform הוכחת P=NP אם ירשה הזמן.

3. סמטריית שיקוף בדו-מימד3 Chirality(יָדִיוּת?) הגדרה: אובייקט הוא chiral אם הוא אינו יכול להיות מונח (superimposed) על תמונת הראי שלו ע"י שימוש בהזזה וסיבוב (translation & rotation).

4. סמטריית שיקוף בדו-מימד4 תכונת ה-Chirality יד ימין ויד שמאל, רגל ימין ורגל שמאל. מצוייה גם במבנה מולקולות וקובעת את תכונותיהן. חומרים בעלי הרכב אטומי זהה אך מבנה גיאומטרי שונה עם תכונת Chirality נקראים Stereoisomers (סטריאו-איזומרים). הידעתם שהרוב המוחלט של חומצות האמינו המרכיבות את גופנו הן שמאליות?

5. סמטריית שיקוף בדו-מימד5 תכונת ה-Chirality (המשך) מקרה מעניין שקשור בחומרים איזומריים ארע ב-1957 בגרמניה. תרופה נגד בחילות בוקר של הריון (Thalidomine-תאלידומין) גרמה למומים קשים אצל עוברים. חוקרים גילו כי איזומר אחד של התרופה בטוח לשימוש בעוד שאיזומר אחר של אותו הרכב הוא מסוכן. וחזרה לעניינו בדו-מימד...

6. סמטריית שיקוף בדו-מימד6 זיהוי Chirality אנחנו נעסוק בזיהוי Chirality בצורות דו מימדיות. כשנזהה צורה chiral-ית נרצה לדעת לאיזה קבוצה היא משתייכת (שמאל או ימין). באופן תאורטי, מספיק לבדוק האם צורה היא סמטרית. משום ש-Chirality היא סוג של אי- סימטריה. הבעיה היא שבעולמנו כמעט ואין צורות שהן סימטריות באופן מוחלט. רק באגדות.

7. סמטריית שיקוף בדו-מימד7 קצת דוגמאות קלות סימטרי אך לא Chiral (משום שניתן להלביש את תמונת המראה על התמונה המקורית). Chiral Chiralיותר סימטרי

8. סמטריית שיקוף בדו-מימד8 Chirality - הגדרה מתמטית תהי R קבוצת נקודות במישור. ותהי K  R תת קבוצה של נקודות. K תקרא chiral אםם לא קיימת פונקציית שיקוף m, הזזה t, וסיבוב r, כך ש- mtr(K)=K. במילים אחרות: K לא מתלכדת עם תמונת המראה m(K) ע"י הזזה וסיבוב בלבד.

9. סמטריית שיקוף בדו-מימד9 סימטריה - הגדרה K היא סימטרית אםם קיימת איזומטריה (פרט לזהות), אשר מתלכדת עם K. –(איזומטריה – טרנספורמציה לינארית השומרת מרחקים בין נקודות (כוללת סיבוב, הזזה, שיקוף, וגלישה ( שיקוף + הזזה )). לפיכך, K שאינה עונה להגדרת Chiral היא סימטרית. סימטרי

10. סמטריית שיקוף בדו-מימד10 עוד כמה הגדרות K א-סימטרי – אםם לא קיימת איזומטריה של K אשר מתלכדת עם K. K די-סימטרי – אםם לא קיים שיקוף של K אשר מתלכד עם K. לסיכום: K הוא chiral אםם הוא א-סימטרי או לכל הפחות די-סימטרי.

11. סמטריית שיקוף בדו-מימד11 הגדרות (המשך) שימו לב שיש צורות, כמו האות S שהן סימטריות, די-סימטריות, ו-chiral בו זמנית. סימטרית! הנה איזומטריה המתלכדת עם הצורה המקורית די-סימטרית! אין התלכדות עם תמונת המראה והצורה היא כמובן chiral מכיוון שאינה מתלכדת עם תמונת המראה שלה.

12. סמטריית שיקוף בדו-מימד12 Centroid – הגדרה תהי  :R  {0,1} פונקציה מציינת של K  R:  (x,y)=1 if (x,y)  K; 0 otherwise ה-Centroid של K, הוא הנקודה (x 0,y 0 ) כך ש: כן. זה פשוט ממוצע של הקואורדינטות בכל ציר.

13. סמטריית שיקוף בדו-מימד13 Centroid – דוגמה (2,6) (2,2)(8,2) (8,6) (5,4)

14. סמטריית שיקוף בדו-מימד14 Centroid - המשך ניתן להראות ש-K אינה chiral אםם קיימת פונקציית שיקוף המתלכדת עם K (ראה הגדרת chirality). במצב זה ציר השיקוף עובר דרך ה-Centroid (ההוכחה כל כך טריוויאלית שאני לא אטריד אתכם בה) x y ציר השיקוף הצורה K Centroid

15. סמטריית שיקוף בדו-מימד15 שימוש במומנטים (Moments) לאן הולכים מכאן: בהסתמך על כך שצורה אינה chiral אםם היא השתקפות של עצמה סביב קו העובר ב-Centroid, נחפש קו כזה. מכיוון שמציאת ה-Centroid היא קלה, כל שנותר הוא למצוא את הזוית של קו השיקוף. נשתמש במומנטים לביצוע המשימה.

16. סמטריית שיקוף בדו-מימד16 מומנטים - הגדרה תהי  :R  {0,1} פונקציה מציינת. המומנט M ij מוגדר ע"י הנוסחה: חישוב ה-Centroid בעזרת מומנטים: קל להבין מדוע. לדוגמא: (ראה הגדרת centroid....)

17. סמטריית שיקוף בדו-מימד17 והעיקר: מציאת ציר השיקוף מעתה נניח כי ה-Centroid נמצא על ראשית הצירים (זה קל! פשוט מזיזים את הצורה). יש לנו שני מקרים פשוטים לאבחן: –ציר השיקוף מקביל לציר y: במקרה זה קל לראות שלכל i אי-זוגי, Mij=0. –ציר השיקוף מקביל לציר x: במקרה זה קל לראות שלכל j אי-זוגי, Mij=0. מדוע אלו אבחנות נכונות? נראה בשקף הבא

18. סמטריית שיקוף בדו-מימד18 מציאת ציר השיקוף - המשך מדוע האבחנות הקודמות נכונות? נסתכל למשל על המקרה הראשון בו ציר השיקוף מקביל לציר y: הפונקציה המציינת חי, שווה ב-x וב-(-x): X(-x,y)=X(x,y). x y (x,y) (-x,y) לכן בחישוב המומנט הנקודות הנגדיות לעומת ציר השיקוף מבטלות זו את זו. ציר y וציר השיקוף מתלכדים

19. סמטריית שיקוף בדו-מימד19 מציאת ציר השיקוף - המשך מסתמן פתרון אפשרי לבעיה: נסובב את הצורה עד ש-M 11 =0. בנקודה זו נדע שציר ה-x או ציר y מהווים את ציר השיקוף לצורה. נפתח את M’ 11 המתקבל מסיבוב הצורה בזוית  : ולגבי M’ 11 =0 שאנחנו מחפשים, נוכל לחלץ את  : שורה תחתונה: השיטה אפשרית בתאוריה אך בניסויים אינה מוכיחה את עצמה כטובה.

20. סמטריית שיקוף בדו-מימד20 סיכום ביניים – שימוש במומנטים ניזכר: אנחנו מנסים למצוא ציר שיקוף כדי לבדוק האם צורה היא chiral או לא. ראינו שימוש במומנטים, שעובד בתאוריה, אך בעולם המעשה הוא אינו מוצלח. מתאים לתמונות בינאריות בלבד. נמשיך לגישה אחרת, מבוססת טרנספורם.

21. סמטריית שיקוף בדו-מימד21 גישה נוספת – שימוש ב-Transform Bigun&Granlund הציעו טרנספורם שבו פונקציות הבסיס הן ספירלות. כל פונקציה תהיה עם מספר "זרועות" שונה, ועקמומיות שונה. מכיוון שספירלה היא chiral נוכל להעזר בטרנספורם למדוד chirality.

22. סמטריית שיקוף בדו-מימד22 גישת ה-Transform (המשך) נתרגם את הצורה לקואורדינטות פולאריות: –X’(r,  )=X(xcos ,ysin  ) יהי  מעגל מלא בעל רדיוס R. יהיו f(r,  ), ו -g(r,  ) שתי פונקציות על . נגדיר את המכפלה הסקלרית באופן הבא: למעשה זהו ערך המכפלה הממוצע של f,g בשטחה של 

23. סמטריית שיקוף בדו-מימד23 גישת ה-Transform (המשך) את פונקציות הבסיס נייצר ע"י: –w=2  /R, m,n הם מספרים שלמים. –n מייצג את מספר הזרועות של הספירלה. –m מייצג את העקמומיות של הזרוע. –Sign(n*m) מייצג את כיוון העקמומיות (ספירלה ימנית / שמאלית). בשל כך n>0. –הפונקציות הנ"ל מהוות בסיס ולכן כל פונקציה ב -  יכולה להיות מיוצגת ע"י צירוף לינארי שלהן.

24. סמטריית שיקוף בדו-מימד24 גישת ה-Transform (המשך) טו מייק אלונג סטורי שורט: –אנו ממירים את התמונה למקדמי הטרנספורם. –מחשבים את הממוצע של המקדמים ומסיקים על מידת ה-chirality ועל כיוונה. המסקנה לגבי השיטה: –בניסויים, לא היתה מספקת. –רגישה לרעש בתמונה. –המעבר לקואו' פולאריות מוסיף לחוסר הדיוק.

25. סמטריית שיקוף בדו-מימד25 מידת ה-Chirality Features על פני הצורה יכולים לעזור לאפיין את chiral-יות הצורה. הרעיון מבוסס על מודל המסובב בתוך "מדיום מלא בחלקיקים קטנים" (ארגז חול). חלק מגבולות המודל יאספו חלקיקים, וגבולות אחרים לא. נשתמש באורך הקטעים המלקטים חלקיקים כדי לאפיין את chiral-יות הצורה.

26. סמטריית שיקוף בדו-מימד26 ניתוח הגבול תהי E קבוצת הפיקסלים המגדירה את הגבול של הצורה. נגדיר שתי תת-קבוצות של E, בהן יכללו פיקסלים ה"אוספים" חלקיקים: –RGP – (right-grasp- pixels) –LGP – (left-grasp-pixels) תהי {e i } קבוצת פיקסלי הגבול, מסודרים לפי הופעתם, כך שהאובייקט נמצא מימין. תהי O נקודת ציר הסיבוב. eiei e i+1 x riri r i+1 O ii ii r i – הוקטור מ-O ל-e i d i – אורכו של r i  i – הזוית בין r i לבין ציר ה-x  d i – d (i+1)mod k – d i השינוי באורך   I -  (i+1) mod k -  i. השינוי בזוית, או אם תרצו הזוית (e i,O,e i+1 )

27. סמטריית שיקוף בדו-מימד27 ניתוח הגבול - המשך נוכל לאפיין את קבוצת ה-LGP וה-RGP (left/right grasp pixel): –LGP={e i |   i >0,  d i >0} –LGP={e i |   i >0,  d i <0} שימו לב ש - RGP  LGP=  בתור מידה ל-chirality נוכל לבחור במדד הבא: O eiei e i+1 O eiei O eiei O eiei LGP RGP   i>0   i<0  di>0  di<0

28. סמטריית שיקוף בדו-מימד28 ניתוח הגבול - המשך מדד נוסף אפשרי, ייתחשב גם במידת הפיתול (torque) של כל נקודת גבול (זהו המרחק מנקודת הציר כפול הכוח):

29. סמטריית שיקוף בדו-מימד29 סוף סוף משהו שעובד! הנה מספר דוגמאות להפעלת השיטה שהוצגה קודם. בעיה. חישוב Z הפשוט אינו עובד כאן. מדוע? מפני ש-LGP=RGP. חייבים להתחשב ב-Torque!! ZZ’

30. סמטריית שיקוף בדו-מימד30 מציאת ציר הסיבוב כפי שניתן להבין, מידת ה-chirality תלויה מאוד בבחירת ציר הסיבוב. לרוב, ה-centroid לא יהיה המקום האופטימלי (למשל בספירלה, הוא לא יוצא באמצע הספירלה). נגדיר אם כן: –מרכז ה-chirality – הנקודה הממקסמת את מידת ה-rotational chirality (סומנה ב-Z) בערכה המוחלט.

31. סמטריית שיקוף בדו-מימד31 מציאת ציר הסיבוב - המשך כדי להקטין את הסבוכיות של חיפוש בכל התמונה, נשתמש ב... Simulated Annealing – נתחיל ב- centroid ונתקדם ממנו. זה יימנע התקעות במקסימום לוקאלי. שיטה מהירה יותר למצוא את מרכז ה-chirality היא גישת ה- Multiresolution המתוארת בהמשך.

32. סמטריית שיקוף בדו-מימד32 Multiresolution ניזכר בשיטת ייצוג התמונה בפירמידה של רזולוציות: – L 0 תהיה הרמה הראשונה שהיא למעשה התמונה עצמה. מספר הפיקסלים בצלע: 2 N. –L 1 תהיה הרמה הבאה ובה 2 N-1 פיקסלים בצלע, וכן הלאה... נתחיל בחיפוש מרכז ה-chirality ברזולוציה הכי נמוכה. בכל סיבוב נעבור לרזולוציה הבאה ונחפש בסביבה הקרובה לנקודה שמצאנו ברמה הנמוכה יותר.

33. סמטריית שיקוף בדו-מימד33 Multiresolution - המשך יתרונות: –מאוד מהיר ומדוייק. –מאפשר ניתוח של צורות בלתי קשירות. –מבט על הצורה בכל מיני רזולוציות.

34. סמטריית שיקוף בדו-מימד34 מציאת ציר סימטריה דיברנו עד עתה על תכונת ה-chirality המתייחסת ל"כיוון" של צורות בלתי סימטריות. נעבור לדבר על אלגוריתם מעניין למציאת ציר הסימטריה של תמונות-קו (Line drawing). האלגוריתם עושה שימוש ב-Hough Transform!

35. סמטריית שיקוף בדו-מימד35 סגמנטציה תהי C i עקומה דיגיטלית פשוטה, המיוצגת ברצף של נקודות: (P i1, P i2,…,P in(i) ) ציור קווי (Line drawing) יכול להיות מיוצג ע"י עקומות פשוטות. נפריד את העקומות בנקודות המפגש של הקווים. לפיכך ציור קוי L הוא קבוצה של עקומות דיגיטליות פשוטות: L={C i } הנקודה P ij היא לפיכך, הנקודה ה-j-ית, בסגמנט i.

36. סמטריית שיקוף בדו-מימד36 מיקרו-סגמנט לנקודה P ij נגדיר מיקרו-סגמנט כרצף נקודות (P ij,P ij+1,…,P ij+r ) כך שהמרחק (האוקלידי) בין P ij לבין P ij+r הוא הקרוב ביותר לערך נתון מראש – T. כלומר הנקודה P ij מקיימת את התנאים הבאים: במידה ו-D(P ij,P in(i) )<T נאמר שהמיקרוסגמנט אינו מוגדר בנקודה Pij

37. סמטריית שיקוף בדו-מימד37 מציאת המיקרו-סימטריות לכל שני מיקרוסגמנטים אנחנו יכולים למצוא ציר מיקרוסימטריה. כותבי המאמר בחרו למצוא את צירי המיקרוסימטריה באמצעות מינימום השגיאה C 2. נעזוב את הגדרת C 2 כי זה לא מעניין. מה שחשוב הוא שמוצאים את קווי המיקרו סימטריה. P ij P ij+r P kl+r’ P kl S ij S kl  (i,j,k,l)

38. סמטריית שיקוף בדו-מימד38 אז מה עם Hough? כששני סגמנטים C i, C k הינם סימטריים, ניתן לצפות שלמספר רב של מיקרו סגמנטים יהיה את אותו קו סימטריה (או לפחות קו דומה). שימוש ב-Hough transform יכול לגלות לנו בקלות את הכיוון והזוית של ציר הסימטריה הפופולרי בתמונה.

39. סמטריית שיקוף בדו-מימד39 Hough Transform - תזכורת פותח על ידי Paul Hough ב-1962. נרשם עליו פטנט ע"י IBM. בטרנספורם זה אנו מעבירים את הקוים מהייצוג ב-x,y לייצוג נורמלי: –xcos  +ysin  =  הטרנספורם משמש למציאת קוים דומיננטיים בתמונה.

40. סמטריית שיקוף בדו-מימד40 Hough Transform - דוגמא הצורה (מצד שמאל) ומציאת פיקסלי גבול Hough Transform הפיקסלים הלבנים ביותר הם 4 צלעות המרובע שיחזור הצורה

41. סמטריית שיקוף בדו-מימד41 Hough Transform – עוד דוגמא תמונה של צנרת ומשמאל זיהוי הגבולות. Hough Transform ציור 4 הקוים המתאימים ל -( ,  ) ב-4 הנקודות הכי לבנות בטרנספורם.

42. סמטריית שיקוף בדו-מימד42 שימוש ב-Hough למציאת ציר הסימטריה נחשב את הטרנספורם לכל קווי המיקרו סימטריה שמצאנו. פסגה בטרנספורם מעידה על קיומו של ציר סימטריה כללי בתמונה!

43. סמטריית שיקוף בדו-מימד43 תודה רבה.