1. Data Driven Brain Tumor Segmentation in MRI Using Probabilistic Reasoning over space and Time Jeffery Solomon, John A. Butman, and Arun Sood MICCAI D Lesion Detection Using Expectation-Maximization and Hidden Markov Model Jeffery Solomon, John A, Arun Sood ISBI 2004

2. Problem Statement סיווג שיטות הסגמנטציה
המחקר עוסק בסגמנטציה של סידרת תמונות 3D בזמן –
4D data set. לצורך מעקב אחר lesions והערכת נפחם
סיווג שיטות הסגמנטציה
Spatial methods
Temporal methods
combination

3. methods for lesion volume calculations
Spatial Methods
Greatest diameter
Greatest diameter multiplied by greatest perpendicular diameter
Manual lesion tracing
Computer based automated techniques to segment the lesion and calculate volume
Temporal methods
הפרשים בין תמונות עוקבות בזמן.
זיהוי שינוי ע"י הערכת שדה ההעתקה.
שימוש ב- pixel based temporal analysis לזיהוי lesions.

4. Tools used by the algorithm GMM – Gaussian Mixture Model
מודל המניח כי התפלגות ההסתברות עבור רקמה מסוג מסוים הינה התפלגות גאוסיינית.
בהתאם היסטוגרמת התמונה ניתנת להצגה כסכום של התפלגויות גאוסייניות (GMM).
בהינתן הפרמטרים של כל גאוסיין, ניתן להעריך את הסתברות הפיקסל להיות שייך לרקמה מסוג מסוים

5. Tools used by the algorithm - cont EM – Expectation Maximization
משמש להערכה איטרטיבית של פרמטרי הגאוסיאנים
ב- GMM.
אתחל את פרמטרי הגאוסיינים (means, SD, amplitude).
E step: חשב את הסתברות כל פיקסל j להיות מסוג רקמה i.
M step: בהתחשב בהסתברויות החדשות שהתקבלו ב- E step, חשב את פרמטרי הגאוסיינים החדשים.

6. Tools used by the algorithm - cont HMM – Hidden Markov Model
אלגוריתם שנועד ל"קבלת החלטות" עבור בעיות המתהוות בזמן. כלומר בעיות בהן מצב t מושפע ממצב t-1 (עבור מודל מסדר ראשון).
במודל זה מוגדרים מספר פרמטרים והסתברויות לצורך תיאור הבעיה.
הפרמטרים
w(t)=wi – מצב המערכת בזמן t
למערכת יתכנו מספר מצבים (דיסקרטיים) אפשריים.
למשל w1=lesion, w2=non-lesion

7. HMM – Hidden Markov Model - Cont
Transition probability
ההסתברות למעבר בין מצב אחד לאחר.
במודל מסדר 1 ההסתברות למצב המערכת ב- t+1 תלויה אך ורק במצב המערכת במצב t.
דוגמה לסדרת מצבים של המערכת:
W6=[w1,w1,w3,w1,w2,w3]

8. HMM – Hidden Markov Model – Cont observable vs. unobservable parameters
w(t) – unobservable parameter
v(t) - observable parameter (for instance pixel intensity)
דוגמה לסדרת ערכים בזמן עבור המשתנה הויזואלי v(t): v6=[v1, v2, v2, v3, v3, v3]

9. HMM – Hidden Markov Model – Cont
ההסתברות לפליטת משתנה ויזואלי מסוים, vk(t)
קיימת ההנחה שההסתברות לקבלת ערך מסוים עבור v(t) תלויה אך ורק במצב המערכת במצב t.
בנוסף קיימות הדרישות:

10. HMM – Hidden Markov Model – Cont
3 central issues
The evaluation problem בהינתן HMM, כלומר כל ההסתברויות aij,bjk, קבע את ההסתברות לכך שרצף מסוים של מצבים נראים, VT, התקבל ע"י המודל.
The decoding problem בהנתן HMM וכן רצף , VT, קבע את רצף המצבים, wT, בעל ההסתברות הגבוהה ביותר שעברה המערכת.
The learning problem בהנתן מספר המצבים האפשריים ומספר הפרמטרים הויזואליים האפשריים וכן מספר סטים של VT, קבע את הפרמטרים aij,bjk.

11. Motivation Research Hypothesis
אחד ממאפייני lesions (גידולים למשל) הוא השתנותם המהירה בזמן, בהשוואה לרקמה הבריאה. לכן מידע בזמן עשוי לשפר סגמנטציה המתקבלת משיטות מרחביות בלבד.
Research Hypothesis
שימוש משולב במאפייני זמן ומאפייני מרחב של ה- 4D Image set ישפר את הסגמנטציה האוטומטית של ה- lesions בסדרת הזמן בהשוואה לשיטות temporal או spatial.

12. Methods MR scaner Automatic Registration Automatic De-skulling
4D tumor segmantation
Tumor report generation

13. 4D Lesion Segmentation Using Probablistic Reasoning over Space and Time
אלגוריתם ה- EM מיושם על כל תמונה תלת מימדית בסדרת הזמן.
האלגוריתם מאותחל ע"י k-means clustering
מתקבלת הערכה של פרמטרי הגאוסיאנים המתארים את התפלגות הפיקסלים עבור סוג רקמה כולל רקמת הגידול בכל תמונה תלת מימדית. (bjk)
התפשטות ה- lesion ממודלת כהתפשטות מעריכית (aij)
נעשה שימוש במידע זה ע"י HMM להערכת סיווג הווקסל בתמונה.

14. The Algorithm
נניח שלכל ווקסל ב- data set ה- 4D יכולים להיות 2 מצבים: w1=lesion, w2=non-lesion
מצב המערכת (lesion/non lesion), המיוצג במודל זה כ- Xt, הוא unobservable.
ערך ה- Intensity של הפיקסל, המיוצג במודל זה ע"י Et, הוא observable.
נניח הנחת HMM מסדר 1 לפיה ניתן לקבוע את המצב הקיים באופן מוחלט עפ"י המצב הקודם.
כאן לדעתי מתוקנת טעות שלהם במאמר עבור המשוואה האחרונה.
Transition Model
Sensor Model

15. Reminder – the HMM tool
במערכת (לווקסל) 2 מצבים בלבד. lesion/non-lesion
Observable:
Unobservable:

16. The Algorithm - cont The transition probabilities evaluation using EM
Xt(0)=w1 – מצב בו הפיקסל הוא lesion.
Xt(1)=w2 – מצב בו הפיקסל הוא non-lesion.
המקדם α המשמש לסכום את ההסתברויות ל- 1

17. The Algorithm - cont the Sensor probabilities evaluation using exponential lesion growth model
Inside the lesion
Outside the lesion
Δt – time between pictures.
γ – rate of exponential growth

18. The Algorithm – cont filtering
מחושבת באופן רקורסיבי הסתברות הווקסל בנקודת זמן t להיות במצב lesion/non lesion בהסתמך על ה- Intensity של הפיקסל עד לנקודת זמן זו . מתקבלת הערכת הסיווג הראשוני עבור הפיקסל.
באופן רקורסיבי האלגוריתם עובר ממצב t למצב t+1 וההסתברות הסיווג מחושבת שוב עבור הזמן הבא באמצעות המידע החדש Et+1 ובאמצעות המידע שחושב כבר בזמן t.

19. The Algorithm – cont smoothing
מתהליך נוסף הקרוי smoothing. מתקבלת הערכה מחודשת של Xk (k=1:t) בהינתן Xk עד לנקודת זמן t+1.
הדבר ישפר תיאורטית את ההערכות של מצבים אלו ע"י ניצול האינפורמציה הנוספת שהתקבלה.

20. The Algorithm - cont first estimate of the lesion border
יש צורך בהערכה ראשונית של גבול ה- lesion עבור הסריקה הראשונה בסדרה. הערכה זו בוצעה ע"י הרצת אלגוריתם ה- EM על נקודת הזמן הראשונה ושימוש ב- manual tracing להגבלת ה- false positive results. התיקון הסמי-אוטומטי מבוצע על התמונה הראשונה בסדרת הזמן בלבד.

21. Report Generation
תוצאת האלגוריתם היא סידרת תמונות הסתברות, כאשר ה- intensity של ווקסל מייצגת את הסתברותו להיות גידול.
למטרות קלסיפיקציה, כל ווקסל שהסתברותו להיות גידול הייתה מעל 0.5, סווג כגידול.
נפח של ווקסלים המוערך כגידול מחושב.
מתקבל מידע לגבי נפח הגידול המוערך לאורך זמן.

22. Results & Discussion Previous work
נערכה השוואה בין 2 אלגוריתמים על תמונות סימולציה
שהופקו בעזרת GMM:
אלגוריתם משולב של EM ו- HMM
אלגוריתם EM
כמות ה- False positives יורדת באופן משמעותי.
התקבלה עליה הן ברגישות והן בספציפיות הזיהוי, עבור מידע הסימולציה.
לשיטה יתרונות גם על conditional temporal methods – למשל היכולת לזהות lesion המשתנה לאט בזמן.
ניתן לראות שרקמת הגידול גדלה עם הזמן והאחרות נותרות זהות.

23. Results & discussion – current work
נלקח מידע רפואי מ- 5 נבדקים שעברו כל אחד 3 סריקות MRI לאורך זמן.
נערכה השוואה בין manual tracings לבין השיטה המדוברת לצורך הערכת נפח הגידול בזמן

24. Results & discussion – current work VAlgorithm vs. Vmanual
ישנה הבדלה בין נקודת הזמן הראשונה לבין 2 האחרות בשל היותה מבוססת באופן חלקי על manual tracing

25. Results & discussion – curent work - cont
תמונת הגידול אחרי העיבוד המקדים ולפני הסיגמנטציה
דוגמה לסיגמנטצית האלגוריתם האוטומטי. ניתן לראות התאמה לגידול שגבולותיו מסומנות בקו (Manual tracing)

26. Conclusion
מהשוואה בין פעולת האלגוריתם על סדרות של תמונות סימולציה. התקבל שבשיטה זו מתקבל דיוק סגמנטציה טוב יותר מאשר השימוש ב- EM לבדו.
ההתאמה בין ה- manual scans לבין האלגוריתם הייתה טובה.
לשיטה זו גם יתרונות על שיטות change detection שכן ע"י שילוב בין temporal ל- spatial, השיטה תגלה גידולים גם אם הם אינם משתנים בזמן באופן ניכר.
בסיומו של האלגוריתם מתקבל מידע על שינוי נפח הגידול בזמן, מה שמאפשר הערכת התפתחות הגידול ובהתאם החלטה על הטיפול הקליני הדרוש.