1. (C) סיון טל גילוי מידע וזיהוי תבניות תרגול מס. 9 גילוי מידע וזיהוי תבניות תרגול מס. 9 דחיסת נתונים מהו קידוד תכונות של קידודים אי - שוויון קרפט

2. 2 דחיסת נתונים אנחנו עוסקים בדחיסת נתונים במובן הרחב של המושג. הבסיס לדחיסת נתונים -- קידוד יעיל של קלט. התרגול יעסוק בקידודים.

3. 3 מהו קידוד קידוד הגדרה : קידוד של משתנה מקרי הוא מיפוי מ - ( תחום ערכי ) ל - - קבוצת המחרוזות הסופיות מעל א ” ב : נסמן -- מילת הקוד עבור -- האורך של דוגמה : הוא קידוד עבור עם א ” ב

4. 4 תוחלת האורך הגדרה : תוחלת האורך של קידוד עבור מ ” מ עם פונקצית מסת הסתברות :

5. 5 דוגמה : יהי מ ” מ עם ההתפלגות והקידוד הבאים : תוחלת אורך הקידוד שווה לאנטרופיה ! כמו - כן, כל רצף של ביטים ניתן לפענח באופן יחיד לרצף של ערכי לדוגמה :

6. 6 דוגמה : נסתכל על המ ” מ והקידוד הבאים : במקרה זה תוחלת האורך גדולה מהאנטרופיה. גם כאן, כל קידוד ניתן לפענח באופן יחיד.

7. 7 תכונות של קידודים לא - סינגולרי הגדרה : קוד לא - סינגולרי הוא קוד שבו כל ערך ממופה למילת קוד שונה, כלומר : קוד לא - סינגולרי מספיק כדי לקודד באופן חד - משמעי ערך בודד של. הבעיה היא שכדי לפענח רצף של מילות קוד, יש להפריד ביניהן ע ” י סימן כלשהו (delimiter). ( לדוגמה : 0,1,01,1,111,101,0) אבל זהו שימוש לא יעיל של הסימן המפריד. אפשר לדחוס טוב יותר ע ” י שימוש בקודים ש ” מפסקים את עצמם ” ואין צורך בהוספת סימנים מפרידים על - מנת לפענח רצף של מילות קוד.

8. 8 תכונות של קידודים ( המשך ) הרחבה הגדרה : הרחבה (extension) של קידוד היא מיפוי ממחרוזות סופיות של למחרוזות סופיות של, מוגדרת ע ” י : כלומר הקידוד של שרשור הוא שרשור של הקידודים. לדוגמה : אם אז מכאן והלאה נשתמש בסימן גם עבור שרשורים ( ולא ).

9. 9 תכונות של קידודים ( המשך ) בעל פענוח יחיד הגדרה : קוד הוא בעל פענוח יחיד (uniquely decodable) אם ההרחבה שלו היא לא - סינגולרית. במלים אחרות : לכל רצף של מילות קוד יש בדיוק אפשרות אחת לרצף של ערכי שייצרו אותו. תכונה זאת נראית כתנאי מספיק לדרוש מקידוד, על מנת שניתן יהיה לפענחו. אך למעשה אנו דורשים יותר מזה...

10. 10 תכונות של קידודים ( המשך ) רגעי הגדרה : קידוד נקרא רגעי (instantaneous or prefix) אם אף מילת קוד אינה רישא של מילת קוד אחרת. כאשר יש לנו קוד רגעי, אנו יכולים לזהות מילת קוד ברגע שסיימנו לקרוא אותה. אנחנו יודעים שהסימן הבא שייך למילת הקוד הבאה. זהו קוד ש ” מפסק את עצמו ”.

11. 11 תכונות של קידודים ( המשך ) לא כל קוד בעל פענוח יחיד הוא קוד רגעי. בקוד כזה ייתכן שנצטרך לקרוא רצף של מילות קוד לפני שנוכל לזהות בודאות את מילת הקוד הראשונה. דוגמה לקוד כזה : לקלט 110000 יש פענוח יחיד (322), אבל ניתן לדעת כי שתי הסיביות הראשונות הן מילת הקוד “11” רק לאחר קריאת כל הקלט. לקלט 1100000 יש פענוח יחיד (422).

12. 12 All codes Non-singular codes Uniquely decodable codes Instantaneous codes

13. 13 אי - שוויון קרפט Kraft inequality אנו רוצים לבנות קודים רגעיים בעלי תוחלת אורך מינימלית. ברור שלא ניתן להקצות את מילות הקוד הקצרות ביותר לקבוצת ערכי מ ” מ ולהישאר עם התכונה שאף מילת קוד אינה רישא של אחרת. קבוצת אורכי מילות קוד שאפשרית עבור קוד רגעי מוגבלת ע ” י אי - השוויון הבא : אי - שוויון קרפט : לכל קידוד רגעי מעל א ” ב בגודל D, אורכי המלים בהכרח מקיימות : בהינתן קבוצת אורכים המקיימת את אי - השוויון הנ ” ל, קיים קידוד רגעי עם קבוצת אורכים זו.

14. 14 דוגמה : האם ניתן לבנות קידוד רגעי בינרי שאורכי מילות - הקוד שלו הן 1,1,2 ? פתרון 1: ננסה לבנות קוד כזה : 2 מילות הקוד באורך 1 הן בהכרח 0 ו -1. כל מילת - קוד שנבחר באורך 2 תפר את דרישת הרישא. מכאן - שלא ניתן לבנות קוד כזה. פתרון 2: ולכן לפי אי - שוויון קרפט לא ניתן לבנות קוד כזה.

15. 15 הוכחת אי - שוויון קרפט : נסתכל על עץ D- ארי מלא ( ראה שרטוט עבור D=2). הקשתות מסומנות מ -0 עד D-1 כל צומת בעץ מייצג מילת קוד אפשרית. לפי הגדרת קוד רגעי - מילת קוד אינה יכולה להיות על צומת שהוא צאצא של מילת קוד אחרת. יהי אורך מילת קוד הגדול ביותר בקידוד רגעי כלשהו. ברמה בעץ יש צמתים. לכל מילת קוד באורך יש צאצאים ברמה כל קבוצות הצאצאים הנ ” ל זרות ( מתכונות עץ ). סה ” כ צאצאים של מילות קוד ברמה : 0 0 0 1 1 1

16. 16 הוכחת הכיוון השני : יהיו קבוצת אורכים המקיימת את אי - השוויון. נניח בה ” כ. ניתן לבנות קידוד רגעי עם האורכים הנ ” ל ע ” י מעבר על אותו עץ מלא : בגלל המחיקה - מובטח לנו כי תנאי הרישא מתקיים. נותר רק להראות כי הבניה בהכרח לא תיכשל. היא עלולה להיכשל רק אם עבור כלשהו, לא קיים צומת ברמה. נניח בשלילה כי זה קרה.

17. 17 כל צומת שנבחר ברמה גרם למחיקת צמתים ברמה. בסה ” כ נמחקו ברמה. בסתירה לקיום אי - השוויון.