עיבוד שפות טבעיות – מבוא עידו דגן (קרדיט שקפים: אורן גליקמן) המחלקה למדעי המחשב אוניברסיטת בר אילן

מבנה הקורס ודרישות תרגילים (25%) –כ-3 תכנות/כתיבת דקדוק (שבועיים) – אפשר הגשה בזוגות –כ-4 תיאורטיים/שימוש בכלים (שבוע) – הגשה ביחידים מבחן (%75) – מינימום ציון מעבר 60 אתר הקורס: תרגיל ראשון לשבוע הבא: Win05/

מקורות Speech and Language Processing By Daniel Jurafsky and James H. Martin Foundations of Statistical NLP Christopher D. Manning and Hinrich Schutze 1999, MIT Press. Natural Language Understanding Allan James, Addison-Wesley Pub Co; 2nd edition (January 1995)

מה זה בכלל עיבוד שפות טבעיות נקרא גם "בלשנות חישובית“ Natural Language Processing/ Computational Linguistics כל מה שקשור בהבנה, ניתוח, יצירה ועיבוד של שפות טבעיות (להבדיל משפות מחשב, למשל) שפה מהווה ייצוג של משמעות – איננו מתיימרים להגיע להבנה "אמיתית" של משמעות, אלא לבצע פעולות מועילות למרות החוסר בהבנה

דוגמאות לאפליקציות/יישומים תרגום ממוחשב חיפוש ואחזור מידע מענה לשאלות – Question Answering שליפת מידע – Information Extraction טיפול במונחים: שליפה, דמיון, סיווג שמות תמצות אוטומטי אפליקציות בתחום הדיבור: –מערכות דיאלוג תיקון שגיאות תחביר (eg. Microsoft Word)

אפליקציות... (המשך) ניתן לסווג אפליקציות ע"פ המדיה של הקלט/פלט: –טקסט (TEXT) ספרים, דוחות, אתרי אינטרנט, עיתונים, דו"אל... –דיבור (Speech) –כתב המוען והנמען בתקשורת –אדם, מחשב. ז'אנר –שפה מדוברת שונה מאוד משפה עיתונאית, למשל.

מדעים קשורים בלשנות פסיכולינגויסטיקה מדעי המחשב (AI) –אלגוריתמים (חיפוש לדוגמא) מדעי המוח ((Cognitive Science פילוסופיה

שפה טבעית לעומת שפת מחשב שפות מחשב (באופן כללי) הנן חד-משמעיות ומוגדרות היטב. קו מפילר יכול ע"י Parser לתרגם קוד לפקודות שפת מכונה. לדוגמא: – יש הבחנה בין שווה במשמעות של assignment (=) לעומת equality (==). –יש סדר מוגדר על פרדיקטים – a גדול מ b ולא c או d a > b && !c || d a > b && (!c || d) a > b && !(c || d)

ו ו או או (or) היינו דו משמעי בעברית (ואנגלית): –אתה יכול לקבל קפה או תה. (Exclusive) –אתה רוצה קפה או עוגה. (Inclusive) עוד דוגמא: (טווח כמתים – quantifier scope) –"כמעט ניצחתי את כל שאר המתחרים בתחרות") –"באמת?" –"כן: כמעט ניצחתי את ירון, כמעט ניצחתי את איריס, כמעט ניצחתי את אלון,..."

עברית קשה שפה לא רק עברית ! השפה הטבעית מלאת רב משמעויות, ברמות שונות: כותרת תמונה בעיתון השבוע: –"גופות הרוגים בפיגוע ליד בית חולים בבאלי היום." –האם הפיגוע היה ליד בית חולים ? –מתי ארע הפיגוע? פרסומת: "אצלנו אין ערבים"

"Withdrawal of Israel armed forces from territories occupied in the recent conflict" עד היום מתווכים על הפרוש.

AI & Turing Test NLP נחשב כ-’AI complete’ Turing Test: is a computer program intelligent? (1954) would a human find out that he speaks with a computer?

ידע לינגויסטי נדרש פונטיקה ופונולוגיה מורפולוגיה תחביר (Syntax) סמנטיקה פרגמטיקה שיח (Discourse) ידע כללי (World Knowledge)

הרכבת שם עצם והא הידיעה פועל ר. כ. ב בניין הפעיל עבר זכר יחיד פועל ר. כ. ב בניין הפעיל עבר נקבה יחיד הא השאלה פועל ר. כ. ב בניין פעל עבר זכר יחיד שם עצם נסמך מורפולוגיה

רב משמעויות במשפט הבא 15 מילים ולפחות 455(!) ניתוחים אפשריים: List the sales of the products produced in 1973 with the products produced in 1972.

ידע לינגויסטי - דוגמא תוידנם טוחירב יפואיאה תוילסתם לידהל לח לע מיממור תויוצחנתההם בריחוט מנידות אפיואיה סתמליות לילדה חל חה מצימור מחנותהן מנדיות בריחוט האיאופי מתסילות להדיל חל על מורמים מההתנחצויות באיחוד מההתנחלויות מס האירופי על מתחילות מוצרים מדינות להטיל. מוצרים באיחוד המסים מתחילות להטיל התנחלויות על מדינה מהאירופים. התנחלויות באיחוד האירופי מתחילות להטיל מס על מוצרים מהמדינות מדינות באיחוד האירופי מתחילות להטיל מס על מוצרים מההתנחלויות.