Download presentation
Presentation is loading. Please wait.
1
89-6801 עיבוד שפות טבעיות – 89680 מבוא עידו דגן (קרדיט שקפים: אורן גליקמן) המחלקה למדעי המחשב אוניברסיטת בר אילן
2
89-6802 מבנה הקורס ודרישות תרגילים (25%) –כ-3 תכנות/כתיבת דקדוק (שבועיים) – אפשר הגשה בזוגות –כ-4 תיאורטיים/שימוש בכלים (שבוע) – הגשה ביחידים מבחן (%75) – מינימום ציון מעבר 60 אתר הקורס: תרגיל ראשון לשבוע הבא: http://www.cs.biu.ac.il/~dagan/NLP-89680- Win05/
3
89-6803 מקורות Speech and Language Processing By Daniel Jurafsky and James H. Martin http://www.cs.colorado.edu/~martin/SLP/slp-ch1.pdf Foundations of Statistical NLP Christopher D. Manning and Hinrich Schutze 1999, MIT Press. http://nlp.stanford.edu/fsnlp/promo/ Natural Language Understanding Allan James, Addison-Wesley Pub Co; 2nd edition (January 1995)
4
89-6804 מה זה בכלל עיבוד שפות טבעיות נקרא גם "בלשנות חישובית“ Natural Language Processing/ Computational Linguistics כל מה שקשור בהבנה, ניתוח, יצירה ועיבוד של שפות טבעיות (להבדיל משפות מחשב, למשל) שפה מהווה ייצוג של משמעות – איננו מתיימרים להגיע להבנה "אמיתית" של משמעות, אלא לבצע פעולות מועילות למרות החוסר בהבנה
5
89-6805 דוגמאות לאפליקציות/יישומים תרגום ממוחשב חיפוש ואחזור מידע מענה לשאלות – Question Answering שליפת מידע – Information Extraction טיפול במונחים: שליפה, דמיון, סיווג שמות תמצות אוטומטי אפליקציות בתחום הדיבור: –מערכות דיאלוג תיקון שגיאות תחביר (eg. Microsoft Word)
6
89-6806 אפליקציות... (המשך) ניתן לסווג אפליקציות ע"פ המדיה של הקלט/פלט: –טקסט (TEXT) ספרים, דוחות, אתרי אינטרנט, עיתונים, דו"אל... –דיבור (Speech) –כתב המוען והנמען בתקשורת –אדם, מחשב. ז'אנר –שפה מדוברת שונה מאוד משפה עיתונאית, למשל.
7
89-6807 מדעים קשורים בלשנות פסיכולינגויסטיקה מדעי המחשב (AI) –אלגוריתמים (חיפוש לדוגמא) מדעי המוח ((Cognitive Science פילוסופיה
8
89-6808 שפה טבעית לעומת שפת מחשב שפות מחשב (באופן כללי) הנן חד-משמעיות ומוגדרות היטב. קו מפילר יכול ע"י Parser לתרגם קוד לפקודות שפת מכונה. לדוגמא: – יש הבחנה בין שווה במשמעות של assignment (=) לעומת equality (==). –יש סדר מוגדר על פרדיקטים – a גדול מ b ולא c או d a > b && !c || d a > b && (!c || d) a > b && !(c || d)
9
89-6809 ו ו או או (or) היינו דו משמעי בעברית (ואנגלית): –אתה יכול לקבל קפה או תה. (Exclusive) –אתה רוצה קפה או עוגה. (Inclusive) עוד דוגמא: (טווח כמתים – quantifier scope) –"כמעט ניצחתי את כל שאר המתחרים בתחרות") –"באמת?" –"כן: כמעט ניצחתי את ירון, כמעט ניצחתי את איריס, כמעט ניצחתי את אלון,..."
10
89-68010 עברית קשה שפה לא רק עברית ! השפה הטבעית מלאת רב משמעויות, ברמות שונות: כותרת תמונה בעיתון השבוע: –"גופות הרוגים בפיגוע ליד בית חולים בבאלי היום." –האם הפיגוע היה ליד בית חולים ? –מתי ארע הפיגוע? פרסומת: "אצלנו אין ערבים"
11
89-68011 242 "Withdrawal of Israel armed forces from territories occupied in the recent conflict" עד היום מתווכים על הפרוש.
12
89-68012 AI & Turing Test NLP נחשב כ-’AI complete’ Turing Test: is a computer program intelligent? (1954) would a human find out that he speaks with a computer?
13
89-68013 ידע לינגויסטי נדרש פונטיקה ופונולוגיה מורפולוגיה תחביר (Syntax) סמנטיקה פרגמטיקה שיח (Discourse) ידע כללי (World Knowledge)
14
89-68014 הרכבת שם עצם והא הידיעה פועל ר. כ. ב בניין הפעיל עבר זכר יחיד פועל ר. כ. ב בניין הפעיל עבר נקבה יחיד הא השאלה פועל ר. כ. ב בניין פעל עבר זכר יחיד שם עצם נסמך מורפולוגיה
15
89-68015 רב משמעויות במשפט הבא 15 מילים ולפחות 455(!) ניתוחים אפשריים: List the sales of the products produced in 1973 with the products produced in 1972.
16
89-68016 ידע לינגויסטי - דוגמא תוידנם טוחירב יפואיאה תוילסתם לידהל לח לע מיממור תויוצחנתההם בריחוט מנידות אפיואיה סתמליות לילדה חל חה מצימור מחנותהן מנדיות בריחוט האיאופי מתסילות להדיל חל על מורמים מההתנחצויות באיחוד מההתנחלויות מס האירופי על מתחילות מוצרים מדינות להטיל. מוצרים באיחוד המסים מתחילות להטיל התנחלויות על מדינה מהאירופים. התנחלויות באיחוד האירופי מתחילות להטיל מס על מוצרים מהמדינות מדינות באיחוד האירופי מתחילות להטיל מס על מוצרים מההתנחלויות.
Similar presentations
© 2025 SlidePlayer.com Inc.
All rights reserved.