Map-Reduce Input: a collection of scientific articles on different topics, each marked with a field of science –Mathematics, Computer Science, Biology,

Slides:



Advertisements
Similar presentations
Processes and threads. תהליכים ותתי תהליכים תהליכים –כל תוכנית שרצה היא תהליך (process) –ניתן להתפצל מתהליך אחד למספר תהליכים, בעזרת הפקודה fork(). הרבה.
Advertisements

Ford Fulkerson. Ford-Fulkerson (N=(G, c, s, t)) ; G = (V, E) for each edge, while exists a path P from s to t in residual network N f do for each edge.
While,B:=,0,true while,B:=,1,true N:=,B:=,0,true P1 N:=,B:=,1,true P1 while,end,0,false end,end,0,false P1 N:=,end,0,false P2 while,end,1,false end,end,1,false.
תוכנה 1 סמסטר א ' תשע " ב תרגול מס ' 7 * מנשקים, דיאגרמות וביטים * לא בהכרח בסדר הזה.
תרגילי חזרה. General Things to Remember Be careful to identify if we’re talking about gains or costs (because the search cost is always negative) Check.
טבלאות סמלים נכתב ע"י אלכס קוגן סמסטר חורף, תשס"ח.
Map-Reduce Input: a collection of scientific articles on different topics, each marked with a field of science –Mathematics, Computer Science, Biology,
מערכות הפעלה ( אביב 2004) חגית עטיה © 1 תיאום בין תהליכים : יסודות  דוגמאות לבעיות תיאום  הגדרות : קטע קריטי, מנעולים  אלגוריתם קופת - חולים.
מסדי נתונים תשס " ג 1 תכנון סכמות (Design Theory) מסדי נתונים.
חורף - תשס " ג DBMS, Design1 שימור תלויות אינטואיציה : כל תלות פונקציונלית שהתקיימה בסכמה המקורית מתקיימת גם בסכמה המפורקת. מטרה : כאשר מעדכנים.
אתר הקורס: צוות הקורס: מרצה: אלדר פישר, טאוב
מערכות הפעלה תרגול 10 – זיכרון וירטואלי ב- Linux.
נובמבר ניהול תהליכים במערכת מרובת מעבדים Process Management in Multiprocessor Systems.
אוקטובר מבנה מערכות הפעלה אוקטובר אסף שוסטר שקפים ע"פ אלן אזגורי/חגית עטיה.
ספר סקיצות ספר סקיצות קלאסי עם יכולות ממוחשבות. ספר סקיצות רגיל  יתרונות : נוח לנשיאה, מהיר ונוח לעבודה, עמיד.  חסרונות : הכול ידני, קשה לקבל דיוקים.
חורף - תשס " ג DBMS, צורות נורמליות 1 צורה נורמלית שלישית - 3NF הגדרה : תהי R סכמה רלציונית ותהי F קבוצת תלויות פונקציונליות מעל R. R היא ב -3NF.
מערכות הפעלה ( אביב 2006) חגית עטיה © 1 תהליכים - דייאט : חוטים  מוטיבציה  חוטי משתמש וחוטי מערכת  תמיכת מערכת ההפעלה  דוגמאות.
מערכות הפעלה ( אביב 2009) חגית עטיה © 1 תהליכים - דייאט : חוטים  מוטיבציה  חוטי משתמש וחוטי מערכת  תמיכת מערכת ההפעלה  דוגמאות ושימושים.
בהסתברות לפחות למצא בעיה במודל PAC עבור בהסתברות ε הפונקציה f טועה מודל ONLINE 1. אחרי כל טעות הפונקציה משתפרת 2. מספר הטעיות קטן.
תרגול חזרה. מבנה האובייקט תאר את מבנה האובייקט כולל מבנה טבלאות הפונקציות הוירטואליות עבור התכנית הבאה struct A { int x; virtual void a() {}; }; struct.
מסדי נתונים תשס " ג 1 תכנון סכמות – אלגוריתם פירוק לתבניות בצורת BCNF מסדי נתונים.
תורת היחסות 100 שנים למהפכה.
שאילת שאלות שאלת חקר המפתח למנעול 1. שאילת שאלות – שאלת חקר מה ניתן לשנות ? :  בתנאים : טמפ ' או לחץ או הכלים, או הציוד  בחומרים : איכות או כמות או.
Formal Specifications for Complex Systems (236368) Tutorial #6 appendix Statecharts vs. Raphsody 7 (theory vs. practice)
תכנות תרגול 6 שבוע : תרגיל שורש של מספר מחושב לפי הסדרה הבאה : root 0 = 1 root n = root n-1 + a / root n-1 2 כאשר האיבר ה n של הסדרה הוא קירוב.
מרץ 2002אלן אזאגורי ©1 מבנה מערכות הפעלה מרץ אלן אזאגורי (מרצה אחראי) ארז חדד.
דוד שוורץ, עידן זק, נטע צור וחיה כהן. הפונקציונאליות:  המשתמש בוחר קובץ שעליו הוא רוצה לבצע את האנליזה, ולוחץ עליו עם כפתור ימני בעכבר.  נפתח תפריט.
1 חישוב ואופטימיזציה של שאילתות חלק 2 Query Evaluation and Optimization Part 2.
מודל ONLINE לומדמורה 1. כל ניתן לחישוב בזמן פולינומיאלי 2. אחרי מספר פולינומיאלי של טעיות ( ) הלומד לא טועה ז"א שווה ל- Littlestone 1988.
תהליכים  מהו תהליך ?  מבני הנתונים לניהול תהליכים.  החלפת הקשר.  ניהול תהליכים ע " י מערכת ההפעלה.
A. Frank File Organization Various Parameter Issues.
ערכים עצמיים בשיטות נומריות. משוואה אופינית X מציין וקטור עצמי מציינת ערך עצמי תואם לוקטור.
טיב פני שטח (טפ"ש) טיב פני שטח- רמת החלקות של המשטח.
תכנות תרגול 5 שבוע : הגדרת פונקציות return-value-type function-name(parameter1, parameter2, …) הגדרת סוג הערכים שהפונקציה מחזירה שם הפונקציהרשימת.
מערכים עד היום כדי לייצג 20 סטודנטים נאלצנו להגדיר עד היום כדי לייצג 20 סטודנטים נאלצנו להגדיר int grade1, grade2, …, grade20; int grade1, grade2, …, grade20;
מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות פלט: קונסיסטנטי עם פונקציה f ב- C ז"א קונסיסטנטי עם S ז"א מודל הלמידה מדוגמאות Learning.
עקרון ההכלה וההדחה.
מערכות הפעלה ( אביב 2006) חגית עטיה © 1 סיכום הקורס.
תיאום בין תהליכים : יסודות  דוגמאות לבעיות תיאום  הגדרות : קטע קריטי, מנעולים  אלגוריתם קופת - חולים.
מבוא למדעי המחשב תרגול 3 שעת קבלה : יום שני 11:00-12:00 דוא " ל :
Last time on Clang משתנה: "פתק" המשמש את המחשב לשמירת מידע. לכל משתנה יש שם וטיפוס כללים לשמות משתנים –חייבים להכיל רק אותיות, מספרים ו '_' –חייבים להתחיל.
1 חישוב של אופרטורים רלציוניים Evaluation of Relational Operators.
מבוא למדעי המחשב, סמסטר א ', תשע " א תרגול מס ' 1 נושאים  הכרת הקורס  פסאודו - קוד / אלגוריתם 1.
Global Motion Estimation קורס : מבוא לעיבוד מקבילי מרצה: דר' גיא תל צור מגישים: גלעד נרקיס אייר רום אייר רום קבוצה: pp3.
A. Frank File Organization Introduction to Pile File.
אתר הקורס: צוות הקורס: פרופ' עודד שמואלי-
מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות פלט: קונסיסטנטי עם פונקציה f ב- C ז"א קונסיסטנטי עם S ז"א.
תפקידים פונקציונליים עיקריים של WINDOWS ממשק גרפי : הפעלת תכניות ומתן פקודות בעזרת כלים גרפיים ותפריטים. הפעלה בו - זמנית של מספר תכניות : * חלוקת זיכרון.
A. Frank File Organization Hardware Size Parameters.
1 מבוא למדעי המחשב סיבוכיות. 2 סיבוכיות - מוטיבציה סידרת פיבונאצ'י: long fibonacci (int n) { if (n == 1 || n == 2) return 1; else return (fibonacci(n-1)
מבוא לעיבוד מקבילי הרצאה מס ' 9 17/12/2001. נושא ההרצאה עיבוד תמונה מקבילי Parallel Image Processing.
(C) Yohai Devir January מבנה מחשבים ספרתיים זכרון וירטואלי מבוסס על תרגול של מורן גביש.
1 Programming for Engineers in Python Autumn Lecture 2: More Basics.
1 חישוב מקבילי לכל תלמיד/ה פרופ' רן גינוסר הנדסת חשמל ומדעי המחשב הטכניון
פיתוח מערכות מידע Class diagrams Aggregation, Composition and Generalization.
תרגיל כיתה 7 מבוא לטכנולוגיות מחשב CPE. – 2 – ארכיטקטורה של מעבד מודרני Execution Functional Units Instruction Control Integer/ Branch FP Add FP Mult/Div.
מבוא למדעי המחשב לתעשייה וניהול הרצאה 7. סברוטינות subroutines.
Comp. Genomics Recitation 12 Bayesian networks Taken from Artificial Intelligence course, MIT, 6.034
מספרים אקראיים ניתן לייצר מספרים אקראיים ע"י הפונקציה int rand(void);
Programming Arrays.
Computer Structure Power and Power Management
שיעור עשירי: מיונים, חיפושים, וקצת סיבוכיות חישוב
מבוא למדעי המחשב סיבוכיות.
בעיות נוספות ב-NPC.
Marina Kogan Sadetsky –
מבוא לתכנות בWINDOWS ב#C
תהליכים-דייאט: חוטים מוטיבציה חוטי משתמש וחוטי מערכת
מבוא לתכנות ב- Java תרגול 10 - רשימות מקושרות.
Computer Architecture and Assembly Language
Practical Session 3, Scheduling
Presentation transcript:

Map-Reduce Input: a collection of scientific articles on different topics, each marked with a field of science –Mathematics, Computer Science, Biology, Chemistry, Geology, etc. Output: the field of science where the longest word occurs (in all the articles)‏ –Nicotinamideadeninedinucleotidephosphate

Answer: First round –map(field,paper)‏ –reduce(field, {longest words in each paper})‏ Second round (distributed sort)‏ –map(field, longest word)‏ –reduce(word size, field)‏ Do nothing

מבוא נתונים 4 תהליכים בלתי תלויים שרוצים להריץ על מחשב עם מעבד אחד (שיכול להריץ רק חוט אחד בו-זמנית). ביצוע סדרתי מריץ את התהליכים אחד אחרי השני. ביצוע "מקבילי" מריץ את כל התהליכים בו-זמנית. ה-speedup של הביצוע "המקבילי" ביחס לביצוע סדרתי בהכרח: –גדול או שווה ל-1 –קטן או שווה ל-1 –אין שינוי בזמן ריצה –לא ניתן לדעת

Answer לא ניתן לדעת The reason is that the run can be faster ( because of better caching, for example)‏ And can be slower ( because of context switches)‏ And can be the same

BSP איזו מההנחות הבאות אינה הנחה של מודל BSP? 1.לכל המעבדים כמות זיכרון זהה 2.כל המעבדים בעלי יכולת חישוב (מהירות) זהה 3.רשת תקשורת שמאפשרת יחס h (h-relation) כלשהו 4.רשת תקשורת בעלת רוחב פס וזמן תגובה (latency) זהים בכל כיוון

Answer BSP doesn't assume anything about the memory It does assume same CPU speed It does assume that h-relation is possible It does assume homogeneous communcations

Race Detection נתון הקוד הבא: B1 = FALSE, B2 = FALSE Thread 1Thread 2 X++IF (B2 == TRUE)‏ B1 = TRUEIF (B1 == TRUE)‏ B2 = TRUEX-- כמה Apparent data-races יש בקוד? 3 כמה Feasible data-races יש בו? 1

Answer Feasible data races are also apparent, but not vice versa So there is only one feasible (semantically possible) data race for B2 (written and read simultaneously by t1 and t2 There are 3 apparent data races (B2, B1, X), since they are not protected by any lock

Race Detection באלגוריתם Djit שבודק תכנית בעלת n חוטים באורך r גישות לזיכרון (כל חוט) והניגשת ל-s משתנים (כל חוט) ב-t מסגרות זמן (לכל החוטים אותו מספר t ), גודל היסטורית הגישות לכל משתנה הוא (גודל במילות מחשב)‏ 1.nrts 2.2nrts 3.2nrt 4.2nr 5.2n