A. Frank File Organization Sequential File Measures.

Slides:



Advertisements
Similar presentations
Completeness and Expressiveness. תזכורת למערכת ההוכחה של לוגיקה מסדר ראשון : אקסיומות 1. ) ) (( 2. )) ) (( )) ( ) ((( 3. ))) F( F( ( 4. ) v) ( ) v ((
Advertisements

1 Formal Specifications for Complex Systems (236368) Tutorial #4 Refinement in Z: data refinement; operations refinement; their combinations.
חיפוש בינה מלאכותית אבי רוזנפלד. סוגי חיפוש כלליים UNINFORMED SEARCH -- חיפושים לא מיודעים במרחי מצבים – BFS – DFS INFORMED SEARCH – חיפושים מיודעים –
1 ניהול תנועות חלק 3 Transaction Management Part 3.
טבלאות סמלים נכתב ע"י אלכס קוגן סמסטר חורף, תשס"ח.
A. Frank File Organization Indexed-Sequential File Measurements Thanks to Tamar Barnes.
A. Frank File Organization Hardware Time Parameters.
1 חישוב של אופרטורים רלציוניים Evaluation of Relational Operators.
A. Frank File Organization File Organization Measures.
פעולות מילון Insert, Delete, Search Binary Search Tree, AVL, 2-3 Tree, Skip List O(log n) האם יש מבנה עם סבוכיות (1)O? לא למפתח כלשהו.
רקורסיות נושאי השיעור פתרון משוואות רקורסיביות שיטת ההצבה
תרגול 8 עצי B+ אינדקס משני.
A. Frank File Organization קובץ ישיר מתקדם Advanced Direct File.
חורף - תשס " ג DBMS, Design1 שימור תלויות אינטואיציה : כל תלות פונקציונלית שהתקיימה בסכמה המקורית מתקיימת גם בסכמה המפורקת. מטרה : כאשר מעדכנים.
מכון ויצמן למדע - שמוליק מתוך 8 חישוב מקבילי ומבוזר מה זה יחידה חמישית במדעי המחשב... n ענף מתקדם במדעי המחשב העוסק במערכות ממוחשבות מרובות ישויות.
שאלות חזרה לבחינה. שאלה דיסקים אופטיים מסוג WORM (write-once-read-many) משמשים חברות לצורך איחסון כמויות גדולות של מידע באופן קבוע ומבלי שניתן לשנותו.
מה החומר למבחן ? כל החומר שנלמד בהרצאות ובתרגולים. לגבי backtracking: לא תידרשו לממש אלגוריתם, אך כן להבין או להשלים מימוש נתון. אחת משאלות המבחן מבוססת.
חורף - תשס " ג DBMS, צורות נורמליות 1 צורה נורמלית שלישית - 3NF הגדרה : תהי R סכמה רלציונית ותהי F קבוצת תלויות פונקציונליות מעל R. R היא ב -3NF.
Map-Reduce Input: a collection of scientific articles on different topics, each marked with a field of science –Mathematics, Computer Science, Biology,
A. Frank File Organization Indexed-Sequential File Introduction Thanks to Tamar Barnes.
1 Formal Specifications for Complex Systems (236368) Tutorial #5 Refinement in Z: data refinement; operations refinement; their combinations.
A. Frank File Organization Pile File Measures. 2 A. Frank Steps in analysis of file organization בהערכת מבנה קובץ, נתייחס ל - 6 שלבים / צעדים : 1. תאור.
א " ב, מילים, ושפות הפקולטה למדעי המחשב אוטומטים ושפות פורמליות ( ) תרגיל מספר 1.
A. Frank File Organization Stream Model מודל תזרים Thanks to Adi Gutman and Noa Cohen.
A. Frank File Organization Classic / Direct File קובץ ישיר קלאסי.
חישוב ואופטימיזציה של שאילתות חלק 1
1 חישוב ואופטימיזציה של שאילתות חלק 2 Query Evaluation and Optimization Part 2.
1 Formal Specifications for Complex Systems (236368) Tutorial #1 Course site : T.A. :Emilia Katz.
קובץ רב-אינדקס Multi-Indexed File
מערכות הפעלה ( אביב 2009) חגית עטיה ©1 מערכת קבצים log-structured  ה log הוא העותק היחיד של הנתונים  כאשר משנים בלוק (data, header) פשוט כותבים את הבלוק.
A. Frank File Organization Introduction to Overflow Thanks to Tamar Barnes.
A. Frank File Organization Various Parameter Issues.
תרגול 9 אלגברה רלציונית.
תרגול 7 עצי B
ערכים עצמיים בשיטות נומריות. משוואה אופינית X מציין וקטור עצמי מציינת ערך עצמי תואם לוקטור.
A. Frank File Organization Transfer Time/Rate Parameters.
Data Structures, CS, TAU, Perfect Hashing 1 Perfect Hashing בעיה : נתונה קבוצה S של n מפתחות מתחום U השוואה ל - Hash : * טבלה קבועה (Hash רגיל - דינאמי.
Remember Remember The 5 th of November. תרגול 2 קובץ סדרתי.
1 Data Structures, CS, TAU, Perfect Hashing בעיה: נתונה קבוצה S של n מפתחות מתחום U השוואה ל- Hash : * טבלה קבועה (Hash רגיל - דינאמי) * רוצים זמן קבוע.
משטר דינמי – © Dima Elenbogen :14. הגדרת cd ו -pd cd - הזמן שעובר בין הרגע שראשון אותות הכניסה יוצא מתחום לוגי עד אשר אות המוצא יוצא מתחום.
מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות פלט: קונסיסטנטי עם פונקציה f ב- C ז"א קונסיסטנטי עם S ז"א מודל הלמידה מדוגמאות Learning.
עקרון ההכלה וההדחה.
1 חישוב ואופטימיזציה של שאילתות חלק 1 Query Evaluation and Optimization Part 1.
תכנות מונחה עצמים Object Oriented Programming (OOP) אתגר מחזור ב' Templates תבניות.
1 חישוב של אופרטורים רלציוניים Evaluation of Relational Operators.
Markov Decision Processes (MDP) תומר באום Based on ch. 14 in “Probabilistic Robotics” By Thrun et al. ב"הב"ה.
A. Frank File Organization Introduction to Pile File.
מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות פלט: קונסיסטנטי עם פונקציה f ב- C ז"א קונסיסטנטי עם S ז"א.
A. Frank File Organization Hardware Size Parameters.
1 מבוא למדעי המחשב סיבוכיות. 2 סיבוכיות - מוטיבציה סידרת פיבונאצ'י: long fibonacci (int n) { if (n == 1 || n == 2) return 1; else return (fibonacci(n-1)
Safari On-line books. מה זה ספארי ספארי זו ספריה וירטואלית בנושא מחשבים היא כוללת יותר מ כותרים כל הספרים הם בטקסט מלא ניתן לחפש ספר בנושא מסוים.
Points on a perimeter (Convex Hull) קורס – מבוא לעבוד מקבילי מבצעים – אריאל פנדלר יאיר ברעם.
תרגול מס ' 1: מבני נתונים – מבוא. כללי מבנה נתונים – דרך לארגן נתונים במחשב ולגשת אליהם. בקורס זה נלמד על מבני נתונים שונים אשר משמשים לבניית אלגוריתמים.
פיתוח מערכות מידע Class diagrams Aggregation, Composition and Generalization.
Practice session 3 תחביר ממשי ( קונקרטי ) ותחביר מופשט ( אבסטרקטי ) שיטות חישוב : Applicative & Normal Evaluation Partial Evaluation.
תכנות אסינכרוני, תקשורת ופיתוח אפליקציות ל- Windows 8.1 ואפליקציות ל- Windows Phone 8 Control (Part II)
מבוא למדעי המחשב לתעשייה וניהול הרצאה 7. סברוטינות subroutines.
Practice session 3.  תחביר ממשי ( קונקרטי ) ותחביר מופשט ( אבסטרקטי )  שיטות חישוב : Applicative & Normal Evaluation.
Costs and Filters Dr. Avi Rosenfeld Department of Industrial Engineering Jerusalem College of Technology
שיאון שחוריMilOSS-il מוטיבציה  python זה קל ו C זה מהיר. למה לא לשלב?  יש כבר קוד קיים ב C. אנחנו רוצים להשתמש בו, ולבסס מעליו קוד חדש ב python.
1 Formal Specifications for Complex Systems (236368) Tutorial #1 Course site:
שיתוף PDT בין חוטים PDT Thread A Process Descriptor File Object 1 File Object 2 File 1 File 2 pthread_create Thread B Process Descriptor ה PDT משותף לכל.
Formal Specifications for Complex Systems (236368) Tutorial #1
מבוא למדעי המחשב סיבוכיות.
אינדקסינג והשינג (indexing & hashing)
ממשקים - interfaces איך לאפשר "הורשה מרובה".
Marina Kogan Sadetsky –
למה רמת פרמי צריכה להיות קבועה בחומר שנמצא בשווי משקל?
Based on the lecture notes of Prof. Sagiv
שיעור עשירי: מיונים, חיפושים, וקצת סיבוכיות חישוב
Presentation transcript:

A. Frank File Organization Sequential File Measures

2 A. Frank Steps in analysis of file organization בהערכת מבנה קובץ, נתייחס ל - 6 שלבים / צעדים : 1. תאור / מבנה לוגי ( רעיון, פילוסופיה וכו '). 2. שימושים / יישומים אפשריים. 3. תאור / מבנה פיסי ( מימוש אחד או יותר ). 4. מעבר לא - פורמלי על הדינמיקה בקובץ והמדדים. 5. הערכה פורמלית של מבנה הקובץ. 6. סיכום, השוואה לאחור והסתכלות קדימה.

3 A. Frank Notation for File Organizations איך נבדיל בין המדדים של מבני קבצים שונים ? שימוש בסימול הקובץ P, A, C) ) כמציין - על (Superscript) בכל מדד. דוגמאות : למדדים של קובץ ערמה שכבר הערכנו, צריך להניח מציין - על של P בכולם. בקובץ סדרתי, יש לנו שני סוגים : A ו -C – נעריך אותם במקביל לכל מדד ומדד.

4 A. Frank Measure R בקובץ : A ( מינימום השטח הנדרש ). בקובץ C, בקובץ תנועות יש מקומות. – נניח בממוצע שמלא בחציו -. – מתוכם נניח שחצי מתנועות הם תנועות הוספה -. אם קובץ התנועות מכיל תנועות באורך משתנה, אזי : אם קובץ התנועות מכיל תנועות באורך קבוע, אזי :

5 A. Frank Time to fetch any record (1) - בקובץ A אפשר לשקול 4 שיטות חיפוש : 1. חיפוש טורי (Serial) – דורש מעבר על חצי קובץ בממוצע : נראה אבל שגרוע כמו בערמה ?! 1. קל יותר לחפש בזיכרון ב -A – אבל לא מוזיל ק / פ ! 2. אבל אפשר להניח ש וכן זול יותר לא למצוא (Not Find) רשומה.

6 A. Frank Time to fetch any record (2) 2. חיפוש בינרי (Binary Search) - חיפוש לפי מפתח ראשי על גושי / רשומות הקובץ כדי להגיע למקום הרשומה המבוקשת : c - זמן מעבד לבדוק את מפתח הרשומה בהתחלת הגוש ( שבאמצע הקובץ ) ואולי גם את הרשומה בסופו. אי אפשר לדעת את מען הגוש הבא לקריאה עד לסיום הבדיקה / חישוב c מיהו הגוש הבא שצריך לגשת אליו להמשך החיפוש.

7 A. Frank Time to fetch any record (3) 3. חיפוש גיחה (Probe) – מתחילים מרשומה מסוימת שמענה נקבע לפי נוסחה / טבלה ( ע " ס מידע מוקדם ), וממשיכים משם בחיפוש טורי ( מגוש לגוש ): –z מספר גושים נקראים – אמור להיות מספר קטן. החיפוש מתבצע בתוך גליל אחד. 4. חיפוש אינטרפולציה (Interpolation) – שילוב של חיפוש גיחה קודם והמשך בחיפוש בינרי בשטח מצומצם :

8 A. Frank Time to fetch any record (4) חיפוש בקובץ סדרתי לפי שדה שאינו שדה המפתח הראשי הוא למעשה חיפוש כמו בערמה, עד שמגיעים לרשומה, אבל החיפוש בתוך הגוש במכלא יותר יעיל. לגבי C, מחפשים לפי מפתח ראשי בקובץ המקורי וגם בקובץ התנועות. אם בקובץ התנועות יש רשומות, אזי הבאה מקובץ התנועות : ולכן, בהכללה ( לכל 4 השיטות האפשריות בקובץ (A:

9 A. Frank Time to fetch next logical record - מדד הבאה של הרשומה הלוגית הבאה. בקובץ A, בהנחת מכלאים כפולים, הרשומה הלוגית הבאה כבר נמצאת במכלא, אז אולי : אבל כדי שימצא במכלא, היינו צריכים קודם לקרוא את הגוש שלו, אז אולי : אבל זה לרשומה, אזי : בקובץ C, נקבל :

10 A. Frank Time to insert any record - מדד להוספה של רשומה כלשהי. בקובץ A זה מתווסף בממוצע באמצע. זה דורש הזזה של חצי מהקובץ, ועוד מהסוף לאמצע – יקר מדי !! אז מה נעשה ? נעתיק את הקובץ הישן לקובץ חדש תוך שילוב הרשומה המתווספת לתוכו : בקובץ C, מכניסים את הרשומה החדשה בקובץ התנועות P, אבל יש גם עלות לרשומה בארגון מחדש : הנחה : בארגון מחדש, יש תנועות ביומן.

11 A. Frank Time to update/delete any record - מדד לעדכון של רשומה כלשהי. בקובץ A, אם אין שינוי במפתח ( ות ), אפשר לעדכן במקום : אם יש שינוי במפתח ( ות ) ( כמו כאשר עובד עוזב ומחליפו נכנס ), זה בעצם פעולת ביטול פלוס הוספה. בקובץ C, בכל מקרה, זה כמו בפעולת הוספה :

12 A. Frank Time for exhaustive read of file - מדד לקריאה ממצה של הקובץ. בקובץ A, קריאת הרשומות מהקובץ מתבצעת לפי סדר המפתח הראשי שזה הסדר הפיסי : בקובץ C, אין טעם לנסות לקרוא רשומה רשומה – יקר ! הפעולה הדרושה היא בעצם ארגון מחדש ! אבל נחייב כל אחת משתי הפעולות בחצי המחיר

13 A. Frank Time to reorganize file - מדד לארגון מחדש של הקובץ. בקובץ A, אם יש הוספות וביטולים פיסיים אז אין צורך, אבל אם היו הרבה ביטולים לוגיים, אז : בקובץ C, צריך קודם למיין ( מיון חיצוני ?) את קובץ התנועות. לאחר מכן, קריאת קובץ התנועות הממוין וקובץ האב וכתיבת קובץ הבן נעשות שלושתם בצורה חופפת ( לוקח כבר הפרעות בחשבון ):

14 A. Frank Steps in analysis of file organization בהערכת מבנה קובץ, נתייחס ל - 6 שלבים / צעדים : 1. תאור / מבנה לוגי ( רעיון, פילוסופיה וכו '). 2. שימושים / יישומים אפשריים. 3. תאור / מבנה פיסי ( מימוש אחד או יותר ). 4. מעבר לא - פורמלי על הדינמיקה בקובץ והמדדים. 5. הערכה פורמלית של מבנה הקובץ. 6. סיכום, השוואה לאחור והסתכלות קדימה.

15 A. Frank The Table Family | | | | | | | n כניסות entries m תאים cells קובץ טבלה Table file ציר הסדר Order Spectrum מקסימום סדר Maximum order מינימום סדר Minimum order ערמתייםסדרתייםטבלאיים TPA למה באמצע ? סתם ככה ?

16 A. Frank Table File טבלה (Table) היא בעצם אוסף של יחסים – יחס הוא מבנה הנתונים היחיד המשמש את המודל היחסי (Model Relational) במסדי נתונים (Databases). בגדול, מה מאפיין טבלה / יחס : – גודל כל תא / שדה קבוע ( היחס מתוקנן / מנורמל ). – רשומות / כניסות באותו גודל קבוע. – בממד האנכי - סדר כלשהו של רשומות / כניסות. – בממד האופקי - סדר כלשהו של עמודות ( פעולת הטלה (Project. אז למה הטבלאיים באמצע ? כל סדר בממד האנכי / אופקי הולך ? ערמה ! אבל די מסודר ! סדרתי ! אז מה היא המסקנה ? זה משהו באמצע !

17 A. Frank Summary קובץ A הוא בבירור יותר מאופיין קריאה מאשר C! אבל בגדול, בסדרתי קיבלנו שהמדדים מאופייני קריאה טובים יחסית בעוד שהמדדים מאופייני כתיבה גרועים יחסית. לכן קובץ סדרתי הוא בבירור קובץ מאופיין קריאה. אבל מה אם צריכים " גישה ישירה " לרשומה בקובץ ?