1. T.Sharon-A.Frank 1 Internet Resources Discovery (IRD) Harvest/Katsir

2. 2 T.Sharon-A.Frank Harvested Digital Library (HDL)   Does not contain data, just metadata  Objects harvested into summaries  Regular DL characteristics: Fine granularity Rich library services High quality control Annotated

3. 3 T.Sharon-A.Frank Cache Harvester Gatherer Providers Filter Summarizer Digital Library Broker Users Harvesting Paradigm

4. 4 T.Sharon-A.Frank Harvester Locator Gatherer ISPs Library Profile Thesaurus Filterer Cataloger Summarizer Broker/Agent Retriever Harvesting model components רכיבי מודל קצירה:  קוצר  מסנן  מאתר  מקטלג  אספן  תמצת  ספקים ברשת  סוכן  פרופיל ספריה  מאחזר  אגרון

5. 5 T.Sharon-A.Frank Harvesting Model Components Thesaurus Information maps & User Profiles Information maps & User Profiles User Profile Harvesting Process in Internet/Intranet Harvesting Process in Internet/Intranet Digital Library Services for the user Digital Library Services for the user Harvesting IS Request Locating Web Consulting Gathering Filtering Summarization Broker : Borrow/Distribute Storage/Indexing Retriever Browsing/Navigation

6. 6 T.Sharon-A.Frank Harvest Architecture

7. 7 T.Sharon-A.Frank Seven components of the Harvest architecture LOCATOR GATHERER FILTERER SUMMARIZER BROKER RETRIEVER HARVESTER Collector Broker & Interface user News Services Newspapers Other Resources Providers HTML Pages Relevant HTML Pages

8. 8 T.Sharon-A.Frank Harvest/Katsir

9. 9 T.Sharon-A.Frank  המערכת הושקה בקולורדו, טקסס בשנת 1996 באוניברסיטת קולורדו, טקסס.  הפרויקט פעל כשרת ברשת במטרה להשיג את שלושת הדברים הבאים: א. איסוף מידע מאונדקס מבוזר מהרשת באופן יעיל ומינימום העמסה על הרשת. ב. טיפול במאנדקסים שונים של מאגרי מידע. ג. תמיכה בזיכרון זמני מקומי ומאחזרים. System Harvest

10. 10 T.Sharon-A.Frank Harvesting Query Many URLs Filtering User Query CACHE Construction process Retrieval process Summary Digital Library Retrieve Harvesting Subsystems

11. 11 T.Sharon-A.Frank Index/Search Gatherer Broker Gatherer Broker Locator Provider Summarizer Caching Digital Library Harvest Components

12. 12 T.Sharon-A.Frank Client Replicator Gatherer Object Cache Provider Broker Summary [local or remote] 1. Search 2. Retrieve object & access methods Harvest Architecture

13. 13 T.Sharon-A.Frank א. מבוסס על Harvest ב. תמיכה בשילוב עברית/אנגלית (“גיור כהלכה”) ג. הוספת עץ נושאים ד. תמיכה בשרותי מידען Katsir System

14. 14 T.Sharon-A.Frank Katsir Requirements  ידידותי למידען - סיפוק מנשק ידידותי למידען.  שקוף - תהליך יצירת ספריה דיגיטלית צריך להיות אוטומטי ברובו.  איכותי - תהליך של שמירת מסמכים רלוונטיים בלבד.  ממוקד וייעודי - יצירת רכיב אשר אחראי להגדרת אפיון סוג ספריה דיגיטלית רצויה.  ידידותי למשתמש - נתינת מנשק ידידותי למשתמש.

15. 15 T.Sharon-A.Frank Dynamic Harvest Model מסנן מסמכים רלוונטיים מאחזר ספקים ברשת משתמש 1 מידען בקשת קצירה העברת מעני אתרים מסמכים לבדיקה שמירת מידע-על שאילתא תשובות משתמש N מאגרי מידע מקומיים אינטרנט תמצת מאתר אספן סוכן אינטראנט מסמכים סוכן-משתמש מקטלג פרופיל ספריה אגרון ספרייה דיגיטלית קוצר

16. 16 T.Sharon-A.Frank Top-level Katsir Interface

17. 17 T.Sharon-A.Frank Lower-level Katsir Interface

18. 18 T.Sharon-A.Frank Low-level Katsir Interface

19. 19 T.Sharon-A.Frank Katsir URLs Katsir at Bar-Ilan University –http://bicsir.cs.biu.ac.il:8088/katsir/docs/pres/http://bicsir.cs.biu.ac.il:8088/katsir/docs/pres/ –http://bicsir.cs.biu.ac.il:8070/Harvest/brokers/talyhttp://bicsir.cs.biu.ac.il:8070/Harvest/brokers/taly Harvest –Obsolete - http://www.tardis.ed.ac.uk/harvest/http://www.tardis.ed.ac.uk/harvest/ –http://webharvest.sourceforge.net/ng/http://webharvest.sourceforge.net/ng/

20. 20 T.Sharon-A.Frank Harvester-Locator Harvester-Locator Semantic Environment for DL Initialization Gatherer-Filterer Gatherer-Filterer Dynamic validation of summaries and URLs Semantic filtering based on DL profiles Summarizer-Broker Summarizer-Broker Intelligent information extraction from Web resources a semi-automatic construction of metadata/topic-tree Use knowledge management to support rich integrated services Retriever Retriever Advanced visualization Enhancement user queries by thesaurus & ontologies Personalization: user profiles & sociological stereotypes Knowledge rich library services: consultation, user collaboration, annotation and workflow (with API) Expected Features of Next Generations DLs

21. Evolution of SEs & DLs Evolution of SEs & DLs Markets Terms 2 nd Generation SE and DL 3rd Generation SE and DL 1 st Generation SE and DL Indexing Broker including Indexing & Push Tech. Indexing Spiders, RobotsInitialization Farming Locating Initialization Locating FilteringGathering Filtering Gathering Filtering Gathering Filtering Annotation Summarizing Retrieval & Browsing Retrieval & KM Services