1. מנועי חיפוש

2. זכרו: אף אחד לא יודע מה הגודל האמיתי של האינטרנט לא קיים כלי אחד שמכסה את כל האינטרנט. גודל הווב שאפשר בקלות להגיע אליו היום נאמד בכ 2.5 מיליארד מסמכים ומידי יום מתווספים מיליוני מסמכים. כל האינטרנט הינו פי 500 בגודלו!

3. מהם מנועי חיפוש?
מנועי חיפוש הם מאגרי מידע ענקיים של קבצי דפי ווב אשר נאספו באופן אוטומטי (לעומת אינדקסים ידניים בהם נאסף המידע באמצעים אנושיים).
ישנם מספר סוגים של מנועי חיפוש:
מנועי חיפוש כלליים, אשר יצרו מאגרי מידע עצמאיים
מנועי חיפוש על (או: מנועי חיפוש מרובים) (metasearchers). מנועים אלו מבצעים חיפוש במקביל במאגרי מידע שנוצרים ע"י מנועים כלליים.
מנועי חיפוש ספציפיים, בניגוד למנועי חיפוש כלליים, שנועדו לאיתור מידע בכל סוג, המנוע הספציפי מתמחה במידע בתחום מסוים: ספרים, עסקים וכדומה.

4. כיצד עובדים המנועים?
מנועי החיפוש יוצרים את מאגרי המידע ע"י שימוש ב'עכבישים' ו'רובוטים' (spiders or robots) "הזוחלים" במרחב הרשת מקישור לקישור, מזהים אתרים ורושמים את האתרים שאליהם הגיעו. כשעכביש מגיע לאתר, הוא סורק את הטקסט וממפתח את כל המילים בדף הווב ומוסיף אותם למפתח של מאגר המידע.
אין חובה לחכות לעכביש שיגיע לאתר שלך: ניתן לרשום את האתר למנוע החיפוש, רישום הכרוך לעיתים בתשלום.
בעת החיפוש, המנוע סורק את מפתח האתרים שלו, ומחפש התאמות למילות החיפוש שביקשתם, בתוך טקסטים של מסמכים במאגר של המנוע. חשוב לזכור - חיפוש במנוע אינו מהווה חיפוש בכל הרשת, אלא חיפוש של האתרים הרשומים במנוע בלבד. ככל שהרשת גדלה כך יעילות מנועי החיפוש קטנה.
מתי רשם העכביש את האתרים? קשה לקבוע. העכבישים חוזרים מדי פעם למצוא שינויים באתרים שכבר מפתחו. כשנמצאים שינויים, מאגר המידע מתעדכן במילות המפתח החדשות. אך התהליך יכול לקחת זמן מה. (אם אתם מחפשים מידע על חדשות שמתרחשות – לכו ישירות לאתרי חדשות!)

5. מהם היתרונות והחסרונות של מנועי חיפוש?
מנועי חיפוש מאפשרים גישה מהירה למיליוני דפים ברשת (אך לא לכל הרשת – מנוע כזה עוד לא נברא!). היתרון הוא ששיטת המפתוח מאפשרת איתור מידע לא שכיח. אך יש למנועי החיפוש חסרונות. מיליוני מילות המפתח בקטלוג מעלים את "הרעש" בחיפוש על ידי הצגת תוצאות לא רלוונטיות או לא מתאימות להקשר החיפוש. יש לזכור כי מנוע החיפוש יציג כתוצאה גם דף שבו מילת המפתח מוזכרת פעם אחת בלבד בהקשר או משמעות שונים לחלוטין ממה שהתכוונתם אליו בחיפוש.

6. האם כל מנועי החיפוש דומים?
למרות שחלק מתכונותיהם דומות, מנועי החיפוש משתמשים בתוכנות שונות לביצוע העבודה. השונות יכולה להתבטא ב:
נפח – גודל המפתח
מהירות החיפוש
חוקי החיפוש והתכנים – שימוש באופרטורים, קיבוץ התשובותclustering) - כאשר המנוע מציג רק את הדף העליון של האתר), שימוש באותיות גדולות/קטנות על מנת להבחין בין מילים לשמות עצם פרטיים (לדוגמא, Turkey – turkey ע"מ להבחין בין שם הארץ לשם העוף)
מנועים שונים משתמשים בשיטות שונות לדרוג תוצאות החיפוש
מנועים שונים מציעים אפשרויות חיפוש שונות. כתוצאה מכך, תוצאות החיפוש יהיו שונות בכל מנוע עבור מילות מפתח זהות.
ההערכה היא שהחפיפה בין מנועי החיפוש עומדת על כ-60% מה שמשאיר כ-40% תוכן (תוצאות חיפוש) בלעדי לכל מנוע.

9. כיצד מדרגים מנועי החיפוש את התוצאות?
הכללים לדרוג תוצאות החיפוש שונים ממנוע למנוע. מטרת הדירוג היא להציג את התוצאות הרלוונטיות של החיפוש בתחילת הרשימה.
הדירוג מבוצע או על ידי מיקום מילת המפתח במסמך - ההנחה היא שאם המילה מופיעה בכותרת או בתחילת הדף היא כנראה מעידה על תוכנו או על פי תדירות הופעת המילה בדף.
חלק מהמנועים מבצעים חיפוש בשורות הקוד הנקראות META tags. ישנם המנסים להערים על מנגנוני החיפוש ע"י הצפה של שורות אלו בעשרות מילות מפתח על מנת להתקדם בדירוג. אך מנועי החיפוש "מענישים" את המנסים להערים עליהם בדירוג נמוך במיוחד ואף סילוק מהמאגר.
חלק מהמנועים מבצעים הערכת פופולאריות של דפים לפי כמות ההפניות לדף באתרים אחרים או על פי כמה מבקרים היו באתר. בהנחה שככל שהדף יותר פופולארי, אזי הוא מרכזי בתחום התוכן שלו. יש מנועים המציעים למחפש להגדיר מראש את שיטת הדירוג ולתת משקל שונה לכל ביטוי בחיפוש.
חשוב להדגיש, כי הדירוג הוא גם תוצאה של שיקולים כלכלים. יתכן ותוצאה שממוקמת גבוהה ברשימה אינה דווקא הרלוונטית ביותר, אלא שמנוע החיפוש קבל אתנן עבור מיקומו זה. לכן חשוב לדפדף בתוצאות הרשימה ולא להסתפק בתוצאות הראשונות.

11. קריטריונים לבחינת יעילות העבודה של מנועי חיפוש:

12. http://www. lib. berkeley

13. מנוע חיפוש מרובה / מנועי על "Meta-Search" Engines
מנוע חיפוש מרובה מחפש את מילת החיפוש במנוע שלו ובמנועי חיפוש נוספים.
קיימות שתי דרכים בהם עובד מנוע מרובה:
א. המנוע מציג רשימה של מנועי חיפוש שאפשר לבחור מתוכם מנוע אחד או יותר לחיפוש.
ב. המנוע מפעיל אוטומטית מספר מנועי חיפוש ומנפה את התוצאות הכפולות

14. מנועי על ישראליים
co.il

15. מנועי על זרים www.mamma.com www.ixquick.com www.vivisimo.com

16. מידע נוסף על מנועי-על:

17. מנועים ספציפיים
מנועי חיפוש ספציפיים, בניגוד למנועי חיפוש כלליים, שנועדו לאיתור מידע בכל סוג, מתמחים במידע בתחום מסוים: ספרים, עסקים וכדומה.
יתרונם של מנועים אלו הוא הנושא הספציפי שהם מתמחים בו המאפשר להגיע באמצעותם לפירוט רב בנושא המבוקש.
כאשר ידועים לכם אתרים המכילים מנועי חיפוש ספציפיים טובים כדאי לחפש בהם תחילה.

18. דוגמאות למנועי חיפוש ספציפיים בנושאים שונים
ספרים
אנשים

19. דוגמאות למנועי חיפוש ספציפיים בנושאים שונים
יהדות
מסעדות
עסקים
wwww.yp.com