רישום למנועי חיפוש

מפת אתר היא קובץ XML המפרט את כתובות ה-URL של האתר יחד עם נתוני מטא נוספים לכל כתובת (מתי היא עודכנה לאחרונה, באיזו תדירות היא משתנה, ובאיזו מידה היא חשובה ביחס לכתובות אחרות באתר), ובעזרתה יכולים מנועי החיפוש יכולים לסרוק את האתר באופן אינטליגנטי יותר. עוד על חשיבותן של מפות האתר תוכלו ללמוד בקורס האונליין שלנו.

היתרונות העיקריים של מפת האתר מנקודת המבט של SEO הם:

בעזרת מפת האתר יכולים מנועי החיפוש לסרוק דפים שאינם ניתנים לגילוי בדרך אחרת;

תוכלו לספק למנועי החיפוש מידע על עדיפות של דף מסוים באמצעות תג אופציונלי במפת האתר. תג זה יכול לעזור להם לבצע את הזחילה באתר על בסיס סדר העדיפויות שהגדרתם;

ניתן להשתמש בשני תגים אופציונליים נוספים: "lastmod" מציין בפני מנועי החיפוש מתי השתנה הדף לאחרונה, ו-"changefreq" מציין את התדירות שבה עשוי הדף להשתנות.

ליצירת מפת אתר, תוכלו להשתמש ביוצר מפות האתר שלנו. לאחר יצירתה, תישלח מפת האתר למנועי החיפוש.

אם אתם יוצרים את מפת האתר XML באופן ידני, קראו לקובץ "sitemap.xml" והעלו אותו לספריית השורש של האתר. כל קובץ מפת אתר שאתם מספקים חייב לכלול לא יותר מ-50,000 כתובות URL והוא חייב להיות קטן מ-10 MB. אם ברצונכם לרשום יותר מ -50,000 כתובות URL, עליכם ליצור כמה קובצי מפת אתר ולאנדקס אותם בקובץ אינדקס של מפת אתר.

2. צרו קובץ robots.txt ומנעו ממנועי החיפוש לאנדקס דפים שאין בהם ערך ו/או שאינכם מעוניינים שיופיעו בתוצאות החיפוש.

אחת ממשימות ה-SEO הקריטיות ביותר היא לשלוט בעכבישים של מנועי החיפוש (כמו Googlebot) הסורקים ומאנדקסים את האתר שלכם. שליטה על עכבישים אלו חשובה ביותר למניעת שכפול תוכן וביכולתה להבטיח כי מנועי החיפוש יתמקדו בדפים החשובים ביותר באתר.

על אף שזה אולי נראה מעט טכני, השגת שליטה בעכביש היא קלה יותר ממה שרוב האנשים חושבים. זה פשוט עניין של שימוש נכון בכלי חיוני שנקרא קובץ robots.txt.

Robots.txt נותן לעכבישים (הנקראים גם רובוטים) את ההכוונה שלה הם זקוקים על מנת לאתר את הדפים החשובים ביותר שלכם ולדלג על אלו שאינכם רוצים שיאונדקסו. Robots.txt נקרא גם פרוטוקול אי-הכללה לרובוטים.

בכל הקשור ל-SEO, קובץ robots.txt הוא חובה! ראשית, עליכם להגדיר את אי הכללתם של תיקיות ללא ערך לחיפושים כגון cgi-bin, תיקיות המכילות סקריפטים ודפים הזמינים רק למשתמשים רשומים; זה גם רעיון טוב מבחינת SEO שלא לכלול דפים עם תוכן משוכפל. לדוגמה, ארכיון המאמרים שלכם (כדי למנוע ממנו לעקוף בדירוגים את הדפים המקוריים).

ראו דוגמה לקובץ robots.txt:

User-agent: Googlebot

Disallow:

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

קובץ robots.txt זה ימנע מכל העכבישים לסרוק את הספריות "cgi-bin" ו-"tmp" ‏(שם רוב מנהלי האתרים שומרים server-side scripts וקבצים זמניים). עם זאת, ל-Googlebot תהיה גישה אליהם.

כאשר קובץ ה-robots.txt מוכן, הקפידו למקמו בשורש היררכיית האתר שלכם.

ניתן ליצור קובץ robots.txt באמצעות Google Search Console (נקרא בעבר Google Webmaster Tools). על מנת לעשות זאת בחרו באתר הרצוי, ולאחר מכן תחת תצורת האתר, לחצו על גישת סורק , לחצו על צור קובץ robots.txt ובצעו את השלבים המפורטים שם. כדי לבדוק שקובץ robots.txt שלכם מתנהג כמצופה, השתמשו בכלי בודק robots.txt ב-Search Console.

טיפ: עליכם להימנע מעריכת שינויים רבים בקובץ robots.txt של האתר שלכם בבת אחת. מדוע? מפני שאם אתם עושים טעות, יהיה קל לראות בדיוק מה שיניתם כך שתוכלו להשיב את הקובץ למצבו הקודם בקלות. חשוב שתיזהרו מאוד בכל פעם שאתם מבצעים שינויים המגדירים אילו דפים באתר יופיעו בתוצאות החיפוש. צעדים קטנים הם תמיד רעיון טוב.

3. הגישו את מפת ה-XML למנועי החיפוש.

כלי עזר: רישום לספריות, מנועי חיפוש, הפצת תכנים וסימניות

מנועי חיפוש הם אחד האמצעים הפופולריים ביותר לגרום ללקוחות היעד שלכם למצוא אתכם. אם מנועי החיפוש לא אינדקסו את הדפים החשובים שלכם דרך הקישורים הנכנסים אליהם, יהיה זה חיוני לשלוח את מפת ה-XML שלכם ישירות למנועי החיפוש.

השתמשו בכלי הרישום שלנו על מנת לשלוח את מפת האתר XML שלכם למנועי החיפוש הגדולים.

טיפ: אם אתם רוצים שמפת האתר XML שלכם תתווסף לאינדקס במהירות רבה יותר, השתמשו בחשבון כלי מנהל האתרים של Bing והגישו אותו לבינג ידנית.

4. רשמו את האתר במנועי חיפוש המאפשרים רישום אוטומטי.

כלי עזר: רישום לספריות, מנועי חיפוש, הפצת תכנים וסימניות

אם אין לכם מפת אתר XML, אתם עדיין יכולים להגיש את הדפים שלכם למנועי החיפוש. עם זאת, זכרו כי מנועי החיפוש הגדולים רוצים למצוא את הדפים שלכם באופן טבעי. הם עושים זאת באמצעות נחיתה באתר שלכם ומעקב אחר קישורים מהרמה העליונה למטה אל דפים עמוקים יותר (מפת האתר היא בסך הכול מפה של האתר שלכם המיועדת לרובוטים של מנועי החיפוש). על כן, חשוב מאוד להקפיד שדפי האתר שלכם יהיו מקושרים בצורה נכונה כך שהאתר יאונדקס במלואו.

למרבה הצער, כמה מנועי חיפוש קטנים יותר, כולל מנועים מקומיים, אינם תומכים במפות אתר XML, כך שאם הדפים שלכם אינם מאונדקסים על ידם, אתם יכולים לשלוח להם דפים באופן ידני.

לפני שתבצעו הגשות למנועי חיפוש, ודאו שיש בידיכם את המידע הבא:

כתובת הדף;

תגית ה-Title של כל דף אינטרנט שאתם שולחים;

תגית ה-Description של הדף;

מילות המפתח שבהן השתמשתם לאופטימיזציה של דף זה;

כתובת דוא"ל חוקית (נדרשת לעתים קרובות בעת מילוי טופסי הגשה).

אנו ממליצים לבצע הגשות רק לאחר שהאתר שלכם קיבל כמה קישורים חיצוניים נכנסים. אם לא, מנועי החיפוש עשויים לאנדקס את האתר שלכם, אבל לא לייחס מספיק רלוונטיות לדירוג.

מספיק להגיש למנועי החיפוש את דף הבית בלבד; הבוטים של מנועי החיפוש יעקבו אחר הקישורים היוצאים מדף הבית ויאנדקסו שאר הדפים. אין סיבה להגיש אתר אם הוא כבר רשום; זה לא יעזור לכם לשפר את הדירוג שלכם ולכן זהו בזבוז זמן.

השתמשו בכלי ההגשות שלנו להגשה אוטומטית של האתר שלכם.

5. רשמו את האתר במנועי חיפוש המאפשרים רישום ידני בלבד.

כלי עזר: רישום לספריות, מנועי חיפוש, הפצת תכנים וסימניות

כדי להגיש את דפים האתר שלכם למנועי חיפוש המקבלים הגשות ידניות בלבד, עברו לדף ההגשה של כל מנוע חיפוש ובצעו את תהליך באופן ידני.
אתם יכולים להשתמש ב-Submission Tool במערכת.