אופטימיזציה של  Robots.txt עבור SEO

אופטימיזציה של Robots.txt עבור SEO

https://www.wpbeginner.com/wp-tutorials/how-to-optimize-your-wordpress-robots-txt-for-seo/

רובוט טקסט (Robots.txt) זהו קובץ  שאומר למנועי החיפוש כיצד לסרוק את האתר שלכם.

במאמר זה אראה לכם כיצד ליצור קובץ Robots.txt מושלם לקידום אתרים.

מהו קובץ רובוט טקסט (robots.txt)?

Robots.txt הוא קובץ טקסט שבעלי אתרים יכולים ליצור כדי לומר לבוטים של מנועי חיפוש כיצד והאם לסרוק דפים באתר שלכם.
הקובץ מאוחסן בדרך כלל בספריית השורש, הידועה גם בתור התיקיה הראשית, של האתר שלכם.
הפורמט הבסיסי של קובץ robots.txt נראה כך:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
  User-agent: [user-agent name]
Allow: [URL string to be crawled]
 Sitemap: [URL of your XML Sitemap]

כך יכול להיראות קובץ robots.txt לדוגמה:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

בדוגמה של רובוט טקסט לעיל,
בשורה ראשונה – אפשרנו למנועי חיפוש לסרוק קבצים באינדקס בתיקיית uploads של וורדפרס שלנו.
בשורות שניה ושלישית –  הודענו לבוטים לחיפוש לא לסרוק ולא להוסיף לאינדקס תוספים ותיקיות ניהול וורדפרס.
לבסוף – סיפקנו את כתובת האתר של מפת ה-XML שלנו.

האם כולם צריכים קובץ רובוט טקסט ( Robots.txt ) לאתר וורדפרס?

גם אם אין לכם קובץ רובוט טקסט, מנועי החיפוש יסרקו ויוסיפו לאינדקס את האתר שלכם. עם זאת, לא תוכלו לומר למנועי החיפוש אילו דפים או תיקיות הם לא צריכים לסרוק.
עם זאת, ככל שהאתר שלכם גדל ויש לכם תוכן רב, סביר להניח שתרצו לקבל שליטה טובה יותר על אופן הסריקה והאינדקס של האתר.
הנה הסיבה.
לבוטים לחיפוש יש מכסת סריקה לכל אתר. 
המשמעות היא שהם סורקים מספר מסוים של דפים במהלך סשן סריקה. אם הם לא יסיימו לסרוק את כל הדפים באתר שלכם, הם יחזרו ויחדשו את הסריקה בהפעלה הבאה. 
זה יכול להאט את קצב ההוספה לאינדקס של האתר שלכם.
אתם יכולים לתקן זאת על ידי מניעת ניסיון לבוטים של חיפוש לסרוק דפים מיותרים כמו דפי הניהול שלכם ב-WordPress, קבצי פלאגין ותיקיית ערכות נושא.
על ידי אי אישור של דפים מיותרים, אתם חוסכים את מכסת הסריקה שלכם.
זה עוזר למנועי החיפוש לסרוק עוד יותר דפים באתר שלכם ולהוסיף אותם לאינדקס במהירות האפשרית.
סיבה טובה נוספת להשתמש בקובץ רובוט טקסט היא שכאשר אתם רוצים למנוע ממנועי חיפוש להוסיף לאינדקס פוסט או דף באתר שלכם – תגדירו אותם כדפים לא לסריקה. 
זו לא הדרך הבטוחה להסתיר תכנים מהציבור הרחב, אבל היא תעזור לכם למנוע את הופעתם בתוצאות החיפוש.

איך נראה קובץ Robots.txt אידאלי?

בלוגים פופולריים רבים משתמשים בקובץ robots.txt פשוט מאוד. התוכן שלהם עשוי להשתנות, בהתאם לצרכים של האתר הספציפי:

User-agent: *
Disallow:
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

קובץ robots.txt זה מאפשר לכל הבוטים להוסיף לאינדקס את כל התוכן ומספק להם קישור למפות ה-XML של האתר.
עבור אתרי וורדפרס, מומלץ על הכללים הבאים בקובץ robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

זה אומר לבוטים להוסיף לאינדקס את כל התמונות והקבצים של וורדפרס. ולא מאפשר לבוטים להוסיף לאינדקס את אזור הניהול של וורדפרס, קובץ ה-readme. 
על ידי הוספת מפות אתר לקובץ robots.txt, אתם נותנים הוראה לבוטים של גוגל למצוא את כל הדפים באתר שלכם.
עכשיו כשאתם יודעים איך נראה קובץ robots.txt אידיאלי, בואו נסתכל על איך אתם יכולים ליצור קובץ robots.txt בוורדפרס.

איך ליצור קובץ Robots.txt בוורדפרס

איך ליצור קובץ Robots.txt בוורדפרס

הקובץ robots.txt מכיל הנחיות למנועי חיפוש לגבי האופן בו עליהם לסרוק את האתר שלכם.
הקובץ מנחה את הבוטים ומציין למנועי חיפוש מסויימים (או לכולם) אילו כתובות, קבצים, או חלקים מסויימים באתר שלכם לסרוק ואלו לא.

אבל בואו קודם נבין מהו קובץ רובוט טקסט מושלם. כנסו למאמר בלינק

ישנן שתי דרכים ליצור קובץ robots.txt בוורדפרס. אציג את שתיהן ואתם תבחרו את השיטה המתאימה לכם ביותר.

שיטה 1: עריכת קובץ robots.txt באמצעות All in One SEO

All in One SEO הידוע גם בשם AIOSEO הוא התוסף הטוב ביותר לקידום אתרים בוורדפרס בשוק המשמש למעלה מ-2 מיליון אתרים.
התוסף קל לשימוש ומגיע עם עורך קבצי robots.txt.

AIOSEO מאפשר לכם להגדיר עבור האתר שלכם קובץ robots.txt, שיעקוף את קובץ ברירת המחדל ש WordPress יוצר.
התוסף  AIOSEO נותן לכם  שליטה רבה יותר על ההוראות שאתם נותנים לסורקי אינטרנט לגבי האתר שלכם.

הערה: גרסה חינמית של AIOSEO זמינה להורדה ומספקת תכונה זו.
אם התוסף טרם מותקן, התקינו אותו בלוח בקרה של וורדפרס, לפי הסרטון המצורף

לאחר שהתוסף מותקן ומופעל, אתם יכולים להשתמש בו כדי ליצור ולערוך את הקובץ שלכם, ישירות מלוח בקרה של וורדפרס.
עברו אל All in One SEO » כלים כדי לערוך את הקובץ.

robots.txt

עוברים ללשונית robots.txt editor

robots.txt

בלחיצה על הכפתור "open robots.txt" אפשר לראות איך נראה הקובץ .
כך נראה קובץ שלי

robots.txt

אסביר את המושגים שבקובץ:

  • User-agent – מציין לאילו מנועי חיפוש ההנחיה המופיעה רלוונטית.
  • כוכבית (*) – מציין כי ההנחיה רלוונטית עבור כל מנועי החיפוש ללא יוצא מן הכלל.
  • Disallow – הנחיה זו המציינת איזה תוכן לא יהיה נגיש עבור ה user-agent שציינתם.
  • /wp-admin/ – זהו הנתיב (path) שלא יהיה נגיש לאותו user-agent שציינתם.
  • Allow – הנחיה זו המציינת איזה תוכן יהיה נגיש עבור ה user-agent שציינתם.
  • /wp-admin/ – זהו הנתיב (path) שיהיה נגיש לאותו user-agent שציינתם.

למשל, יכולנו לחסום לרובוט גישה לספריה מסויימת:
Disallow: / sample-directory / לא יאפשר לרובוט לבקר בספרייה הרשומה.

או עמוד מסויים:
Disallow: /private_file.html – יחסום דף ספציפי

או תמונות מסויימות:
Disallow: /images/example.jpg – יחסום תמונות ספציפיות

או גישה לכל סוגי קובץ מסויימים:
Disallow: /*.gif$ – יחסום את הגישה של סוג הקובץ .gif, באופן דומה ניתן להוסיף כאן סוגי סיומות אחרים.

אם רוצים לערוך קובץ ברירת מחדל, יש לסמן  Enable Custom Robots.txt

robots.txt

ולהוסף תנאים
*למרות שקובץ robots.txt נועד להנחות מנועי חיפוש לאילו עמודים אין עליהם לגשת, הוא משמש גם בכדי לציין לאלו היכן יושב קובץ ה XML Sitemap של האתר.

robots.txt

שיטה 2: לערוך קובץ באופן ידני באמצעות FTP

כל שעליכם לעשות הוא להתחבר לשרת שלכם ב-WordPress באמצעות FTP.
לאחר שתתחברו, תוכלו לראות את קובץ robots.txt בתיקיית השורש של האתר שלכם. (תחת public.html)
אם הקובץ לא נמצא, כפי שרואים בתמונה, ניצור אותו ידני.

יצירת קובץ ידני
יצירת קובץ ידני
יצירת קובץ ידני
יצירת קובץ ידני
יצירת קובץ ידני
יצירה והתקנה של פיקסל פייסבוק

יצירה והתקנה של פיקסל פייסבוק

מה זה פיקסל בפייסבוק ואיך יוצרים אותו?

במאמר זה אדון באופן היצירה וההתקנה של פיקסל פייסבוק באתר שלכם.

אז מה זה בכלל פיקסל פייסבוק?

אם אתם משתמשים בפרסום ממומן בפייסבוק – או שאתם מתכוונים להשתמש בו בעתיד – כדאי לכם להכיר את פיקסל פייסבוק.

הפיקסל הוא מקטע קוד קצר אותו אנו נדרשים להטמיע באתר או בדף הנחיתה שלנו. מה שהפיקסל עושה – הוא אוסף נתונים  מפרסומים ממומנים שלכם בפייסבוק,   ויוצר חיבור בינם לבין מה שקורה מחוץ לפייסבוק, כלומר באתר שלכם או בדף נחיתה חיצוני.

הפיקסל של פייסבוק הוא כלי ניתוח שמאפשר לכם למדוד את האפקטיביות של הפרסום הממומן בפייסבוק, על ידי הבנת הפעולות שאנשים מבצעים באתר שלכם.

האם תהיתם אי פעם על מה אנשים מסתכלים כשהם מבקרים באתר שלכם אחרי שראו את המודעות שלכם בפייסבוק? הפיקסל של פייסבוק הוא כלי ניתוח שמאפשר לכם להשיב לשאלות אלה.

המידע שמועבר נוגע בשלושה דברים עיקריים:
מי ביקר באתר שלי, מה גרם לו להגיע לשם (בחלק מהמקרים) וברגע שהגיע – מה הוא עשה.

הפיקסל של פייסבוק מאפשר לכם לראות כיצד אנשים מתנהגים  באתר שלכם לאחר צפייה במודעת שפרסמתם בפייסבוק.

הפיקסל יודע בעצם לחבר בין המבקרים באתר לבין פרופילי משתמשים בפייסבוק, ובהתאם להגדרות מסויימות שנבצע במערכת הפרסום ליצור לנו קהל מאותם פרופילים.

מכיוון שפייסבוק אוספת נתונים על מי שקונה באתר שלכם וכמה כסף הוא הוציא, זה יכול לסייע להגיע לקהל בעל פוטנציאל רכישה. פירוש הדבר הוא שפייסבוק יציג את המודעות שלכם בפני האנשים שסביר שיבצעו רכישה.

אתם יכולים אפילו לעקוב אחר התנהגות לקוחות בשימוש במכשירים שלהם. זה מאפשר לכם לראות אם אנשים נוטים לראות את המודעות שלכם בנייד אבל עוברים לשולחן העבודה לפני שהם מבצעים רכישה. או, אולי זה הפוך. מידע זה יכול לעזור לכם לשכלל את אסטרטגיית המודעות.

נתוני פיקסל מאפשרים לכם להציג מודעות ממוקדות לאנשים שכבר ביקרו באתר שלכם. הוא מאפשר לכם להיות ממש ממוקדים.

לדוגמא, תוכלו להציג לאנשים מודעה עבור המוצר המדויק אותו נטשו בסל קניות או הוסיפו לרשימת המשאלות באתר שלכם.

לקבלת מידע נוסף על הפיקסל לפני תחילת העבודה, ניתן לקבל  כאן – יתרונות של התקנת פיקסל פייסבוק.

מה צריך לפני שמתחילים?

*אתם זקוקים לאתר לעסק שלכם או לדף נחיתה

*דרושה יכולת להוסיף את קוד הפיקסל לאתר/דף נחיתה שלכם

אז איך יוצרים פיקסלים?

1. עבור אל מנהל האירועים בפייסבוק

פיקסל פייסבוק

2. בחרו מנהל האירועים – > מקורות נתונים ->חבר מקורות נתונים

פיקסל פייסבוק

3. בחירת מקור מידע חדש – באילו מקורות משתמשים הלקוחות שלכם, מהם לאסוף מידע

פיקסל פייסבוק

4. הגדרת אירועי אינטרנט

פיקסל פייסבוק

5. חיבור פעילות האתר באמצעות פיקסל פייסבוק

פיקסל פייסבוק
פיקסל פייסבוק
פיקסל פייסבוק

6. הוספת קוד למקטע כותרת באתר

פיקסל פייסבוק

הגדר אירועים

אחרי שהוספתם את קוד הפיקסל לאתר שלכם, תוכלו להגדיר אירועים כדי למדוד את הפעולות החשובות לכם, למשל ביצוע רכישה. תוכלו לעשות זאת על ידי התקנה ידנית של הקוד או באמצעות כלי הגדרת האירועים בהצבעה ולחיצה. לאחר מכן, ודאו שהפיקסל פועל באופן תקין.

הערה: ניתן להשתמש בפיקסל אחד עבור אתר האינטרנט כולו, כולל מספר דפים מהאתר. עם זאת יתכן שיהיה צורך להשתמש בשני פיקסלים באתר אחד. לדוגמה, אם שתי סוכנויות שונות מציגות מודעות עבור העסק שלך, ייתכן כי כל אחת מהן תצטרך להקים פיקסל נפרד באתר שלך. קבל מידע נוסף על אפליקציות הגדרת מספר פיקסלים באתר פייסבוק למפתחים.

אתר אינטרנט או דף עסקי בפייסבוק

אתר אינטרנט או דף עסקי בפייסבוק

אתר אינטרנט? דף עיסקי בפייסבוק? בעד ונגד

כיום, רוב בעלי העסקים הקטנים והבינוניים אשר מעוניינים לשווק, לפרסם ולקדם את עצמם באינטרנט פועלים ב – 2 ערוצים עיקריים:

גוגל – הקמת אתר וקידום עצמאי או מקצועי בגוגל על מגוון רחב של ביטויים.
פייסבוק – הקמת דף פייסבוק עסקי וקידום עצמאי או מקצועי שלו על ידי משיכת אוהדים לעמוד.
אבל מה מתאים לכם? מה יותר טוב?

קבלת החלטה לגבי איפה להשקיע את זמנך , בדף עסקי בפייסבוק או באתר, חשובה מאד בהקצאת זמן לשווק העסק.
כמו לכל דבר בחיים, גם לפייסבוק ולאתר יש יתרונות וחסרונות.
אציג כמה מהם. אבל אגיד קודם – 

שיווק בלעדי בפייסבוק, או כל ערוץ יחיד, זה לא רעיון טוב

יתרונות:
  • זול יותר ופשוט יותר  – ניתן להקים דף פייסבוק עסקי בחינם ובצורה יחסית מהירה.
  • תנועה – פייסבוק מציעה הרבה תנועה פוטנציאלית
  • ידידותי לסביבה
  • מעורבות– פייסבוק מעודדת את הגולשים להיות מעורבים בה, כך שתוכלו לתקשר עם הלקוחות שלכם באמצעי הזמין ביותר מבחינתם.
חסרונות:
  • עיצוב מוגבל– למרות שפייסבוק מאפשרת התאמה אישית של כותרת הדף, מקטעים והתוכן של הפוסטים, בעל העסק מוגבל במיתוג והתאמה אישית שניתן לעשות בדף העסקי.
    כל עמודי הפייסבוק העסקיים נראים פחות או יותר אותו דבר.
    בסופו של דבר, מדובר בתבנית סטנדרטית מאוד שמיליוני עסקים ברחבי העולם משתמשים בה. והעסק מאבד את הייחודיות שלו.
  •  חשיפה מוגבלת – למרות ש– 1.4 מיליארד משתמשים פעילים בחודש,  זה לא אומר שכולם  רואים את הדף והעדכונים שלכם. רק חלק קטן של החברים יראו את הפוסטים שאתם מפרסמים,  ואתם עדיין צריכים לעבוד קשה, כדי להשיג קהל אוהדים, בדיוק כפי שהייתם עושים עם האתר או בלוג.
  • תלות וחוסר שליטה – כאשר אתם משלמים לחברה אחרת, לפרילנסר, או עובד, כדי לבנות ולתחזק אתר, יש לכם שליטה מלאה על החזות שלו, התוכן, והתכונות.
    כמו כן, כאשר אתם נתקלים בבעיות טכניות, אתם יכולים לפנות למומחה, כדי שיעזור לפתור את הבעיות.
    כאשר אתם תלויים רק בפייסבוק, יש לכם שליטה מוגבלת מאוד.
    אין לכם תקשורת ישירה עם צוות הפייסבוק, כאשר מתעוררת בעיה כלשהי.
    פייסבוק עדיין עשוי להיות הכלי הטוב ביותר עבור המאמצים שלכם באינטרנט, אבל אתם משלמים ביוקר בתמורת לפלטפורמה קלה ופופולרית.
    אם אתם מרגישים בנוח עם התלות וחוסר השליטה, פייסבוק יכול בהחלט להתאים, במיוחד אם אתם חברה חדשה.
    עם זאת, אם אתם רוצים להבליט ולהבדיל מיתוג שלכם, התוכן וסדר העדיפויות, לשמור על האתר פועל ומשגשג, ניתן להשתמש בפייסבוק כחלק מהאסטרטגיה באינטרנט, אבל לא הכלי היחידי.
  • פלטפורמה בלעדית– בסופו של דבר, הפלטפורמה לא שייכת לכם ולכן תמיד תהיה לפייסבוק האפשרות לסגור או לבטל את העמוד שלכם לחלוטין.
    לא חסרים מקרים מפורסמים מן העבר כמו העמוד של סטטוסים מצייצים או עמודים של אנשים פרטיים אשר נסגרו עם או בלי סיבה ברורה.
  • מתחרים– המתחרים שלכם נמצאים במרחק של קליק אחד בתוך העמוד העסקי שלכם.
    כמו כן, העמוד העסקי מכיל פרסומות למתחרים כך שישנה אפשרות שהלקוחות שלכם יחשפו להצעות הנגדיות.

יתרונות :
  • קלות– כיום, כל אחד יכול לפתח בקלות אתר אינטרנט בצורה עצמאית על גבי פלטפורמות שונות.
  • אמינות– כיום, רוב הלקוחות מצפים מהעסק שיהיה לו אתר אינטרנט, בו יציג מידע על העסק, על השירותים, שעות פתיחה, ממליצים, תיק עבודות ואמצעי הקשר.
    כל זה משדר אמינות של העסק בעיניי לקוחות.
  • שליטה מלאה– אתר אינטרנט פרטי מאפשר לכם לקבל שליטה מלאה על מהלכי השיווק שלכם, יש לכם שליטה מלאה (במסגרת החוק) בתוך עמודי האתר.
    אתם תמיד יכולים להוסיף דפים ותוכן
  • שיווק– אתר אינטרנט פרטי מאפשר לכם ליצור סביבה שיווקית טובה הרבה יותר מכל פלטפורמה או דף עסקי בפייסבוק, גוגל פלוס, טוויטר וכדומה.
  • מגיע לכל פלחי שוק – לא לכול הלקוחות שלכם יש דף פייסבוק , לרב האנשים המבוגרים אין. העסק שלכם לא מגיע אליהם.
  • חשיפה – רב האנשים שמחפשים עסק באינטרנט, מחפשים בגוגל ולא בפייסבוק
  • הניווט – הניווט בדף העסק לא נח, במיוחד עם הטיים ליין החדש , הרבה יותר נח ניווט מסודר באתר
  • זמינות 24/7– אתר אינטרנט זמין לגולשים אקראיים, לקוחות ולקוחות פוטנציאליים כל הזמן, בכל שעה ובכל מקום. בסופו של דבר, אתר האינטרנט שלכם הוא כרטיס הביקור הטוב ביותר.
     חסרונות :
  • תחזוקה– כתלות בגודל האתר, אתר אינטרנט דורש תחזוקה כלשהי (כתיבת תכנים, פרסום וכדומה).
  • מורכבות– ככל שהאתר מורכב יותר כך מטלות הניהול, העיצוב והתחזוקה יהיו מורכבות יותר.
  • שיווק– אתר אינטרנט פרטי דורש השקעה נוספת בשיווק האתר לקהל יעד בגוגל, פייסבוק וכדומה.
    בדרך כלל, מדובר בתקציב אשר נגזר מתוך תקציב הפרסום של העסק או מתוך זמן העבודה של בעל העסק.

לסיכום –  בדרך כלל, נרצה לשלב את שתי שיטות השיווק ביחד על מנת למקסם את התוצאות, כמות הפניות והטלפונים שמקורם בערוצי השיווק באינטרנט.

WhatsApp me
התקשרו עכשיו