yuvalמידע בעולם וירטואלי במידה בלתי מבוטלת הוא אחד מהנכסים הכי חשובים שמניעים חברות וארגונים בתהליכים דיגיטלי. יש כל כך הרבה זמן אחים לאסוף מידע, על אדם או על ארגון מסוים שלא תמיד אנחנו מודעים לכולם, או מבינים את המשמעויות שלהם בצורה העמוקה ביותר. אחת הדרכים הקלות ביותר בהן ניתן למנוע איסוף מידע דיגיטלי, היא על ידי שימוש בקובץ robots.txt. זהו קובץ אותו בעלי אתרים ברחבי האינטרנט יכולים להחדיר אל תוך הקוד הכתוב של האתר בכדי למנוע ממנועי החיפוש הגדולים ובראשם גוגל להגיע למידע חסוי בנוגע לאתר. במבט ראשון יתכן מאוד שזה הוא הדבר הנכון שאתם רוצים לעשות לטובת הלקוחות שלכם, הרי הפרטיות שלהם מאוד חשובה לכם. אבל ברמה המקצועית יכול להיות שתרצו לבחון את השימוש בקובץ robots.txt גם לאור ההשפעה שלו על תהליך קידום אתרים אורגני.
ההשפעה של קובץ robots.txt – על קידום אתרים
כידוע לכל מנהל אתר או בעל עסק עם ממשק לעבודה באינטרנט, אחד הכלים החשובים ביותר להצלחה בעולם הווירטואלי הוא תהליך קידום בגוגל שמתבסס על מילות מפתח ושימוש בתנועת לקוחות אורגנית לאתר. כחלק מהתהליך קידום אתרים אורגני מחייב צריכה קבועה של גוגל כדי שהאלגוריתם יוכל לקרוא את האתר שלכם ולהבין עד כמה הוא טוען לדרישות הלקוחות. מסיבה זו ההשקעה בהטמעת קובץ robots.txt לאתר שלכם היא בעייתית בלשון המעטה. אתם רוצים לאפשר לגוגל לקרוא את האתר שלכם, או לכל הפחות חלקים נרחבים מאוד ממנו. ולכן אין שום סיבה ריאלית להטמיע באתר קובץ שמונע מהאלגוריתם לסרוק את האתר כולו. מה שאתם כן יכולים לעשות, הוא למקם קובץ robots.txt בנקודות מפתח של האתר שלכם בהן אתם לא רוצים לאפשר גישה לגורמים חיצוניים ללא שליטה שלכם.
בחירה שתעצים את האמינות מול הלקוח
הטמעה של קובץ robots.txt מאפשרת לכם כמובן להגיע להישגים המצויים בתהליך קידום בגוגל. אבל אתם ממש לא רוצים לחשוף פרטים אישיים של הלקוחות במיקומים דוגמת:
בכניסה לאזורים אישיים
אזורים המכילים מידע אישי, כמו למשל מידע אישי הקדמי או מידע אישי רפואי ובנקאי הם לא עמודי רשת שיכולים לעזור לקידום האתר שלכם. לחילופין מדובר על עמודי רשת שבהם אין שום מידע רלוונטי לגולשים חיצוניים. מה גם שאתם לא רוצים לפגוע באמינות מול הלקוחות שלכם.
בעמודים הדורשים סיסמאות
גם אם התוכן שבשבילו אתם רוצים לבצע סריקה הוא לא תוכן רגיש, אבל יש בו סיסמאות של אנשים, גוגל יכולה לנכס לעצמה את אותן הסיסמאות גם בלי שאתם מודעים לכך ואין לכם שליטה על מה שמתרחש באתר. וזה ממש לא מצב רצוי.
בעמודים של מנהלי האתר
במידה מסוימת אתם רוצים לשמור גם על הפרטיות של האתר שלכם ושל אחרים כמנהלים נקודה לכן אזורים בבנייה של האתר הם אזורים שלא יכללו קובץ robots.txt.
קובץ robots.txt – למיקום הנכון ביותר באתר
ההטמעה של קובץ robots.txt, היא הטמעה שמחייבת תהליך חשיבה ובנייה מוסדר של האתר. אם ברור לכם מה הן נקודות התורפה של האתר שלכם, אתם רוצים להביא את כולם לידי ביטוי בעזרת ניהול משאבים נכון. זאת כמובן מבלי לפגוע באיכויות תהליך קידום אתרים אורגני. ולכן חשוב להתקשר עם אנשי מקצוע מומחים בבניית אתרים ובתהליך קידום בגוגל שיכולים למצוא לכם את נקודת האיזון בין פרסום ושיווק לבין אבטחה ופרטיות באתר.
