למה זה בכלל נוגע לעסק שלך
אם האתר שלך בנוי מקוד מותאם, יש לך קובץ robots.txt - גם אם אף פעם לא נגעת בו. הקובץ הזה כבר מכיל (או לא מכיל) הנחיות לכל בוט AI שמנסה לגשת לאתר, וההחלטה אם להשאיר אותו ריק, לחסום הכל, או לחסום בצורה סלקטיבית, משפיעה ישירות על שני דברים מנוגדים: האם תוכן שלך נכנס לאימון מודל AI בלי רשותך, והאם אתה בכלל מופיע כשמישהו שואל את ChatGPT, Perplexity או ג'מיני שאלה שהעסק שלך יכול לענות עליה. 44.2% מהציטוטים של ChatGPT מגיעים מה-30% הראשונים של מסמך, כך שגם כשבוט כן סורק אתכם, המבנה קובע אם הוא בכלל מגיע לתשובה (מקור: searchengineland.com). חסימה גורפת של הבוט הלא נכון מוציאה אתכם מהמשחק הזה כליל, לפני שהתוכן בכלל נבדק.
שלושה סוגי בוטים, לא אחד - גם בתוך אותה חברה
התיעוד הרשמי של OpenAI מבהיר נקודה שרוב בעלי האתרים מפספסים: לחברה אחת יש כמה בוטים עם תפקידים נפרדים, וכל אחד נשלט בנפרד ב-robots.txt.
- GPTBot - בוט האימון של OpenAI. חוסם תוכן מהצטרפות למאגר האימון של מודלים עתידיים, אבל לא מוציא אתכם מהחיפוש או מהתשובות החיות של ChatGPT.
- OAI-SearchBot - הבוט שקובע נראות בחיפוש של ChatGPT. זה הבוט שחוסמים אם לא רוצים להיות מצוטטים בתשובות - וזה הבוט שמשאירים פתוח אם זאת המטרה.
- ChatGPT-User - נכנס לאתר רק כשמשתמש ספציפי מבקש מ-ChatGPT לפתוח קישור. לפי התיעוד של OpenAI, מדובר בפעולה שמשתמש הפעיל ישירות, ולכן חוקי robots.txt לא בהכרח חלים עליה (מקור: developers.openai.com).
אנתרופיק בנויה בצורה דומה: ClaudeBot לאימון מודלים עתידיים, Claude-SearchBot לאינדקס חיפוש, ו-Claude-User לאחזור חיה לפי בקשת משתמש בקלוד. לפי התיעוד הרשמי של אנתרופיק, חסימת ClaudeBot בלבד מסמנת שהתוכן העתידי שלכם מוחרג מאימון - אבל לא נוגעת ליתר שני הבוטים, שדורשים שורת חסימה נפרדת לכל אחד (מקור: support.claude.com).
מה קורה כשחוסמים - ומה קורה כש"חוסמים" לא עובד
כאן מגיע הסיבוך האמיתי: חסימה ב-robots.txt היא בקשה מוסכמת, לא נעילה. הבוט צריך לבחור לכבד אותה. באוגוסט 2025 פרסמה Cloudflare דוח שמצא ש-Perplexity המשיכה לגרד תוכן מאתרים שחסמו אותה במפורש ב-robots.txt וגם ברמת השרת - תוך שימוש בכתובות IP שלא פורסמו כשייכות לה ובזיהוי דפדפן גנרי שמתחזה לכרום, כדי להתחמק מהחסימה. בבדיקה המקבילה שהריצה Cloudflare, הבוט של ChatGPT הפסיק לגרד ברגע שנתקל בהנחיית robots.txt - התנהגות הפוכה לחלוטין. בעקבות הממצאים הסירה Cloudflare את Perplexity מרשימת הבוטים המאומתים שלה (Verified Bots) (מקור: blog.cloudflare.com). המשמעות המעשית: robots.txt מתאים לבוטים שמתכוונים לכבד אותו, אבל אינו תחליף לחסימה ברמת השרת או ה-CDN כשיש חשד להתעלמות שיטתית.
כמה אתרים בכלל חוסמים - ולמה זה לא מספר אחד
לפי מעקב פומבי של Dark Visitors, בתחילת יולי 2026 כ-20% מהאתרים המובילים ברשת חסמו את ClaudeBot ב-robots.txt (מקור: darkvisitors.com). האחוז משתנה מאוד בין ענפים - אתרי חדשות וכלי תקשורת חוסמים בשיעור גבוה בהרבה מאתרי מסחר, כי יש להם יותר מה לאבד מאימון בלתי מורשה ופחות תלות בתנועה ממנועי AI. אין כאן "ברירת מחדל נכונה" לכל עסק - יש שאלה שכל בעל אתר צריך לשאול בעצמו: האם התוכן שלי רגיש לאימון, והאם אני תלוי בציטוטים מ-AI כערוץ תנועה.
המחיר של חסימה גורפת
חסימה "כדי להיות בטוחים" לא חינמית. מחקר של חוקרים מרוטגרס ומוורטון (Zhao & Berman) שעקב אחרי פרסומי חדשות שחסמו בוטי AI גורפים מצא ירידה מדידה בתנועה לאתרים שחסמו - בגרסת המחקר העדכנית יותר, ירידה של כ-7% בתנועה לפרסומים הגדולים שחסמו, מול פרסומים שלא חסמו (מקור: ppc.land). במילים אחרות: חסימה שמטרתה "הגנה" פוגעת גם בנראות האמיתית, ולכן ההחלטה דורשת שיקול דעת לפי הענף והמטרה - לא ברירת מחדל גורפת של Disallow: /.
איך May I בפועל ניגשת לזה
בפרויקטים שאנחנו בונים, אנחנו לא מתחילים מ"לחסום הכל" או "לאפשר הכל" - אנחנו ממפים את הבוטים הרלוונטים לפי שם (לא לפי חברה), ומחליטים לכל אחד לפי המטרה: בוטי אימון נחסמים כברירת מחדל אצל לקוחות שרגישים לכך, בוטי חיפוש וציטוט נשארים פתוחים אצל לקוחות שרוצים נראות ב-GEO/AEO, ובוטים שמתעלמים מההנחיה (כמו המקרה התיעודי של Perplexity) מטופלים ברמת ה-CDN ולא ברמת robots.txt בלבד. זה ההבדל בין קובץ robots.txt שמישהו מילא אחת ולתמיד, לבין החלטה עסקית שמתעדכנת כשהנתונים משתנים.
לא בטוחים מה מתאים לעסק שלכם?
אנחנו בודקים את ה-robots.txt והנראות ב-AI של האתר שלכם, ומגדירים מדיניות בוטים שתואמת גם למדיניות אימון וגם ליעדי GEO/AEO - לא תבנית אחת לכולם.
מתחילים מכאן