مولّد ملف robots.txt
اختر قالبًا وعدّل القواعد → ملف robots.txt جاهز للتنزيل.
رابط كامل ببروتوكوله؛ يجوز أكثر من خريطة.
يُرفع في جذر الموقع فيكون على https://example.com/robots.txt بالضبط.
عن الأداة
robots.txt ملف نصي في جذر الموقع (https://example.com/robots.txt) يخبر الزواحف بما يُسمح لها بزحفه. يُقسَّم إلى مجموعات، كل مجموعة تبدأ بسطر User-agent: باسم الزاحف أو * للجميع، ثم أسطر Disallow: وAllow: بمسارات تبدأ بشرطة مائلة. Disallow: فارغًا يعني السماح بكل شيء، وDisallow: / يمنع الموقع كله. ويُستحسن سطر Sitemap: برابط خريطة الموقع الكامل.
الملف ليس حماية: هو طلب مهذب تحترمه الزواحف الجادة، ولا يمنع أحدًا من فتح الصفحة، ولا يخفي صفحة من نتائج البحث إن وصلتها روابط من مواقع أخرى. لإخفاء صفحة من النتائج استخدم وسم noindex في الصفحة نفسها واتركها قابلة للزحف، وإلا لم يرَ جوجل الوسم أصلًا. وللمحتوى السري استخدم كلمة مرور.
أضيفت في السنوات الأخيرة زواحف تجمع المحتوى لتدريب نماذج الذكاء الاصطناعي، مثل GPTBot وClaudeBot وCCBot وGoogle-Extended، ولها أسماء معلنة تستطيع منعها بمجموعة خاصة دون التأثير في ظهور موقعك في جوجل. قالب «منع روبوتات الذكاء الاصطناعي» يفعل ذلك. وقالب ووردبريس يمنع لوحة التحكم ويستثني admin-ajax.php الذي تحتاجه بعض الإضافات.
أسئلة شائعة
أين أرفع الملف؟
في جذر الموقع بالاسم robots.txt بالضبط بحروف صغيرة، بحيث يُفتح على example.com/robots.txt. في ووردبريس تتيح إضافات السيو تحريره من لوحة التحكم دون رفع يدوي.
هل يمنع Disallow الصفحة من الظهور في جوجل؟
لا بالضرورة. يمنع جوجل من قراءتها، لكنها قد تظهر بعنوانها فقط إن أشارت إليها روابط. لمنع الظهور استخدم وسم noindex وابقِ الصفحة قابلة للزحف.
هل يحترم جوجل Crawl-delay؟
لا. جوجل يتجاهل هذا السطر ويضبط سرعة الزحف بنفسه؛ يحترمه Bing وYandex وبعض الزواحف الأخرى. اتركه فارغًا إلا إن كان خادمك يعاني من زاحف بعينه.
كيف أتأكد أن الملف صحيح؟
افتح example.com/robots.txt في المتصفح وتأكد أنه يظهر نصًا، ثم افحصه في Google Search Console من تقرير robots.txt الذي يعرض الأخطاء وآخر نسخة قرأها جوجل.