سطر واحد في robots.txt يحمي محتوى موقعك من تدريب الذكاء الاصطناعي — إشارة 30 أكتوبر الموحّدة
في 30 أكتوبر 2026، حدث شيء نادر في عالم الذكاء الاصطناعي: اتفق أربعة من أكبر المنافسين — OpenAI وجوجل ومايكروسوفت وAnthropic — على شيء واحد. الشركات الأربع أعلنت أنها ستحترم إشارة موحّدة تسمح لأي صاحب موقع أن يقول "لا" لاستخدام محتواه في تدريب نماذج الذكاء الاصطناعي، بسطر واحد فقط في ملف robots.txt.
حتى اليوم، كان على صاحب الموقع أن يتعامل مع كل شركة على حدة: قاعدة لـ GPTBot وأخرى لـ Google-Extended وثالثة لـ ClaudeBot ورابعة لـ Bingbot. الآن تكفي إشارة واحدة ليصل الرفض إلى الأربعة معًا.
هذا المقال يشرح الإشارة الجديدة، وكيف تضيفها، وما الذي لا تفعله.
ما الإشارة الجديدة بالضبط؟
الإشارة اسمها `__usage_ai-training`، وهي "رمز سياسة" (policy token) يُكتب في ملف robots.txt، وهو الملف النصي الذي يستخدمه أصحاب المواقع منذ عقود لإخبار زواحف الويب بما يُسمح لها بزيارته. الصياغة التي نشرتها المسودة التقنية بسيطة:
``` User-Agent: __usage_ai-training Disallow: / ```
السطر الأول يخاطب كل الزواحف المشاركة في الاتفاق، والسطر الثاني يمنع استخدام محتوى الموقع كله في التدريب. ويمكنك أيضًا حظر أجزاء محددة فقط والسماح بغيرها، بسطور `Allow` استثنائية، مثل السماح بمجلد المواد الصحفية بينما يُحظر باقي الموقع.
سطر واحد بدل أربع قواعد مختلفة — هذه هي النقطة الجوهرية في الإعلان كله. فبدل أن تراجع أربع وثائق وتكتب أربع قواعد وتتابع أربعة تحديثات، تكتب قاعدة واحدة وتُحدَّث مرة واحدة.
الإشارة من صياغة كيفن كيلي من Anthropic، وقُدّمت كمسودة فردية لمجموعة عمل IETF — أي أنها مقترح موثّق ومفتوح للمراجعة، وليست معيارًا رسميًا بعد.
لماذا الآن؟ ولماذا اتفق الأربعة الكبار؟
الضغط على هذه النقطة بلغ ذروته خلال 2026. ناشرون ووسائل إعلام يطالبون بحق تقرير مصير محتواهم، ودعاوى قضائية حول استخدام المحتوى في التدريب ما زالت مفتوحة، وفي اليوم نفسه أجلت ميتا تطبيق شروطها التجارية الجديدة — التي توسّع استخدام المحتوى في التدريب — من 30 أكتوبر إلى 20 نوفمبر بعد اعتراض ناشرين ومعلنين وشكاوى لجهات مكافحة الاحتكار في أوروبا وبريطانيا.
جدول التنفيذ: ليس الجميع في نفس اليوم
هنا يجب الحذر: الإعلان لا يعني أن الإشارة تعمل اليوم عند الجميع. الجدول الزمني متفاوت:
- Anthropic بدأت التنفيذ فعلًا وقت الإعلان، وتطبيقها سيتوسع تدريجيًا عبر خدماتها.
- OpenAI تقول "خلال الشهور المقبلة" دون تاريخ محدد.
- مايكروسوفت تستهدف 1 فبراير 2027، وستُحدَّث تفضيلات الصفحة عند إعادة الزحف إليها فقط.
- جوجل تستهدف عام 2027 دون تفاصيل إضافية، وأكّد جون مولر أن استخدام الرمز الموحّد دون ذكر Google-Extended صراحة سيُفسَّر كما لو أن الناشر حظر Google-Extended.
مايكروسوفت تبدأ 1 فبراير 2027 وجوجل خلال 2027 — أي أن إشارتك اليوم وعدٌ للمستقبل أكثر منها حماية فورية. وهذا لا يقلل من قيمتها، لكنه يفرض عليك خطوة مصاحبة: أبقِ القواعد الخاصة بكل شركة كما هي، فهي ما يعمل فعلًا اليوم.
وأضافت مايكروسوفت طبقة أدق من الباقين: تحكم منفصل في "التأريض" (grounding)، أي سحب المحتوى الحي إلى إجابات المحادثة، مقابل التدريب على الأوزان.
ما الذي لا تفعله الإشارة؟ خمسة حدود يجب أن تعرفها
هذا هو الجزء الذي يُساء فهمه غالبًا، وهو الأهم في المقال كله:
- لا تمنع الزحف. نص المسودة صريح: الرمز ليس توجيهًا لسلوك الزحف. الزاحف قد يزور صفحتك ويخزّنها، لكنه لا يستخدمها في التدريب.
- لا تُخرجك من نتائج البحث. حظر التدريب لا يؤثر على أهليتك للظهور في نتائج بحث جوجل أو بينج العادية.
- لا تمنع ظهورك في إجابات الذكاء الاصطناعي. الإجابات التي تقتبس صفحاتك لحظيًا (التأريض) مسألة مختلفة عن التدريب، وتحتاج تحكمًا منفصلًا حيث توفّر.
- لا تمحو ما جُمع بالفعل. تحديث ملف robots.txt لا يزيل محتوى دخل مجموعات بيانات سابقة أو تدرّبت عليه نماذج قائمة.
- لا تملك قوة إلزام. الإشارة تعبير عن تفضيل يعتمد على الالتزام الطوعي من مشغّل الزاحف، وليست آلية إنفاذ قانونية بذاتها.
الإشارة تمنع التدريب فقط — لا تمنع الزحف ولا الظهور في البحث ولا في إجابات الذكاء الاصطناعي. ومن يظن أنه بحظر التدريب حجب موقعه عن أعين الذكاء الاصطناعي كلها، فهو مخطئ تمامًا.
وإذا أردت التأكد من معنى أي خيار قبل تطبيقه، فصفحة الأسئلة الشائعة نقطة بداية جيدة.
ماذا تفعل لموقعك اليوم؟ خطة عملية
- أضف الرمز الموحّد الآن. اكتب الكتلة في robots.txt حتى تكون جاهزًا مع بدء كل شركة تنفيذها، فالتطبيق يتم عند إعادة الزحف، والتأخير يعني دورة زحف ضائعة.
- لا تحذف القواعد القديمة. أبقِ قواعد GPTBot وGoogle-Extended وClaudeBot وBingbot كما هي — فهي ما يحميك اليوم، والرمز الجديد يكمّلها ولا يحل محلها بعد.
- قرّر نطاق الحظر بعناية. هل تحظر الموقع كله أم تستثني أقسامًا؟ المحتوى التسويقي العام قد يستفيد من الانتشار، بينما المقالات المتخصصة والتقارير المدفوعة تستحق الحماية. سطور `Allow` تمنحك هذا التدرّج.
- راجع ملف robots.txt فعليًا بعد التعديل. خطأ واحد في الصياغة قد يبطل القاعدة كلها أو — أسوأ — يحظر الزحف نفسه. اطلب من فريق تطوير المواقع مراجعة الملف واختباره قبل اعتماده.
أما إذا كان موقعك يعتمد على أنظمة معقدة، فمراجعة بنيته ضمن حلول برمجية متكاملة تضمن أن تعديلًا بسيطًا في robots.txt لا يكسر شيئًا آخر.
قرارك التجاري: الحظر أم الظهور؟
هنا يتحول الموضوع من تقني إلى استراتيجي. حظر التدريب يحمي أصالة محتواك ويمنع منافسًا مدعومًا بالذكاء الاصطناعي من إعادة إنتاج خبرتك مجانًا. لكن الظهور في إجابات الذكاء الاصطناعي أصبح قناة وصول جديدة: إذا لم تظهر إجابات النماذج على محتواك، قد يظهر منافسوك بدلًا منك.
المفاضلة ليست واحدة للجميع: موقع إخباري يعيش على الزيارات يختلف عن شركة استشارات تبيع خبرة نادرة، ويختلفان عن متجر إلكتروني يعتمد على الظهور في كل مكان. لهذا كتبنا من قبل عن كيف تجعل الذكاء الاصطناعي يرشّح شركتك في إجاباته، في مقال تحسين ظهورك في إجابات الذكاء الاصطناعي.
الحظر يحمي محتواك، والظهور يجلب عملاءك — والقرار الصحيح هو الذي يفصل بين ما يُحمى وما يُنشر. قسّم محتواك: احمِ الجوهر، وانشر الواجهة.
وقبل أن تقرر، احسب العائد والمخاطرة معًا — فهذا الحساب هو جوهر أي دراسة جدوى جادة.
الخلاصة
إعلان 30 أكتوبر خطوة حقيقية نحو قواعد أوضح، لكنه ليس زرًا سحريًا: إشارة طوعية، بجدول تنفيذ متفاوت، وبمسودة تنتهي في 3 مايو 2027 ما لم تُحدَّث.
تغيير robots.txt لا يمحو ما جُمع وتدرّب عليه بالفعل — لكنه يحدد قواعد اللعبة من اليوم فصاعدًا. أضف الإشارة، أبقِ قواعدك القديمة، وافصل بين ما تحميه وما تنشره.
إذا أردت تطبيق سياسة محتوى وذكاء اصطناعي كاملة لموقع شركتك — من ملف robots.txt إلى دمج الذكاء الاصطناعي في أنظمتك وأتمتة الذكاء الاصطناعي لعملياتك — تواصل مع فريق Harisl لمراجعة مجانية لموقعك وسياسة محتواك.