ريديت تحد من وصول محركات البحث إلى محتواها.

في خطوة مفاجئة، قامت منصة Reddit بتحديث ملف robots.txt الخاص بها في الأول من يوليو الجاري، مما أدى إلى منع محركات البحث المختلفة، باستثناء Google Search، من الوصول إلى محتوى الموقع. هذا التحديث جاء كجزء من استراتيجية جديدة تهدف إلى تنظيم الوصول إلى محتوى الموقع وحمايته من الاستخدام غير المرغوب فيه، خاصة في مجال تدريب نماذج الذكاء الاصطناعي.

 

أوضح تيم راتشميدت، المتحدث باسم Reddit، أن المنصة اتخذت هذا القرار بعد صعوبات في التوصل إلى اتفاقيات مع جميع محركات البحث حول استخدام محتوى Reddit في الذكاء الاصطناعي. لم تتمكن Reddit من الحصول على ضمانات تنفيذية من كافة محركات البحث حول كيفية استخدام المحتوى، مما أدى إلى منع محركات مثل Bing وDuckDuckGo وMojeek من الوصول إلى محتوى الموقع. في المقابل، سمحت لمحرك بحث جوجل فقط بذلك، بحسب تقرير موقع ذا فيرج.

 

تحديث ملف robots.txt كان له تأثير كبير على وصول محركات البحث وأدوات الذكاء الاصطناعي إلى محتوى Reddit. أكدت مايكروسوفت أن محركها البحثي “بينج” قد توقف عن الوصول إلى محتوى Reddit بعد هذا التحديث. وقد صرح متحدث باسم مايكروسوفت لموقع Search Engine Land بأن الشركة تحترم معيار robots.txt وتلتزم بالتوجيهات المقدمة من المواقع التي ترفض استخدام محتوى صفحاتها لتدريب نماذج الذكاء الاصطناعي التوليدي الخاصة بها.

 

راتشميدت أكد أن القرار لا علاقة له بشراكة Reddit مع جوجل، مشيراً إلى أن المنصة في محادثات مع عدة محركات بحث لكن لم يتم التوصل إلى اتفاقيات مع جميعها حتى الآن. 

 

في فبراير الماضي، أبرمت Reddit اتفاقية تعاون مع جوجل، تتقاضى المنصة الاجتماعية بمقتضاها 60 مليون دولار سنوياً، مقابل حصول عملاق البحث الأمريكي على حق استخدام محتوى المنصة لتدريب نماذج الذكاء الاصطناعي الخاصة به. هذه الخطوة جعلت جوجل الآن محرك البحث الوحيد الذي يمكنه عرض نتائج من Reddit، مما يمنحها ميزة حصرية على باقي محركات البحث.

 

محركات البحث الأخرى مثل DuckDuckGo وBing وMojeek لم تعد تعرض نتائج جديدة من Reddit، حيث تعتمد هذه المحركات على نظام أرشفة صفحات الويب الخاصة بمايكروسوفت “بينج”. وصرح كولين هايهيرست، الرئيس التنفيذي لمحرك البحث Mojeek، بأن Reddit لم يرد على رسائلهم الإلكترونية بخصوص الحظر، مضيفاً أن Reddit أصبحت أكثر تشدداً في ملف robots.txt الخاص بها، حيث يحظر جميع عمليات الوصول الروبوتي بشكل صارم.

 

من الجدير بالذكر أن العديد من المواقع بدأت في تحديث ملفات robots.txt الخاصة بها لمنع الشركات من استخدام بياناتها لتدريب نماذج الذكاء الاصطناعي، مما يعكس تزايد القلق بشأن استخدام البيانات العامة في هذا المجال.

 

ملف robots.txt هو ملف نصي يستخدمه مشرفو المواقع لتوجيه محركات البحث وأدوات الوصول الروبوتي حول كيفية الوصول إلى صفحات موقعهم. يحتوي الملف على تعليمات تحدد الأجزاء التي يمكن لتقنيات الروبوتية الوصول إليها وتلك التي يجب تجنبها. يتواجد هذا الملف في جذر الموقع وتقرأه التقنيات الروبوتية عند الوصول للتعرف على أذونات الوصول إلى أجزاء معينة من مواقع الويب. يمكن أن تشمل التعليمات السماح أو عدم السماح بزيارة ملفات أو مجلدات معينة من الموقع، مما يساعد في إدارة ظهور الموقع بنتائج البحث وحماية حقوق ملكية محتواه في عصر الذكاء الاصطناعي.