ما هو robots.txt؟
robots.txt هو ملف نصي التي يمكن استخدامها لتقييد الوصول إلى الإنترنت الروبوتات إلى موقع الويب الخاص بك فقط في الطرق التي الموافقة.
هذا ملف robots.txt بنات غوغل Imagebot من كل موقع :
وكيل المستخدم : Googlebot - صورة إرفض : /
للمزيد من المعلومات حول robots.txt ، قراءة معيار لبروتوكول استبعاد الروبوت.
فحص النحو من robots.txt الخاص بك
على شبكة الإنترنت العديد من الأدوات المتاحة التي استرجاع ملف robots.txt من موقعك على الانترنت وذلك للتأكد من تركيب الأخطاء.
سوء الروبوتات
بعض الروبوتات سوف تستخدم الشبكة تصل كميات كبيرة من عرض النطاق الترددي ونظام الموارد ، في حين أن العودة لا يكاد يذكر لصالح صاحب الموقع.
لراحتك ، ونحافظ على قائمة بأسماء بعض تلك الروبوتات السيئة في شكل robots.txt.
 |
احفظ ما هو robots.txt؟
آخر رابط الوظائف
- مقابل Freshmeat سورس.
