شرح وظيفة ملف Robots.txt
 Robots.txt هو أهم شىء وأفيد شىء للمساعدة عناكب البحث  فى الزحف الى مدونتك
ببساطه Robots.txt هو ميثاق لتنظيم حركات البحث او الزحف الى مدونتك وايضا لمنع صفحات معينه من موقع من الزحف اليها أو أرشفتها.
ملف Robots.txt


على سبيل المثال يوجد بعض الصفحات فى موقعه معروضه فى محركات البحث ,وبفضل ملف Robots.txt سنتمكن من الاستفاده من زظائفه لمع الفحة الغير مراد وجوده فى محركات البحث.
جميع مدونات بلوجر تحتوى على ميزة أضافة ملف Robots.txt من قبل أصحاب المدونات وغالبا يكون ملف Robots.txt الافتراضى على هذا الشكل

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://blogger1dev.blogspot.com/sitemap.xml

للوهله الاولى من لا يعرف ماذا تعنيه الرموز فى الأعلى سيكون فى حير  ,لذلك سأقوم بشرح كل منها على حدى
Description :
User-agent: Mediapartners-Google وكيل مستخدم Google 
Disallow غير مسموح بشىء
User-agent: * جميع روبوت محركات البحث
Disallow: / search لا يسمح بالزحف على مجلد البحث وما إلى ذلك
Allow: / السماح بالزحف الى مدونتك ما عدا ما قمت بمنعه كما فى الاعلى
Sitemap: http://blogger1dev.blogspot.com/sitemap.xml عنوان تغذية المدونه / خريطة المدونه الخاصه بك

ربما هذا شرح بسط عن وظيفة ملف Robots.txt اتمنى ان تكون التدوينه مفيه اليكم وشكراً