شرح إنشاء ملف Robots.txt لمدونات بلوجر بالطريقة الصحيحة [2021]

يتحكم ملف Robots.txt في ربوتات محركات البحث الذي يزحف إلي موقعك. هذا يعني أنها تلعب دورًا مهمًا في سيو بلوجر. في هذه المقالة ، سنتعرف على أفضل طريقة أنشاء ملف robots.txt بلوجر.


محتويات المقال



ما هي وظيفة ملف robots.txt؟

بمساعدة ملف robots.txt ، نخبر محرك البحث بالصفحات التي يجب أو لا ينبغي الزحف إليها. ومن ثم يسمح لنا بالتحكم في عمل روبوتات محرك البحث.


في ملف robots.txt ، نستخدم وظيفة user-agent , allow , disallow , sitemap للإعلان عن روبوتات محرك البحث ، والصفحات المسموح لها بالزحف ، والصفحات غير المسموح لها بالزحف.


عادة ، نستخدم أوامر لجميع برامج الزحف لمحركات البحث لفهرسة الصفحات عبر الويب. ولكن لمزيد من التفاصيل ، يجب أن تفهم ملف robots.txt بلوجر.


أفضل ملف robots txt جاهز بلوجر

لإنشاء ملف robots.txt مخصص مثالي بلوجر. أولاً ، علينا أن نفهم طريقة عمل مدونة بلوجر. لهذا ، دعنا نحلل ملف robots.txt الافتراضي.


بشكل افتراضي ، يبدو هذا الملف مثل يلي:


User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.example.com/sitemap.xml

  • يحدد السطر الأول من هذا الملف نوع الروبوت. وهي جوجل أدسنس ، غير مسموح . هذا يعني أن إعلانات أدسنس يمكن أن تظهر في جميع أنحاء موقع الويب.
  • وكيل المستخدم user agent التالي هو * ، مما يعني أن جميع روبوتات محرك البحث غير مسموح بها / صفحات البحث. وهذا يعني أنه غير مسموح به لجميع صفحات البحث والتصنيف (بسبب نفس بنية عنوان URL).
  • والسماح بعلامة allow بأنه سيسمح لجميع الصفحات بخلاف قسم عدم السماح بالزحف.
  • يحتوي السطر التالي على خريطة موقع النشر لمدونة بلوجر.

يعد هذا ملفًا مثاليًا تقريبًا للتحكم في روبوتات محرك البحث وتقديم إرشادات للصفحات للزحف أو عدم الزحف. يرجى ملاحظة ، هنا ، أن ما يُسمح بالزحف إليه لن يضمن فهرسة الصفحات.


لكن هذا الملف يسمح بفهرسة صفحات الأرشيف ، مما قد يتسبب في مشكلة محتوى مكرر. هذا يعني أنه سينشئ محتوى غير مرغوب فيه لمدونة بلوجر.


علينا منع مشكلة المحتوى المكرر هذه التي يسببها قسم الأرشيف. يمكن تحقيق ذلك عن طريق منع الروبوتات من الزحف إلى قسم الأرشيف. لهذا ، يتعين علينا تطبيق قاعدة Disallow / 20 * في ملف robots.txt. لكن هذه القاعدة ستوقف الزحف إلى الصفحات. ولتجنب ذلك ، يتعين علينا تطبيق قاعدة سماح جديدة لقسم /*.html تسمح لبرامج الروبوت بالزحف إلى المشاركات والصفحات.


تتضمن خريطة الموقع الافتراضية منشورات وليست صفحات. لذلك يجب عليك إضافة خريطة موقع للصفحات الموجودة ضمن https://example.blogspot.com/sitemap-pages.xml أو https://www.example.com/sitemap-pages.xml للمجال المخصص.


لذلك سيبدو ملف robots.txt المثالي الجديد لمدونة بلوجر بهذا الشكل. 
User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search*
Disallow: /20*
Allow: /*.html

Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml

الرجاء استبدال www.example.com بنطاق بلوجر أو اسم الدومين الخاص بك. على سبيل المثال ، افترض أن اسم المجال المخصص الخاص بك هو www.imintweb.com ، فسيكون ملف Sitemap على https://www.imintweb.com/sitemap.xml. بالإضافة إلى ذلك ، يمكنك التحقق من ملف robots.txt الحالي على https://www.example.com/robots.txt.


الملف أعلاه، الإعداد أفضل ملف robots.txt لتحسين ترتيب موقعك في محركات البحث. سيؤدي هذا إلى حفظ ميزانية الزحف لموقعك وسيساعد في حل مشكلة عدم ظهور مدونتك في نتائج البحث. بالإضافة إلى ذلك ، يجب عليك كتابة محتوى متوافق مع السيو لتظهر في نتائج البحث.


للحصول على أفضل إعداد ممكن لملف robots.txt والعلامة الوصفية لبرامج الروبوت ، جرب العلامة الوصفية المتقدمة لبرامج الروبوت وملف robots.txt. المزيج هو أحد أفضل الممارسات لتعزيز مُحسّنات محرّكات البحث في مدونة بلوجر.


كيف يتم تحرير ملف robots.txt الخاص بمدونة بلوجر

يوجد ملف Robots.txt دائمًا في مستوي Root لأي موقع ويب. لكن في بلوجر، لا يوجد وصول إلى Root، فكيف يتم تعديل ملف robots.txt هذا؟


توفر منصة بلوجر جميع إعدادات ملف root في إعداداته مثل ملفات robots.txt و ads.txt. يجب عليك تسجيل الدخول إلى حساب بلوجر وتحرير ملف robots.txt.


كيفية تحرير ملف robots.txt بلوجر

  1. انتقل إلى لوحة تحكم بلوجر وانقر على خيار الإعدادات ،
  2. قم بالتمرير لأسفل إلى قسم برامج الزحف والفهرسة ،
  3. قم بتمكين ملف robots.txt المخصص عن طريق زر التبديل.
  4. انقر فوق ملف robots.txt المخصص ، وسيتم فتح نافذة ولصق ملف robots.txt وتحديثه.

بعد تحديث ملف robots.txt المخصص ، تحقق منه بزيارة https://www.example.com/robots.txt ، حيث يجب استبدال www.example.com بعنوان النطاق الخاص بك.


أتمنى أن تعجبك هذه المقالة. في حالة وجود أي شكوك أو أسئلة بخصوص بلوجر أو السيو ، يمكنك التعليق أدناه.

اقرأ أيضًا: