أفضل ملف robots.txt مخصص لمدونات بلوجر لتسريع الأرشفة على جوجل

يمكن لأي شخص القيام بالتدوين - إنه ممتع! ولكن إذا كنت ترغب في الدخول في عالم التدوين الاحترافي ، فستحتاج إلى معرفة بعض التفاصيل الفنية والتقنية المتعلقة بتحسين محركات البحث. فغالبًا ما يبدأ المدونون الجدد رحلة التدوين الخاصة بهم عن طريق نشر المقالات والمنشورات على منصة بلوجر Blogger / Blogspot. لذلك يعد تمكين ملف robots.txt مخصص على بلوجر أمرًا بالغ الأهمية، والذي كثيرًا ما يسأل الناس عنه كيفيته وماهي أفضل إعدادات ملف robots.txt المخصص لمدوناتهم على بلوجر.

يمكنكم الإستفادة من مقالي السابق حول: كيفية إصلاح مشكلة نموذج الإتصال في مدونات بلوحر

لذا، دعونا نتعلم كل شيء اليوم حول كيفية تعديل ملف robots.txt الافتراضي لجعله افضل لمحركات البحث !

ماهو ملف Robots.txt ؟

Robots.txt هو ملف نصي بسيط يُعلم برامج زحف الويب (المعروفة أيضًا باسم العناكب أو برامج الروبوت) بأجزاء موقع الويب أو المدونة التي سيتم الزحف إليها والأجزاء التي يجب عدم الزحف إليها لتحديد ما الذي يمكن لمحركات البحث فهرسته من عدمه.

تتحقق روبوتات الزحف لمحركات البحث أولاً من ملف robots.txt وقواعد الزحف الخاصة بموقع الويب. هذا يعني أن ملف robots.txt يلعب دورًا مهمًا في تحسين محركات البحث (SEO) لمدونات بلوجر ولمواقع الويب بشكل عام.

في هذا المقال، سأشرح لكم كيفية إنشاء ملف robots.txt مخصص مثالي لمدونات بلوجر Blogger / Blogspot لتحسين المدونة لمحركات البحث.

يُعلم ملف robots.txt محركات البحث بالصفحات والأجزاء التي يجب أو لا يجب عليه الزحف إليها. ولذلك فإن ملف Robots.txt يسمح لنا بالتحكم في عمل روبوتات محركات البحث وآلية زحفها على مواقعنا ومدوناتنا.

ما أهمية ملف Robots.txt في تحسين محركات البحث؟

يعتمد نجاح أي مدونات احترافية عادةً على كيفية تصنيف محرك بحث جوجل وباقي محركات البحث لمدونتك. عادة ما نقوم بنشر و تخزين عدد من المنشورات / الصفحات / الملفات / الأدلة في هيكل موقعنا الإلكتروني. وفي كثير من الأحيان لا نريد أن يقوم جوجل بفهرسة كل هذه المكونات الموجودة على مواقعنا ومدوناتنا.

إقرأ أيضا : كيفية إضافة جدول محتويات تلقائي في مواضيع بلوجر.

على سبيل المثال ، قد يكون لديك ملف مرفوع على موقعك أو مدونتك للاستخدام الداخلي - ولا يفيد محركات البحث. لذا فأنت لا تريد أن يظهر هذا الملف ضمن نتائج البحث على محرك بحث جوجل. لذلك ، من الحكمة إخفاء مثل هذه الملفات عن محركات البحث.

يحتوي ملف Robots.txt على توجيهات تحترمها جميع محركات البحث الكبرى. باستخدام هذه التوجيهات ، يمكنك إعطاء تعليمات لعناكب الويب لتجاهل أجزاء معينة من موقع الويب / المدونة الخاصة بك.

تتكون أسطر robots.txt الصالحة من حقل ونقطتين وقيمة. المسافات اختيارية ولكن يوصى بها لتحسين إمكانية القراءة. يتم تجاهل المسافة في بداية ونهاية السطر. لتضمين التعليقات ، اسبق تعليقك بالرمز #. ضع في اعتبارك أنه سيتم تجاهل كل شيء بعد الرمز #.

التنسيق العام هو <field>: <value> <# Optional-comment>.

تدعم برامج الزحف لمحركات البحث ومنها محرك بحث جوجل الحقول Fields التالية:

user-agent: يحدد الزاحف الذي سنطبق عليه القواعد.

allow: الروابط والمجالات الفرعية التي يمكن الزحف إليه.

disallow: الروابط والمجالات الفرعية التي لا يمكن الزحف إليه ..

sitemap: روابط خريطة الموقع.

يمكنك الإطلاع على ملف مدونتك على بلوجر من خلال إضافة اللاحقة /robots.txt إلى رابط الدومين الأعلى لمدونتك وسيظهر لك ملف Robots.txt الخاص بمدونتك (كما هو ظاهر في الصورة أدناه):

ملف الإفتراضي Robots.txt الخاص بمدونات بلوجر

إقرأ أيضا : إعادة تسمية التصنيفات في مدونات بلوجر (BlogSpot).

عادة مايكون ملف robots.txt الافتراضي لمدونات بلوجر Blogger كما يلي (كما في الصورة أعلاه):

User-agent: Mediapartners-Google

  Disallow: 

  User-agent: *

  Disallow: /search

  Allow: /

  

  Sitemap: https://www.faisal2n.com/sitemap.xml

إقرأ أيضا: كيفية منع سرقة المقالات ونسخ المحتوى في مدونات بلوجر و ووردبرس.

في الكود أعلاه، السطر الأول (User-Agent) للتصريح عن نوع الروبوت أو الزاحف. هذا هو Google AdSense ، وهو غير مسموح به لأي شخص (معلن في السطر الثاني). هذا يعني أن إعلانات AdSense يمكن أن تظهر في جميع أنحاء موقع الويب.

وكيل المستخدم التالي هو * ، مما يعني أن جميع روبوتات محرك البحث جوجل غير مسموح لها بالزحف إلى صفحات البحث. وهذا يعني عدم السماح لجميع صفحات البحث والتصنيف (نفس بنية عنوان URL).

والسماح للعلامة بتعريف أنه سيتم السماح لجميع الصفحات باستثناء قسم عدم السماح بالزحف.

يحتوي السطر التالي على خريطة موقع النشر لمدونة Blogger.

يعد هذا ملفًا مثاليًا تقريبًا للتحكم في روبوتات محرك البحث وتقديم إرشادات لروبوتات محركات البحث للزحف أو عدم الزحف. ولكن يرجى ملاحظة أنه مع الملف الإفتراضي، لن يُسمح بالزحف و فهرسة الصفحات الثابتة.

كما أن الملف الافتراضي سيسمح بفهرسة صفحات الأرشيف واستعلامات البحث، مما قد يتسبب في ظهور مشكلة محتوى مكرر على محرك بحث جوجل. وهذا يعني أنه سينشئ محتوى غير مرغوب فيه لمدونة بلوجر Blogger الخاصة بك.

لذا، دعونا نحسّن ملف robots.txt الافتراضي لجعله أفضل لتحسين المدونة لمحركات البحث.

كيفية إنشاء ملف robots.txt مخصص مثالي لمدونة بلوجر Blogger؟

يسمح ملف robots.txt الافتراضي للأرشيف بالفهرسة مما يتسبب في مشكلة المحتوى المكرر. لذا يمكننا منع مشكلة المحتوى المكرر عن طريق منع الروبوتات من الزحف إلى قسم الأرشيف. لهذا:

Disallow: /*?updated-max=* سيعطل الزحف إلى كل صفحات البحث والاستعلام.

السطر التالي (اختياري) في حال كنت ترغب في فهرسة أقسام / تسميات المدونة كما هو الحال مع مدونة فيصل فابقِ على السطر التالي في الكود ادناه، أو يمكنك حذفه إذا لم ترغب بفهرسة أقسام المدونة.

Allow: /search/label

لذا سيبدو ملف robots.txt المخصص الجديد المثالي لمدونة بلوجر Blogger / Blogspot كما يلي:


  User-agent: Mediapartners-Google

  Disallow:

  User-agent: *

  Allow: /

  Disallow: /search

  Disallow: /*?updated-max=*

  Allow: /search/label

  

  Sitemap: https://www.example.com/sitemap.xml

  Sitemap: https://www.example.com/sitemap-pages.xml

إقرأ أيضا : شرح كيفية تغيير خط قالب مدونة بلوجر لأي خط من خطوط جوجل بكل سهولة.

كيفية تحرير ملف robots.txt الافتراضي الخاص بمدونات بلوجر Blogger / Blogspot

انتقل إلى لوحة تحكم بلوجر الخاصة بك، وانقر على خيار الإعدادات ،

قم بالتمرير لأسفل إلى قسم برامج الزحف والفهرسة ،

قم بتمكين ملف robots.txt المخصص عن طريق زر التبديل.

بعدها، انقر فوق ملف robots.txt مخصّص ، وسيتم فتح نافذة منبثقة، الصق بداخلها كود ملف robots.txt المخصص ومن ثم اضغط حفظ.

بعد تحديث ملف robots.txt المخصص لمدونة بلوجر Blogger ، تحقق منه بزيارة https://www.example.com/robots.txt ، حيث يجب استبدال www.example.com بعنوان النطاق الخاص بمدونتك.