أفضل طريقة لمعرفة البريد الالكتروني لأي حساب فيس بوك

يتحدث Google عن ملفات robots.txt وما إذا كانت ممارسة جيدة لتحسين محركات البحث للحفاظ على حجم معقول.

تمت مناقشة هذا الموضوع من قبل محامي البحث في Google John Mueller خلال اجتماع ساعات عمل Google Search Central SEO المسجل في 14 يناير.

انضم David Zieger ، مدير تحسين محركات البحث لناشر أخبار رئيسي في ألمانيا ، إلى البث المباشر مع مخاوف بشأن ملف robots.txt “ضخم” و “معقد”.

ما الحجم الذي نتحدث عنه هنا؟

يقول زيجر إن هناك أكثر من 1500 سطر بها “عدد كبير” من المحظورات التي تستمر في النمو على مر السنين.

يمنع الحظر Google من فهرسة أجزاء HTML وعناوين URL حيث يتم استخدام استدعاءات AJAX.

يقول Zieger إنه ليس من الممكن تعيين noindex ، وهي طريقة أخرى لإبقاء الأجزاء وعناوين URL خارج فهرس Google ، لذلك لجأ إلى ملء ملف robots.txt الخاص بالموقع بالحظر.

هل هناك أي تأثيرات سلبية لتحسين محركات البحث يمكن أن تنتج عن ملف robots.txt ضخم؟

هذا ما يقوله مولر.

اعتبارات تحسين محركات البحث لملفات Robots.txt الكبيرة

لن يكون ملف robots.txt كبير الحجم مباشرة لها تأثير سلبي على الرجوع إلى الموقع.

ومع ذلك ، فإن الملف الكبير يصعب إدارته ، مما قد يؤدي إلى مشاكل عرضية لاحقًا.

يشرح مولر:

“لا توجد مشكلات سلبية مباشرة في تحسين محركات البحث (SEO) معها ، ولكنها تجعل الحفاظ عليها أكثر صعوبة. كما أنه من الأسهل كثيرًا الدفع عن طريق الخطأ بشيء يسبب مشكلة.

لذا لمجرد أنه ملف كبير لا يعني أنه يمثل مشكلة ، ولكنه يسهل عليك إنشاء المشكلات.

يستمر Zieger في التساؤل عما إذا كانت هناك أية مشكلات تتعلق بعدم تضمين خريطة موقع في ملف robots.txt.

يقول مولر إن هذه ليست مشكلة:

“لا. هذه الطرق المختلفة لتقديم خريطة الموقع جميعها مكافئة لنا.”

ثم ينطلق Zieger في العديد من أسئلة المتابعة الأخرى التي سنبحثها في القسم التالي.

هل يتعرف Google على أجزاء HTML؟

يسأل Zieger Mueller عن تأثير تحسين محركات البحث (SEO) للتقصير الشديد لملف robots.txt. مثل رفع كل المحظورات مثلا.

يتم طرح الأسئلة التالية:

• هل يتعرف Google على أجزاء HTML التي لا صلة لها بزوار الموقع؟
• هل سينتهي المطاف بأجزاء HTML في فهرس بحث Google إذا لم يتم حظرها في ملف robots.txt؟
• كيف تتعامل Google مع الصفحات التي تستخدم فيها مكالمات AJAX؟ (كعنصر رأس أو تذييل)

يلخص أسئلته بالقول إن معظم العناصر المحظورة في ملف robots.txt الخاص به هي عناصر رأس وتذييل لا تهم المستخدم.

يقول مولر إنه من الصعب معرفة ما سيحدث بالضبط إذا سُمح فجأة بفهرسة هذه القطع.

يقول مولر إن نهج التجربة والخطأ قد يكون أفضل طريقة لمعرفة ذلك:

“من الصعب أن أقول ما تعنيه من هذه الشظايا

فكرتي هي محاولة فهم كيفية استخدام عناوين URL المتقطعة هذه. وإذا لم تكن متأكدًا ، فربما تأخذ أحد عناوين url المقتطعة هذه وتسمح للزحف إليها ، وإلقاء نظرة على محتويات عنوان url للجزء ، ثم تحقق مما يحدث في البحث.

هل يؤثر ذلك على أي شيء يتعلق بالمحتوى المفهرس على موقعك؟
هل تم العثور على بعض هذا المحتوى فجأة على موقعك؟
هل هي مشكلة أم لا؟

وحاول العمل على هذا الأساس ، لأنه من السهل جدًا حظر الأشياء عن طريق ملف robots.txt ، والتي لا تُستخدم في الواقع للفهرسة ، ثم تقضي وقتًا طويلاً في صيانة ملف robots.txt الكبير هذا ، لكنه لا يتغير على موقع الويب الخاص بك.

اعتبارات أخرى لإنشاء ملف Robots.txt

يقوم Zieger بمتابعة نهائية فيما يتعلق بملفات robots.txt ، ويسأل عما إذا كانت هناك أي إرشادات محددة يجب اتباعها عند إنشاء واحدة.

يقول مولر إنه لا يوجد تنسيق محدد يجب اتباعه:

“لا ، الأمر متروك لك أساسًا. نظرًا لأن بعض المواقع تحتوي على ملفات كبيرة ، تحتوي بعض المواقع على ملفات صغيرة ، يجب أن تعمل جميعها.

لدينا شفرة محلل ملف robots.txt مفتوحة المصدر نستخدمها. لذا ما يمكنك فعله أيضًا هو أن تجعل مطوريك يشغلون هذا المحلل اللغوي نيابة عنك ، أو إعداده لك للاختبار ، ثم تحقق من عناوين URL لموقع الويب الخاص بك باستخدام هذا المحلل لمعرفة عناوين URL التي سيتم حظرها بالفعل وما الذي سيتغير. وبهذه الطريقة يمكنك اختبار الأشياء قبل إعادتها إلى الحياة.

يمكن العثور على محلل ملف robots.txt الذي يشير إليه مولر على الرابط GithubGenericName.

استمع إلى المناقشة الكاملة في الفيديو أدناه:

https://www.youtube.com/watch؟v=GZ_wSeQqPZk

---

الصورة المميزة: لقطة شاشة من YouTube.com/GoogleSearchCentral ، يناير 2022.

#هل #تواجه #Google #مشكلة #في #ملفات #Robotstxt #الكبيرة

المصدر