يعتمد تحسين محرك البحث ، بمعناه الأساسي ، على شيء واحد قبل كل شيء آخر: برامج الزحف لمحركات البحث. الزحف والفهرسة موقعك.
ولكن سيكون لكل موقع ويب تقريبًا صفحات لا تريد تضمينها في هذا الزحف.
على سبيل المثال ، هل تريد حقًا ظهور سياسة الخصوصية أو صفحات البحث الداخلية في نتائج Google؟
في أحسن الأحوال ، هذه لا تفعل شيئًا لتوجيه حركة المرور إلى موقعك بشكل فعال ، وفي أسوأ الأحوال ، يمكنها تحويل حركة المرور من الصفحات الأكثر أهمية.
لحسن الحظ ، تسمح Google لمشرفي المواقع بإخبار برامج زحف محركات البحث بالصفحات والمحتوى الذي يجب الزحف إليه وما يجب تجاهله. هناك عدة طرق للقيام بذلك ، وأكثرها شيوعًا هي استخدام ملف robots.txt أو العلامة الوصفية لبرامج الروبوت.
لدينا شرح ممتاز ومفصل خصوصيات وعموميات ملف robots.txt ، والتي يجب عليك قراءتها بالتأكيد.
ولكن بشكل عام ، هو ملف نصي عادي يوجد في جذر موقع الويب الخاص بك ويتبع ملف بروتوكول استبعاد الروبوت (REP).
يوفر ملف Robots.txt لبرامج الروبوت إرشادات للموقع ككل ، بينما تتضمن العلامة الوصفية لبرامج الروبوت إرشادات لصفحات معينة.
تتضمن بعض العلامات الوصفية لبرامج الروبوت التي يمكنك استخدامها فهرسالذي يخبر محركات البحث بإضافة الصفحة إلى فهرسهم ؛ لا يوجد فهرسالتي تخبرها بعدم إضافة الصفحة إلى الفهرس أو تضمينها في نتائج البحث ؛ للمتابعةالتي تطلب من محرك البحث تتبع الروابط الموجودة على الصفحة ؛ لا متابعةالذي يخبره بعدم متابعة الروابط ، ومجموعة من الآخرين.
تعد علامات robots.txt و meta robots من الأدوات المفيدة التي يجب الاحتفاظ بها في مجموعة الأدوات الخاصة بك ، ولكن هناك أيضًا طريقة أخرى لإخبار روبوتات محرك البحث بعدم الفهرسة أو عدم المتابعة: X-Robots-Tag.
ما هي X-Robots-Tag؟
تعد X-Robots-Tag طريقة أخرى للتحكم في كيفية قيام العناكب بالزحف إلى صفحات الويب الخاصة بك وفهرستها. كجزء من استجابة رأس HTTP لعنوان URL ، فإنه يتحكم في فهرسة صفحة كاملة ، بالإضافة إلى عناصر محددة من تلك الصفحة.
وعلى الرغم من أن استخدام علامات meta robots أمر بسيط للغاية ، إلا أن X-Robots-Tag أكثر تعقيدًا بعض الشيء.
لكن هذا بالطبع يطرح السؤال:
متى تستخدم X-Robots-Tag؟
بحسب جوجل“يمكن أيضًا تحديد أي أمر يمكن استخدامه في علامة وصفية لبرامج الروبوت كعلامة X-Robots-Tag.”
على الرغم من أنه يمكنك تحديد التوجيهات المتعلقة بملف robots.txt في رؤوس استجابة HTTP مع كل من العلامة الوصفية لبرامج الروبوت وعلامة X-Robots ، إلا أن هناك مواقف معينة قد ترغب في استخدام علامة X-Robots فيها. – أكثر اثنين الوجود المشترك عندما:
- تريد التحكم في كيفية الزحف إلى ملفاتك بخلاف ملفات HTML وفهرستها.
- تريد تقديم إرشادات على مستوى الموقع بدلاً من مستوى الصفحة.
على سبيل المثال ، إذا كنت تريد منع الزحف إلى صورة معينة أو مقطع فيديو معين ، فإن طريقة استجابة HTTP تسهل عليك ذلك.
يعتبر رأس X-Robots-Tag مفيدًا أيضًا لأنه يتيح لك دمج علامات متعددة في استجابة HTTP أو استخدام قائمة من التوجيهات مفصولة بفواصل لتحديد التوجيهات.
ربما لا تريد تخزين صفحة معينة مؤقتًا وعدم توفرها بعد تاريخ معين. يمكنك استخدام مزيج من علامتي “noarchive” و “unavailable_after” لإخبار برامج زحف محركات البحث باتباع هذه التعليمات.
تكمن قوة X-Robots-Tag بشكل أساسي في أنها أكثر مرونة من علامة meta robots.
ميزة استخدام أ X-Robots-Tag مع استجابات HTTP هو أنه يتيح لك استخدام التعبيرات العادية لتشغيل توجيهات التحليل على غير HTML ، وكذلك تطبيق الإعدادات على مستوى عالمي أوسع.
لمساعدتك في فهم الاختلاف بين هذه التوجيهات ، من المفيد تصنيفها حسب النوع. بمعنى آخر ، هل هذه توجيهات الزاحف أو توجيهات المفهرس هذه؟
فيما يلي ورقة غش سهلة للشرح:
| إرشادات الزاحف | إرشادات الفهرسة |
| ملف robots.txt – يستخدم توجيهات وكيل المستخدم ، والسماح ، وعدم السماح ، وخريطة الموقع لتحديد الأماكن التي يُسمح فيها لبرامج زحف محركات البحث في الموقع بالزحف وعدم السماح لها بالزحف. | علامة Meta Robots – يسمح لك بتحديد ومنع محركات البحث من إظهار صفحات معينة على موقع ما في نتائج البحث. لا متابعة – يسمح لك بتحديد الروابط التي لا ينبغي أن تجتاز السلطة أو PageRank. علامة X-Robots – يسمح لك بالتحكم في كيفية فهرسة أنواع الملفات المحددة. |
أين تضع X-Robots-Tag؟
افترض أنك تريد حظر أنواع ملفات معينة. تتمثل الطريقة المثالية في إضافة X-Robots-Tag إلى تكوين Apache أو ملف htaccess.
يمكن إضافة X-Robots-Tag إلى استجابات HTTP الخاصة بالموقع في تكوين خادم Apache من خلال ملف htaccess.
أمثلة واستخدامات ملموسة لعلامة X-Robots-Tag
لذلك يبدو جيدًا من الناحية النظرية ، ولكن كيف يبدو في العالم الحقيقي؟ سوف نلقي نظرة.
لنفترض أننا أردنا أن لا تقوم محركات البحث بفهرسة أنواع ملفات .pdf. سيبدو هذا التكوين على خوادم Apache كما يلي:
<Files ~ ".pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>
في Nginx ، سيبدو كالتالي:
location ~* .pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}الآن دعونا نلقي نظرة على سيناريو مختلف. لنفترض أننا نريد استخدام X-Robots-Tag لمنع فهرسة ملفات الصور ، مثل .jpg و .gif و .png وما إلى ذلك. يمكنك القيام بذلك باستخدام علامة X-Robots-Tag التي ستبدو كما يلي:
<Files ~ ".(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>
يرجى ملاحظة أنه من الأهمية بمكان فهم كيفية عمل هذه الإرشادات وكيفية تأثيرها على بعضها البعض.
على سبيل المثال ، ماذا لو كانت X-Robots-Tag وعلامة وصفية لبرامج الروبوت موجودة عندما تكتشف برامج الزحف عنوان URL؟
إذا تم حظر عنوان URL هذا من ملف robots.txt ، فلا يمكن اكتشاف توجيهات معينة للفهرسة والعرض ولن يتم اتباعها.
إذا كان يجب اتباع الإرشادات ، فلا يمكن منع عناوين URL التي تحتوي عليها من الزحف.
ابحث عن منارة X-Robots
هناك عدة طرق مختلفة يمكن استخدامها للبحث عن X-Robots-Tag على الموقع.
أسهل طريقة للتحقق هي تثبيت ملف امتداد المتصفح والتي ستخبرك بمعلومات X-Robots-Tag على عنوان URL.
لقطة شاشة لمدقق استبعاد الروبوتات ، ديسمبر 2022مكون إضافي آخر يمكنك استخدامه لتحديد ما إذا كان يتم استخدام X-Robots-Tag ، على سبيل المثال ، هو البرنامج المساعد لمطور الويب.
من خلال النقر على المكون الإضافي في متصفحك والانتقال إلى “إظهار رؤوس الاستجابة” ، يمكنك رؤية رؤوس HTTP المختلفة المستخدمة.
هناك طريقة أخرى يمكن استخدامها للقياس لتحديد المشكلات على مواقع الويب التي تحتوي على مليون صفحة وهي Screaming Frog.
بعد تشغيل موقع من خلال Screaming Frog ، يمكنك الوصول إلى عمود “X-Robots-Tag”.
سيوضح لك هذا أقسام الموقع التي تستخدم العلامة ، بالإضافة إلى الإرشادات المحددة.
لقطة من تقرير Screaming Frog. X-Robot-Tag ، ديسمبر 2022استخدم X-Robots-Tags على موقعك
يعد فهم كيفية تفاعل محركات البحث مع موقع الويب الخاص بك والتحكم فيها حجر الزاوية في تحسين محرك البحث. و X-Robots-Tag هي أداة قوية يمكنك استخدامها للقيام بذلك.
فقط كن على علم: إنه ليس آمنًا. من السهل جدًا ارتكاب خطأ وإلغاء فهرسة موقعك بالكامل.
ومع ذلك ، إذا كنت تقرأ هذا المقال ، فمن المحتمل أنك لست مبتدئًا في تحسين محركات البحث. طالما أنك تستخدمه بحكمة ، خذ وقتك ، وتحقق من عملك ، ستجد X-Robots-Tag ليكون إضافة مفيدة لترسانتك.
المزيد من الموارد:
الصورة المميزة: Song_about_summer / Shutterstock
#كل #ما #تحتاج #لمعرفته #حول #رأس #XRobotsTag #HTTP
المصدر
تعليقات
إرسال تعليق