كيف تعمل محركات البحث: الزحف والفهرسة والترتيب

 كيف تعمل محركات البحث: الزحف والفهرسة والترتيب

كما ذكرنا في الفصل الأول ، فإن محركات البحث هي آلات للرد على المكالمات. فهي موجودة لاكتشاف محتوى الإنترنت وفهمه وتنظيمه لتقديم النتائج الأكثر صلة بالأسئلة التي يطرحها الباحثون.

من أجل الظهور في نتائج البحث ، يجب أن يكون المحتوى الخاص بك مرئيًا لمحركات البحث أولاً. يمكن القول إنها أهم جزء في أحجية تحسين محركات البحث: إذا تعذر العثور على موقع الويب الخاص بك ، فلن تجد طريقك إلى صفحات نتائج محرك البحث (SERPs).

كيف عمل محركات البحث؟

لمحرك البحث ثلاث وظائف أساسية:

• الزحف: ابحث في الإنترنت عن المحتوى ، وابحث عن رمز / محتوى لكل عنوان URL يعثرون عليه.
• الفهرس: قم بتخزين وتنظيم المحتوى الموجود أثناء الزحف. بمجرد إدراج الصفحة في الفهرس ، يتم عرض عمليات البحث ذات الصلة مباشرة.
• تصنيف: يعرض المحتوى الذي يجيب على بحثك بشكل أفضل ، مما يعني أن النتائج مرتبة من الأكثر صلة إلى الأقل صلة.

ما هو محرك البحث الزحف؟

الزحف هو عملية الاكتشاف التي ترسل من خلالها محركات البحث مجموعة من الروبوتات (تسمى برامج الزحف أو العناكب) للعثور على محتوى جديد ومحدث. قد يختلف المحتوى - قد يكون صفحات ويب وصورًا ومقاطع فيديو وملفات PDF وما إلى ذلك - ولكن بغض النظر عن التنسيق ، يتم اكتشاف المحتوى من خلال الروابط.

يجلب Googlebot أولاً بعض صفحات الويب ويتبع الروابط الموجودة على تلك الصفحات للعثور على عناوين URL جديدة. من خلال التنقل على طول هذا المسار من الروابط الموجودة في هذه الصفحات ، يكون الزاحف قادرًا على العثور على محتوى جديد وإضافته إلى فهرس يسمى Caffeine - وهي قاعدة بيانات ضخمة لعناوين URL المكتشفة والمفهرسة - عندما يكون ذلك لاحقًا عند البحث في نتائج البحث يبحث شخص ما عن معلومات تتطابق بشكل وثيق مع ما هو موجود في عناوين URL هذه أو تطابق مصطلحات البحث التي قصدها الباحث.

ما هو فهرس محرك البحث؟

تقوم محركات البحث بمعالجة المعلومات التي يعثرون عليها وتخزينها في فهرسهم ، وهي قاعدة بيانات ضخمة تحتوي على كل ما يعثرون عليه أثناء الزحف ، وهو ما يكفي لخدمة الباحثين.

ترتيب نتائج محرك البحث

عندما يقوم شخص ما بإجراء بحث ، يقوم محرك البحث بمسح فهرسه بحثًا عن محتوى وثيق الصلة بمصطلح البحث المستخدم ، ثم يعرض هذا المحتوى للباحث ، ونأمل أن يجيب على مصطلح البحث المستخدم. تسمى طريقة ترتيب نتائج البحث حسب الصلة بالترتيب. بشكل عام ، يمكنك أن تفترض أنه كلما ارتفع ترتيب موقع الويب في نتائج البحث ، كلما كان هذا الموقع أكثر صلة بمصطلحات البحث المستخدمة ، كما تعتقد خوارزميات محرك البحث.

يمكنك منع برامج الزحف لمحركات البحث من الوصول إلى أجزاء معينة من موقع الويب الخاص بك أو موقع الويب بالكامل ، أو منع محركات البحث من تخزين صفحات معينة في فهارسها. على الرغم من وجود أسباب للقيام بذلك ، إذا كنت تريد أن يعثر الباحثون على المحتوى الخاص بك ، فيجب عليك أولاً التأكد من أنه قابل للزحف والفهرسة. خلاف ذلك ، فهم بخير ، ولكن ما الهدف منها عندما لا تكون مرئية لبرامج البحث أو المستخدمين؟

بنهاية هذا الفصل ، ستكون قادرًا على تحسين محتوى موقع الويب الخاص بك ليتوافق مع محركات البحث ، وليس ضدها!

ركز في مُحسّنات محرّكات البحث ، لا يتم إنشاء جميع محركات البحث على قدم المساواة.

يتساءل العديد من المبتدئين عن الأهمية النسبية لمحركات البحث الخاصة. يعرف معظم الناس أن Google لديها أكبر حصة في السوق ، ولكن ما مدى أهمية تحسين Bing و Yahoo وغيرهما؟ في الواقع ، بينما يوجد أكثر من 30 محرك بحث رئيسي على الويب ، فإن خبراء تحسين محركات البحث (SEO) يهتمون فقط بـ Google. لماذا ا؟

الإجابة المختصرة هي أن Google هي المكان الذي يبحث فيه الغالبية العظمى من الناس على الويب. إذا قمنا بتضمين صور Google وخرائط Google و YouTube ، فإن أكثر من 90٪ من جميع عمليات البحث على الويب تتم على Google - ما يقرب من 20 مرة أكثر من محركات بحث Bing و Yahoo.

بعد الزحف هل يمكن لمحركات البحث العثور على موقعك؟

كما تعلمت للتو ، فإن التأكد من الزحف إلى موقع الويب الخاص بك وفهرسته هو شرط أساسي للظهور في SERPs.

إذا كان لديك موقع ويب بالفعل ، فقد ترغب في البدء بالتحقق من عدد صفحاتك الموجودة في الفهرس. سيعطيك هذا نظرة ثاقبة حول ما إذا كان محرك بحث Google يقوم بالزحف والبحث في جميع الصفحات المهمة من موقعك التي تريد تضمينها في نتائج البحث ، وليس أي صفحات أخرى غير مهمة.

إحدى طرق التحقق من فهرسة صفحتك هي "site: yourdomain.com" ، عامل تشغيل بحث متقدم.

انتقل إلى Google واكتب "site: yourdomain.com" في شريط البحث واستبدل yourdomain.com بعنوان URL لموقعك على الويب. سيظهر هذا الروابط التي تمت فهرستها بالفعل بواسطة Google:

عدد الصفحات المفهرسة بواسطة Google هو 61،700 ، هذا الرقم ليس دقيقًا ، لكنه يمكن أن يعطيك فكرة عن عدد صفحات موقعك المفهرسة وكيف تظهر حاليًا في نتائج البحث.

للحصول على نتائج أكثر دقة ، راقب واستخدم تقرير تغطية الفهرس في Google Search Console.

إذا لم يكن لديك بالفعل حساب Google Search Console مجاني ، فيمكنك التسجيل للحصول على حساب. باستخدام هذه الأداة ، يمكنك إرسال خريطة موقع لموقع الويب الخاص بك ومراقبة عدد الصفحات المرسلة التي تمت إضافتها إلى فهرس Google والمزيد.

إذا لم يظهر موقعك في نتائج البحث ، فقد تكون هناك عدة أسباب:

• موقعك جديد ولم يتم الزحف إليه بعد.
• موقع الويب الخاص بك جديد ولا يحتوي على أي روابط خلفية من أي موقع ويب آخر.
• قد يجعل تصفح موقعك من الصعب على الروبوتات الزحف إليه بشكل فعال.
• يحتوي موقعك على بعض التعليمات البرمجية الأساسية التي تمنع عناكب محركات البحث وتقوم بفهرستها.
• تمت معاقبة موقعك من قبل Google بسبب تكتيكات البريد العشوائي.

كيف أخبر محركات البحث بكيفية الزحف إلى موقعك؟

إذا كنت تستخدم Google Search Console أو مشغل البحث المتقدم "site: domain.com" ووجدت أن بعض الصفحات المهمة مفقودة من الفهرس و / أو تمت فهرسة بعض الصفحات غير المهمة ، فهناك بعض التحسينات التي يمكنك تنفيذها لتوجيه Googlebot بشكل أفضل إلى لكيفية الزحف إلى محتوى الويب. لك. يمنحك إخبار محركات البحث بكيفية الزحف إلى موقعك مزيدًا من التحكم في ما يظهر في فهرس Google.

يفكر معظم الناس في التأكد من أن Google يمكنه العثور على صفحاتهم المهمة ، ولكن من السهل نسيان الصفحات المحتملة التي لا تريد أن يعثر عليها Googlebot. قد تتضمن هذه عناوين URL قديمة ذات محتوى رقيق وعناوين URL مكررة (مثل معلمات الفرز والتصفية للتجارة الإلكترونية) وصفحات الرموز الترويجية الخاصة وصفحات التدريج أو الاختبار والمزيد.

لإبقاء Googlebot بعيدًا عن صفحات وأقسام معينة في موقعك ، استخدم ملف robots.txt.

ملف robots.txt

يخبر ملف Robots.txt ، الموجود في جذر موقع الويب الخاص بك (على سبيل المثال ، yourdomain.com/robots.txt) ، محركات البحث بأجزاء موقعك التي يجب عليهم الزحف إليها وما يجب عليهم عدم الزحف إليها ، ومدى سرعة الزحف إلى موقعك .

كيف يتعامل Googlebot مع ملفات robots.txt

إذا تعذر على Googlebot العثور على ملف robots.txt الخاص بالموقع ، فسيستمر في الزحف إلى الموقع.

إذا عثر Googlebot على ملف robots.txt لأحد المواقع ، فعادةً ما يتبع النصيحة ويواصل الزحف إلى الموقع.

إذا واجه Googlebot خطأً عند محاولة الوصول إلى ملف robots.txt الخاص بالموقع ولم يتمكن من تحديد ما إذا كان الملف موجودًا ، فلن يقوم بالزحف إلى الموقع.

ميزانية الزحف

ميزانية الزحف أو التكلفة هي متوسط ​​عدد عناوين URL التي يزحف إليها Googlebot على موقعك قبل مغادرته ، لذلك تضمن ميزانية تحسين الزحف أن Googlebot لا يضيع الوقت في الزحف إلى صفحاتك غير المهمة في خطر التغاضي عن الصفحات المهمة. بالنسبة إلى المواقع الكبيرة جدًا التي تحتوي على عشرات الآلاف من عناوين URL ، تعد ميزانية الزحف هي الأكثر أهمية ، ولكن ليس من الجيد أبدًا منع برامج الزحف من الوصول إلى المحتوى الذي لا تهتم به على الإطلاق. فقط تأكد من أنك لا تمنع برامج الزحف من الوصول إلى الصفحات التي تحتوي على إرشادات الزاحف عن طريق إضافة علامات canonical أو noindex. ومع ذلك ، إذا تم حظر Googlebot من الصفحات التي تحتوي على إرشادات خاصة ببرامج الزحف هذه ، فلن تتمكن برامج الزحف هذه من رؤية الإرشادات الموجودة على تلك الصفحات.

لا تتبع كل روبوتات الويب ملف robots.txt. أنشأ الأشخاص الخبثاء بعض الروبوتات التي لا تتبع هذا البروتوكول. في الواقع ، يستخدم بعض المتسللين ملفات robots.txt لاكتشاف مكان وجود محتوى مهم يمكن سرقته. في حين أنه قد يكون من المنطقي منع برامج الزحف من الوصول إلى الصفحات الخاصة مثل صفحات تسجيل الدخول وصفحات المسؤول حتى لا تظهر في الفهرس ، فإن وضع عناوين URL لهذه الصفحات المهمة في ملف robots.txt الخاص بك يجعلها متاحة للجمهور لعناكب البحث ، والتي يعني أيضًا أنه يمكن لمن لديهم نوايا ضارة العثور على هذه الصفحات بسهولة. لذلك من الأفضل NoIndex تلك الصفحات وإخفائها خلف نموذج تسجيل الدخول بدلاً من وضعها في ملف robots.txt الخاص بك.

حدد معلمات URL في GSC

تسمح بعض مواقع الويب (مواقع التجارة الإلكترونية الأكثر شيوعًا) بعرض نفس المحتوى على عدة عناوين URL مختلفة عن طريق إلحاق معلمات معينة بعنوان URL. إذا كنت تتسوق عبر الإنترنت ، فمن المحتمل أنك استخدمت المرشحات لتضييق نطاق البحث داخل المتجر. على سبيل المثال ، يمكنك البحث في أمازون عن "أحذية" ، ثم تخصيص بحثك حسب الحجم واللون. في كل مرة تقوم فيها بالتخصيص ، يتغير عنوان URL قليلاً ليبدو كما يلي:

https://www.youtube.com/products/women/dresses/green.htm

https://www.youtube.com/products/women?category=dresses&color=green

https://youtube.com/shopindex.php?product_id=32&highlight=green+dress

&cat_id=1&sessionid=123$affid=43

كيف تعرف Google أي إصدار من عنوان URL يتم تقديمه للباحث؟ تقوم Google بعمل جيد في معرفة "عناوين URL التمثيلية" الخاصة بها ، ولكن يمكنك استخدام ميزة معلمات URL في Google Search Console لإخبار Google بما تريد أن تفعله بصفحتك. إذا كنت تستخدم هذه الميزة لإخبار Googlebot "بعدم الزحف إلى عناوين URL باستخدام المعلمة __" ، فأنت تطلب بشكل أساسي من Googlebot إخفاء هذا المحتوى ، مما قد يؤدي إلى إزالة هذه الصفحات من نتائج البحث. هذا ما تريده إذا أنشأت هذه المعلمات صفحات مكررة ، ولكنها ليست مثالية إذا كنت تريد فهرسة هذه الصفحات.

الآن بعد أن تعرفت على بعض الأساليب للحفاظ على الرسائل غير المرغوب فيها خالية من برامج زحف محركات البحث ، فلنلقِ نظرة على التحسينات التي يمكن أن تساعد Googlebot في العثور على الصفحات التي تهمك.

هل يستطيع الزاحف العثور على جميع الصفحات المهمة على موقعك؟

في بعض الأحيان ، سيتمكن محرك البحث من العثور على أجزاء من موقعك من خلال الزحف ، ولكن قد يتم حظر صفحات أو أقسام أخرى لسبب ما. من المهم التأكد من أن محركات البحث يمكنها اكتشاف كل المحتوى الذي تريد فهرسته ، وليس صفحتك الرئيسية فقط.

اطرح على نفسك هذا السؤال: هل تستطيع برامج الزحف الزحف داخل موقعك ، وليس مجرد روابط محددة؟

هل المحتوى الخاص بك مخفي وراء نموذج تسجيل الدخول؟

إذا طلبت من المستخدمين تسجيل الدخول أو ملء النماذج أو الرد على الاستطلاعات قبل الوصول إلى محتوى معين ، فلن تكون هذه الصفحات المحمية مرئية لمحركات البحث. بالتأكيد لن يقوم الزاحف بتسجيل الدخول

هل تعتمد على استمارات البحث؟

لا يمكن للروبوتات استخدام نموذج البحث. يعتقد بعض الأشخاص أنهم إذا وضعوا مربع بحث على موقع الويب الخاص بهم ، فستتمكن محركات البحث من العثور على كل ما يبحث عنه الزائر.

هل النص مخفي داخل محتوى غير نصي؟

يجب ألا تستخدم أشكال الوسائط غير النصية (الصور ومقاطع الفيديو وملفات GIF وما إلى ذلك) لعرض النص الذي ترغب في فهرسته. بينما تتحسن محركات البحث في التعرف على الصور ، ليس هناك ما يضمن أنها ستكون قادرة على قراءتها وفهمها. من الجيد دائمًا إضافة نص داخل علامات <HTML> لصفحة الويب.

هل تستطيع محركات البحث الاستمرار في تصفح موقعك؟

مثلما يحتاج الزاحف إلى روابط من مواقع أخرى لاكتشاف موقعك ، فإنه يحتاج إلى مسار من الروابط على موقعك لتوجيهه من صفحة إلى أخرى "نحن نتحدث هنا عن ربط المقالات الداخلية ببعضها البعض." إذا كان لديك صفحة على موقعك تريد أن تجدها محركات البحث ، لكنها لا ترتبط بأي صفحات أخرى داخل موقعك ، فمن الأفضل ألا تكون مرئية. ترتكب العديد من مواقع الويب خطأً فادحًا يتمثل في بناء التنقل الخاص بها بطريقة لا يمكن لمحركات البحث الوصول إليها ، مما يعيق قدرتها على الظهور في نتائج البحث.

أخطاء التنقل الشائعة التي يمكن أن تمنع برامج الزحف من رؤية موقعك بالكامل:

1. يظهر التنقل عبر الهاتف المحمول نتائج مختلفة عن التنقل عبر سطح المكتب
2. أي نوع من التنقل يستخدم تعليمات برمجية غير HTML لعناصر القائمة ، مثل التنقل الممكّن لـ JavaScript. أحرزت Google الكثير من التقدم في الزحف إلى جافا سكريبت وفهمها ، لكنها لا تزال غير عملية كاملة. لكي يتم العثور على شيء ما وفهمه وفهرسته بواسطة Google ، يجب عليك وضعه بتنسيق HTML.
3. يمكن أن يبدو التخصيص ، أو عرض التنقل الفريد لأنواع معينة من زوار موقعك ، وكأنه غطاء لبرامج زحف محركات البحث.
4. انسَ الاستشهاد بالصفحات الأساسية على موقعك - ​​تذكر أن الروابط هي المسارات التي تتبعها برامج الزحف للوصول إلى صفحات جديدة!

لهذا السبب يجب أن يحتوي موقع الويب الخاص بك على بنية مجلد URL مفيدة وسهلة التنقل.

هل لديك بنية معلومات منظمة؟

هندسة المعلومات هي ممارسة مهمة لتنظيم المحتوى وتسميته على موقع ويب لتحسين إمكانية وصول المستخدمين إلى روابط المحتوى على موقع الويب. تعد بنية المعلومات المنظمة ضرورية أيضًا لموقع الويب ، مما يعني أنه لا يتعين على المستخدمين قضاء الكثير من الوقت في تصفح موقعك للعثور على المحتوى.

هل تستخدم خريطة الموقع؟

خريطة الموقع هي بالضبط ما هو موقع الويب الخاص بك: قائمة عناوين URL على موقع الويب الخاص بك والتي يمكن أن تستخدمها برامج الزحف لاكتشاف المحتوى الخاص بك وفهرسته. تتمثل إحدى أسهل الطرق لضمان عثور Google على صفحات موقعك التي تهمك في إنشاء ملف متوافق مع Google وإرساله عبر Google Search Console. لا يتعين عليك التنقل بشكل مثالي في محتوى وروابط موقعك عند إرسال ملف خريطة الموقع ، حيث يمكن لملف خريطة الموقع أن يساعد بالتأكيد برامج الزحف في الوصول إلى جميع صفحاتك المهمة.

تأكد من تضمين عناوين URL فقط التي تريد أن تتم فهرستها بواسطة محركات البحث ، وتأكد من تقديم إرشادات متسقة لبرامج الزحف. على سبيل المثال ، لا تقم بتضمين عناوين URL في ملف Sitemap الذي قمت بحظره مسبقًا باستخدام ملف robots.txt ، أو الإصدارات المكررة أو الأساسية لعناوين URL في ملف Sitemap الخاص بك.

إذا كان موقعك لا يحصل على أي روابط خلفية ، فلا يزال بإمكانك محاولة أرشفة موقعك عن طريق إرسال خريطة موقع XML في Google Search Console. ليس هناك ما يضمن قيامهم بتضمين عنوان URL الخاص بك في الفهرس الخاص بهم ، ولكن الأمر يستحق المحاولة ، ويعمل في معظم الأوقات!

هل يرتكب الزاحف خطأ أثناء محاولة الوصول إلى عنوان URL الخاص بك؟

أثناء الزحف إلى عناوين URL على موقعك ، قد يواجه الزاحف أخطاء. يمكنك اكتشاف عناوين URL التي قد تسبب هذا من خلال الانتقال إلى تقرير أخطاء الزحف في Google Search Console - سيعرض لك أخطاء الخادم ولن يتم العثور على أخطاء. يمكن أن تعرض لك ملفات سجل الخادم هذا أيضًا ، إلى جانب الكثير من المعلومات الأخرى ، مثل تكرار الزحف.

الفهرسة كيف تقرأ محركات البحث صفحات الويب الخاصة بك وتخزنها؟

بمجرد أن تحدد أن موقعك قد تم الزحف إليه ، فإن الخطوة التالية هي التأكد من إمكانية فهرسته. هذا صحيح - فقط لأن موقعك قابل للاكتشاف والزحف بواسطة محركات البحث لا يعني بالضرورة أنه سيتم تخزينه في فهارسها. في القسم السابق حول الزحف ، ناقشنا كيفية اكتشاف محركات البحث لصفحات الويب الخاصة بك. الفهرس هو المكان الذي يتم فيه تخزين الصفحات التي تكتشفها. بعد أن تعثر برامج الزحف على هذه الصفحات ، تعرضها محركات البحث تمامًا مثل المتصفحات. عند القيام بذلك ، تقوم محركات البحث بتحليل محتوى الصفحة. يتم تخزين كل هذه المعلومات في فهرسها ، في المكان المناسب لذلك المحتوى.

تابع القراءة لمعرفة كيفية عمل الفهرسة وكيفية التأكد من أداء موقعك بشكل جيد على قاعدة البيانات المهمة للغاية.

هل يمكنني رؤية كيف يرى زاحف Googlebot صفحاتي؟

نعم ، ستعكس النسخة المخبأة لصفحتك لقطة من آخر مرة زحف فيها Googlebot إليها.

يزحف محرك بحث Google إلى صفحات الويب ويخزنها مؤقتًا استنادًا إلى عوامل مختلفة. من بين هذه المواقع ، سيتم الزحف إلى المواقع الأكثر شيوعًا التي تحتوي على إصدارات إخبارية متكررة ومنتظمة (مثل https://www.nytimes.com) أكثر من المواقع الأقل شهرة أو المواقع الجديدة مثل http: //www.rogerlovescupcakes .com (إذا كان موقع ويب موجودة على الإطلاق ...)

يمكنك رؤية الشكل الذي تبدو عليه النسخة المخبأة من خلال النقر على السهم المنسدل بجوار عنوان URL في SERPs وتحديد "Cached":

هل يمكن لمحرك البحث إزالة صفحة من فهرسها؟

نعم ، يمكن إزالة الصفحات من الفهرس! فيما يلي بعض الأسباب الرئيسية التي قد تؤدي إلى إزالة عنوان URL من الفهرس:

يعرض عنوان URL خطأ "لم يتم العثور عليه" (4XX) أو خطأ في الخادم (5XX) - من المحتمل جدًا حدوث ذلك (تم نقل الصفحة ولكن لم يتم تعيين إعادة توجيه 301) أو حدث عمدًا (لحذف الصفحة ولم يعد موجود) 404 ، نية الإزالة من الفهرس)

تمت إضافة علامة noindex لعنوان URL - يمكن لمالكي الموقع إضافة هذه العلامة لإخبار محركات البحث بإزالة الصفحة من فهرسهم.

تمت معاقبة عنوان URL يدويًا لانتهاكه إرشادات مشرفي المواقع الخاصة بمحرك البحث وتمت إزالته من الفهرس نتيجة لذلك.

يجب على الزائرين إضافة كلمة مرور لمنع الزحف إلى عنوان URL قبل أن يتمكنوا من الوصول إلى الصفحة.

إذا كنت تعتقد أن إحدى صفحات موقعك التي كانت موجودة سابقًا في فهرس Google لم تعد تظهر ، فيمكنك استخدام أداة URL Checker لمعرفة حالة تلك الصفحة ، أو استخدام Fetch As Google مع ميزة طلب الفهرسة وإرسال عناوين URL الفردية إلى فهرس. (المكافأة: تحتوي أداة الجلب من GSC أيضًا على خيار "العرض" الذي يتيح لك معرفة ما إذا كان هناك أي خطأ في تصور Google لصفحتك.)

أخبر محركات البحث بكيفية فهرسة موقعك

علامة التبويب "التوجيهات الوصفية للروبوتات"

العلامات الوصفية للروبوتات هي إرشادات يمكنك أن تعطيها لمحركات البحث حول ما يجب أن تفعله بصفحاتك.

يمكنك إخبار برامج زحف محركات البحث "لا تقم بفهرسة هذه الصفحة في نتائج البحث" أو "لا تنقر فوق أي روابط في هذه الصفحة". يتم تنفيذ هذه التعليمات عبر العلامة الوصفية لبرامج الروبوت في رأس <head> لصفحة HTML (الأكثر شيوعًا) أو عبر X-Robots-Tag في رأس HTTP.

العلامة الوصفية لبرامج الروبوت

يمكن استخدام العلامة الوصفية لبرامج الروبوت في <head> لصفحة HTML على الويب. يمكنه استبعاد كل أو بعض محركات البحث المحددة. فيما يلي التوجيهات الوصفية الأكثر شيوعًا ، مع توضيح وقت تطبيقها.

يخبر index / noindex محركات البحث ما إذا كان يجب الزحف إلى الصفحة والاحتفاظ بها في فهرس محرك البحث لاسترجاعها. إذا اخترت استخدام "noindex" ، فأنت تخبر الزاحف أنك تريد استبعاد تلك الصفحة من نتائج البحث. بشكل افتراضي ، يمكن لمحركات البحث فهرسة جميع الصفحات افتراضيًا ، لذا فإن استخدام قيمة "index" غير ضروري تمامًا.

وقت الاستخدام: إذا كنت تحاول تقليم الصفحات البسيطة لموقعك من فهرس Google (على سبيل المثال: صفحات الملف الشخصي التي ينشئها المستخدم) ولكنك لا تزال تريد أن يقوم الزوار بزيارتها ، يمكنك اختيار وضع علامة "noindex" على الصفحات.

اتبع / nofollow ما إذا كانت محركات البحث تتبع الروابط الموجودة على الصفحة. يؤدي "متابعة" إلى قيام برامج الروبوت باتباع الروابط الموجودة على صفحتك وتمرير ملكية الرابط إلى عناوين URL هذه. بدلاً من ذلك ، إذا اخترت استخدام "nofollow" ، فلن تتبع محركات البحث أي ملكية لهذا الرابط أو تنقله إلى الرابط الموجود على الصفحة. بشكل افتراضي ، من المفترض أن تحتوي جميع الصفحات على سمة متابعة.

وقت استخدامها: غالبًا ما يتم استخدام nofollow مع noindex عندما تحاول منع فهرسة صفحة ومنع برامج الزحف من تتبع الروابط الموجودة على تلك الصفحة.

يستخدم noarchive لتقييد محركات البحث من حفظ النسخ المخبأة للصفحات. بشكل افتراضي ، سيحتفظ المحرك بنسخ مرئية من جميع الصفحات المفهرسة ، والتي يمكن للباحثين الوصول إليها من خلال الروابط المخبأة في نتائج البحث.

متى تستخدمه: إذا كنت تدير موقعًا للتجارة الإلكترونية وتتغير أسعارك كثيرًا ، فقد تفكر في استخدام علامة noarchive لمنع الباحثين من رؤية أسعارك القديمة.

فيما يلي مثال على meta robots noindex و nofollow tags:

<! DOCTYPE html>

<html>

<head>

<meta name = "robots" content = "noindex، nofollow" />

</head>

<text> ... </text>

</html>

يستثني هذا المثال جميع محركات البحث من فهرسة الصفحة واتباع أي روابط على الصفحة. إذا كنت تريد استبعاد برامج زحف متعددة ، مثل googlebot و bing ، فيمكنك استخدام علامة استبعاد برامج الروبوت المتعددة.

تؤثر الأوامر الوصفية في الفهرسة وليس الزحف

يحتاج Googlebot إلى الزحف إلى صفحاتك لرؤية التوجيهات الوصفية الخاصة بها ، لذلك إذا كنت تحاول منع برامج الزحف من صفحات معينة ، فإن التوجيهات الوصفية ليست هي السبيل للذهاب. يجب أن يمسك الروبوت العلامات ليتم احترامها.

علامات X-Droid

تُستخدم علامة x-robots في رؤوس HTTP لعناوين URL ، وإذا كنت تريد حظر محركات البحث على نطاق واسع ، فإنها توفر مزيدًا من المرونة والقوة من العلامات الوصفية لأنه يمكنك استخدام التعبيرات العادية وحظر الملفات غير بتنسيق HTML وعدم وجود فهرس يتم تطبيق التسميات على نطاق النقاط.

على سبيل المثال ، يمكنك بسهولة استبعاد مجلدات كاملة أو أنواع ملفات كاملة (مثل moz.com/no-bake/old-recipes-to-noindex):

<file ~ "\ /؟ no \ -bake \ /.*">

    مجموعة الرأس X-Robots-Tag "noindex ، nofollow"

</document>

أو لنوع ملف معين (مثل PDF):

<file ~ "\ .pdf $">

    مجموعة الرأس X-Robots-Tag "noindex ، nofollow"

</document>

 الترتيب: كيف ترتب محركات البحث عناوين URL؟

كيف تضمن محركات البحث أنه عندما يكتب شخص ما كلمة رئيسية في شريط البحث ، سيحصل في المقابل على نتائج ذات صلة؟ تسمى هذه العملية الترتيب ، أو ترتيب نتائج البحث من الأكثر إلى الأقل صلة بمصطلح أو عبارة البحث.

كيف محركات البحث ترتيب عناوين المواقع

تصنيف

لتحديد مدى الصلة باستعلام ما ، تستخدم محركات البحث خوارزمية ، وهي عملية أو صيغة يمكن من خلالها استرداد المعلومات المخزنة وترتيبها بطريقة مفيدة. خضعت هذه الخوارزميات للعديد من التغييرات على مر السنين لتحسين جودة نتائج البحث. تقوم Google ، على سبيل المثال ، بإجراء تعديلات على الخوارزمية على أساس يومي - بعضها عبارة عن تعديلات طفيفة على الجودة ، في حين أن البعض الآخر عبارة عن تحديثات خوارزمية أساسية / واسعة يتم طرحها لمعالجة مشكلات محددة ، مثل Penguin لمعالجة الروابط الخلفية غير المرغوب فيها. تحقق من سجل التغيير في خوارزمية Google للحصول على قائمة بجميع تحديثات Google المؤكدة وغير المؤكدة التي تعود إلى عام 2000.

لماذا تتغير الخوارزميات بشكل متكرر؟ هل تحاول Google فقط إبقائنا متيقظين؟ على الرغم من أن Google لا تكشف دائمًا عن تفاصيل سبب قيامها بما تفعله ، إلا أننا نعلم أن هدف Google عند إجراء تعديلات على الخوارزمية هو تحسين جودة البحث الإجمالية. لهذا السبب ، عند الإجابة على سؤال تحديث الخوارزمية ، تستجيب Google بشيء مثل: "نحن دائمًا نجري تحديثات الجودة." قارن مع إرشادات بحث جودة المقيم ، وكلاهما مهم لاحتياجات محركات البحث.

ماذا تريد محركات البحث؟

لطالما أرادت محركات البحث الشيء نفسه: تقديم إجابات مفيدة لأسئلة الباحثين بأكثر الطرق إفادة ممكنة. إذا كان هذا صحيحًا ، فلماذا تبدو مُحسّنات محرّكات البحث مختلفة الآن عن السنوات الماضية؟

فكر في الأمر على أنه شخص يتعلم لغة جديدة.

في البداية ، كان فهمهم للغة بدائيًا جدًا. مع تطور فهمهم بمرور الوقت ، يتعلمون الدلالات - المعنى الكامن وراء اللغة والعلاقات بين الكلمات والعبارات. في النهاية ، مع الممارسة الكافية ، يعرف الطلاب اللغة جيدًا بما يكفي لتقدير الفروق الدقيقة والقدرة على الإجابة على الأسئلة الغامضة أو غير المكتملة.

عندما تبدأ محركات البحث للتو في تعلم لغتنا ، فمن السهل خداع النظام بالحيل والتكتيكات التي تنتهك إرشاداتنا الخاصة بالجودة. على سبيل المثال ، حشو الكلمات الرئيسية. إذا أردت أن تبدأ بكلمة رئيسية محددة مثل "نكت مضحكة" ، يمكنك إضافة كلمة "نكت مضحكة" عدة مرات على صفحتك ، وجعلها جريئة وملونة ، على أمل تعزيز ترتيبك لهذا المصطلح:

مرحبا بكم في نكت مضحكة! نقول أطرف النكات في العالم. نكت مضحكة و مجنونة. نكتة مضحكة في انتظارك. اجلس واقرأ النكات المضحكة لأن النكات المضحكة ستجعلك مستمتعًا ومضحكًا. بعض النكات المضحكة المفضلة لدي.

نتج عن هذا التكتيك العديد من تجارب المستخدمين السيئة ، حيث بدلاً من الضحك على النكات المضحكة ، ينزعج الناس من النص المزعج الذي يصعب قراءته. ربما نجح هذا في الماضي ، لكنه ليس ما تريده محركات البحث.

أهمية الروابط الخلفية  في تحسين محركات البحث

عندما نتحدث عن الروابط ، يمكننا أن نعني شيئين. الروابط الخلفية أو "الروابط الواردة" هي روابط من مواقع ويب أخرى تشير إلى موقع الويب الخاص بك ، بينما الروابط الداخلية هي روابط على موقع الويب الخاص بك تشير إلى صفحاتك الأخرى (على نفس موقع الويب).

الفرق بين الروابط الخلفية والروابط الداخلية لموقعك

لعبت الروابط تاريخيًا دورًا كبيرًا في تحسين محركات البحث (SEO). منذ فترة طويلة ، احتاجت محركات البحث إلى المساعدة في تحديد عناوين URL الأكثر جدارة بالثقة من غيرها لمساعدتها في تحديد كيفية ترتيب نتائج البحث. احسب عدد الروابط التي تشير إلى أي موقع معين يساعدهم في القيام بذلك.

تعمل الروابط الخلفية إلى حد كبير مثل توصيات WoM (Word-of-Mouth) في العالم الحقيقي. لنأخذ مقهى يسمى Jenny's Coffee كمثال:

• شهادات من الآخرين = علامة جيدة على السلطة
• مثال: يقول لك العديد من الأشخاص المختلفين أن قهوة Jenny هي الأفضل في المدينة
• شهادات من نفسك = متحيزة ، لذا فهي ليست علامة جيدة على السلطة
• مثال: تدعي جيني نفسها أن قهوتها هي الأفضل في المدينة
• التوصيات الواردة من مصادر غير ذات صلة أو منخفضة الجودة = ليست علامة جيدة على السلطة ، وقد تجعلك تضع علامة على أنك بريد عشوائي
• مثال: تدفع جيني للأشخاص الذين لم يذهبوا إلى المقهى الخاص بها من قبل ليخدعوا بإخبارهم كم هو جيد.
• لا إحالات = أذونات غير واضحة
• مثال: قد تكون قهوة Jenny جيدة ، لكن لا يمكنك العثور على أي شخص يعلق عليها ، لذلك فأنت غير متأكد بشكل عام من جودة القهوة.

المشاركة المحلية

بينما لا يُدرجها Google كعامل ترتيب محلي ، يزداد دور المشاركة بمرور الوقت. يواصل Google إثراء نتائج البحث المحلية من خلال دمج بيانات العالم الحقيقي ، مثل أوقات الزيارة الشائعة ومتوسط ​​مدة الزيارة.

مشكلة العمل

ليس هناك شك في أن النتائج المحلية تتأثر الآن أكثر من أي وقت مضى ببيانات العالم الحقيقي. هذا التفاعل هو كيفية تفاعل الباحثين مع الشركات المحلية والاستجابة لها ، بدلاً من المعلومات الثابتة البحتة (والقابلة للتلاعب) مثل الروابط والاستشهادات.

نظرًا لأن Google تريد إبراز أفضل الشركات المحلية وأكثرها صلة بالباحثين ، فمن المنطقي بالنسبة لهم استخدام مقاييس المشاركة في الوقت الفعلي لتحديد الجودة والأهمية.

لا يتعين عليك معرفة خصوصيات وعموميات خوارزمية Google (لا تزال لغزا!) ، ولكن الآن يجب أن يكون لديك فهم أساسي لكيفية اكتشاف محرك البحث للمحتوى وتفسيره وتخزينه وترتيبه. مسلحين بهذه المعلومات ، دعنا نتعلم كيفية اختيار الكلمات الرئيسية للمحتوى الخاص بك في الفصل 3 (Keyword Research)!

شارك المقالة عبر:

إقرأ أيضا

اترك تعليقا: