لماذا يقوم محرك البحث جوجل بفهرسة بعض مشاركاتي فقط؟

عندما لا يقوم محرك البحث جوجل بفهرسة أي من مشاركات مدونتك أو عدد قليل منها، فربما تعتقد أن جوجل يتجاهلك أو أنه عنصري بعض الشيء، وبما أنك قد بدلت مجهودا كبيرا في العمل على المحتوى الخاص بك، فهذا يعني أنه يستحق الفهرسة كأقل شيء من التقدير. إذن فلماذا تتم فهرسة بعض مشاركات مدونتك فقط من قبل محرك البحث جوجل؟

ليس للفهرسة توقيت محدد، إذ يمكن أن تستغرق فهرسة المشاركات بضع ساعات إلى بضعة أيام، وأحيانا أسبوعا أو أكثر. وكمعلومة إضافية، يعمل محرك البحث جوجل على فهرسة مواقع الويب التي تتمتع بسلطة ونشاط كبيرين بشكل أسرع من المواقع الجديدة، لكن إذا كنت صاحب مدونة قديمة ولم تتم فهرسة مقالاتك إلى الآن، فهذا يعني أن هناك عدد من الاحتمالات!

محتوى المقالة

ما هو الزحف؟ وما هي الفهرسة؟

ما هو الزحف؟

الزحف "Crawling" ويشار إليه أيضا باسم "Spidering" وهو العملية التي تستخدمها الروبوتات أو الذكاء الصناعي (AI) لتحديد الصفحات الجديدة على الويب، حيث تقوم الروبوتات بتتبع الروابط المتشعبة لاكتشاف المحتوى على الإنترنت، وهذه هي الطريقة التي تعثر بها محركات البحث على مشاركات المدونات من تم تقوم بإظهارها في نتائج البحث بعد أن يتم فهرستها طبعا.

سيكون من الجيد أن يتمكن محرك البحث جوجل وباقي محركات البحث كمحرك Bing و Yahoo وغيرها من الزحف إلى مواقعك فور نشرك لأي مقالة وفهرستها، لكن هذا ليس ممكنا في الوقت الحالي نظرا لوجود أكثر من مليار موقع إلكتروني وكل موقع من هذه المواقع يحتوي على العديد من المنشورات. وما يظهر على محرك البحث جوجل لا يمثل سوى نسبة صغيرة فقط من هذا كله نظرا لأن معظم هاته المواقع متواجدة في الإنترنت المظلم "Darknet".

هذا الكم الكبير من المشاركات والمنشورات في هذه المواقع هو سبب طول الوقت الذي يتم استغراقه من قبل محرك البحث جوجل وباقي محركات البحث حتى يتم اكتشاف صفحاتك وفهرستها، ويمكنك اعتبار هذا الوقت سريعا إذا ما أخبرتك اليوم أن كل هذه المنشورات من المحتمل أن يصل عددها إلى 180 كوادريليون صفحة (1 كوادريليون = مليون x مليار، بمفهوم آخر 1 بجانبه 15 صفرا).

ما هي الفهرسة؟

الفهرسة هي تضمين الخوارزميات لمنشورات مدونتك بعد اكتشافها عبر عملية الزحف، حيث تحتفظ محركات البحث بفهرس قاعدة البيانات أو بنية المعلومات المصممة لمدونتك وذلك لتحسين كفاءة استرجاع هذه المعلومات كلما بدأ البحث عنها.

أحيانا يمكن استبعاد المحتوى من الفهرسة إذا كان لا يفي بمعايير محركات البحث أو محرك بحث معين مثل محرك البحث جوجل، نسخ المقالات ولصقها في مدونتك مثلا دون بدل مجهود في إنشاء محتوى حصري خاص بك، هذا يخالف معايير محرك البحث جوجل وكل محركات البحث الأخرى دون استثناء، لكن ما دمت تكتب محتوى مختلف ولائق وفقا للقواعد الأساسية التي تعتمدها محركات البحث فلن تواجه أية مشاكل من هذا القبيل.

المشاكل الفنية لتحسين محركات البحث الفنية

لماذا لا يتم فهرسة مشاركاتك من قبل محرك البحث جوجل؟

 ما هي المشكلات التي يمكن أن تواجهها؟

المشكلات الثلاث الرئيسية التي غالبا ما يمكن أن تواجهها فيما يتعلق بالفهرسة هي عامل الوقت أي أن مقالتك تحتاج المزيد من الوقت حتى يتم أرشفتها وظهورها في نتائج البحث أو أنك تواجه مشكلات تحسين محركات البحث الفنية، أو ربما أنك تكتب فقط مقالات عشوائيا دون الالتزام بقواعد السيو (Seo) كاستهداف الكلمات المفتاحية مثلا، وربما أيضا أنك تكتب عن مواضيع لا يبحث عنها مستخدمي الإنترنت أو لا يهتم بها أحد، لذا قرر محرك البحث جوجل تجاهل هذه الصفحات.

المواقع الجديدة تحتاج وقتا للفهرسة

يواجه معظم المدونين اليوم وأصحاب مواقع الويب الجديدة مشاكل في الفهرسة، وذلك لمجرد أن مواقعهم الإلكترونية جديدة. في حين أن من يعمل على نطاق فرعي مجاني ك blogspot.com مثلا، فقد يستغرق منه الأمر وقتا أطول ليقوم محرك البحث جوجل بفهرسة مقالته، وأحيانا ما يتراوح بين أسبوع وأسبوعين.

أفضل نصيحة يمكنني أن أقدمها لك هي أن تستمر في عملك وفي كتابة المحتوى، إذ أن استمرارك في الكتابة والنشر وكذا ربط المواضيع ببعضها فيما يسمى الباكلينك الداخلي أو السيو الداخلي وأيضا مشاركتها على مواقع السوشال ميديا. كون موقعك نشطا هكذا سيرسلان مؤشرات قوية إلى Google للإنتباه إلى ما تنشره على موقعك، وبالتالي يقوم بالزحف إليه وفهرسته.

المشاكل الفنية لتحسين محركات البحث

إذا لم تكن مدونتك أو موقعك جديدين وتبدأ في مواجهة مشاكل الفهرسة، فاعلم أن لديك مشكلة بموقعك وغالبا ما تكون هذه المشكلة تقنية.

الحد الأقصى لزحف

لدى محرك البحث جوجل وكل محركات الأخرى كميات هائلة من الصفحات التي ينبغي الزحف إليها يوميا، ولهذا يجب عليك انتظار دورك، ولكن هناك سبب آخر لعدم فهرسة مشاركاتك الجديدة على المدونة ألا وهو بلوغك "الحد الأقصى للزحف".

ويمكن لروبوتات غوغل أو الذكاء الصناعي تحديد عدد الصفحات التي يرغب في الزحف إليها في كل مرة يزور فيها موقعك بناء على عاملين مهمين والذين يؤثران على معدل الزحف والطلب على الموارد وهما:

  • حجم الموقع.
  • مدى سرعة تحميل صفحات موقعك

كلما زاد عبء الطلب على الموارد للزحف إلى صفحاتك، انخفض الوقت الذي يقضيه الروبوت في القيام بذلك. وتؤدي بعض الأشياء البسيطة كسلسلة من عمليات إعادة التوجيه الغير الضرورية إلى استنفاد ميزانية الزحف بشكل أسرع، "على سبيل المثال، إعادة توجيه الصفحة الأولى (1)  إلى الصفحة (3) قبل الوصول إلى الصفحة (2)".

يجب عليك تتبع تغطية الفهرس على أدوات مشرفي المواقع (Google Search Console) للتأكد من تضمين محرك البحث جوجل وكل محركات البحث الأخرى جميع صفحات مدونتك. ويمكن في بعض الأحيان، أن تتم فهرسة صفحاتك ولكن بما أنها ليست ضمن أفضل نتائج البحث فلا يمكنك رؤيتها.

كيفية التحقق في أدوات مشرفي المواقع

قم بتسجيل الدخول إلى أدوات مشرفي المواقع (Google Search Console)، وحدد موقعك من القائمة اعلى القائمة الجانبية ثم انقر فوق "التغطية"، وسوف تظهر لك "كل الصفحات المعروفة" في القائمة العلوية وإذا نقرت عليها ستعطيك قائمة منسدلة بخيارات متعددة.

استخدم خيار خريطة الموقع "sitemap.xml" (إذا لم تكن لديك خريطة موقع كاملة، يمكنك إنشاءها مجانا إذا كان لديك موقع صغير)، وإذا كان عدد الصفحات على موقعك يعادل عدد صفحات الصالحة في إحصائيات تغطية أدوات مشرفي المواقع فهذا يعني أن كل شيء جيد.

إذا ظهر لك أن عددا كبيرا من الصفحات لم يتم فهرستها، فقد تحتاج إلى إجراء بعض التغييرات الهيكلية على موقعك. قد يشمل ذلك حذف بعض الصفحات القديمة التي ليس بها حركة مرور وإعادة توجيه هذه الروابط إلى محتوى أكثر تحديثا له صلة بنفس الموضوع حتى تتجنب مجموعة من أخطاء 404. يمكنك أيضا إعادة صياغة محتوى هذه الصفحات لتحسين السيو والتركيز على الكلمات المفتاحية وكذلك إضافة المزيد من الفقرات، الصور والفيديوهات والروابط الداخلية.

خطأ Robots.txt

ملف robots.txt هو ملف نصي يستخدمه أصحاب المواقع والذي يعمل على إخبار وتوجيه خوارزميات محرك البحث وبرامج الروبوت حول كيفية الزحف إلى صفحات مواقعهم وفهرستها. وإذا قمت بمنع روبوتات غوغل من الوصول إلى موقعك عن غير قصد، فلن يتم الزحف إلى صفحاتك.

يتم استخدام التوجيهات الواردة في الملف لتضمين أو استبعاد المحتوى من الفهرسة، لذا قم بفحص ملف robots.txt للتأكد من أنه لم يتم إعداده على النحو التالي.

...

    User Agent: *
    Disallow: /

علامة النجمة يعنى بها أن الأوامر تنطبق على جميع برامج الروبوت، في حين أن الشرطة المائلة تعني أنه لا يجب الزحف إلى أي صفحات الموقع.

إذا وجدت هذا في ملف robots.txt الخاص بك، فما عليك سوى إزالة الشرطة المائلة (/)، وستبدأ الروبوتات بالزحف إلى موقعك.

...

    User Agent: *
    Disallow:

خطأ في علامة العنوان الأساسي (canonical)

يمكن أن يتسبب المحتوى المكرر داخل مدونتك في استبعاد المقالات المتأثرة من الفهرس، والسبب الرئيسي لحدوث هذا هو فشل أدوات مشرفي المواقع في تنفيذ أمر rel=canonical بشكل صحيح، ويتم استخدام هذه السمة لإخبار روبوتات محرك البحث جوجل وباقي محركات البحث بالنسخ الأصلية للصفحات والتي تريد ترتيبها.

يمكن أن يكون لديك محتوى مكرر داخل موقعك دون مواجهة مشاكل وذلك إذا تم تنفيذ هذه العلامة بشكل صحيح، وذلك عن طريق احتواء كل صفحة على علامة أساسية كقاعدة عامة، إذا كانت لديك استضافة ووردبريس فعادة ما يقوم الووردبريس بذلك نيابة عنك عن طريق الطيار الآلي (autopilot).

مشكل الروابط الداخلية

يمكن أن تتجاهل روبوتات محرك البحث جوجل صفحات مواقع الويب التي لا تحتوي على روابط داخلية والخارجية. إذ أنه من الصعب على الذكاء الصناعي العثور على صفحات مدونتك عندما لا يوجد روابط إليها من صفحات مفهرسة سابقا. 

تحتاج عناكب البحث إلى اتباع الارتباطات المتشعبة لاكتشاف المحتويات، لهذا يجب عليك دائما ربط مقالاتك بعضها ببعض عبر إنشاء روابط داخلية لتجنب هذه المشكلة، يمكنك أيضا مشاركة المقالات على وسائل التواصل الاجتماعي وهكذا تكون قد أنشأت روابط خارجية لمقالاتك.

التركيز على الكلمات المفتاحية

العديد من الصفحات على الإنترنت اليوم يتم تجاهلها من طرف محرك البحث جوجل وجميع محركات البحث، وذلك لأن محتوى هذه الصفحات لم يتم التركيز فيه على كلمة رئيسية معينة، ولكن رغم ذلك فلا يزال من الممكن فهرسة هذا المحتوى عن طريق إعادة صياغة المحتوى وتحسينه لجعله أكثر تركيزا على الكلمات الرئيسية، وكذلك ربطه بمقالات أخرى مفهرسة تتحدث عن مواضيع مشابهة.

خلاصة ونصيحة إضافية

العديد من المشاكل يمكن أن تكون سببا في عدم فهرسة مشاركات مدونتك، ومع ذلك، فإن معرفتك لكيفية عمل محركات البحث سيجعل من السهل عليك العثور على المشكل وتصحيحه. ولكن أولا ضع في اعتبارك أنه يتعين على محرك البحث جوجل التعامل مع ملايير الصفحات، وليس صفحتك فقط، ولهذا قد يستغرق الأمر بعض الوقت حتى تتمكن الروبوتات من الزحف إلى موقعك.

نصيحة إضافية: يمكنك تسريع وقت الفهرسة عن طريق إرسال رابط المشاركات إلى أدوات مشرفي المواقع، كما يمكنك مشاركة روابط منشوراتك على مواقع السوشال ميديا وتقليل وقت التحميل وما إلى ذلك، كل هذا سيساهم في زيادة معدل الزحف إلى موقعك وفهرسة المنشورات مما يمكنك من الظهور في نتائج البحث.

مقالات لها صلة بـ: "إنشاء المواقع"

إذا لم تكن قد أشأت موقعا بعد فهذه قائمة مقالات ستساعدك في البدء وإنشاء أول مدونة لك:

أنا محمد، مالك مدونة صور نت للمعلوميات والرقمنة، أمتلك خبرة واسعة في تحسين محركات البحث (السيو)، ومهتم بشكل خاص بمجالات التسويق الرقمي والتكنولوجيا المالية الرقمية.