جدول المحتويات:
- مقدمة
- ما أخطاء الزحف في Google Search Console؟
- أين تجد أخطاء الزحف في Google Search Console
- فهم أكثر أنواع أخطاء الزحف شيوعًا
- خطوات إصلاح أخطاء الزحف بالتفصيل
- أدوات لتشخيص أخطاء الزحف بشكل أسرع
- كيفية منع أخطاء الزحف: أفضل الممارسات
- أفكار ختامية
- الأسئلة الشائعة
لا يستطيع Google ترتيب أي صفحة لا يستطيع الزحف إليها. إذ يجب على Google أن يفهم صفحتك ويزحف إليها ويفهرسها، وإلا فلن يتمكن من ترتيبها. ويحدث خطأ الزحف عندما يحاول Googlebot زيارة صفحة على موقعك لكنه يواجه مشكلة مثل تعطل الخادم أو صفحة مفقودة أو إعادة توجيه معطلة أو حظر عبر ملف robots.txt. ويمكن لأخطاء الزحف أن تمنع الفهرسة بصمت، وتهدر ميزانية الزحف لموقعك، وتُفقدك زيارات كان من الممكن أن تتحول إلى عملاء.
الجانب الجيد أن معظم أخطاء الزحف قابلة للإصلاح. فباستخدام Google Search Console، يمكنك الحصول على بيانات واضحة لتشخيص أخطاء الزحف وحلها، إذ توفر الأداة البيانات من خلال تقريرين رئيسيين: تقرير فهرسة الصفحات (Page Indexing) وتقرير إحصاءات الزحف (Crawl Stats). وبعد أن تحصل على التقارير، يتمثل التحدي التالي في معرفة أين تبحث عن الأخطاء فيها وما الإجراءات التي يجب اتخاذها عند اكتشاف خطأ.
يساعدك هذا الدليل على العثور على أخطاء الزحف في Google Search Console، ويقترح إجراءات لإصلاحها حسب نوعها، ويشارك أفضل الممارسات لتجنبها مستقبلًا.
لنبدأ!
أهم النقاط:
- تحدث أخطاء الزحف عندما لا يتمكن Googlebot من الوصول إلى عنوان URL بنجاح، وقد يواجه مشكلات مثل أعطال الخادم أو الصفحات المفقودة أو الوصول المحظور أو إشارات مربكة مثل أخطاء soft 404.
- يوجد في Google Search Console تقريران رئيسيان لتحديد أخطاء الزحف: تقرير فهرسة الصفحات ضمن قسم الفهرسة (Indexing)، وتقرير إحصاءات الزحف ضمن قسم الإعدادات (Settings). ويمكنك استخدام أداة فحص عنوان URL لتشخيص المشكلات بشكل أعمق.
- لا تحتاج إلى إصلاح كل خطأ زحف على حدة. فمن الضروري تحديد الأولويات والتركيز أولًا على الصفحات عالية القيمة، مثل الصفحة الرئيسية وصفحات تحقيق الإيرادات والصفحات التي تحظى بزيارات أو روابط خلفية.
- تتطلب أخطاء الزحف المختلفة حلولًا مختلفة. لذا يجب أن تتعامل بطرق مختلفة مع أخطاء مثل 404، وأخطاء الخادم 5xx، ومشكلات إعادة التوجيه، والحظر عبر robots.txt.
- لا تُعِد توجيه كل خطأ 404. أعِد توجيه عنوان URL المحذوف عندما يوجد بديل ذو صلة، فقد تكون أخطاء 404 أو 410 المتعمدة مناسبة أحيانًا.
- بعد الإصلاح، انقر دائمًا على «التحقق من الإصلاح» (Validate Fix) في تقرير فهرسة الصفحات، واطلب فهرسة عناوين URL المهمة. وامنح Google الوقت لإعادة الزحف إلى عناوين URL المتأثرة.
- يمكن للمراقبة المنتظمة من خلال فحوصات أسبوعية وخرائط مواقع نظيفة وعمليات إعادة توجيه سليمة أن تساعد في منع عودة معظم أخطاء الزحف.
- يمكن لملف زحف نظيف أن يحمي ميزانية الزحف لديك ويحسّن الفهرسة ويدعم ظهورًا عضويًا أفضل.
ما أخطاء الزحف في Google Search Console؟
أخطاء الزحف في Google Search Console هي مشكلات تحدث عندما يحاول Googlebot زيارة صفحة ويب لكنه لا يتمكن من الوصول إليها أو الزحف إليها بنجاح. فبدلًا من جلب تلك الصفحات بشكل طبيعي، يواجه مشكلات مثل أعطال الخادم أو الصفحات المفقودة أو الوصول المحظور أو إشارات مربكة مثل أخطاء soft 404.
يشبه ذلك قارئًا يقرأ مقالك ليعدّ ملخصًا له. فإذا كانت الصفحة الأولى من كتابك مقفلة أو كانت بعض صفحاته مفقودة، فلن يتمكن القارئ أبدًا من فهم معناه الحقيقي بشكل صحيح. وبالمثل، عندما يفشل نظام Google الآلي في فهم صفحتك بسبب أي من هذه المشكلات، يمنع Google فهرسة تلك الصفحات فتصبح غير مرئية في نتائج البحث.
ماذا يعني عدم قدرة نظام Google الآلي على الوصول إلى صفحتك بشكل صحيح:
- قد تختفي صفحاتك المهمة من نتائج البحث.
- تُهدر ميزانية الزحف على عناوين URL معطلة أو منخفضة القيمة.
- قد يؤثر ذلك في صفحات الهبوط الرئيسية لديك، مما ينعكس بدوره على ترتيبك وزياراتك العضوية.
الخلاصة بسيطة: أخطاء الزحف هي طريقة Google لإخبارك بأنه حاول الوصول إلى صفحتك لكن حدث خطأ ما. ويجب عليك إصلاح هذه الأخطاء لضمان أن تكون صفحاتك الأكثر قيمة مفهرسة ومرئية دائمًا في عمليات بحث Google.
أين تجد أخطاء الزحف في Google Search Console
لم يعد Google Search Console يتضمن تقريرًا مخصصًا لأخطاء الزحف، إذ تظهر معظم الأخطاء المتعلقة بالزحف الآن في هذين التقريرين: فهرسة الصفحات (Page Indexing) وإحصاءات الزحف (Crawl Stats). ولتشخيص عناوين URL فردية، يمكنك بعد ذلك استخدام أداة فحص عنوان URL.
إليك لمحة سريعة عن كيفية استخدامها:
قسم Search Console |
الغرض |
|---|---|
| فهرسة الصفحات | تحديد عناوين URL غير المفهرسة وفهم السبب |
| إحصاءات الزحف | تحليل زحف Googlebot ورموز الاستجابة ومشكلات الخادم والاتصال |
| فحص عنوان URL | فحص عنوان URL محدد واختباره |
الخطوة 1: افتح Google Search Console
- سجّل الدخول إلى Google Search Console.
- اختر الموقع أو الموقع المسجّل (Property) الصحيح الذي تريد تدقيقه من القائمة المنسدلة.
- إذا كنت تدير أكثر من موقع، فتأكد من أنك تنظر إلى الموقع الصحيح قبل أن تبدأ في استخلاص أي استنتاجات.
الخطوة 2: انتقل إلى تقرير فهرسة الصفحات
- من القائمة اليسرى، انقر على الفهرسة (Indexing) ثم اختر الصفحات (Pages).
- هنا يمكنك معرفة سبب عدم فهرسة صفحات معينة، مثل الحظر أو عدم العثور على الصفحة أو أخطاء الخادم. وستجد كل هذه التفاصيل ضمن قسم «سبب عدم فهرسة الصفحات» (Why pages aren't indexed).
الخطوة 3: راجع أسباب عدم فهرسة الصفحات
يمكنك العثور على أسباب عدم فهرسة الصفحات ضمن قسم «سبب عدم فهرسة الصفحات». ومن المشكلات الشائعة المتعلقة بالزحف:
- خطأ في الخادم (5xx)
- غير موجودة (404)
- خطأ Soft 404
- خطأ في إعادة التوجيه
- محظورة بواسطة robots.txt
- تم الزحف إليها ولكنها غير مفهرسة حاليًا (وحالات أخرى ذات صلة)
يمكنك النقر على أي سبب لعرض قائمة عناوين URL المتأثرة، كما يمكنك تصدير القائمة لتسهيل مراجعتها.
الخطوة 4: افحص عناوين URL الفردية باستخدام أداة فحص عنوان URL
لتشخيص صفحة معينة بالتفصيل، يمكنك استخدام أداة فحص عنوان URL الموجودة أعلى Google Search Console. ما عليك سوى لصق عنوان URL الذي به مشكلة والضغط على Enter. وتعرض لك هذه الأداة:
- ما إذا كان Google قد تمكن من الزحف إلى الصفحة
- رمز حالة HTTP المُرجَع
- ما إذا كانت الصفحة مفهرسة
- أي مشكلات حظر (robots.txt وnoindex وغيرها)
- خيار اختبار عنوان URL المباشر وطلب الفهرسة
الخطوة 5: راجع تقرير إحصاءات الزحف
لاكتشاف مشكلات الخادم أو التوفر على مستوى الموقع بأكمله، والتي قد لا تظهر بوضوح في تقرير فهرسة الصفحات، يمكنك استخدام تقرير إحصاءات الزحف.
يمنحك هذا التقرير رؤية أشمل لكيفية زحف Googlebot إلى موقعك بالكامل. انتبه إلى:
- توفر المضيف
- رموز الاستجابة (خاصةً أخطاء 5xx وانتهاء المهلة)
- اتجاهات طلبات الزحف
- أي ارتفاعات مفاجئة في الأخطاء
من المهم ملاحظة أن وجود قائمة طويلة من عناوين URL المُبلغ عنها في Google Search Console لا يعني دائمًا أن موقعك يواجه مشكلة. فكثير من تلك العناوين قد تكون روابط قديمة أو مكررة أو صفحات أزلتها عمدًا، وقد لا تحتاج إلى إصلاح أصلًا.
ينبغي أن تقوم الاستراتيجية على التركيز على صفحاتك المهمة، مثل الصفحة الرئيسية أو صفحات الخدمات أو صفحات الهبوط عالية الزيارات التي تهم عملك أكثر، بدلًا من ملاحقة كل خطأ على حدة.
فهم أكثر أنواع أخطاء الزحف شيوعًا
ليست كل أخطاء الزحف بالدرجة نفسها من الخطورة، بل يجب مراعاة تأثيرها. فالمشكلات التي تؤثر مباشرةً في ظهور صفحاتك المهمة في نتائج البحث يجب التعامل معها كأولوية. وبعض المشكلات متوقعة أو مقصودة ولا تشير بالضرورة إلى مشكلة في السيو. ويساعدك فهم تأثير كل منها ومعناه على معرفة مدى الجدية التي يجب أن تتعامل بها معها.
إليك لمحة سريعة عن أخطاء الزحف ومعانيها لمساعدتك على اتخاذ إجراء حاسم.
خطأ الزحف |
ما يعنيه ذلك |
ذو أولوية |
|---|---|---|
| خطأ الخادم 5xx | فشل الخادم في تلبية طلب Google | حرج |
| 404 غير موجودة | عنوان URL غير موجود | متوسط |
| Soft 404 | تبدو الصفحة مفقودة أو ضعيفة المحتوى لكنها تُرجع الرمز 200 | متوسط |
| خطأ في إعادة التوجيه | إعادة التوجيه معطلة أو دائرية أو مفرطة | مرتفع |
| محظورة بواسطة robots.txt | الزحف محظور بواسطة robots.txt | مرتفع |
| 403 ممنوع | يرفض الخادم طلب Google | مرتفع |
| 401 غير مصرح به | تتطلب الصفحة مصادقة | مرتفع |
| خطأ في DNS | لا يستطيع Google تحليل اسم النطاق | حرج |
| انتهاء المهلة | لا يستجيب الخادم في الوقت المحدد | مرتفع |
1. أخطاء الخادم (5xx)
- هذه مشكلات حرجة تمنع Googlebot من الوصول إلى موقعك.
- يفشل الخادم في الاستجابة، وقد يرجع ذلك إلى الخطأ 500 Internal Server Error أو 502 Bad Gateway أو 503 Service Unavailable أو 504 Gateway Timeout.
- هذه الأخطاء بالغة الأهمية لأنها قد تؤثر في صفحات متعددة دفعة واحدة، وقد تدفع Google إلى إبطاء الزحف عبر موقعك بالكامل.
2. غير موجودة (404)
- يعني الخطأ 404 أن Googlebot طلب صفحة غير موجودة على خادمك.
- قد يحدث هذا الخطأ إذا حُذفت الصفحة أو تغيّر عنوان URL.
- يعتمد تأثير هذا الخطأ على حجم الزيارات إلى تلك الصفحة، ويكون التأثير مرتفعًا إذا كانت الصفحة تحظى بزيارات أو روابط خلفية.
- ويكون التأثير منخفضًا أو ضئيلًا إذا أُزيلت الصفحة عمدًا ولم تكن لها قيمة.
3. خطأ Soft 404
- يحدث خطأ soft 404 عندما تبدو الصفحة مفقودة بالنسبة إلى Googlebot؛ إذ يُرجع الخادم الرمز 200 OK، لكن يبدو لـ Google أن الصفحة لا تحتوي على محتوى حقيقي.
- قد يكون التأثير متوسطًا إلى مرتفع، لأن هذه الصفحات قد تهدر ميزانية الزحف ولا تُفهرس عادةً.
4. أخطاء إعادة التوجيه
- يحدث هذا الخطأ عندما يتبع Google إعادة توجيه لكنه يواجه مشكلة.
- قد يرجع ذلك إلى سلسلة إعادة توجيه طويلة جدًا، أو حلقة إعادة توجيه، أو وجهة فارغة، أو وجهة تُرجع خطأ.
- يجب التعامل معه كأولوية عالية، لأن مشكلات إعادة التوجيه قد تمنع الزحف إلى الصفحات وقد تتسبب في فقدان قيمة الروابط.
5. محظورة بواسطة robots.txt
- يحدث هذا الخطأ عندما يمنع ملف robots.txt الخاص بك Googlebot من الزحف إلى الصفحة.
- قد تكون الأولوية متوسطة إلى عالية بحسب الصفحات المحظورة.
- تنشأ المشكلة إذا حُظرت أي من الصفحات المهمة، مثل صفحات الخدمات أو المنتجات أو الفئات أو صفحات الهبوط.
6. مشكلات وصول أخرى: الأخطاء 403 و401 وما شابهها
قد تكون هذه أخطاء مصادقة أو أذونات تمنع Googlebot من الوصول إلى المحتوى.
- 403 ممنوع: فهم الخادم الطلب لكنه يرفض منح حق الوصول.
- 401 غير مصرح به: تتطلب الصفحة مصادقة أو بيانات اعتماد صالحة.
- قيود وصول أخرى: قد تمنع أنظمة الأمان أو جدران الحماية أو جدران حماية تطبيقات الويب (WAF) أو أدوات الحماية من الروبوتات برامجَ الزحف المشروعة من الوصول إلى الصفحات العامة.
قد يكون التأثير مرتفعًا إذا شمل ذلك الصفحات العامة.
7. أخطاء DNS والشبكة وانتهاء المهلة
تحدث هذه الأخطاء عندما يتعذر على Googlebot الوصول إلى خادمك بسبب مشكلات DNS أو انتهاء مهلة الاتصال أو مشكلات الشبكة. وفيما يلي الأسباب الشائعة لهذه الأخطاء:
- مشكلات في إعدادات DNS
- توقف الخادم عن العمل
- مشكلات في الاستضافة أو البنية التحتية
- قيود جدار الحماية أو الأمان
- الضغط الزائد على الخادم
- بطء أوقات استجابة الخادم
يجب التعامل مع هذه المشكلات على سبيل الأولوية لأنها قد تؤثر في قدرة Google على الزحف إلى موقعك، وقد تكون حرجة بالنسبة إليه.
الخلاصة: لا ينبغي أن يكون الهدف إبقاء عدد الأخطاء عند الصفر، بل ضمان أن يتمكن Google من الزحف بشكل موثوق إلى الصفحات المهمة التي تريد ظهورها في نتائج البحث.
خطوات إصلاح أخطاء الزحف بالتفصيل
يمكن أن يصبح إصلاح أخطاء الزحف أبسط بكثير إذا اتبعت عملية واضحة بدلًا من إصلاح كل عنوان URL بشكل عشوائي. فبدلًا من ملاحقة كل مشكلة على حدة، حدد أولويات ما يهم أكثر وطبّق الإصلاح المناسب لكل نوع من الأخطاء.
إليك نهجًا عمليًا خطوة بخطوة يمكنك اتباعه:
1. تحديد الأولويات
لا يتطلب كل خطأ اهتمامًا فوريًا. يمكنك البدء بإعطاء الأولوية للصفحات ذات القيمة الأكبر للأعمال والسيو، مثل:
- الصفحة الرئيسية
- صفحات الخدمات والمنتجات
- صفحات الهبوط ذات معدلات التحويل العالية
- الصفحات التي تحقق زيارات عضوية
- عناوين URL التي تمتلك روابط خلفية قيّمة
- صفحات الفئات أو المواقع الجغرافية المهمة
يمكنك تجاهل أخطاء 404 المتعمدة أو عناوين URL منخفضة القيمة التي لا تحتاج إلى فهرسة. ويوضح الجدول أدناه المشكلات التي يمكنك التعامل معها حسب الأولوية.
ذو أولوية |
المشكلات التي يجب معالجتها |
السبب |
|---|---|---|
| حرج | أخطاء 5xx، وإخفاقات DNS، وحالات انتهاء المهلة واسعة النطاق | قد لا يتمكن Google من الوصول إلى أجزاء كبيرة من موقعك |
| مرتفع | صفحات مهمة محظورة بواسطة robots.txt، وأخطاء 403، ومشكلات إعادة التوجيه | قد تصبح الصفحات القيّمة غير قابلة للوصول بالنسبة إلى Google |
| متوسط | أخطاء 404 مهمة، وأخطاء soft 404، وروابط داخلية معطلة | قد تؤثر في تجربة المستخدم وإشارات السيو |
| منخفضة | أخطاء 404 متعمدة، وعناوين URL قديمة بلا قيمة | لا تتطلب عادةً أي إجراء |
2. التشخيص
بمجرد أن تعرف عناوين URL التي لم يُزحف إليها، تتمثل الخطوة التالية في تحديد السبب الجذري ومعرفة سبب عدم قدرة Google على الزحف إلى تلك الصفحات بالضبط.
إليك لمحة سريعة عما يمكنك البحث عنه لتحديد المشكلة:
ما يجب التحقق منه |
ما الذي يجب البحث عنه |
الأداة |
|---|---|---|
| حالة عنوان URL | مفهرس، غير مفهرس، خطأ | فحص عنوان URL |
| حالة HTTP | 200, 301, 404, 403, 5xx | فحص عنوان URL/أدوات الخادم |
| إمكانية الزحف | هل يستطيع Google الوصول إلى عنوان URL؟ | فحص عنوان URL |
| robots.txt | هل الزحف محظور؟ | robots.txt |
| عمليات إعادة التوجيه | سلاسل، حلقات، وجهات غير صحيحة | أداة فحص إعادة التوجيه/برنامج الزحف |
| العنوان الأساسي (Canonical) | عنوان URL أساسي صحيح | فحص عنوان URL/الشفرة المصدرية |
| الروابط الداخلية | روابط معطلة أو قديمة | Screaming Frog/Sitebulb |
| خريطة الموقع | تضمين عناوين URL الصحيحة | Search Console |
| الخادم | توقف عن العمل، أخطاء، بطء في الاستجابة | سجلات الخادم/الاستضافة |
| الأمان | WAF/جدار حماية يحظر الروبوتات | منصة الاستضافة/الأمان |
يمكنك اتباع الخطوات أدناه لتشخيص سبب خطأ الزحف
أ) افحص عنوان URL
افتح أداة فحص عنوان URL في Google Search Console وأدخل عنوان URL المتأثر. ويمكنك اختبار عنوان URL المباشر للتحقق من الصفحة كما هي حاليًا، والبحث عن إشارات مثل:
- ما إذا كان عنوان URL قابلًا للوصول من Google
- معلومات استجابة HTTP
- حالة الفهرسة
- عنوان URL الأساسي (Canonical)
- معلومات الزحف
- أي مشكلات مُبلغ عنها في إمكانية الوصول أو الفهرسة
ب) راجع إحصاءات الزحف
تحقق مما إذا كانت المشكلة تؤثر في عناوين URL متعددة. ولتحديد المشكلة، يمكنك البحث عن أنماط غير معتادة في:
- طلبات Googlebot
- أوقات استجابة الخادم
- استجابات 5xx
- أخطاء DNS
- مشكلات اتصال الخادم
إذا حدثت زيادة مفاجئة في أخطاء الخادم أو تغيّر حاد في وقت الاستجابة، فقد تكون المشكلة مرتبطة بالبنية التحتية بشكل أوسع لا بصفحات فردية.
ج) تحقق من إعدادات الخادم والموقع الإلكتروني
بالنسبة إلى الأخطاء المستمرة أو التي يصعب تشخيصها، يمكنك فحص:
- سجلات أخطاء الخادم والتطبيق
- إعدادات الاستضافة
- ملف robots.txt
- قواعد إعادة التوجيه
- إعدادات جدار الحماية أو WAF
- إضافات وقوالب نظام إدارة المحتوى (CMS)
- إعدادات التخزين المؤقت
- إعدادات DNS
3. الإصلاح حسب نوع الخطأ
بعد تشخيص السبب، يمكنك تطبيق الحلول الموصى بها التالية:
الخطأ |
الأسباب الشائعة |
كيفية الإصلاح |
|---|---|---|
| 404 | صفحة محذوفة، عنوان URL متغير، رابط معطل | استعادة الصفحة أو إعادة التوجيه أو تركها محذوفة عمدًا |
| 5xx | ضغط زائد على الخادم، مشكلة في الاستضافة، خطأ في التطبيق | التحقق من سجلات الخادم والاستضافة والإضافات والموارد |
| Soft 404 | صفحة فارغة أو ضعيفة المحتوى، محتوى مفقود مع حالة 200 | إضافة محتوى مفيد أو إرجاع 404/410 |
| خطأ في إعادة التوجيه | حلقة إعادة توجيه، سلسلة، وجهة معطلة | توجيه عنوان URL مباشرةً إلى الوجهة النهائية |
| محظورة بواسطة robots.txt | قاعدة Disallow غير صحيحة | إزالة قاعدة الحظر أو تعديلها |
| 403 | جدار حماية، WAF، إضافة أمان | ضبط قواعد الوصول/الأمان |
| 401 | المصادقة مطلوبة | إزالة المصادقة إذا كان يجب أن تكون الصفحة عامة |
| خطأ في DNS | سجلات DNS غير صحيحة، مشكلات في النطاق | تصحيح إعدادات DNS |
| انتهاء المهلة | خادم بطيء، ضغط زائد، مشكلات في الشبكة | تحسين قدرة الخادم ووقت استجابته |
لنناقش كل حل بالتفصيل:
إصلاح أخطاء الخادم 5xx
- تحقق من لوحة تحكم الاستضافة لرصد أي استخدام مرتفع للمعالج أو الذاكرة أو قاعدة البيانات.
- راجع سجلات الأخطاء لمعرفة السبب الدقيق.
- عطّل مؤقتًا الإضافات أو القوالب المضافة حديثًا.
- امسح ذاكرة التخزين المؤقت إذا كنت تستخدم إضافة تخزين مؤقت أو تخزينًا مؤقتًا على مستوى الخادم.
- إذا كان الخادم مثقلًا مؤقتًا، فأرجِع الحالة 503 أو 429 ليعرف Google أن عليه إعادة المحاولة لاحقًا.
- تواصل مع مزود الاستضافة إذا استمرت المشكلة.
- بعد الإصلاح، اختبر عناوين URL مرة أخرى باستخدام أداة فحص عنوان URL.
غير موجودة (404)
- إذا نُقل المحتوى، يمكنك إعداد إعادة توجيه دائمة 301 إلى عنوان URL الجديد.
- إذا أُزيل المحتوى نهائيًا، يمكنك إرجاع الحالة 410 Gone.
- أصلح أي روابط داخلية تشير إلى عنوان URL القديم.
- احذف عنوان URL المعطل من خريطة موقع XML.
- اترك أخطاء 404 المتعمدة كما هي (لا حاجة إلى أي إجراء).
Soft 404
- إذا لم تكن الصفحة موجودة، يمكنك إرجاع رمز حالة 404 أو 410 صحيح.
- إذا كانت الصفحة تحتل ترتيبًا، يمكنك إضافة محتوى حقيقي ومفيد حتى لا تبدو صفحة خطأ.
- تجنّب الصفحات الضعيفة أو الفارغة التي تُرجع رمز الحالة 200.
- يمكنك أيضًا إضافة وسم noindex إذا أردت أن تظل الصفحة منشورة لكن خارج الفهرس.
أخطاء إعادة التوجيه
- اختصر سلاسل إعادة التوجيه بحيث يشير عنوان URL القديم مباشرةً إلى الوجهة النهائية بإعادة توجيه 301 واحدة.
- تخلّص من حلقات إعادة التوجيه (A → B → A).
- تأكد من أن الصفحة المستهدفة النهائية تُحمَّل بشكل صحيح وتُرجع الحالة 200.
- حدّث الروابط الداخلية وخرائط الموقع لتشير إلى عنوان URL النهائي.
محظورة بواسطة robots.txt
- افتح ملف robots.txt واحذف أي قواعد Disallow أُضيفت عن طريق الخطأ للصفحات التي تريد فهرستها.
- اختبر الملف المحدَّث باستخدام أداة اختبار robots.txt من Google.
- إذا كنت تريد فقط إبقاء صفحة خارج الفهرس (مع السماح بالزحف إليها)، فاستخدم وسم meta noindex أو ترويسة HTTP بدلًا من حظرها في robots.txt.
- بعد التحديث، اطلب فهرسة الصفحات المهمة.
أخطاء DNS والشبكة وانتهاء المهلة
- تحقق من إعدادات DNS لدى مسجّل النطاق الخاص بك.
- راجع قواعد جدار الحماية أو WAF أو إضافة الأمان، وتأكد من السماح بنطاقات عناوين IP الخاصة بـ Googlebot.
- حسّن وقت استجابة الخادم وقدرته الإجمالية.
- راقب تقرير إحصاءات الزحف للتأكد من حل المشكلة.
الوصول الممنوع (403) أو مشكلات مشابهة
- راجع إعدادات إضافات الأمان أو الحماية من الروبوتات أو الحماية بكلمة مرور.
- تأكد من أن الصفحات العامة لا تتطلب تسجيل الدخول.
- اسمح بوكلاء المستخدم (User-Agents) ونطاقات عناوين IP المشروعة الخاصة بـ Googlebot.
- اختبر مجددًا باستخدام الاختبار المباشر في أداة فحص عنوان URL.
4. التحقق من الإصلاحات
إصلاح خطأ في موقعك لا يعني تلقائيًا أن Google سيعلم به فورًا. إذ يجب عليك أن تطلب من Google إعادة فحص صفحاتك، وأن تراقب التقدم وتتحقق منه.
يوضح الجدول أدناه الخطوات التي يجب اتباعها عند التحقق من الإصلاحات. وينبغي أن تركز على مراقبة الاتجاهات العامة وعناوين URL المهمة بدلًا من عناوين URL الفردية.
الخطوة |
الأداة / الموقع |
التكرار |
|---|---|---|
| مراجعة تقرير فهرسة الصفحات | الفهرسة ← الصفحات | أسبوعيًا |
| مراجعة إحصاءات الزحف | الإعدادات ← إحصاءات الزحف | أسبوعيًا / بعد الإصلاحات |
| فحص عناوين URL المهمة | أداة فحص عنوان URL | بعد كل إصلاح |
| النقر على «التحقق من الإصلاح» | داخل كل فئة من فئات الأخطاء | بعد إصلاح المجموعة |
| مراقبة تعافي الفهرسة | مخطط فهرسة الصفحات | الأسابيع 2–4 التالية |
أدوات لتشخيص أخطاء الزحف بشكل أسرع
يُعد Google Search Console عادةً نقطة البداية لتحديد مشكلات الزحف والفهرسة. وللتشخيص الأعمق، خاصةً في المواقع الكبيرة، استخدم أدوات مثل برامج الزحف إلى المواقع وأدوات الروابط الخلفية وسجلات الخادم لإضافة سياق عندما تحتاج إلى تحقيق أعمق.
الأداة |
الأفضل لـ |
ما يمكنك التحقق منه |
|---|---|---|
| Google Search Console | المراقبة العامة | مشكلات الفهرسة والزحف وعناوين URL |
| فحص عنوان URL | عناوين URL الفردية | حالة الزحف/الفهرسة والاختبار المباشر |
| إحصاءات الزحف | سلوك الخادم/الزحف | نشاط Googlebot، مشكلات الاستجابة |
| Screaming Frog | الزحف على مستوى الموقع بالكامل | الروابط المعطلة، عمليات إعادة التوجيه، رموز الحالة |
| Sitebulb | تدقيق السيو التقني | مشكلات الزحف وبنية الموقع |
| Ahrefs | تحليل الروابط الخلفية | الروابط التي تشير إلى عناوين URL معطلة |
| Semrush | تدقيق الموقع | المشكلات التقنية والصفحات المعطلة |
| سجلات الخادم | التشخيص المتقدم | طلبات Googlebot واستجابات الخادم |
كيفية منع أخطاء الزحف: أفضل الممارسات
إصلاح خطأ الزحف جزء واحد فقط من التحسين، إذ يجب عليك أيضًا اتخاذ خطوات لمنع تكرار هذه الأخطاء. ويوضح الجدول أدناه أفضل الممارسات التي تساعد على إبقاء موقعك متاحًا لـ Google وتقليل مشكلات الزحف غير الضرورية.
الممارسة |
لماذا يهم ذلك |
|---|---|
| استخدام عمليات إعادة توجيه سليمة أثناء عمليات الترحيل | تجنب سلاسل وحلقات إعادة التوجيه |
| الحفاظ على ملف robots.txt نظيفًا | منع الحظر العرضي للصفحات المهمة |
| الحفاظ على اتساق وسوم Canonical | تجنب الإشارات المكررة أو المتضاربة |
| التحكم في معلمات URL غير الضرورية | تقليل الزحف غير الضروري |
| مراقبة سلامة الاستضافة | منع التوقف عن العمل وأخطاء الخادم |
| إجراء عمليات تدقيق منتظمة للسيو التقني | اكتشاف مشكلات الزحف مبكرًا |
أفكار ختامية
أخطاء الزحف ليست مجرد أعطال تقنية، بل تؤثر في كيفية وصول Google إلى موقعك وفهرسته وترتيبه. لكن الجانب الجيد أنه يمكن التعامل معها من خلال سير عمل واضح. والمفتاح هو أن تعرف أين تبحث وما الذي يجب أن تعطيه الأولوية. وتذكّر اتباع هذه الخطوات البسيطة:
- اعثر على المشكلات في تقرير فهرسة الصفحات وتقرير إحصاءات الزحف.
- أعطِ الأولوية للأخطاء التي تؤثر في أهم صفحاتك.
- شخّص المشكلات باستخدام أداة فحص عنوان URL والبيانات الداعمة الأخرى.
- عالج السبب الجذري بناءً على نوع الخطأ.
- تحقق من التغييرات وراقب النتائج.
يمكنك حماية ميزانية الزحف من خلال فحص هذه المشكلات بانتظام ومعالجة المشكلات الحرجة أولًا. واحرص دائمًا على فهرسة صفحاتك القيّمة ليحصل Google على أفضل فرصة لترتيبها. فملف الزحف الأنظف يؤدي إلى فهرسة أفضل وظهور أقوى وزيارات عضوية أكثر.
الأسئلة الشائعة
ما أخطاء الزحف في Google Search Console؟
أخطاء الزحف في Google Search Console هي مشكلات تحدث عندما يحاول Googlebot الوصول إلى صفحة ويب لكنه يواجه مشكلة. وقد تشمل أخطاء 404، وأخطاء الخادم 5xx، ومشكلات إعادة التوجيه، والحظر عبر robots.txt، وأخطاء 403، ومشكلات DNS أو انتهاء المهلة. وبسبب هذه الأخطاء، لا يتمكن نظام Google الآلي من الزحف إلى الصفحة المتأثرة وتقييمها.
كيف أجد أخطاء الزحف في Google Search Console؟
يمكنك العثور على أخطاء الزحف والمشكلات ذات الصلة أساسًا من خلال تقريرين: تقرير فهرسة الصفحات وتقرير إحصاءات الزحف. كما يمكنك استخدام أداة فحص عنوان URL لفحص عناوين URL الفردية.
من الأفضل إعطاء الأولوية للأخطاء التي تؤثر في أهم صفحاتك، مثل الصفحة الرئيسية أو صفحات الخدمات القيّمة.
هل أحتاج إلى إصلاح كل خطأ زحف على حدة؟
لا. بل من الضروري تحديد الأولويات والتركيز أولًا على الصفحات عالية القيمة، مثل الصفحة الرئيسية وصفحات تحقيق الإيرادات والصفحات التي تحظى بزيارات أو روابط خلفية. ويمكنك تجاهل أخطاء 404 المتعمدة وعناوين URL منخفضة القيمة.
ما الفرق بين أخطاء الزحف ومشكلات الفهرسة؟
تحدث أخطاء الزحف عندما لا يتمكن Googlebot من جلب عنوان URL والوصول إلى الصفحة بنجاح، وقد تكون أخطاء خادم 5xx أو أخطاء 404 أو إخفاقات DNS أو حظرًا عبر robots.txt.
أما مشكلات الفهرسة فتحدث عندما يزحف Googlebot إلى الصفحة لكنه يقرر عدم فهرستها، وقد يرجع ذلك إلى صفحات ضعيفة المحتوى أو محتوى مكرر أو منخفض القيمة.
هل تحتاج جميع أخطاء 404 إلى إصلاح؟
لا. لست مضطرًا إلى إصلاح جميع أخطاء 404 في موقعك، بل تحتاج فقط إلى إصلاح أخطاء 404 في الصفحات المهمة مثل صفحات المنتجات أو الخدمات، أو عناوين URL التي تمتلك روابط خلفية. ولا حاجة إلى اتخاذ أي إجراء بشأن أخطاء 404 المتعمدة للمحتوى المحذوف.
كم يستغرق Google لإعادة الزحف إلى صفحة تم إصلاحها؟
لا توجد مدة زمنية ثابتة لإعادة زحف Google إلى الصفحة، إذ يعتمد الجدول الزمني على عوامل مثل الموقع وعنوان URL وأنماط الزحف وطبيعة التغيير. وبالنسبة إلى الصفحات المهمة، يمكنك استخدام أداة فحص عنوان URL لطلب الفهرسة، لكن ذلك لا يضمن الزحف أو الفهرسة الفورية.
لماذا يواصل Google الزحف إلى الصفحات المحذوفة؟
قد يواصل Google الزحف إلى الصفحات المحذوفة إذا اكتشف عناوين URL الخاصة بها من خلال الروابط الداخلية أو خرائط الموقع أو الروابط الخلفية الخارجية. فحتى إن حذفت صفحة، قد تظل عناوين URL هذه موجودة في خرائط الموقع أو الروابط الداخلية أو الروابط الخلفية الخارجية. وقد يستمر Google في محاولة الزحف إليها إلى أن يرى باستمرار الرمز 404/410 ويتوقف عن العثور على عنوان URL في الروابط أو خرائط الموقع. لذا يجب حذفها من خرائط الموقع وإصلاح الروابط الداخلية لإيقاف الزحف المتكرر.
ماذا أفعل إذا استمرت أخطاء الزحف في الظهور على موقعي؟
عادةً ما تشير أخطاء الزحف المستمرة إلى مشكلات أعمق، مثل عدم استقرار الخادم أو عمليات إعادة توجيه سيئة الإعداد أو قواعد robots.txt غير صحيحة. لذا يجب عليك تدقيق إعدادات موقعك والاستضافة.
كم يستغرق «التحقق من الإصلاح» في Google Search Console؟
لا توجد مدة مضمونة للتحقق. فقد يستغرق الأمر من عدة أيام إلى أسبوعين أو ثلاثة أسابيع. إذ يحتاج Google إلى إعادة الزحف إلى عناوين URL المتأثرة والتحقق من أن المشكلة الأساسية قد حُلّت. وبحسب عدد عناوين URL ونوع المشكلة، قد يستغرق التحقق بعض الوقت. ويمكنك مواصلة متابعة تقرير Search Console المعني بينما يعالج Google التغييرات. وبالنسبة إلى الصفحات ذات الأولوية، يمكنك الانتقال إلى أداة فحص عنوان URL وطلب الفهرسة لتسريع إعادة الزحف.
هل حالة "تم الزحف إليها ولكن لم تتم فهرستها حاليًا" خطأ زحف؟
ليس تمامًا. بل هو بالأحرى خطأ في الفهرسة. ويعني ذلك أن Google زحف إلى الصفحة بنجاح لكنه اختار عدم فهرستها. ويرجع ذلك غالبًا إلى ضعف المحتوى أو تكراره أو قلة قيمته. إنه قرار فهرسة، وليس إخفاقًا في الزحف بحد ذاته.
هل يمكن أن تضر أخطاء الزحف بترتيب موقعي بشكل مباشر؟
نعم. يمكن أن تؤثر أخطاء الزحف بشكل مباشر في ترتيب موقعك. فإذا لم يتم الزحف إلى الصفحات المهمة أو فهرستها، فلن تظهر في نتائج البحث. كما أن أخطاء الخادم المتكررة قد تدفع Google إلى خفض معدل الزحف إلى موقعك.
أين يمكنني العثور على أخطاء الزحف في Google Search Console حاليًا؟
لم يعد Google Search Console يوفر تقرير "أخطاء الزحف" المخصص القديم. وأصبحت معظم المشكلات المتعلقة بالزحف متاحة الآن في تقريرين: تقرير فهرسة الصفحات ضمن قسم الفهرسة، وتقرير إحصاءات الزحف ضمن قسم الإعدادات.
