يتحول السيو التقني غالباً إلى قائمة تحقق لا تنتهي: عناوين الصفحات، وخريطة الموقع، والسرعة، والبيانات المنظمة. وكلما طالت القائمة صعب تحديد البند الذي يحرّك الترتيب فعلاً. أما في المواقع الكبيرة كثيرة التغيّر فالسؤال أدق: أين ينفق محرك البحث الوقت المحدود الذي يمنحه لك؟
توضح Google أن إدارة ميزانية الزحف ليست شاغلاً لمعظم المواقع، وأنها تعني أساساً المواقع الكبيرة التي تتجاوز مليون صفحة فريدة، إضافة إلى المواقع المتوسطة التي تضم عشرات الآلاف من الصفحات سريعة التغيّر. لذلك فالقرار الأول ليس تقنياً بل يتعلق بالحجم: هل موقعك ضمن هذه الفئة حقاً، أم أن الاختناق في المحتوى والروابط؟Google Search Central — Managing Crawl Budget for Large Sites
١. عرّف ميزانية الزحف تعريفاً دقيقاً
ميزانية الزحف ليست رقماً واحداً. ففي جانب منها معدل الطلبات الذي يحتمله خادمك، وفي الجانب الآخر مقدار الاهتمام الذي يرى محرك البحث أن موقعك يستحقه. الخادم البطيء يخفض المعدل، والمحتوى الضعيف أو المكرر يخفض الاهتمام.
لهذا التمييز نتائج عملية؛ فلا يمكن معالجة قيد من جهة الخادم بإعادة كتابة النصوص، ولا معالجة قيد الاهتمام بشراء خادم أقوى. تحديد الجهة المقيِّدة يرتّب كل العمل اللاحق.
كما أن الزحف ليس ضماناً للفهرسة؛ فالصفحة التي جرى زحفها نالت تقييماً لا مكاناً في الفهرس. وقراءة بيانات الزحف وحدها كمؤشر نجاح قراءة مضللة.
أما المواقع دون هذا الحد فتتغير قيمة الطريقة لديها ولا تختفي. تُستخدم السجلات نفسها لا لإدارة ميزانية بل لمعرفة الإشارات البنيوية التي يرسلها الموقع فعلاً: القوالب المنسية، وسلاسل التحويل المكسورة، والأقسام المعزولة تظهر بصرف النظر عن الحجم.
٢. رتّب المهام وفق الأدلة
لا يحمل كل بند في قائمة السيو التقني الوزن نفسه. يمكن ترتيب المهام ذاتها بحسب العَرَض الذي تعالجه والدليل الذي يسندها. والجدول التالي يربط أعمالاً تختارها الفرق عشوائياً غالباً بشيء قابل للملاحظة.
الغاية ليست تقديم ترتيب أولويات صالح للجميع، بل إبراز الدليل المطلوب قبل الدفاع عن أي مهمة. والبند بلا دليل سؤال بحثي لا مهمة تالية.
| العَرَض | السبب المرجّح | الدليل الأول | الإجراء المعتاد |
|---|---|---|---|
| الصفحات الجديدة تظهر متأخرة | ضعف الاكتشاف | خريطة الموقع وعمق الروابط | تقصير مسار الروابط |
| محتوى واحد على روابط متعددة | تكاثر المعاملات | تنوع الروابط في السجلات | قواعد الرابط المعياري والمعاملات |
| زحف متكرر بلا فائدة | زحف مناطق منخفضة القيمة | روابط الفلاتر والبحث | تضييق قواعد الزحف |
| معدل زحف منخفض | بطء استجابة الخادم | زمن الاستجابة ونسبة الأخطاء | البنية التحتية والتخزين المؤقت |
| صفحة مهمة لا يجري زحفها | عائق وصول | التحويلات ورموز الحالة | إزالة العائق |
٣. اقرأ سجلات الخادم بمنهج
سجلات الخادم هي المصدر الوحيد الذي يُظهر ما فعله محرك البحث بدل ما تفترضه. وتكفي للبدء أربعة أسابيع من السجلات تتضمن الرابط ورمز الحالة ووكيل المستخدم والطابع الزمني وزمن الاستجابة. ثم جمّع السجلات حسب المجلد والقالب ورمز الحالة.
ابحث أولاً عن ثلاثة أمور: أي المجلدات تستهلك معظم الطلبات، وأي القوالب المهمة لا تكاد تتلقى شيئاً، وأين تتجمع رموز الخطأ. هذه المشاهد الثلاثة تحدد عادةً نصف جدول الأعمال.
قبل أن تقرر حجب ما تراه في السجلات، اعرف ما يفعله كل أداة. توضح Google أن الصفحة المحجوبة عبر robots.txt قد تُفهرس رغم ذلك عبر روابط من صفحات أخرى، وأن إزالتها من الفهرس تتطلب توجيهاً مثل noindex بدل الحجب. واختيار الأداة الخطأ يخفي المشكلة ولا يحلها.Google Search Central — Create and Submit a robots.txt File
- جمّع أسطر السجل حسب القالب والمجلد.
- استبعد وكلاء المستخدم غير الموثقين.
- وزّع رموز الحالة على المجلدات.
- قِس حصة الطلبات لصفحات الإيرادات.
- أحصِ تنوع الروابط لمحتوى واحد.
٤. سيناريو افتراضي: زحف يضيع في الفلاتر
في موقع كتالوج افتراضي نحو أربعين ألف صفحة منتج وعدد غير محدود من تركيبات الفلاتر. يشكو الفريق من بقاء المنتجات الجديدة غير مرئية في البحث أسابيع. ورد الفعل الأول إعادة توليد خريطة الموقع وطلب مزيد من النصوص.
تروي السجلات قصة أخرى: معظم الطلبات تذهب إلى روابط ناتجة عن معاملات اللون والمقاس والترتيب، بينما لا يتلقى قالب المنتجات الجديدة سوى طلبات قليلة شهرياً. المشكلة إذن ليست في إنتاج المحتوى بل في مسار زحف استُنزف في تركيبات بلا قيمة.
يضيّق الفريق قواعد المعاملات، ويصحح الروابط المعيارية، ويربط المنتجات الجديدة مباشرة من صفحات الفئات. وبعد أربعة أسابيع يكرر القياس نفسه ويقارن حصة الطلبات لقالب المنتج. هذا مثال افتراضي، وليس نتيجة عميل ولا أثراً مضموناً.
٥. اختر الأداة المناسبة للمشكلة
في مشكلات الزحف أربع عائلات من الأدوات، ولكل منها عمل مختلف: تنظيم الوصول، وتحديد حالة الفهرسة، وتوحيد النسخ المكررة، وتسريع الاكتشاف. واستبدال إحداها بالأخرى أشيع الأخطاء.
قاعدة الوصول توقف الطلب عند الباب، وتوجيه الفهرسة يحدد بقاء الصفحة ظاهرة. وإشارة التوحيد تجمع قيمة الترتيب، أما خريطة الموقع والروابط الداخلية فتيسّر الاكتشاف فقط. وإرسال إشارات متناقضة إلى صفحة واحدة يجعل النتيجة غير متوقعة.
اكتب قبل كل تغيير مبرراً في جملة واحدة: أي مجموعة روابط، وأي عَرَض، وأي أداة، وأي أثر متوقع. هذا السجل يمنع الدفاع الأعمى بعد ثلاثة أشهر عن قاعدة لا يتذكرها أحد.
افصل الوصول عن توجيه الفهرسة
قاعدة الوصول تخفض الطلبات على الخادم، وتوجيه الفهرسة يحدد بقاء الصفحة في نتائج البحث. وتطبيق الاثنين على صفحة واحدة يعني أن التوجيه لن يُقرأ أبداً.
ومن هنا يأتي الترتيب: إذا أردت إخراج صفحة من البحث فطبّق توجيه الفهرسة أولاً، ثم أغلق الوصول بعد خروجها. والترتيب المعكوس يترك الصفحة ظاهرة وغير قابلة للضبط في آن واحد.
لا تخلط التوحيد بالاكتشاف
الرابط المعياري يجمع روابط المحتوى الواحد تحت عنوان مفضل، لكنه لا يسرّع الزحف. وخريطة الموقع والروابط الداخلية تيسّر الاكتشاف فقط ولا تنقل قيمة بذاتها.
والفرق التي تخلط بينهما تستغرب بقاء صفحة أضيفت إلى خريطة الموقع دون ترتيب. فخريطة الموقع قائمة اقتراحات ولا تغيّر تقييم المحتوى.
٦. تسلسل تنفيذ على أربعة أسابيع
اجعل العمل دورة قصيرة لا تدقيقاً لمرة واحدة. الأسبوع الأول للقياس، والثاني للتصنيف، والثالث للتدخل، والرابع للتحقق. عندئذ يمكن قراءة أثر كل تغيير على حدة.
لا تغيّر قواعد كثيرة دفعة واحدة؛ فسلوك الزحف يستجيب ببطء، وتغييران في الأسبوع نفسه لا يمكن التمييز بينهما لاحقاً.
اجمع في نهاية الدورة القرارات في سجل واحد: أي مجموعة روابط مسّها التغيير، وبأي مبرر، وفي أي تاريخ، ومقابل أي قياس. وبدون هذا السجل يعيد الفريق النقاش نفسه في الدورة الثالثة.
- تأكيد الوصول إلى السجلات ومدة حفظها.
- إعداد خريطة القوالب والمجلدات.
- ملء جدول الأولويات بالأدلة.
- كتابة مبرر لكل إجراء.
- توزيع التغييرات على أسابيع منفصلة.
- تكرار القياس بالمنهج نفسه.
- تحديد شرط التراجع.
٧. الحدود وأنماط الإخفاق
لا يعوّض تحسين الزحف عن جودة المحتوى؛ فزحف صفحة ضعيفة أكثر لا يرفعها، بل يكرر التقييم نفسه بوتيرة أعلى. وفي المواقع الصغيرة يكون عائد هذا العمل منخفضاً عادةً.
والتضييق المفرط خطر أيضاً؛ فقاعدة تحجب روابط الفلاتر جملةً قد تحجب معها صفحات فئات عليها طلب بحث حقيقي. اختبر كل قاعدة على عينة روابط قبل نشرها.
وقد تكون بيانات السجلات ناقصة أو ملوثة؛ فطبقة التخزين المؤقت تخفي طلبات، ووكلاء المستخدم المزيفون يضخّمون الأرقام. والاستنتاج بلا تحقق يتحول إلى رواية مقنعة تبرر عملاً خاطئاً.
أخيراً يتغير سلوك محركات البحث مع الوقت؛ فقاعدة نافعة اليوم قد تصبح لاغية عند تغيّر البنية التحتية أو السياسات. احفظ القرارات بتاريخها ومبررها وراجعها على فترات محددة.
الخلاصة
ميزانية الزحف أداة لترتيب الأولويات تختصر قائمة السيو التقني. قِس عبر سجلات الخادم أين يُنفق الوقت، واربط العَرَض بالسبب، واختر الأداة الصحيحة، وتحقق من كل تغيير بالمنهج نفسه.
الأسئلة الشائعة
المصادر
- Google Search Central — Managing Crawl Budget for Large Sites
الحجم الذي تصبح عنده ميزانية الزحف مهمة
- Google Search Central — Create and Submit a robots.txt File
الفرق بين الحجب والإزالة من الفهرس
لنحوّل بيانات الزحف إلى قائمة مهام مرتبة بالأولوية
نقرأ سجلات خادمك معاً ونحدد المهمة التقنية التي تستحق مكانها فعلاً.
اطلب تحليل سيو تقني


