تحليل عميق لحد 2 ميجابايت لزاحف Googlebot: دليل عملي تقني لتحسين صفحات مواقع التجارة الخارجية

Google تكشف لأول مرة عن التفاصيل التقنية لهندسة الزاحف

نشر Gary Illyes من Google مؤخرًا مدونة تقنية مهمة، كشف فيها بشكل منهجي لأول مرة عن تصميم هندسة نظام زاحف Googlebot والتفاصيل التقنية على مستوى البايت. هذه المعلومات حاسمة لفهم كيفية قيام Google بجلب وفهرسة صفحات الويب، خاصةً ولها أهمية توجيهية مباشرة للتحسين التقني لبناء مواقع التجارة الخارجية.

اكتشاف رئيسي: Googlebot هو مجرد عميل واحد لمنصة مشتركة

كشف Illyes عن تفصيل هندسي لم يكن معروفًا من قبل: Googlebot هو مجرد "مستخدم" واحد من بين عدة مستخدمين لمنصة مركزية للزحف داخل Google. ترسل منتجات أخرى مثل Google Shopping وAdSense طلبات الزحف عبر نفس المنصة، ولكن باستخدام أسماء زواحف مختلفة خاصة بكل منها.

يمكن لكل عميل ضبط إعداداته بشكل مستقل، بما في ذلك سلسلة وكيل المستخدم، ورمز robots.txt وحد البايت. عندما ترى Googlebot في سجلات الخادم الخاص بك، فهذا هو زاحف Google Search؛ بينما تظهر العملاء الآخرين بأسماء زواحفهم الخاصة.

الحقيقة التقنية الكاملة لحد 2 ميجابايت

الحد الأقصى لجلب Googlebot لأي عنوان URL هو 2 ميجابايت (باستثناء ملفات PDF، حيث الحد هو 64 ميجابايت). تستخدم الزواحف التي لم يُحدد لها حد الحد الافتراضي البالغ 15 ميجابايت. فيما يلي السلوك التقني التفصيلي لحد 2 ميجابايت:

رؤوس طلب HTTP تُحتسب ضمن حد 2 ميجابايت. هذا يعني أنه بالنسبة للصفحات القريبة من الحد، قد "تستحوذ" رؤوس الطلب على مساحة المحتوى الفعلي.

لن يتم رفض الصفحات التي تتجاوز 2 ميجابايت. سيتوقف Googlebot عن الجلب عند الوصول إلى 2 ميجابايت، ثم يرسل المحتوى المقتطع إلى نظام الفهرسة وخدمة عرض الويب (WRS) التابعين لـ Google. ستقوم هذه الأنظمة بمعالجة الملف المقتطع كما لو كان ملفًا كاملاً – لن يتم جلب أو عرض أو فهرسة أي محتوى بعد 2 ميجابايت.

الموارد الخارجية لها عداد بايت مستقل. ملفات CSS وJavaScript المشار إليها في HTML لها حد 2 ميجابايت مستقل لكل منها، ولا تُحتسب ضمن حصة الصفحة الأصل. لكن WRS لا تجلب الصور أو مقاطع الفيديو أو الخطوط أو بعض "الملفات الخاصة".

WRS لا تحتفظ بالحالة. تمسح خدمة عرض الويب (WRS) بيانات التخزين المحلي وبيانات الجلسة بين كل طلب وآخر. الوظائف التي تعتمد على localStorage أو sessionStorage في JavaScript غير متاحة في عرض Google.

تحليل التأثير العملي على بناء مواقع التجارة الخارجية

معظم مواقع التجارة الخارجية لا داعي للقلق

تُظهر بيانات HTTP Archive أن حجم HTML للغالبية العظمى من صفحات الويب أقل بكثير من عتبة 2 ميجابايت. يتراوح حجم HTML النموذجي لصفحة منتج تجارة خارجية عادةً بين 100 كيلوبايت و500 كيلوبايت، مما يترك هامشًا كبيرًا قبل الوصول إلى 2 ميجابايت.

لكن هذه الأنواع من الصفحات تحتاج إلى الحذر

قد تقترب أو تتجاوز صفحات الويب التالية الخاصة بالتجارة الخارجية حد 2 ميجابايت:

• صفحات فهارس المنتجات الكبيرة – صفحات الفئات التي تحتوي على عشرات أو حتى مئات بطاقات المنتجات
• الصفحات التي تستخدم صور Base64 مضمنة – ترميز الصور مباشرة في HTML
• الصفحات التي تحتوي على كميات كبيرة من CSS/JavaScript مضمنة – عدم تحويل الأنماط والنصوص البرمجية إلى ملفات خارجية
• قوائم التنقل الضخمة جدًا – هياكل تنقل عملاقة تحتوي على مئات الروابط
• صفحات وصف المنتج الطويلة – صفحات تحتوي على الكثير من المواصفات الفنية والأنماط المضمنة

التكلفة الخفية لرؤوس طلب HTTP

بالنسبة لمواقع التجارة الخارجية التي تستخدم الكثير من ملفات تعريف الارتباط (Cookies) أو الرؤوس المخصصة أو آليات المصادقة المعقدة، قد تشغل رؤوس طلب HTTP مساحة ليست بالقليلة. على الرغم من أن هذا ليس مشكلة في معظم الحالات، إلا أن كل بايت مهم للصفحات القريبة من حد 2 ميجابايت.

خطة عملية لتحسين صفحات بناء مواقع التجارة الخارجية

1. تدقيق حجم الصفحة

تحقق أولاً مما إذا كانت صفحتك معرضة للخطر:

# استخدام curl للتحقق من حجم HTML للصفحة
curl -sL -o /dev/null -w '%{size_download}' https://your-site.com/your-page

إذا كانت القيمة المُرجعة قريبة من أو تتجاوز 1.5 ميجابايت، فأنت بحاجة إلى تحسين جاد.

الطريقة الأكثر منهجية هي استخدام لوحة Network في Chrome DevTools، وتصفية طلبات مستندات HTML، والتحقق من Transfer Size وResponse Size.

2. وضع المحتوى الرئيسي في المقدمة

توصي Google بوضوح: يجب أن تظهر علامات Meta، وعلامات title، وعناصر link، وعلامات canonical، والبيانات المنظمة في موضع متقدم في HTML. هذا لأنه إذا تم اقتطاع الصفحة، فقد لا تتم فهرسة المحتويات الأبعد على الإطلاق.

توصيات محددة لمواقع التجارة الخارجية:

• وضع وصف Meta الرئيسي لتحسين محركات البحث والبيانات المنظمة داخل <head>
• التأكد من ظهور معلومات المنتج الرئيسية مثل الاسم والسعر والوصف الأساسي في أول 1 ميجابايت من كود مصدر HTML
• وضع محتويات مثل الأسئلة الشائعة والمحتوى الطويل بعد المعلومات الأساسية للمنتج

3. تحويل CSS وJavaScript إلى ملفات خارجية

هذه هي استراتيجية تقليل الحجم الأكثر فعالية. لكل ملف CSS وJavaScript خارجي حد بايت مستقل قدره 2 ميجابايت:

• نقل كتل CSS المضمنة الكبيرة إلى أوراق الأنماط الخارجية
• نقل JavaScript المضمن إلى ملفات نصوص برمجية خارجية
• استخدام CSS Sprites أو SVG كبديل للصور المضمنة بتنسيق Base64

خطأ شائع في بناء مواقع التجارة الخارجية هو تضمين CSS وJS لأدوات الدردشة من طرف ثالث، ونصوص التحليل، ومكونات الترجمة داخل HTML، مما يؤدي إلى تضخم حجم الصفحة.

4. تحسين هيكل التنقل

غالبًا ما تمتلك مواقع B2B الكبيرة للتجارة الخارجية تصنيفات منتجات معقدة للتنقل، قد تحتوي على مئات الروابط. توصيات التحسين:

• استخدام JavaScript لتحميل القوائم الفرعية ديناميكيًا – تقليل علامات التنقل في HTML الأولي
• النظر في استخدام تنقل بسيط للجوال – تقليل HTML التنقل المكرر
• استخدام noindex/nofollow بشكل معقول – تجنب تضمين روابط صفحات منخفضة القيمة في التنقل

5. استراتيجية التقسيم لصفحات فهارس المنتجات

لصفحات الفئات التي تحتوي على عدد كبير من المنتجات:

• تحديد عدد المنتجات في كل صفحة – يُقترح ألا يزيد عن 24-36 منتجًا لكل صفحة
• استخدام التحميل البطيء (Lazy Loading) – تحميل المزيد من المنتجات ديناميكيًا عبر JavaScript
• تنفيذ تقسيم معقول – استخدام rel=next/prev أو علامات canonical الصحيحة

6. تحسين البيانات المنظمة

البيانات المنظمة (JSON-LD) هي مفتاح تحسين SEO لمواقع التجارة الخارجية، لكنها تزيد أيضًا من حجم الصفحة:

• استخدام تنسيق JSON-LD بدلاً من Microdata – أكثر إحكامًا ولا يؤثر على هيكل HTML
• وضع علامات على السمات الضرورية فقط – تجنب إضافة سمات Schema زائدة
• وضع البيانات المنظمة في نهاية <head> – التأكد من ظهورها قبل نقطة الاقتطاع المحتملة

قد يتغير حد 2 ميجابايت

أشار Illyes بشكل خاص في المدونة: "حد 2 ميجابايت هذا ليس ثابتًا، وقد يتغير مع تطور الويب ونمو أحجام صفحات HTML." هذه إشارة مهمة – مع زيادة تعقيد صفحات الويب، قد ترفع Google هذا الحد في المستقبل.

ولكن قبل رفع الحد، تظل أفضل الممارسات لبناء مواقع التجارة الخارجية هي الحفاظ على الصفحات خفيفة، ووضع المحتوى الرئيسي في المقدمة.

تأثير خاصية عدم الاحتفاظ بالحالة في WRS على مواقع التجارة الخارجية

إذا كان موقع التجارة الخارجية الخاص بك يستخدم التقنيات التالية، فانتبه بشكل خاص:

• عربة التسوق المعتمدة على localStorage – لا يمكن لـ Google عرض حالة عربة التسوق
• عرض المنتجات المعتمد على الجلسة (Session) – كل زيارة لـ Google هي حالة جديدة تمامًا
• أدوات الاختبار A/B – التأكد من أن Google ترى النسخة الافتراضية
• المحتوى الإقليمي – لن تحتفظ Google بحالة اختيار المنطقة

تأكد من أن معلومات منتجك الأساسية يمكن عرضها بشكل كامل في بيئة العرض التي لا تحتفظ بالحالة.

وجهة نظر 01CodeTech

حد 2 ميجابايت لـ Googlebot ليس مشكلة ملحة لمعظم مواقع التجارة الخارجية، لكن فهم هذه التفاصيل التقنية هو أساس البناء الاحترافي والتحسين العميق لتحسين محركات البحث. في سوق التجارة الخارجية شديد التنافسية، قد يصبح كل تفصيل تقني في SEO ميزة تتفوق بها على منافسيك.

تتمسك 01CodeTech في بناء مواقع التجارة الخارجية دائمًا بفكرة "الأساس التقني يحدد سقف التحسين". نساعد عملائنا على إنشاء هيكل صفحات يتوافق مع معايير Google التقنية منذ بداية البناء، لتجنب دفع ثمر الديون التقنية لاحقًا. إذا كنت ترغب في التأكد من أن موقع التجارة الخارجية الخاص بك متكامل تمامًا مع متطلبات هندسة زاحف Google، نرحب بمتابعة 01CodeTech للحصول على الدعم الفني المتخصص.

---

المصدر التقني: Google Developers Blog (Gary Illyes)، Search Off the Record Podcast Episode 105