Глубокий анализ ограничения Googlebot в 2 МБ: Практическое руководство по технической оптимизации страниц для сайтов внешней торговли

Google впервые раскрывает технические детали архитектуры краулера

Недавно Гари Ильес из Google опубликовал важный технический блог, в котором впервые систематически раскрыл архитектурный дизайн системы краулера Googlebot и технические детали на уровне байтов. Эта информация имеет решающее значение для понимания того, как Google сканирует и индексирует веб-страницы, особенно для технической оптимизации сайтов внешней торговли, где она имеет прямое практическое значение.

Ключевое открытие: Googlebot — всего лишь один из клиентов общей платформы

Ильес раскрыл ранее неизвестную архитектурную деталь: Googlebot является лишь одним из "пользователей" централизованной платформы сканирования внутри Google. Другие продукты, такие как Google Shopping и AdSense, также отправляют запросы на сканирование через ту же платформу, но используют свои собственные имена краулеров.

Каждый клиент может независимо настраивать свою конфигурацию, включая строку пользовательского агента, токены robots.txt и ограничения по байтам. Когда вы видите Googlebot в логах сервера, это краулер Google Search; другие клиенты появляются под своими собственными именами краулеров.

Полная техническая правда об ограничении в 2 МБ

Googlebot имеет верхний предел сканирования для любого URL в 2 МБ (за исключением файлов PDF, где ограничение составляет 64 МБ). Краулеры без указанного ограничения по умолчанию используют лимит в 15 МБ. Вот подробное техническое поведение ограничения в 2 МБ:

Заголовки HTTP-запроса также учитываются в ограничении 2 МБ. Это означает, что для страниц, близких к лимиту, заголовки запроса могут "отнимать" место у фактического контента.

Страницы, превышающие 2 МБ, не отклоняются. Googlebot прекращает сканирование при достижении 2 МБ, а затем отправляет усеченное содержимое в системы индексации Google и службу веб-рендеринга (WRS). Эти системы обрабатывают усеченный файл как полный — весь контент после 2 МБ не будет сканироваться, рендериться или индексироваться.

Внешние ресурсы имеют собственные счетчики байтов. Файлы CSS и JavaScript, на которые есть ссылки в HTML, имеют свои собственные ограничения в 2 МБ и не учитываются в лимите родительской страницы. Однако WRS не сканирует изображения, видео, шрифты и некоторые "специальные файлы".

WRS не сохраняет состояние. Служба веб-рендеринга очищает локальное хранилище и данные сеанса между каждым запросом. Функции JavaScript, зависящие от localStorage или sessionStorage, недоступны при рендеринге Google.

Анализ практического влияния на сайты внешней торговли

Большинству сайтов внешней торговли не о чем беспокоиться

Данные HTTP Archive показывают, что объем HTML подавляющего большинства веб-страниц значительно ниже порога в 2 МБ. Типичный HTML-объем страницы продукта для внешней торговли обычно составляет от 100 КБ до 500 КБ, что оставляет значительный запас до 2 МБ.

Но к этим типам страниц следует относиться с осторожностью

Следующие типы веб-страниц для внешней торговли могут приближаться к ограничению в 2 МБ или превышать его:

• Страницы больших каталогов товаров — страницы категорий, содержащие десятки или даже сотни карточек товаров
• Страницы с встроенными изображениями в формате Base64 — изображения, непосредственно закодированные в HTML
• Страницы с большим количеством встроенного CSS/JavaScript — стили и скрипты не вынесены во внешние файлы
• Очень большие меню навигации — гигантские структуры навигации, содержащие сотни ссылок
• Страницы с длинными описаниями товаров — страницы, содержащие множество технических характеристик и встроенных стилей

Скрытая стоимость заголовков HTTP-запроса

Для сайтов внешней торговли, использующих множество файлов cookie, пользовательских заголовков или сложные механизмы аутентификации, заголовки HTTP-запроса могут занимать значительное пространство. Хотя в большинстве случаев это не проблема, для страниц, близких к ограничению в 2 МБ, важен каждый байт.

Практические решения по оптимизации страниц для сайтов внешней торговли

1. Аудит объема страницы

Сначала определите, есть ли у вашей страницы риск:

# Используйте curl для проверки размера HTML страницы
curl -sL -o /dev/null -w '%{size_download}' https://your-site.com/your-page

Если возвращаемое значение близко к 1,5 МБ или превышает его, требуется серьезная оптимизация.

Более системный подход — использовать панель Network в Chrome DevTools, отфильтровать запросы HTML-документов и проверить Transfer Size и Response Size.

2. Приоритетное размещение ключевого контента

Google четко рекомендует: Мета-теги, теги title, элементы link, канонические теги и структурированные данные должны появляться в начале HTML. Это связано с тем, что если страница будет усечена, контент, расположенный ближе к концу, может вообще не проиндексироваться.

Конкретные рекомендации для сайтов внешней торговли:

• Размещайте ключевые для SEO мета-описания и структурированные данные в <head>
• Убедитесь, что ключевая информация, такая как название товара, цена, основное описание, появляется в первых 1 МБ исходного кода HTML
• Размещайте FAQ и длинный контент после основной информации о товаре

3. Вынос CSS и JavaScript во внешние файлы

Это наиболее эффективная стратегия уменьшения объема. Каждый внешний файл CSS и JavaScript имеет свой собственный лимит в 2 МБ:

• Переносите большие блоки встроенного CSS во внешние таблицы стилей
• Переносите встроенный JavaScript во внешние файлы скриптов
• Используйте CSS Sprites или SVG вместо встроенных изображений Base64

Распространенной ошибкой при создании сайтов для внешней торговли является встраивание CSS и JS сторонних инструментов чата, аналитики, переводческих компонентов прямо в HTML, что приводит к раздуванию объема страницы.

4. Оптимизация структуры навигации

Крупные B2B-сайты внешней торговли часто имеют сложную навигацию по категориям товаров, которая может содержать сотни ссылок. Рекомендации по оптимизации:

• Используйте JavaScript для динамической загрузки подменю — уменьшите количество разметки навигации в исходном HTML
• Рассмотрите возможность использования упрощенной мобильной навигации — уменьшите дублирование HTML навигации
• Разумно используйте noindex/nofollow — избегайте включения ссылок на низкоценные страницы в навигации

5. Стратегия разбиения на страницы для страниц каталога товаров

Для страниц категорий, содержащих большое количество товаров:

• Ограничьте количество товаров на странице — рекомендуется не более 24-36 товаров на страницу
• Используйте ленивую загрузку — динамически загружайте больше товаров с помощью JavaScript
• Реализуйте разумную пагинацию — используйте rel=next/prev или правильные канонические теги

6. Оптимизация структурированных данных

Структурированные данные (JSON-LD) являются ключевыми для GEO-оптимизации сайтов внешней торговли, но они также увеличивают объем страницы:

• Используйте формат JSON-LD, а не Microdata — он более компактный и не влияет на структуру HTML
• Размечайте только необходимые атрибуты — избегайте добавления избыточных атрибутов Schema
• Размещайте структурированные данные в конце <head> — убедитесь, что они находятся до возможной точки усечения

Ограничение в 2 МБ может измениться

Ильес в своем блоге особо отметил: "Это ограничение в 2 МБ не высечено в камне и может измениться по мере развития сети и роста размера HTML-страниц." Это важный сигнал — по мере того как веб-страницы становятся все более сложными, Google может в будущем повысить этот порог.

Но до тех пор, пока ограничение не будет повышено, лучшей практикой для создания сайтов внешней торговли остается сохранение страниц лаконичными и приоритетное размещение ключевого контента.

Влияние бессостоятельности WRS на сайты внешней торговли

Если ваш сайт внешней торговли использует следующие технологии, обратите особое внимание:

• Корзина покупок на основе localStorage — Google не может отобразить состояние корзины
• Отображение товаров, зависящее от сеанса — каждый визит Google — это новое состояние
• Инструменты A/B-тестирования — убедитесь, что Google видит версию по умолчанию
• Локализованный контент — Google не сохраняет состояние выбора региона

Убедитесь, что основная информация о ваших товарах может быть полностью представлена в среде рендеринга без сохранения состояния.

Мнение 01CodeTech

Ограничение Googlebot в 2 МБ не является насущной проблемой для большинства сайтов внешней торговли, но понимание этих технических деталей является основой профессионального создания сайтов и глубокой SEO-оптимизации. В условиях жесткой конкуренции на рынке внешней торговли каждая деталь технического SEO может стать преимуществом, позволяющим опередить конкурентов.

В 01CodeTech при создании сайтов для внешней торговли мы всегда придерживаемся философии "техническая основа определяет потолок оптимизации". Мы помогаем клиентам с самого начала создания сайта строить архитектуру страниц, соответствующую техническим спецификациям Google, чтобы избежать оплаты технического долга в будущем. Если вы хотите убедиться, что ваш сайт для внешней торговли полностью соответствует требованиям архитектуры краулера Google, следите за 01CodeTech для получения профессиональной технической поддержки.

---

Технический источник: Google Developers Blog (Гари Ильес), Search Off the Record Podcast Episode 105