案例分享
2026/04/08
Googlebot 2MB 크롤링 제한 심층 분석: 해외 무역 웹사이트 페이지 최적화 기술 실전 가이드
Google의 Gary Illyes가 Googlebot 크롤러 아키텍처와 2MB 바이트 제한의 기술적 세부 사항을 상세히 공개했습니다. 본문은 해외 무역 웹사이트 실전 관점에서 이러한 기술 매개변수가 페이지 인덱싱에 미치는 영향을 분석하고 구체적인 최적화 방안을 제공합니다.
Google, 크롤러 아키텍처 기술 세부 사항 최초 공개
Google의 Gary Illyes가 최근 중대한 기술 블로그를 발표하여, Googlebot 크롤러 시스템의 아키텍처 설계와 바이트 수준의 기술적 세부 사항을 처음으로 체계적으로 공개했습니다. 이 정보는 Google이 웹페이지를 어떻게 크롤링하고 인덱싱하는지 이해하는 데 중요하며, 특히 해외 무역 웹사이트의 기술 최적화에 직접적인 지침을 제공합니다.
핵심 발견: Googlebot은 공유 플랫폼의 한 클라이언트일 뿐
Illyes는 이전에 알려지지 않은 아키텍처 세부 사항을 밝혔습니다: Googlebot은 Google 내부의 중앙화된 크롤링 플랫폼의 "사용자" 중 하나일 뿐입니다. Google Shopping, AdSense 등 다른 제품들도 동일한 플랫폼을 통해 크롤링 요청을 보내지만, 각각 다른 크롤러 이름을 사용합니다.
각 클라이언트는 사용자 에이전트 문자열, robots.txt 토큰, 바이트 제한 등을 포함한 자체 구성을 독립적으로 설정할 수 있습니다. 서버 로그에서 Googlebot을 볼 때, 그것은 Google Search의 크롤러입니다; 다른 클라이언트들은 각자의 크롤러 이름으로 나타납니다.
2MB 제한의 완전한 기술적 진실
Googlebot은 모든 URL에 대해 2MB(PDF 파일 제외, PDF 제한은 64MB)의 크롤링 상한을 가집니다. 제한이 지정되지 않은 크롤러는 기본적으로 15MB 상한을 사용합니다. 다음은 2MB 제한의 상세 기술적 동작입니다:
HTTP 요청 헤더도 2MB 제한에 포함됩니다. 이는 제한에 가까운 페이지의 경우, 요청 헤더가 실제 콘텐츠 공간을 "점유"할 수 있음을 의미합니다.
2MB를 초과하는 페이지는 거부되지 않습니다. Googlebot은 2MB에 도달하면 크롤링을 중지한 후, 잘린 콘텐츠를 Google의 인덱싱 시스템과 웹 렌더링 서비스(WRS)로 보냅니다. 이 시스템들은 잘린 파일을 완전한 파일로 처리합니다—2MB 이후의 모든 콘텐츠는 크롤링, 렌더링 또는 인덱싱되지 않습니다.
외부 리소스는 독립적인 바이트 카운터를 가집니다. HTML에서 참조하는 CSS와 JavaScript 파일은 각각 독립적인 2MB 제한을 가지며, 부모 페이지의 할당량에 포함되지 않습니다. 그러나 WRS는 이미지, 비디오, 글꼴 및 일부 "특수 파일"을 크롤링하지 않습니다.
WRS는 상태를 유지하지 않습니다. 웹 렌더링 서비스는 각 요청 사이에 로컬 저장소와 세션 데이터를 지웁니다. localStorage나 sessionStorage에 의존하는 JavaScript 기능은 Google 렌더링에서 사용할 수 없습니다.
해외 무역 웹사이트에 대한 실제 영향 분석
대부분의 해외 무역 웹사이트는 걱정할 필요 없음
HTTP Archive 데이터에 따르면, 대부분의 웹페이지 HTML 크기는 2MB 임계값보다 훨씬 낮습니다. 일반적인 해외 무역 제품 페이지 HTML 크기는 보통 100KB-500KB 사이로, 2MB까지는 여유가 있습니다.
그러나 이러한 유형의 페이지는 주의 필요
다음 유형의 해외 무역 웹페이지는 2MB 제한에 가깝거나 초과할 수 있습니다:
- 대형 제품 카탈로그 페이지—수십 개에서 수백 개의 제품 카드를 포함하는 카테고리 페이지
- 인라인 Base64 이미지를 사용하는 페이지—이미지를 HTML에 직접 인코딩
- 많은 인라인 CSS/JavaScript를 사용하는 페이지—스타일과 스크립트를 외부화하지 않음
- 초대형 네비게이션 메뉴—수백 개의 링크를 포함하는 거대한 네비게이션 구조
- 긴 제품 설명 페이지—많은 기술 사양과 인라인 스타일을 포함하는 페이지
HTTP 요청 헤더의 숨겨진 비용
많은 쿠키, 사용자 정의 헤더 또는 복잡한 인증 메커니즘을 사용하는 해외 무역 웹사이트의 경우, HTTP 요청 헤더가 상당한 공간을 차지할 수 있습니다. 대부분의 경우 문제가 되지 않지만, 2MB 제한에 가까운 페이지에서는 모든 바이트가 중요합니다.
해외 무역 웹사이트 페이지 최적화 실전 방안
1. 페이지 크기 감사
먼저 페이지에 위험이 있는지 확인하세요:
# curl을 사용하여 페이지 HTML 크기 확인
curl -sL -o /dev/null -w '%{size_download}' https://your-site.com/your-page
반환 값이 1.5MB에 가깝거나 초과하면, 진지하게 최적화해야 합니다.
더 체계적인 방법은 Chrome DevTools의 Network 패널을 사용하여 HTML 문서 요청을 필터링하고, Transfer Size와 Response Size를 확인하는 것입니다.
2. 핵심 콘텐츠 전치
Google은 명확히 권장합니다: Meta 태그, title 태그, link 요소, canonical 표시 및 구조화된 데이터는 HTML의 앞부분에 나타나야 합니다. 이는 페이지가 잘릴 경우, 뒤쪽의 콘텐츠가 완전히 인덱싱되지 않을 수 있기 때문입니다.
해외 무역 웹사이트에 대한 구체적 제안:
- SEO에 중요한 Meta 설명과 구조화된 데이터를
<head>에 배치 - 제품 이름, 가격, 핵심 설명 등 중요한 정보가 HTML 소스 코드의 첫 1MB 내에 나타나도록 보장
- FAQ와 긴 콘텐츠는 제품 핵심 정보 뒤에 배치
3. CSS와 JavaScript 외부화
이것은 가장 효과적인 크기 감소 전략입니다. 각 외부 CSS와 JavaScript 파일은 자체 독립적인 2MB 바이트 제한을 가집니다:
- 대량의 인라인 CSS를 외부 스타일시트로 이동
- 인라인 JavaScript를 외부 스크립트 파일로 이동
- 인라인 Base64 이미지 대신 CSS Sprites 또는 SVG 사용
해외 무역 웹사이트 구축에서 흔한 실수는 제3자 채팅 도구, 분석 스크립트, 번역 컴포넌트의 CSS와 JS를 모두 HTML에 인라인으로 포함시켜 페이지 크기를 부풀리는 것입니다.
4. 네비게이션 구조 최적화
대형 해외 무역 B2B 웹사이트는 종종 복잡한 제품 분류 네비게이션을 가지고 있으며, 수백 개의 링크를 포함할 수 있습니다. 최적화 제안:
- JavaScript를 사용하여 동적으로 서브메뉴 로드—초기 HTML의 네비게이션 마크업 감소
- 간결한 모바일 네비게이션 사용 고려—중복된 네비게이션 HTML 감소
- noindex/nofollow 적절히 사용—네비게이션에 낮은 가치 페이지 링크 포함 피하기
5. 제품 카탈로그 페이지의 페이지네이션 전략
많은 제품을 포함하는 카테고리 페이지의 경우:
- 페이지당 제품 수 제한—페이지당 24-36개 제품 이하 권장
- 지연 로딩 사용—JavaScript를 통해 더 많은 제품 동적 로드
- 합리적인 페이지네이션 구현—rel=next/prev 또는 올바른 canonical 표시 사용
6. 구조화된 데이터 최적화
구조화된 데이터(JSON-LD)는 해외 무역 웹사이트 GEO 최적화의 핵심이지만, 페이지 크기도 증가시킵니다:
- Microdata 대신 JSON-LD 형식 사용—더 간결하고 HTML 구조에 영향 없음
- 필요한 속성만 표시—중복된 Schema 속성 추가 피하기
- 구조화된 데이터를
<head>끝부분에 배치—가능한 잘림 지점 이전에 보장
2MB 제한은 변할 수 있음
Illyes는 블로그에서 특히 언급했습니다: "이 2MB 제한은 고정된 것이 아니며, 네트워크 발전과 HTML 페이지 크기 증가에 따라 변경될 수 있습니다." 이것은 중요한 신호입니다—웹페이지가 점점 더 복잡해짐에 따라, Google은 미래에 이 임계값을 높일 수 있습니다.
그러나 제한이 높아지기 전까지, 해외 무역 웹사이트 구축의 최선의 실천 방법은 여전히 페이지를 간결하게 유지하고, 핵심 콘텐츠를 앞쪽에 배치하는 것입니다.
WRS 상태 비저장 특성이 해외 무역 웹사이트에 미치는 영향
다음 기술을 사용하는 해외 무역 웹사이트의 경우, 특히 주의해야 합니다:
- localStorage 기반 쇼핑 카트—Google은 쇼핑 카트 상태를 렌더링할 수 없음
- 세션 의존적 제품 표시—Google의 각 방문은 새로운 상태
- A/B 테스트 도구—Google이 기본 버전을 보도록 보장
- 지역화 콘텐츠—Google은 지역 선택 상태를 유지하지 않음
핵심 제품 정보가 상태 비저장 렌더링 환경에서도 완전히 표시되도록 보장하세요.
01CodeTech 관점
Googlebot의 2MB 제한은 대부분의 해외 무역 웹사이트에게 긴급한 문제는 아니지만, 이러한 기술적 세부 사항을 이해하는 것은 전문적인 웹사이트 구축과 심층 SEO 최적화의 기초입니다. 경쟁이 치열한 해외 무역 시장에서, 기술 SEO의 모든 세부 사항은 경쟁사를 능가하는 이점이 될 수 있습니다.
01CodeTech는 해외 무역 웹사이트 구축에서 "기술 기반이 최적화 상한을 결정한다"는 이념을 고수합니다. 우리는 고객이 웹사이트 구축 초기부터 Google 기술 규범에 부합하는 페이지 아키텍처를 구축하도록 도와, 나중에 기술 부채를 치르지 않도록 합니다. 귀하의 해외 무역 웹사이트가 Google 크롤러 아키텍처 요구 사항에 완전히 적응하도록 보장하려면, 전문 기술 지원을 위해 01CodeTech를 팔로우하세요.
기술 출처: Google Developers Blog (Gary Illyes), Search Off the Record Podcast Episode 105