색인이 안 되는 게 아니라 크롤이 안 오는 것 — 신생 도메인 진단의 갈림길

새 도메인을 열고 콘텐츠를 꾸준히 올렸는데 색인 수가 늘지 않는 상황은 흔합니다. 이때 대부분 콘텐츠 품질을 먼저 의심합니다. 그런데 실측해 보면 원인이 전혀 다른 곳에 있는 경우가 상당수입니다.

미색인은 한 가지가 아닙니다

같은 "색인 안 됨"이라도 실제로는 두 가지 상태가 섞여 있습니다.

• 유형 A — 크롤은 왔는데 색인이 보류된 상태: 검색엔진이 페이지를 읽어갔지만 색인에 넣지 않기로 판단한 경우입니다. 중복 콘텐츠, 얇은 콘텐츠, 사이트 단위 신뢰도 문제 등이 연결됩니다.
• 유형 B — 크롤 자체가 오지 않은 상태: 페이지를 읽어간 적이 아예 없는 경우입니다. 사이트맵에 있고 링크도 걸려 있는데 방문 기록이 없습니다.

이 둘은 대응이 완전히 다릅니다. 유형 A에서 콘텐츠를 더 쓰면 개선 여지가 있지만, 유형 B에서 콘텐츠를 더 쓰는 것은 문제를 키우기만 합니다. 읽히지 않는 페이지가 늘어날 뿐이기 때문입니다.

구분하는 방법

다행히 구분은 어렵지 않습니다. 검색엔진의 웹마스터 도구에서 개별 URL의 마지막 크롤 시각을 확인하면 됩니다. 값이 비어 있다면 그 페이지는 한 번도 읽히지 않은 것입니다. 여기에 사이트 단위의 일일 크롤 페이지 수를 함께 보면 그림이 분명해집니다.

실제 관찰에서, 사이트맵에 등록되어 있고 내부 링크도 걸린 페이지들이 몇 주가 지나도록 크롤 기록이 비어 있는 사례를 반복적으로 보게 됩니다. 이런 도메인은 하루 크롤 페이지 수 자체가 한 자릿수에 머무릅니다. 수십 페이지 규모의 사이트에서 하루 한두 페이지씩만 읽어간다면, 새 글을 아무리 올려도 흡수 속도가 발행 속도를 따라가지 못합니다.

기술 점검이 먼저인 이유

크롤이 오지 않는다고 곧바로 신뢰도 문제로 결론 내리기 전에, 확인이 빠른 항목들이 있습니다.

• 페이지가 실제로 정상 응답하는가 — 목록에는 있는데 응답이 다른 경우
• 크롤러 접근을 막는 설정이 남아 있지 않은가
• 페이지 단위 색인 허용 표기와 정규 주소 지정이 자기 자신을 가리키는가
• www와 기본 주소가 영구 이전으로 정리되어 있는가 — 임시 이전으로 두면 두 주소가 별개로 취급될 수 있습니다
• 사이트맵이 최근에 다시 읽혔는가 — 등록만 하고 갱신이 반영되지 않은 경우가 흔합니다
• 목록 페이지가 존재하는가 — 개별 글만 있고 모아 보는 진입점이 없는 구조

기술이 깨끗한데도 크롤이 없다면

위 항목이 모두 정상인데 크롤이 오지 않는다면, 남는 설명은 도메인에 배정된 크롤 예산이 작다는 것입니다. 신생 도메인이 외부 연결을 거의 갖지 못한 상태에서 흔히 관찰되는 양상입니다. 이 경우 레버는 콘텐츠 추가가 아니라 다른 곳에 있습니다.

• URL 제출 기능으로 개별 페이지를 직접 알리기 — 미크롤 페이지에 우선 사용
• 이미 신뢰가 쌓인 도메인에서 자연스러운 문맥 연결 확보
• 내부 구조 정리로 진입점 늘리기
• 발행 속도를 흡수 속도에 맞춰 조절 — 흡수되지 않은 백로그가 큰 상태에서의 대량 발행은 도움이 되지 않습니다

정리

"색인이 안 된다"는 관찰에서 곧바로 콘텐츠 대응으로 넘어가지 않는 것이 핵심입니다. 마지막 크롤 시각 하나만 확인해도 대응 방향이 갈립니다. 루미브리즈는 고객사 도메인의 색인 현황을 볼 때 색인 수 이전에 크롤 도달 여부를 먼저 확인하고, 두 유형을 구분한 뒤 레버를 선택합니다.