발산 마사지 링크 쪽 작업을 거들다 보면 회선만 빠르면 색인도 빨라진다는 말을 자주 듣는다. 절반만 맞는 이야기다. 오늘은 인덱싱 속도와 대역폭을 둘러싼 오해를 하나씩 반박해 보려 한다.
첫 번째 오해는 서버 응답이 빠르면 무조건 색인이 빨라진다는 생각이다. 응답 속도는 크롤러가 한 번에 더 많은 문서를 훑고 갈 수 있게 해 주는 조건일 뿐이다. 그 문서를 색인에 넣을지 말지는 별개의 판단이다. 문을 넓혀도 안으로 들일 물건을 고르는 기준은 그대로 남아 있다.
두 번째 오해는 대역폭을 키우면 크롤 예산도 따라 늘어난다는 생각이다. 실제로는 인과가 반대에 가깝다. 크롤러가 자주 들를 만한 갱신 패턴이 먼저 있고, 그 요청을 서버가 막힘없이 받아 내는 일이 뒤따른다. 갱신이 멈춘 사이트에 회선만 넓히면 빈 통로가 하나 늘어날 뿐이다.
세 번째 오해는 느린 응답의 원인을 회선 하나로 환원하는 태도다. 실제로 발목을 잡는 것은 무거운 렌더링, 겹겹이 쌓인 리다이렉트, 정리되지 않은 내부 링크인 경우가 훨씬 흔하다. 이런 상태에서는 대역폭을 늘려도 체감이 거의 없다. 원인을 짚지 않은 채 회선부터 바꾸면 같은 증상이 이름만 바꿔 다시 돌아온다.
그렇다고 회선이 무의미하다는 뜻은 아니다. 갱신이 잦고 문서 수가 많은 사이트라면, 응답이 밀리는 순간 크롤러가 가져가는 양이 눈에 띄게 줄어든다. 조건이 갖춰진 곳에서는 대역폭 최적화가 분명한 몫을 한다. 반박의 대상은 회선 자체가 아니라 회선을 만능으로 두는 순서다.
결국 순서의 문제다. 갱신 리듬과 내부 구조를 먼저 정리하고 그다음에 회선과 응답을 손보는 편이 낫다. 거꾸로 하면 비용은 먼저 나가고 변화는 나중에도 오지 않는다.