robots.txt에 의해 차단됨

**"robots.txt에 의해 차단됨"**은 Google 크롤러가 robots.txt의 규칙 때문에 해당 URL을 크롤링하지 못했다고 Google Search Console이 보고하는 상태입니다. robots.txt는 사이트의 어떤 URL에 크롤러가 접근할 수 있는지 알려 크롤러 트래픽을 관리하는 파일입니다.

핵심은 robots.txt가 크롤링을 제어할 뿐 색인을 직접 막는 수단이 아니라는 점입니다.

크롤링 차단과 색인은 다릅니다

Google 문서는 robots.txt에 대해 "웹 페이지를 Google에서 제외하기 위한 수단이 아니다"라고 명시합니다. disallow로 크롤링이 막힌 페이지라도 다른 사이트에서 링크되면 URL과 앵커 텍스트 같은 공개 정보가 검색 결과에 나타날 수 있으며, 이때 결과에는 설명(스니펫)이 없습니다.

목적	적절한 방법
크롤러의 접근·트래픽 제어	robots.txt의 disallow
검색 결과 색인 자체를 막기	noindex 또는 접근 제한

즉 색인을 원치 않는다는 이유로 disallow를 사용하면, Google이 페이지 내용을 크롤링하지 못해 noindex를 읽을 수도 없게 되어 오히려 검색 결과에서 URL이 남는 결과로 이어질 수 있습니다.

disallow 규칙이 어떻게 일치하는지 확인합니다

robots.txt의 규칙은 user-agent로 적용 대상 크롤러를 지정하고 disallow로 접근을 막을 경로를 지정합니다. 경로는 접두사 방식으로 일치하며 대소문자를 구분합니다. 예를 들어 disallow: /fish는 /fish, /fish.html, /fishheads/를 막지만 /Fish.asp는 막지 않습니다. *(0개 이상 문자)와 $(URL 끝) 와일드카드를 제한적으로 지원하며, 규칙이 충돌하면 Google은 가장 덜 제한적인 규칙을 적용합니다.

문제 URL이 어떤 disallow 규칙과 일치하는지 먼저 특정한 뒤에 조치를 결정해야 합니다.

상황별 조치

크롤링되어야 하는데 막힌 경우라면, 대상 경로를 막는 disallow 규칙을 제거하거나 범위를 좁혀 해당 URL이 더 이상 규칙에 일치하지 않도록 합니다. 규칙을 넓게 바꾸면 의도하지 않은 하위 경로까지 영향을 받을 수 있으므로, 변경 전에 어떤 경로가 일치하는지 확인하고 기존 규칙을 보관해 되돌릴 수 있게 합니다.

색인 자체를 원치 않는 경우라면 disallow만으로는 부족합니다. Google 문서는 색인을 막으려면 robots.txt 규칙과 별개로 noindex 같은 방법을 사용하라고 안내합니다.

++규칙을 수정한 뒤에는 색인 재검사 목록을 따라 대상 URL이 의도한 크롤링·색인 상태가 되는지 다시 확인합니다.++