robots.txt를 바꾼 뒤 검색 노출이 줄었어요
robots.txt 변경 뒤 검색 노출이 줄었을 때 실제 응답, User-agent 규칙, 차단 경로와 noindex를 구분하고 다음 Problem을 고르는 가이드입니다.
빠른 답변
robots.txt 변경 뒤 검색 노출이 줄었다면 변경 전후 규칙과 실제 응답을 비교하고, 차단 경로와 noindex·서버 오류를 구분해야 합니다. 검색 노출 감소만으로 원인을 단정하지 않고 관리 도구 상태를 함께 기록합니다.
- 적용 범위
- 이 가이드의 시작 증상과 각 분기 조건이 일치하는 경우
- 출처 확인일
- 2026-07-27
- 최종 검토
- 2026-08-04
- 수정일
- 2026-08-04
- 정정 이력
- 2026-07-29 이후 기록 없음
- 대상
- 사이트 운영자, 쇼핑몰 운영자, 웹 에이전시, 프리랜서
이 가이드가 맞는 경우
- 페이지 색인 안 됨
- robots.txt 차단
상황별 다음 단계
호스팅사·개발자에게 전달할 내용
변경 전 기록
- 문제가 발생한 URL, 화면 또는 로그의 원문, 최초 발생 시각을 전달합니다.
- 비밀번호, 인증 토큰, 세션 쿠키, 결제 정보, 개인정보는 전달하지 않습니다.
- 최근 배포, 설정, 도메인, 플러그인 또는 인프라 변경이 있었다면 시각과 변경 범위를 함께 전달합니다.
알아둘 점
“robots.txt 변경 후 검색 안 됨”, “robots 차단”으로 검색하는 상황에서 사용합니다. 파일을 임의로 전체 허용하거나 전체 차단하지 않고, 변경 전후 규칙과 실제 검색 로봇 응답을 비교합니다.
먼저 기록할 값
- 변경 전·현재
https://도메인/robots.txt의 응답 상태, Content-Type, 확인 시각을 보관합니다. - 영향을 받은 URL과 대상 User-agent, 해당 URL에 적용되는
Disallow·Allow경로를 기록합니다. - 대상 URL의 HTTP 상태,
noindex,X-Robots-Tag, canonical을 별도로 확인합니다. - Search Console 또는 네이버 서치어드바이저에서 표시된 차단·색인 상태와 변경 배포 시각을 기록합니다.
상황별 다음 단계
| 관찰값 | 다음 문서 |
|---|---|
관리 도구에 robots.txt에 의해 차단됨이 표시됨 | robots.txt에 의해 차단됨 |
| robots 차단은 없지만 크롤링 후 색인이 생성되지 않음 | 크롤링됐지만 색인되지 않음 |
네이버 site: 검색과 서치어드바이저에서 미노출 상태가 확인됨 | 네이버 웹 검색에 사이트가 보이지 않아요 |
Disallow: /를 일괄 삭제하거나 모든 경로를 허용하는 조치를 기본값으로 적용하지 않습니다. 관리자·로그인·개인정보 경로를 공개 크롤링하게 만들 수 있으므로, 문제가 된 경로와 User-agent에 적용되는 규칙만 검토합니다. robots.txt가 크롤링을 제한하는지와 페이지 색인을 제외하는 noindex는 별도 조건입니다.
수정 후 재확인
변경한 파일을 배포한 뒤 같은 User-agent로 robots.txt 응답을 다시 확인하고, 관리 도구의 URL 검사·크롤링 상태를 비교합니다. 검색 노출은 즉시 변하지 않을 수 있으므로 이전 규칙, 배포 시각, 재확인 결과를 함께 보관합니다. 비밀번호·토큰·세션 쿠키·개인정보는 전달하지 않습니다.
참고 자료
확인 범위: indexing-not-guaranteed, common-causes · 확인일: 2026-07-23
확인 범위: definition, resolution · 확인일: 2026-07-23
확인 범위: definition, crawl-not-index, still-appears-in-results, not-a-blocking-mechanism · 확인일: 2026-07-23
확인 범위: disallow-syntax, crawl-not-index, use-noindex-to-block-indexing · 확인일: 2026-07-23
Naver Search Advisor · 공식 자료 · 확인 범위: 네이버 검색창에서 `site:사이트 URL` 형식으로 검색하여 사이트의 색인 여부를 확인할 수 있습니다., site: 검색 결과에 사이트가 보이면 네이버가 사이트를 인식하고 페이지를 수집하여 색인을 진행한 것을 뜻합니다., site: 검색 결과에 사이트가 보이지 않으면 네이버 검색 로봇이 아직 문서를 수집하지 못했거나 수집·색인이 불가능한 문서일 가능성이 있습니다., robots.txt의 수집 비허용, 문서의 noindex 메타태그, 웹 서버의 X-Robots-Tag 설정은 검색 미노출 사유일 수 있습니다. · 확인일: 2026-07-27
Naver Search Advisor · 공식 자료 · 확인 범위: 사이트 간단 체크는 검색 로봇 접근, robots.txt, noindex, RSS·sitemap 상태를 확인합니다., sitemap 제출은 생성되는 콘텐츠의 발견을 돕는 확인 항목입니다. · 확인일: 2026-07-27
Naver Search Advisor · 공식 자료 · 확인 범위: 네이버 검색 로봇은 사이트 루트의 robots.txt 규칙을 따르며, 2xx 응답의 텍스트 파일을 권장합니다., robots.txt에 sitemap 위치를 기록할 수 있고, 수정 뒤 수집·검증 기능으로 상태를 확인할 수 있습니다. · 확인일: 2026-07-27
Naver Search Advisor · 공식 자료 · 확인 범위: noindex 로봇 메타 태그는 페이지를 검색 결과에서 제외하도록 표시합니다., 동일 콘텐츠가 여러 URL에 있을 때 절대 URL 형태의 canonical을 사용해 대표 URL을 지정할 수 있습니다. · 확인일: 2026-07-27
Naver Search Advisor · 공식 자료 · 확인 범위: 수집 요청은 우선순위에 따라 처리되며 실시간 방문이나 검색 결과 노출을 보장하지 않습니다. · 확인일: 2026-07-27