robots.txt 생성기
차단 규칙, 크롤 디레이, 사이트맵 참조가 담긴 robots.txt를 만듭니다.
입력
결과
User-agent: *
이 도구에 대하여
차단할 경로, 크롤 디레이, 사이트맵 위치를 입력하면 바로 업로드할 수 있는 robots.txt를 출력합니다. 규칙은 중복 제거되고 모든 경로에 슬래시가 붙으며, Crawl-delay는 0이 아닐 때만 표시됩니다.
사용 방법
- 1차단할 경로를 한 줄에 하나씩 입력합니다. 예: /admin
- 2필요하면 크롤 디레이를 설정하고 사이트맵 URL을 추가합니다. (0이면 제외)
- 3출력 내용을 robots.txt로 저장해 사이트 루트에 업로드하세요.