Robots.txt 생성기

이 도구가 하는 일

하나 이상의 user-agent 그룹과 선택적인 사이트맵 URL로 robots.txt 텍스트를 작성합니다.

사용 방법

1. user-agent를 입력합니다.
2. 허용 경로와 차단 경로를 한 줄에 하나씩 추가합니다.
3. 원하면 사이트맵 URL을 추가합니다.
4. 생성을 누릅니다.

예시

• 비공개 폴더

  User-agent * 와 Disallow: /admin 은 크롤러에게 /admin 아래 경로를 가져가지 말라고 알립니다. 파일은 텍스트일 뿐입니다.

주요 기능

• 여러 개의 user-agent 그룹.
• 여러 개의 Allow 및 Disallow 줄.
• 선택적인 절대 사이트맵 URL.

작동 방식

각 그룹은 User-agent로 시작하고, 경로마다 Allow 줄 하나와 경로마다 Disallow 줄 하나가 이어집니다. 빈 경로 줄은 건너뜁니다. 사이트맵은 http 또는 https 절대 URL일 때만 추가됩니다. 이 페이지는 파일을 업로드하거나 실제 사이트를 테스트하지 않습니다.

팁

• 모든 크롤러에는 *를 사용하세요.
• 경로는 한 줄에 하나씩 쓰세요.

제한 사항

결과는 복사할 수 있는 텍스트입니다. 규칙을 게시하거나 실제 사이트가 무엇을 허용하는지 확인하지 않습니다.

이 도구가 다루지 않는 내용은 면책 조항을(를) 참고하세요.

자주 묻는 질문

robots.txt 파일은 어떻게 작성하나요?

User-agent 줄로 시작한 뒤 Allow와 Disallow 줄을 추가합니다. 절대 사이트맵 URL이 있으면 Sitemap 줄도 넣습니다.

user-agent를 여러 개 쓸 수 있나요?

네. 각 그룹에 고유한 user-agent와 규칙이 있습니다.

빈 경로는 어떻게 되나요?

빈 줄은 건너뛰므로 빈 Allow나 Disallow 규칙이 생기지 않습니다.

실제 사이트를 테스트하나요?

아니요. 텍스트만 생성합니다. 파일을 게시하거나 사이트에 요청을 보내지 않습니다.

어떤 사이트맵 URL을 쓸 수 있나요?

http 또는 https 절대 URL입니다. 프로토콜이 없는 경로는 거부됩니다.

입력한 내용이 서버로 전송되나요?

아니요. user-agent 줄과 경로는 이 탭에서 조합됩니다. 업로드되지 않으며, 이 페이지가 사이트에 요청을 보내지도 않습니다.

관련 도구