About: robots.txt

 

robots.txt 설정

robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안입니다.

robots.txt파일은 항상 사이트 루트 디렉터리에 위치해야하며 로봇 배제 표준을 따르는 일반 텍스트 파일로 작성해야 합니다. 네이버 검색로봇은 robots.txt에 작성된 규칙을 준수하며, 만약 사이트의 루트 디렉터리에 robots.txt파일이 없다면 모든 콘텐츠를 수집할 수 있도록 간주합니다.

간혹 특정 목적을 위하여 개발된 웹 스크랩퍼를 포함하여 일부 불완전한 검색로봇은 robots.txt내의 규칙을 준수하지 않을 수 있습니다. 그러므로 개인 정보를 포함하여 외부에 노출되면 안 되는 콘텐츠의 경우 로그인 기능을 통하여 보호하거나 다른 차단 방법을 사용해야 합니다.

robots.txt 위치

robots.txt 파일은 반드시 사이트의 루트 디렉터리에 위치해야 하며 텍스트 파일 (text/plain) 로 접근이 가능해야 합니다.

ex) http://www.example.com/robots.txt

HTTP 응답코드에 따른 처리

사이트의 robots.txt에 네이버 검색로봇이 접근하였을 때 정상적인 2xx 응답코드를 전달해주세요. 검색로봇은 HTTP 응답코드에 따라 아래와 같이 동작합니다.

robots.txt 규칙 예제

robots.txt 파일에 작성된 규칙은 같은 호스트, 프로토콜 및 포트 번호 하위의 페이지에 대해서만 유효합니다.

http://www.example.com/robots.txt의 내용은 http://example.com/ 와 https://example.com/에는 적용되지 않습니다.

대표적인 규칙은 아래와 같으며 사이트의 콘텐츠 성격에 맞게 변경해주세요.

 

1. 다른 검색엔진의 로봇에 대하여 수집을 허용하지 않고 네이버 검색로봇만 수집 허용으로 설정합니다.

User-agent: *
Disallow: /
User-agent: Yeti
Allow: /

 

2. 모든 검색엔진의 로봇에 대하여 수집 허용으로 설정합니다.

User-agent: *
Allow: /

 

3. 사이트의 루트페이지만 수집 허용으로 설정합니다.

User-agent: *
Disallow: /
Allow: /$

 

4. 관리자 페이지, 개인 정보 페이지와 같이 검색로봇 방문을 허용하면 안 되는 웹 페이지는 수집 비허용으로 설정해주세요. 아래 예제는 검색로봇에게 /private-image, /private-video 등은 수집하면 안 된다고 알려줍니다.

User-agent:*
Disallow: /private*/

 

5. 모든 검색로봇에게 사이트의 모든 페이지에 대하여 수집을 허용하지 않는다고 알려줍니다. 이 예제는 사이트의 어떠한 페이지도 수집 대상에 포함되지 않으므로 권장하지 않습니다.

User-agent: *
Disallow: /

 

6. robots.txt의 내용을 확인해서 검색 로봇이 자바스크립트를 수집할 수 있도록 허용해주세요.

User-agent: *
Allow: /your-javascript-url
Allow: /your-css-url

혹은 별도로 지정 하지 않음

 

7. fragment (#) URL은 사용하지 마세요

https://www.mysite.com/page#subsection-1
https://www.mysite.com/page#subsection-2