로봇 배제 규칙은 웹사이트 운영자가 `robots.txt`로 웹 크롤러에게 수집을 허용하거나 삼가달라고 요청하는 규약이다. RFC 9309는 이를 접근 권한을 부여하거나 차단하는 인증 수단으로 보지 않는다. [[웹사이트]] 운영에서는 다음 요구를 구분해야 한다.

- 수집을 줄이기: 크롤러에게 방문할 경로의 규칙을 알리는 일이다. 읽지 말라는 요청이 접근 차단은 아니다.
- 검색 결과에서 빠지기: 구글은 크롤링을 막은 주소도 다른 웹 페이지의 하이퍼링크를 통해 검색 결과에 나타날 수 있다고 안내한다.
- 비공개 자료 보호하기: 로그인한 사람만 읽게 하는 일은 별도다. 공개된 `robots.txt`에 숨길 경로를 쓰면 오히려 위치를 알릴 수 있다.

[[웹을 주체적으로 사용하기]]에서는 통제한다는 느낌보다 [[수집 요청과 접근 권한]]이 각각 무엇을 보장하는지 아는 일이 중요하다.

## 참고

- [RFC 9309, Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)
- [구글 검색 센터, noindex로 검색 색인 차단](https://developers.google.com/search/docs/crawling-indexing/block-indexing)

## 기타 등등

- RFC 9309는 `robots.txt`를 읽는 크기 제한이 최소 500KiB는 돼야 한다고 정한다. 제한 없이 읽으라는 뜻도, 파일이 500KiB를 넘으면 전체를 무시하라는 뜻도 아니다. [출처](https://www.rfc-editor.org/rfc/rfc9309)
- 같은 명세는 저장해둔 규칙을 원칙적으로 24시간 넘게 쓰지 않도록 권고한다. 다만 서버에 닿을 수 없는 경우는 예외여서, 수정한 규칙이 모든 크롤러에게 즉시 적용된다고 보장되지는 않는다. [출처](https://www.rfc-editor.org/rfc/rfc9309)

#웹 #표준 #운영