로봇 배제 규칙은 사이트 운영자가 robots.txt로 웹 크롤러에게 수집을 허용하거나 삼가달라고 요청하는 규약이다. RFC 9309는 이를 접근 권한을 부여하거나 차단하는 인증 수단으로 보지 않는다. 웹사이트 운영에서는 다음 요구를 구분해야 한다.
- 수집을 줄이기: 크롤러에게 방문할 경로의 규칙을 알리는 일이다. 읽지 말라는 요청이 접근 차단은 아니다.
- 검색 결과에서 빠지기: 구글은 크롤링을 막은 주소도 다른 페이지의 링크를 통해 검색 결과에 나타날 수 있다고 안내한다.
- 비공개 자료 보호하기: 로그인한 사람만 읽게 하는 일은 별도다. 공개된
robots.txt에 숨길 경로를 쓰면 오히려 위치를 알릴 수 있다.
웹을 주체적으로 사용하기에서는 통제한다는 느낌보다 수집 요청과 접근 권한이 각각 무엇을 보장하는지 아는 일이 중요하다.