새로운 질서 위키

딥 웹

딥 웹(deep web)은 일반 검색 엔진이 색인하지 않는 웹의 자료와 영역을 가리킨다. (The Deep Web: Surfacing Hidden Value) 로그인 뒤의 개인 자료나 검색 양식에 조건을 넣어야 나오는 데이터베이스 결과가 여기에 포함될 수 있다. 도서관의 검색 화면에서도 딥 웹의 자료를 만날 수 있다.

  • 검색되지 않는 이유를 나누기: 로그인과 접근 권한, 수집되지 않은 주소, 질의에 따라 생성되는 결과는 서로 다른 문제다. 모두를 같은 기술로 숨겨둔 것은 아니다.
  • 다크 웹과 구분하기: 딥 웹은 검색의 범위에 관한 말이고, 다크 웹은 별도 통신망으로 접근하는 서비스에 관한 말로 구분하면 편하다. 두 말은 겹쳐 쓰이기도 하지만 동의어가 아니다. 토르 메일링 리스트의 딥 웹, 다크 웹 논의에서도 이 차이와 용어의 혼동이 논의되었다.
  • 검색에서 빠지는 것과 잠그는 것 구분하기: noindex는 이를 지원하는 검색 엔진에 색인하지 말라고 알리는 규칙이다. (구글 검색 센터, 검색 색인 차단 안내) 주소를 아는 사람의 접근을 차단하는 로그인 장치는 아니다. 로봇 배제 규칙과 함께 읽을 만하다.
  • 자료를 찾는 방법 넓히기: 책과 작업을 조사할 때는 일반 검색 결과뿐 아니라 기관의 검색 양식과 소장 목록도 살펴볼 수 있다. 이때 검색의 사각지대는 다른 입구를 찾아볼 이유가 된다.

기타 등등

  • 마이클 K. 버그먼(Michael K. Bergman)의 2001년 논문은 딥 웹을 동적으로 검색되는 데이터베이스의 가치와 함께 설명했다. 논문에 실린 규모 추정은 당시 조사에 따른 수치이며 오늘의 웹 전체 비율로 옮겨 쓰면 안 된다. 출처
  • 구글이 noindex를 읽으려면 해당 페이지에 접근할 수 있어야 한다. 크롤링을 막아놓고 그 안에서 색인하지 말라고 부탁하면 부탁 자체를 읽지 못할 수 있다. 출처

#인터넷 #웹 #검색 #리서치

검색