굿하트의 법칙은 어떤 목적을 대신 보여주던 지표를 지나치게 최적화하면, 지표의 개선과 실제 목적의 달성이 어긋날 수 있다는 문제를 가리킨다. 데이비드 맨하임과 스콧 개러브랜트의 연구는 이를 하나의 현상으로 뭉뚱그리지 않고 지표를 과도하게 최적화할 때 생기는 여러 실패 방식으로 구분한다. 측정이 쓸모없다는 뜻은 아니며, 지표가 도움이 되던 범위를 벗어나도 같은 관계가 유지된다고 믿는 것이 문제다. 예를 들어 위키에서 문서 수만 성과로 삼으면 이미 있는 설명을 작은 문서들로 쪼개는 일이 내용 보완보다 유리해질 수 있다. 이것은 특정 위키에서 실제로 일어난 사건의 보고가 아니라 지표와 목적의 차이를 설명하기 위한 가정이다. 편집의 성과를 살필 때는 새 문서 수와 함께 잘못된 근거를 바로잡은 일, 중복을 합친 일, 독자가 다음 행동을 이해하게 된 일도 확인할 필요가 있다. 참여의 문턱을 낮춘다는 약속 역시 가입자 수만 늘었다고 지켜진 것은 아니다. 숫자로 세지 않은 기여를 묻는 일은 숫자를 버리자는 선언보다, 무엇을 놓치고 있는지 확인하는 질문에 가깝다.
숫자판을 잠깐 가리고 보기
위키의 문서 수를 방 안의 온도계라고 상상해보자. 숫자판만 데우면 방은 추운데 표시만 올라갈 수 있다는 비유다. 이 비유에서 출발한 작은 검토 방법으로, 수량을 보기 전에 최근 문서 몇 개를 골라 각각 누구의 어떤 질문에 답하는지 적어볼 수 있다. 이어서 편집 전후를 읽으며 실제로 답이 나아졌는지 확인하고, 마지막에 문서 수의 변화와 나란히 비교해보자. 이 절차는 굿하트의 법칙을 입증하는 실험이나 모든 왜곡의 해결책이 아니라, 평소 보는 숫자와 읽으면서 얻은 판단이 어디서 갈리는지 찾기 위한 제안이다. 새로 만든 평가표마저 점수 경쟁의 목표가 될 수 있으므로, 이번에 놓친 문서는 무엇인지도 질문으로 남겨두자.