굿하트의 법칙은 지표를 지나치게 최적화할 때 지표의 개선과 실제 목적의 달성이 어긋날 수 있다는 문제를 가리킨다. 데이비드 맨하임과 스콧 개러브랜트는 그 실패 방식을 구분해 연구했다. 측정이 쓸모없다는 뜻이 아니라, 지표가 유효하던 범위를 벗어나도 같은 관계가 유지된다고 믿는 것이 문제다.
위키의 문서 수만 성과로 삼는다고 가정해보자. 기존 설명을 잘게 쪼개는 일이 내용을 보완하는 일보다 유리해질 수 있다. 실제 사건의 보고가 아닌 예시다. 편집을 평가할 때는 다음도 함께 살펴볼 수 있다.
- 잘못된 근거를 바로잡거나 중복을 합쳤는가?
- 독자가 다음 행동을 이해하기 쉬워졌는가?
- 가입자가 늘어난 뒤에도 참여의 문턱이 남아 있지는 않은가?
숫자로 세지 않은 기여는 숫자를 버리자는 선언보다 지표가 놓친 일을 확인하는 질문에 가깝다.
숫자판을 잠깐 가리고 보기
위키의 문서 수를 방 안의 온도계라고 상상해보자. 숫자판만 데우면 방은 추운데 표시만 올라갈 수 있다는 비유다.
- 최근 문서 몇 개부터 읽자. 각각 누구의 어떤 질문에 답하고 있을까?
- 편집 전후를 비교한 다음 문서 수도 보자. 숫자와 내용의 간격을 적어보는 셈이다.
이 절차는 굿하트의 법칙을 입증하는 실험이나 모든 왜곡의 해결책이 아니라, 평소 보는 숫자와 읽으면서 얻은 판단이 어디서 갈리는지 찾기 위한 제안이다. 새로 만든 평가표마저 점수 경쟁의 목표가 될 수 있으므로, 이번에 놓친 문서는 무엇인지도 질문으로 남겨두자.