똑똑하다는 소문 말고 명찰 뒷면도 읽어보자.
모델 카드(model card)는 학습된 모델의 목적, 평가 조건, 성능과 한계를 설명하는 문서다. 마거릿 미첼(Margaret Mitchell) 등의 Model Cards for Model Reporting은 어떤 맥락에서 모델을 사용하도록 의도했는지, 관련 집단이나 조건에 따라 평가 결과가 어떻게 달라지는지를 공개하자고 제안했다. 숫자 하나로 모델 전체를 설명하는 대신 평가 자료와 절차를 함께 읽게 한다. 데이터셋 설명서가 자료의 구성과 수집 과정을 다룬다면 모델 카드는 그 자료 등으로 만들어진 모델의 사용 맥락을 다룬다.
모델이 무엇을 구분하도록 만들어졌는지, 어떤 조건에서 시험했는지, 아직 시험하지 않은 조건은 무엇인지 구분해 기록한다.
카드가 있다는 사실만으로 성능이나 공정성이 보장되지는 않는다. 설명과 실제 시험 결과가 어긋나면 그 차이를 고쳐 적어야 한다. 모델의 사용 범위는 도구를 다른 사람에게 넘길 때 함께 전달할 기록이다.
참고
비교표 옆에 조건 붙이기
- 모델 두 개를 비교한다면 사용한 자료와 질문, 설정이 같은지 먼저 적는다. 조건이 다르면 숫자를 한 줄로 줄 세우지 않는다.
- 시험하지 않은 사용 목적은 성능이 낮은 것과 구분한다. 모르는 칸은 낮은 점수가 아니라 확인할 칸이다.
- 성능표의 빈칸 읽기에 확인 시점과 모델 판본을 남긴다. 설명서를 읽은 날짜가 모델의 평가 날짜를 대신하지 않게 한다.