인공지능의 환각(hallucination)은 생성 시스템이 사실과 다르거나 주어진 자료와 맞지 않는 내용을 그럴듯하게 내놓는 현상을 가리키는 말이다. NIST의 2024년 생성형 인공지능 프로필은 이를 confabulation으로 다루며, 잘못된 내용뿐 아니라 입력이나 앞선 진술과 모순되는 출력도 설명한다. 여기서 환각이라는 표현은 인간의 지각 경험을 모델이 그대로 겪는다는 뜻이 아니다. 생성형 인공지능의 유창한 문장은 사실 확인을 대신하지 않는다.
- 출간 연도를 조사한다면 서명·저자·날짜를 나눠 원자료와 대조하자.
- 하이퍼링크도 열어보자. 주소의 존재와 근거의 일치는 다르다.
검색 증강 생성으로 자료를 제공했을 때도 확인 절차를 생략할 근거가 되지는 않는다. 출처가 있는 문장 검증하기는 하이퍼링크의 유무와 근거의 일치를 구분하는 연습으로 이어질 수 있다.
참고
단정문에 브레이크 달기
- 생성된 문장에서 확인할 수 있는 주장 하나를 고르고 근거 문장을 원자료에서 찾는다. 하이퍼링크가 열린다는 사실만으로 확인 표시는 하지 않는다.
- 근거가 없으면 그럴듯하게 완성하기보다 삭제하거나 확인되지 않았다고 표시한다. 이름과 숫자는 특히 별도로 대조한다.
- 확인하지 못한 문장의 처리를 편집 기준으로 정한다. 창작으로 남길 문장과 사실을 설명할 문장을 섞지 않는다.