인공지능의 환각(hallucination)은 생성 시스템이 사실과 다르거나 주어진 자료와 맞지 않는 내용을 그럴듯하게 내놓는 현상을 가리키는 말이다. NIST의 2024년 생성형 인공지능 프로필은 이를 confabulation으로 다루며, 잘못된 내용뿐 아니라 입력이나 앞선 진술과 모순되는 출력도 설명한다. 여기서 환각이라는 표현은 인간의 지각 경험을 모델이 그대로 겪는다는 뜻이 아니다. [[생성형 인공지능]]의 유창한 문장은 사실 확인을 대신하지 않는다.

## 단정문에 브레이크 달기

1. 확인할 주장 하나를 고른다. 출간 연도라면 서명·저자·날짜를 나누어 원자료와 대조한다.
2. 연결된 자료를 열어 그 주장을 뒷받침하는 문장을 찾는다. [[주소의 존재와 근거의 일치]]는 다르다.
3. 근거를 찾지 못하면 삭제하거나 확인되지 않았다고 표시한다. [[확인하지 못한 문장의 처리]]를 정할 때는 창작으로 남길 문장과 사실을 설명할 문장을 구별한다.

[[검색 증강 생성]]으로 자료를 제공했더라도 이 대조를 생략할 근거가 되지는 않는다. [[출처가 있는 문장 검증하기]]에서 링크의 유무와 근거의 일치를 직접 나누어 살펴볼 수 있다.

## 참고

- NIST, [생성형 인공지능 위험 관리 프로필](https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf), 2024

#개념 #인공지능 #편집