AI 환각(할루시네이션)이란 — 왜 그럴듯한 거짓말을 하나, 줄이는 법

AI에게 어떤 논문을 물었더니 그럴듯한 제목과 저자, 연도까지 술술 답했는데 알고 보니 존재하지 않는 논문이었다. 이런 현상을 AI 환각(할루시네이션)이라 부른다. 단순한 버그가 아니라 현재 언어모델의 작동 방식 자체에서 비롯되는 구조적 특성이다. 왜 생기는지 이해하면, 실전에서 상당 부분 줄일 수 있다.

AI 환각은 왜 생기나

핵심 원인은 LLM이 '사실을 검색'하는 기계가 아니라 '다음에 올 단어를 확률적으로 예측'하는 기계라는 데 있다.

• 확률 예측 구조: 그럴듯하게 들리는 문장을 만들 뿐, 진위를 따로 검증하지 않는다.
• 지식의 한계: 학습하지 않았거나 최신이 아닌 정보는 '추측'으로 메운다.
• 모르는 걸 모른다고 안 함: 빈칸을 자신 있게 채우도록 학습돼 있다.
• 모호한 질문: 질문이 막연할수록 빈틈을 상상으로 채운다.

위험한 실제 사례

특히 결과가 그럴듯해서 틀렸다는 걸 알아채기 어렵다는 점이 가장 큰 위험이다.

사용자가 환각을 줄이는 실전 팁

• 출처 요구: "근거와 출처를 함께 제시하고, 확실하지 않으면 모른다고 답하라"고 지시한다.
• 검증 습관화: 숫자·인용·고유명사는 반드시 직접 교차 확인한다.
• 질문 구체화: 범위·조건·맥락을 명확히 줄수록 추측이 줄어든다.
• 자료 첨부(RAG): 답의 근거가 될 문서를 함께 주면 모델이 그 안에서 답하게 된다.
• 단계적 사고 유도: "단계별로 검토한 뒤 답하라"는 지시가 오류를 줄인다.

바로 쓰는 프롬프트 예시

다음 질문에 답할 때 규칙을 지켜줘:
1. 첨부한 자료에 있는 내용만 근거로 답한다.
2. 자료에 없으면 "자료에 없음"이라고 명시한다.
3. 각 핵심 주장 뒤에 근거 문장을 인용한다.
4. 추측은 [추정]이라고 표시한다.

[질문] 이 보고서에서 2025년 매출 성장률은?
[자료] (여기에 원문 붙여넣기)

이렇게 '모르면 모른다고 하라'와 '근거를 대라'는 두 장치만 넣어도 환각은 크게 줄어든다. AI는 똑똑한 조수이지 무오류의 진실 기계가 아니다. 최종 책임은 결과를 검증하는 사용자에게 있다는 점만 기억하면, 환각의 위험은 충분히 관리할 수 있다.