할루시네이션(Hallucination)은 AI가 사실이 아닌 정보를 마치 사실인 것처럼 자신 있게 말하는 현상이다. 챗GPT, 클로드, 제미나이 등 어떤 AI 모델이든 할루시네이션에서 완전히 자유롭지 않다. 문제는 틀린 답변이 너무 그럴듯해서 사용자가 의심 없이 받아들인다는 점이다.
AI에 관심이 있는 사람이라면, 한번쯤 “세종대왕이 맥북프로를 던졌다”는 답변을 본 적 있을 것이다. 웃고 넘기기 쉬운 에피소드지만, 같은 구조의 오류가 법정에서 발생하면 상황이 달라진다. AI를 매일 쓰는 시대에, 왜 이런 현상이 생기는지 원리를 알아야 피해를 줄일 수 있다.
할루시네이션 뜻과 실제 사례
세종대왕은 맥북프로를 던졌는가
할루시네이션의 뜻은 AI가 학습 데이터에 근거하지 않는 정보를 확신에 찬 어조로 생성하는 현상이다. 한국어로는 AI 환각이라고도 부른다. 인간 심리학에서 실제로 존재하지 않는 것을 지각하는 환각에서 따온 용어다.
가장 유명한 사례가 “세종대왕 맥북프로 던짐 사건”이다. 챗GPT에 “세종대왕이 맥북프로를 던진 이유가 뭐야?”라고 물으면, AI는 “세종대왕이 한글 창제 과정에서 신하들과의 갈등으로 맥북프로를 던졌다”는 식의 답변을 생성했다. 15세기 인물과 21세기 제품을 엮는 것이 말이 안 된다는 판단을 AI는 하지 못한다. 질문에 포함된 전제를 그대로 받아들이고, 그럴듯한 문장을 조합한 결과다.
핵심은 AI가 거짓말을 “의도”하지 않는다는 점이다. AI에게는 참과 거짓의 개념 자체가 없다. 다음에 올 단어 중 확률이 가장 높은 것을 고르는 과정에서, 결과적으로 사실과 다른 문장이 만들어진다.
변호사가 법정에 낸 가짜 판례
2023년 미국에서 변호사 스티븐 슈워츠가 챗GPT로 작성한 준비서면을 법원에 제출했다. 서면에는 6건의 판례가 인용돼 있었는데, 6건 모두 실제로 존재하지 않는 가짜 판례였다(법률신문). 법원 이름, 사건번호, 판결 요지까지 구체적으로 적혀 있었지만 전부 AI가 만들어 낸 허구였다. 해당 변호사 2명에게는 각각 벌금 5,000달러가 부과됐다.
이 사건이 심각한 이유는 형식의 완성도 때문이다. 판례 번호 형식이 실제와 동일하고, 판결 요지도 법률 문체에 맞게 쓰여 있었다. 전문가조차 겉모습만으로는 진위를 구별하기 어려운 수준이었다. AI 거짓말의 위험성은 내용이 틀렸다는 것보다, 틀린 내용이 맞는 것처럼 보인다는 데 있다.
왜 생기는가, 구조적 원인 3가지
다음 단어 예측이라는 태생적 한계
대규모 언어 모델(LLM)의 작동 원리는 단순하다. 앞에 나온 단어들을 보고, 다음에 올 확률이 가장 높은 단어를 고른다. “서울의 수도는”이라는 입력을 받으면 “한국”이라는 단어가 높은 확률로 선택된다. 이 과정을 수천 번 반복해서 문장을 완성한다.
문제는 이 구조에 사실 검증 단계가 없다는 점이다. AI는 “이 문장이 사실인가?”를 판단하지 않는다. “이 문장이 자연스러운가?”만 판단한다. 확률적으로 자연스러운 문장과 사실에 부합하는 문장이 대부분 겹치기 때문에 평소에는 정확한 답변이 나온다. 하지만 겹치지 않는 순간, 할루시네이션이 발생한다.
AI 토큰 예측 과정에서 “세종대왕”과 “던졌다”가 자연스럽게 연결될 수 있다면, AI는 그 문장을 생성한다. 사실인지 아닌지는 고려 대상이 아니다.
학습 데이터의 빈칸을 메우는 방식
AI는 인터넷에 존재하는 방대한 텍스트로 학습한다. 하지만 모든 주제를 균등하게 학습하지는 못한다. 특정 분야는 데이터가 풍부하고, 특정 분야는 거의 없다. 데이터가 부족한 영역에서 질문을 받으면, AI는 관련된 다른 데이터의 패턴을 조합해서 빈칸을 메운다.
의료 분야를 예로 들면, 흔한 질환에 대한 데이터는 충분하지만 희귀 질환 데이터는 적다. 희귀 질환에 대한 질문에 AI가 흔한 질환의 패턴을 적용해서 답변하면, 형식은 의학 논문처럼 보이지만 내용은 부정확한 결과가 나올 수 있다.
학습 데이터 자체에 오류가 포함된 경우도 있다. 인터넷에는 잘못된 정보도 많다. 편향되거나 부정확한 데이터로 학습한 AI는 그 편향을 그대로 재생산한다. 데이터가 오염되면 AI가 생성하는 답변도 오염된다.
모른다고 말하지 못하는 구조
인간은 모르는 것을 물어보면 “모르겠다”고 답할 수 있다. AI도 원리적으로는 가능하지만, 실제로는 그렇게 동작하도록 학습되지 않은 경우가 많다.
AI 모델은 RLHF(인간 피드백 기반 강화학습)라는 과정을 거친다. 사람 평가자가 AI 응답에 점수를 매기고, 높은 점수를 받은 방향으로 모델을 조정하는 방식이다. 이 과정에서 “모르겠다”보다 “뭐라도 답변한 것”이 더 높은 점수를 받는 경향이 생긴다. 사용자도 답변을 거부하는 AI보다 뭐든 알려주는 AI를 선호하기 때문이다.
결과적으로 AI는 확실하지 않은 상황에서도 답변을 생성하는 쪽으로 최적화된다. “잘 모르겠습니다”보다 “세종대왕은 훈민정음 창제 과정에서…”라는 답변이 학습 관점에서 더 보상받는 구조다. 이것이 할루시네이션의 세 번째 원인이다.
줄이는 실전 방법 3가지
프롬프트 설계로 막는다
가장 빠르게 효과를 볼 수 있는 방법이다. AI에게 질문할 때 조건을 명시하면 할루시네이션 발생률이 눈에 띄게 줄어든다.
첫째, “확실하지 않으면 모른다고 답하라”는 조건을 넣는다. AI가 추측으로 빈칸을 채우는 것을 막는 가장 직접적인 방법이다.
둘째, “출처를 함께 제시하라”고 요청한다. 출처를 요구하면 AI가 근거 없는 내용을 생성하기 어려워진다. 물론 가짜 출처를 만들 수도 있으므로, 제시된 출처를 직접 확인하는 단계가 필요하다.
셋째, 질문의 범위를 좁힌다. “AI에 대해 알려줘”보다 “트랜스포머 아키텍처의 어텐션 메커니즘을 설명해줘”가 할루시네이션 확률이 낮다.
즉, 프롬프트 작성법을 잘 익혀두면 같은 AI라도 정확도가 크게 달라진다.
RAG로 외부 데이터를 연결한다
RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 AI가 답변을 생성하기 전에 외부 데이터베이스를 먼저 검색하는 방식이다. AI 내부 지식만으로 답변하는 대신, 실제 문서에서 관련 내용을 찾아 그 내용을 바탕으로 답변을 만든다.
RAG 청킹 전략이 잘 설계되면 할루시네이션을 크게 줄일 수 있다. AI가 “기억”에 의존하는 대신 “참고 자료”를 보면서 답변하는 구조이기 때문이다. 챗GPT의 웹 검색 기능, 클로드의 웹 서치도 넓은 의미에서 RAG의 일종이다.
다만 RAG도 만능은 아니다. 검색된 문서 자체가 부정확하면 할루시네이션이 여전히 발생한다. 검색 결과를 AI가 잘못 해석하는 경우도 있다. RAG는 발생률을 낮추는 도구이지 완전한 해결책은 아니다.
교차 검증을 습관화한다
기술적 해결책과 별개로, 사용자 습관이 가장 중요하다. AI 답변을 그대로 믿지 않고 검증하는 과정을 루틴으로 만들어야 한다.
구체적인 방법은 세 가지다. 첫째, AI가 제시한 출처를 검색엔진에서 직접 확인한다. 링크가 열리지 않거나 내용이 다르면 할루시네이션이다. 둘째, 같은 질문을 다른 AI에게도 던져본다. 챗GPT와 클로드가 같은 답을 하면 신뢰도가 올라가고, 다른 답을 하면 추가 확인이 필요하다. 셋째, 수치와 고유명사는 반드시 원문을 찾는다. AI가 “논문에 따르면 87%”라고 말하면, 그 논문이 실제로 존재하는지, 87%라는 수치가 맞는지 확인한다.
번거롭지만 이 습관이 할루시네이션 피해를 막는 가장 확실한 방법이다.
AI를 쓸수록 검증이 중요한 이유
할루시네이션은 AI의 버그가 아니다. 다음 단어를 확률로 예측하는 구조, 학습 데이터의 빈틈, “모른다”고 답하지 못하는 학습 방식이 겹쳐서 생기는 구조적 현상이다. 모델이 발전해도 완전히 사라지지는 않는다.
결국 판단은 사용자의 몫이다. AI가 주는 답변을 초안으로 받아들이고, 중요한 결정에는 반드시 교차 검증을 거치는 것이 AI 시대의 기본 습관이다. 세종대왕이 맥북을 던지는 웃긴 에피소드에서 끝나면 다행이지만, 변호사의 가짜 판례처럼 실제 피해로 이어질 수도 있다. AI를 잘 쓰려면 AI가 틀릴 수 있다는 전제에서 시작해야 한다.