분명히 틀렸는데, 너무 당당하다
AI 챗봇에게 질문하면 가끔 존재하지 않는 책, 가짜 논문, 틀린 날짜를 진짜처럼 술술 말합니다. 더 당황스러운 건 그 자신감이죠. 이걸 환각(hallucination)이라고 부릅니다. 왜 이런 일이 벌어질까요?
'환각'이라는 단어는 어디서 왔을까
'환각'이라는 표현은 심리학에서 빌려온 말입니다. 뇌가 실제로 없는 것을 '있다'고 느끼는 현상이죠. AI 연구자들이 처음 이 단어를 쓰기 시작한 건 생각보다 꽤 오래됐습니다.
가장 이른 기록은 1986년으로, 컴퓨터 비전 연구자 에릭 믈요스네스(Eric Mjolsness)의 박사 논문까지 거슬러 올립니다. 당시에는 오히려 긍정적인 의미였어요. 이미지에서 디테일을 추가해 해상도를 높이는 기술을 '환각'이라 불렀습니다. 2018년, 구글 딥마인드(Google DeepMind) 연구자들이 이 단어를 현재와 같은 부정적 의미로 바꿔 씁니다. 기계 번역 모델이 "원문과 완전히 동떨어진 번역을 자신 있게 내놓는 현상"을 처음으로 공식 논문에서 '환각'이라 규정한 것입니다. 그로부터 몇 년 뒤인 2022년 11월, ChatGPT가 대중에 공개되면서 이 단어는 단숨에 일상어가 됩니다. 뉴욕타임스를 비롯한 주요 언론이 연일 '환각'을 다뤘고, 이제는 AI를 말할 때 빼놓을 수 없는 핵심 개념이 됐습니다.
AI는 '사실'이 아니라 '다음 단어'를 찾는다
핵심은 언어 모델이 작동하는 방식에 있습니다. AI는 사실을 데이터베이스에서 꺼내 오는 게 아닙니다. 지금까지의 문맥 다음에 올 가장 그럴듯한 단어를 확률로 이어 붙입니다. 방대한 글을 학습해 "이런 흐름이면 보통 이런 말이 온다"를 익힌 것이죠.
그래서 AI에게 가장 중요한 목표는 '사실인가'가 아니라 '그럴듯한가'입니다. 모델은 훈련 과정에서 정답을 몰라도 그럴듯한 문장을 내놓으면 좋은 점수를 받도록 설계돼 있습니다. 학습 데이터에서 틀린 자신감과 맞는 자신감을 구별하는 기준이 처음부터 빠져 있는 셈입니다.
앤트로픽(Anthropic)이 2025년에 발표한 해석가능성 연구는 이 문제를 내부 회로 수준에서 밝혔습니다. AI 모델 내부에는 "모르면 대답을 억제하는 회로"가 존재하는데, 이 억제가 제대로 작동하지 않을 때 환각이 터져 나온다는 겁니다. 모델이 어떤 이름을 인식하지만 세부 정보는 모를 때, 억제 회로가 꺼진 채 그럴싸한 세부 정보를 생성해 버립니다.
싱가포르 국립대학(NUS)의 2024년 연구는 한발 더 나아가 수학적으로 증명합니다. 계산 이론(computability theory) 관점에서, 언어 모델을 범용 문제 해결기로 쓸 경우 환각은 수학적으로 불가피하다는 것입니다. 모델이 학습 분포 바깥의 문제를 만나면 반드시 틀린 출력을 낼 수 있다는 뜻으로, 환각은 버그가 아니라 구조적 한계입니다.
얼마나 자주 틀릴까 — 숫자로 보는 환각율
"AI가 어느 정도나 틀리나요?"라고 물어보면 대부분 생각보다 큰 숫자를 접하고 놀랍니다.
스탠퍼드 법학연구소(HAI/RegLab)가 2024년 5월 발표한 법률 AI 연구에 따르면, 법률 조사에 특화된 상용 AI인 Westlaw AI는 법률 쿼리의 34퍼센트 이상에서 환각을 일으켰고, Lexis+ AI는 17퍼센트 이상을 기록했습니다. 일반 목적 GPT-4를 법률 질의에 쓸 경우 환각율은 최대 82퍼센트까지 치솟았습니다.
의료 분야도 심각합니다. 2025년 발표된 임상 연구(Asgari et al.)는 AI가 생성한 진료 기록 문장 약 1만 3천 개를 의사들이 직접 검토한 결과, 환각이 포함된 문장 중 44퍼센트가 진단에 영향을 줄 수 있는 '주요 오류'였다고 밝혔습니다. 숫자는 작아 보여도, 의료 맥락에서 그 결과는 심각합니다.
학술 논문 인용도 악명이 높습니다. 2023년 한 연구에서는 GPT-3이 인용한 논문 178편 중 69편의 DOI(논문 고유 번호)가 잘못됐거나 아예 존재하지 않았습니다. AI가 그럴듯한 논문 제목과 저자를 지어낸 것입니다.
좋은 소식도 있습니다. 문서 요약처럼 '주어진 자료 안에서만 답하는 과제'에서는 최신 모델들이 환각율을 1퍼센트 미만으로 낮추고 있습니다. 그러나 "누가 이 발명을 했나?" 같은 개방형 사실 질문에서는 여전히 35퍼센트에서 86퍼센트 사이를 기록합니다. 과제의 성격이 환각율을 크게 좌우하는 것입니다.
실제로 벌어진 일들 — 환각이 낳은 사건들
이론보다 더 충격적인 건 실제 사례입니다.
2023년 5월, 미국 연방 법원에서 변호사 스티븐 슈워츠가 AI가 제시한 판례 6건을 그대로 소장에 인용했다가 법원에서 걸립니다. 존재하지 않는 판결문이었죠. 그는 5천 달러 벌금을 선고받았고, 사건은 전 세계 법조계에 경종을 울렸습니다.
2024년 2월, 에어캐나다 사건은 더 흥미롭습니다. 고객이 에어캐나다 챗봇에게 "조문 항공권 환불 정책"을 물었을 때 챗봇이 실제로는 존재하지 않는 특별 환불 정책을 안내했고, 고객이 이를 믿고 항공권을 구매했습니다. 결국 법원은 에어캐나다에 환불을 명령했습니다. AI의 환각이 실제 법적 책임으로 이어진 것입니다.
2025년, 딜로이트 호주가 정부에 44만 호주 달러를 받고 제출한 컨설팅 보고서에는 실존하지 않는 학술 자료와 가짜 법원 인용문이 포함돼 있었습니다. 거대 컨설팅 기업도 AI 환각의 피해를 비껴가지 못한 것입니다.
반면, 환각이 오히려 긍정적인 결과를 낳은 사례도 있습니다. 생화학자 데이비드 베이커의 연구팀은 AI가 '그럴듯하게 지어낸' 단백질 구조를 실제로 합성하는 실험을 반복했고, 이를 통해 자연계에 존재하지 않는 수백만 개의 신규 단백질을 설계했습니다. 이 성과는 2024년 노벨 화학상으로 이어졌습니다. 창의적인 생성이라는 측면에서 환각은 새로운 가능성이기도 합니다.
환각의 네 가지 얼굴
환각이라고 다 같은 게 아닙니다. 크게 네 유형으로 나뉩니다.
- 사실 모순: 없는 책·논문·날짜·인물을 지어내는 가장 흔한 유형.
- 문장 내부 모순: 같은 답변 안에서 앞뒤가 맞지 않는 경우. "파리는 독일의 수도입니다. 프랑스의 아름다운 수도인 파리는..."처럼 한 문단 안에서 자기 모순이 생깁니다.
- 요청 모순: 사용자가 요청한 것과 다른 내용을 내놓는 경우.
- 무관 환각: 질문과 전혀 무관한 내용을 덧붙이는 유형.
같은 모델이라도 어떤 과제를 주느냐에 따라 환각이 극적으로 달라집니다. 제시된 문서를 요약할 때는 거의 틀리지 않지만, 수십 년 전 사건이나 비주류 인물의 세부 사항을 물을 때는 크게 흔들립니다.
왜 AI는 "모르겠습니다"라고 하지 않을까
많은 사람이 가장 답답해하는 부분입니다. 그냥 "모르겠습니다"라고 하면 되지 않냐고요.
사실 최신 모델들은 "잘 모릅니다"라고 말하도록 훈련을 받습니다. 그러나 훈련 데이터 자체에 오류가 섞여 있기 때문에, 모델은 그 오류를 '정답'으로 학습하기도 합니다. 또한 사용자가 확인하기 어려운 영역일수록 모델이 틀려도 교정을 받을 기회가 적어, 자신감 높은 오답이 그대로 굳어집니다. 검색 기능을 붙이면 나아지지만, 검색 결과 자체를 잘못 해석하는 '2차 환각'도 생깁니다.
어떻게 줄일까 — 세 가지 실전 전략
환각을 완전히 없애는 방법은 아직 없습니다. 그러나 줄이는 방법은 있습니다.
첫째, 출처를 함께 요구하기. "근거 링크를 달아 줘"라고 하면 검증할 거리가 생깁니다. AI가 제시한 링크는 반드시 실제로 열어 보세요. AI가 URL까지 지어내는 경우도 있습니다.
둘째, 검색을 붙인 AI 사용하기. 실시간 웹 자료를 찾아 인용하는 방식(RAG, Retrieval-Augmented Generation)은 환각을 크게 줄입니다. 특히 최신 사실이나 수치를 물을 때 유용합니다.
셋째, 숫자·이름·인용은 반드시 사람이 교차 확인. 법적 판례, 의학 수치, 논문 인용처럼 오류의 파급력이 큰 정보는 AI를 초안 작성 도구로만 활용하고, 마지막 검증은 사람이 해야 합니다. 특히 인용된 논문 제목과 저자명은 Google Scholar나 PubMed에서 직접 확인하는 것이 안전합니다.
결론 — 도구의 본질을 알면 도구가 강해진다
AI의 환각은 버그라기보다 '그럴듯함을 좇는' 본질의 부작용에 가깝습니다. 2018년 구글 딥마인드가 처음 이름 붙인 이 현상은, 2022년 이후 전 세계 수억 명이 매일 부딪히는 현실이 됐습니다. 법원 판례도 지어내고, 의료 기록에 오류를 심고, 44만 달러짜리 컨설팅 보고서에도 가짜 출처를 끼워 넣습니다.
그러나 동시에, 그 같은 '창의적 생성' 능력이 자연계에 없던 단백질을 만들어 노벨상을 안겨주기도 했습니다. 도구의 한계를 정확히 알아야, 그 도구를 옳은 자리에 쓸 수 있습니다. AI를 잘 쓰는 사람은 AI를 맹신하지 않고, 검증 가능한 방식으로 묻는 사람입니다.