모르면 말하지 말라니까!
: AI 할루시네이션 (AI hallucination)
AI에게 ‘알고 있을 때만 답해줘’라고 적으면 없는 말을 멈출까요? 2025년 공개된 한 연구에는 논문 저자의 생일을 AI에 물은 사례가 등장합니다. DeepSeek-V3는 세 번의 시도에서 서로 다른 날짜를 답했지만 모두 틀렸습니다. 문장은 짧고 또렷했지만 정작 정답은 하나도 없었던 셈이죠. 모르는 내용도 마치 알고 있는 것처럼 답하는 AI, 도대체 왜 이러는 걸까요?
연구진이 DeepSeek 앱에서 해당 사례를 확인한 시점은 2025년 5월 11일입니다. 물론 세 번의 응답만으로 특정 AI의 전반적인 오답률을 판단하거나 현재 챗GPT의 정확성과 비교할 수는 없습니다. 다만 ‘확실한 것만 말해줘’라는 부탁만으로 AI의 답변이 정확해지는 것은 아니라는 점을 보여주는 사례로는 충분히 생각해 볼 만합니다. 여기서 알고 가야할 개념이 바로 AI 할루시네이션이죠.
AI 할루시네이션(AI Hallucination)은 인공지능이 사실과 다르거나 근거가 없는 정보를 마치 정확한 사실인 것처럼 생성하는 현상을 말합니다. 한국어로는 흔히 ‘AI 환각’이라고 부르죠.
예를 들어 제품 설명을 요청했더니 실제로 존재하지 않는 기능을 소개하거나, 발표되지 않은 통계 수치를 만들어내는 경우입니다. 존재하지 않는 논문이나 인터넷 주소를 실제 출처처럼 제시하는 것도 대표적인 사례에 해당합니다.
이런 현상이 발생하는 이유 중 하나는 생성형 AI가 사실 여부를 검증하는 것과 별개로, 학습한 패턴과 주어진 문맥을 바탕으로 다음에 올 말을 예측해 답변을 만들기 때문입니다. 따라서 문장이 자연스럽고 구체적이라고 해서 반드시 사실에 근거한 정보인 것은 아닙니다.
유창하게 말하기 VS 정확히 알기
언어 모델은 방대한 자료에서 언어와 정보의 패턴을 학습하고, 이를 바탕으로 답변을 생성합니다. 사실 확인을 마친 문장만 저장했다가 꺼내는 사전과는 작동 방식이 다른 셈이죠. 익숙한 주제는 자연스럽게 설명하더라도 잘 알려지지 않은 사실이나 세부 조건에서는 틀릴 수 있으며, 질문에서 특정 날짜를 요구한다고 해서 AI가 그 날짜를 정확하게 알고 있는 것도 아닙니다.
OpenAI 연구진 등이 참여한 2025년 논문에서는 AI의 답변을 평가하는 방식도 할루시네이션을 유발하는 원인 중 하나로 분석했습니다. 정답에만 점수를 주고 오답과 ‘모르겠다’는 답변에 똑같이 0점을 준다면, 확실하지 않더라도 추측해서 답하는 편이 점수를 얻을 가능성이 있기 때문입니다. 학창 시절 시험에서 정답을 모르더라도 빈칸으로 남겨두기보다는 일단 답을 적었던 경험과 비슷하죠.
물론 이러한 평가 방식만으로 AI의 모든 오류를 설명할 수 있는 것은 아닙니다. 서로 다른 대상을 혼동하거나 여러 자료에 등장하는 조건을 잘못 조합하는 등 할루시네이션이 발생하는 원인은 다양합니다. 따라서 AI가 사람처럼 의도적으로 거짓말을 하는지 따지기보다는, 답변에 포함된 정보가 어떤 근거를 바탕으로 생성됐는지 확인하는 것이 더욱 실용적인 접근법입니다.
검색 기능이 있어도 질문이 틀리다면 ‘흔들린다’
검색 기능이 추가되면 할루시네이션에서 비롯되는 문제가 해결될 것 같지만, 필요한 자료를 찾는 것과 그 내용을 정확하게 이해해 답변하는 것은 별개의 문제입니다.
OpenAI의 정확도 관련 안내에서도 필요한 자료를 찾지 못한 경우와 올바른 자료를 제공받고도 잘못된 답변을 생성한 경우를 구분해 설명한 바 있습니다. 실제로 출처 링크가 정상적으로 열리더라도 한국 요금을 물었는데 미국 가격을 안내한다면 구매 판단에 도움이 되기는 어렵겠죠.
2026년 5월 공개된 연구에서는 검색 기능을 활성화한 AI 모델을 대상으로 뉴스 관련 질문에 얼마나 정확하게 답하는지 실험했습니다. 연구진은 2026년 2월 BBC 미국·캐나다 뉴스 4일치를 바탕으로 영어 객관식 100문항을 구성하고, 질문에 등장하는 인물이나 시점 등의 조건을 의도적으로 바꿔 테스트 했는데요.
그 결과 실험에 참여한 네 모델 모두 정상적인 질문보다 잘못된 전제가 포함된 질문에서 정답을 찾는 데 더 큰 어려움을 보였습니다. 질문 자체의 오류를 지적하거나 잘못된 전제에 휘둘리지 않고 확인된 사실을 바탕으로 답해야 하는 상황에서 한계가 드러난 셈이죠.
물론 이 연구는 특정 시점의 AI 모델과 뉴스 질문을 대상으로 진행된 사전 공개 논문이므로, 그 결과를 모든 챗GPT 대화의 오류 수준으로 일반화하기는 어렵습니다. 다만 AI에게 질문하는 방식에 대해서는 참고할 만한 시사점이 있습니다. 예를 들어 ‘이 노트북에 SD 카드를 어떻게 꽂지?’라고 묻기보다는 정확한 모델명을 알려주고 ‘SD 카드 슬롯이 실제로 있는지부터 확인해줘’라고 요청하는 편이 좋습니다.
질문에 포함된 전제가 사실인지 먼저 확인하도록 유도하는 것만으로도 잘못된 답변을 줄이는 데 도움이 될 수 있기 때문입니다.
“확실해?” 보다는 확인할 수 있는 대상을 주기
AI의 답변이 의심스럽다고 해서 같은 질문을 세 번 반복한 뒤 다수결로 정하는 것은 좋은 방법이 아닙니다. 앞서 살펴본 생일 사례처럼 매번 서로 다른 오답을 받을 수도 있기 때문! 대신 결제나 업무 결과에 직접적인 영향을 미치는 정보부터 확인하는 것이 좋습니다. 보통 가격이나 지원 기기, 출시일처럼 잘못된 정보에 따라 실제 행동이나 판단이 달라질 수 있는 항목이 우선입니다.
확인할 정보를 정했다면 AI가 제시한 출처를 직접 열어 해당 내용이 실제로 존재하는지, 국가와 시점, 제품 버전이나 적용 대상이 질문의 조건과 일치하는지 살펴봐야 합니다. 예를 들어 통계표에 등장하는 숫자가 정확하더라도 ‘전체 가입자’와 ‘서비스를 해지한 사용자’는 전혀 다른 집단이므로 구분할 필요가 있죠. 원문에서 확인할 수 없는 내용이라면 AI가 덧붙인 설명을 사실처럼 받아들이기보다는 검증되지 않은 정보로 남겨두는 편이 안전합니다.
AI에게 질문하는 방식도 조금 더 구체적으로 바꿔볼 수 있습니다. 단순히 특정 기능의 지원 여부를 묻는 대신 ‘이 기능이 한국에서 내 모델에 지원되는지 먼저 확인하고, 근거 문서의 해당 부분과 확인되지 않은 조건을 구분해줘’라고 요청하는 식입니다. 물론 이런 질문만으로 오류가 완전히 사라지는 것은 아니지만, AI가 확인해야 할 조건을 명확하게 제시하고 답변을 검증하기 쉽게 만드는 데 도움이 될 수 있어요.
AI 할루시네이션 줄이는 질문법과 확인 방법
| 상황 | 일반적인 질문 | 개선된 질문 및 확인 방법 |
|---|---|---|
| 제품 기능 확인 | “이 노트북에 SD 카드 꽂는 법 알려줘” | 정확한 모델명을 알려주고 SD 카드 슬롯 지원 여부부터 확인 요청 |
| 가격 비교 | “이 서비스 요금이 얼마야?” | 한국 공식 가격인지, 적용 날짜와 요금제 조건이 맞는지 확인 |
| 통계·수치 확인 | “국내 이용자가 몇 명이야?” | 통계의 기준 연도, 조사 대상, 원문 출처까지 요청 |
| 최신 정보 확인 | “아이폰 최신 기능 알려줘” | 적용되는 iOS 버전과 지원 기기를 공식 문서에서 확인 |
| 출처 검증 | “이 정보 확실해?” | 출처 링크와 해당 내용의 근거를 요청하고 원문 직접 확인 |
| 불확실한 정보 | “정확하지 않아도 알려줘” | 확인된 사실과 추정, 확인할 수 없는 내용을 구분하도록 요청 |
질문을 구체적으로 작성한다고 해서 AI 할루시네이션이 완전히 사라지는 것은 아닙니다. 다만 확인해야 할 조건을 명확하게 제시하면 잘못된 정보를 발견하기 쉬워지고, 중요한 판단에 활용하기 전 검증할 항목도 줄일 수 있습니다.
무엇보다 AI에게 아이디어 열 개를 추천받는 것과 제품 사양 열 개를 확인하는 일에는 서로 다른 기준이 필요합니다. 아이디어는 여러 제안 중 마음에 드는 것을 선택하면 되지만, 구매나 실제 업무에 활용할 정보라면 정확성을 확인하는 과정이 반드시 필요하죠!
결국 AI가 얼마나 자신 있게 말하는지보다 그 답변을 어디에 활용할 것인지 먼저 판단하는 것이 중요합니다. 이를 기준으로 검증이 필요한 정보의 우선순위를 정한다면 불필요한 확인에 들이는 시간도 줄일 수 있을 것입니다.
