[AI 신뢰의 역설②] 틀렸는데도 왜 이렇게 당당할까…AI의 ‘확신’은 정확도가 아니다

생성형 인공지능(AI)이 틀린 답을 내놓는 것보다 이용자를 더 혼란스럽게 하는 것은 그 답을 말하는 방식이다. AI는 존재하지 않는 통계와 인용을 제시하면서도 문장을 매끄럽게 이어가고, “확실하다”거나 “문제없다”고 단정한다. 사용자는 설명이 길고 논리가 촘촘할수록 답변을 더 믿기 쉽지만, 자신감 있는 말투와 사실 정확도는 같은 것이 아니다.

미국 국립표준기술연구소(NIST)는 생성형 AI의 주요 위험으로 ‘컨퍼뷸레이션(confabulation)’을 제시한다. 시스템이 잘못되거나 거짓인 내용을 만들어내면서도 그럴듯하고 확신에 찬 형태로 제시하는 현상이다. NIST는 존재하지 않는 인용이나 잘못된 논리, 같은 대화 안에서 앞선 답과 모순되는 출력도 이 위험과 연결해 본다.

확신의 말투와 사실성
AI가 “확실합니다”라고 말한다고 해서 외부 자료를 다시 확인했거나, 답변의 정확도를 수치로 판단했다는 의미는 아니다. 대규모 언어모델은 주어진 질문과 앞선 대화 맥락을 바탕으로 다음에 올 가능성이 높은 단어를 생성한다. 이 방식은 사실인 문장과 사실이 아닌 문장을 모두 비슷하게 유창한 형태로 만들 수 있다.

사람의 확신은 일반적으로 경험과 증거, 판단의 결과로 이해된다. 반면 AI의 단정적 표현은 답변 형식의 일부일 수 있다. AI가 단호하게 말하는 것과 그 답이 사실에 부합하는지는 분리해서 봐야 한다.

이 때문에 AI 답변에서 가장 먼저 확인해야 할 것은 말투가 아니라 근거다. 인용한 자료가 실제 존재하는지, 발행 주체와 시점은 무엇인지, 원문이 AI의 주장 전체를 뒷받침하는지를 따로 봐야 한다.

길어진 설명의 착시
AI는 답변에 표와 전문용어, 단계별 논리, 출처처럼 보이는 링크를 붙일 수 있다. 이런 요소는 이용자에게 답변이 충분히 검토됐다는 인상을 준다. 그러나 설명의 길이와 정확도는 비례하지 않는다.

첨부 자료가 인용한 Nature Machine Intelligence 연구는 사용자가 AI의 설명을 읽을 때 모델의 정확도를 실제보다 높게 평가하는 경향을 확인했다. 특히 설명이 길어질수록 AI에 대한 신뢰는 커졌지만, 사람이 정답과 오답을 구별하는 능력이 그만큼 높아지지는 않았다.

이 결과는 ‘과정을 보여 달라’는 요청에도 한계가 있음을 뜻한다. AI가 만들어낸 설명 과정 자체가 진실의 증명서가 될 수 없기 때문이다. 틀린 답에도 논리적으로 보이는 근거를 덧붙이거나, 실제로 존재하지 않는 문헌과 발언을 인용할 수 있다.

따라서 “자세하게 설명하라”보다 “원문에서 확인 가능한 근거를 제시하라”는 요구가 중요하다. 설명의 양보다 검증 가능한 출처가 신뢰의 기준이 돼야 한다.


인용과 출처의 두 단계 확인
AI가 출처를 붙였다고 해서 검증이 끝난 것은 아니다. 확인에는 적어도 두 단계가 필요하다. 먼저 링크나 문서가 실제 존재하는지 확인해야 한다. 이어 그 출처가 AI 답변의 바로 앞 주장까지 실제로 뒷받침하는지 원문을 대조해야 한다.

예를 들어 기업이 “오류가 50% 줄었다”고 발표했다면, 그 수치가 모든 사용 환경의 평균인지 특정 벤치마크 결과인지부터 봐야 한다. 웹 검색을 켠 조건인지, 내부 지식만으로 답한 조건인지, 정답률인지 오류율인지, 어떤 모델과 비교했는지도 함께 확인해야 한다.

AI 관련 통계를 다룰 때는 이 구분이 특히 중요하다. 첨부 자료에서 지적한 것처럼 일부 보도나 온라인 게시물은 공식 발표 수치를 인용하면서도 평가 범위와 기준을 생략하거나, 원문에 없는 감소율을 단정적으로 재유통하기도 한다. AI의 정확도를 다루는 글 자체가 원문 확인 없이 작성되면, 할루시네이션 위험을 비판하면서도 같은 오류를 되풀이할 수 있다.

사람이 믿는 방식의 문제
AI의 확신은 기술만의 문제가 아니다. 사람은 유창하고 단정적인 설명을 전문성의 신호로 받아들이는 경향이 있다. 정답을 알기 어려운 질문일수록 이 경향은 더 강해질 수 있다.

AI가 복잡한 내용을 짧은 시간 안에 문장으로 정리해 주는 장점은 사용자의 판단을 돕는다. 동시에 그 편의성은 ‘확인하지 않아도 될 것 같은 느낌’을 만들 수 있다. 더 자연스럽고 더 완성도 높아 보이는 답변일수록 이용자가 원문을 열어볼 동기는 줄어든다.

NIST가 생성형 AI 활용에서 인간 감독, 알려진 정답과의 비교, 출처와 인용의 확인을 강조하는 이유도 여기에 있다. 모델의 답변을 최종 결론으로 받아들이지 말고, 검증 대상이 포함된 초안으로 취급하라는 취지다.


‘확실한 답’ 대신 확인 가능한 답
AI 시대에 필요한 것은 AI가 더 조심스러운 말투를 쓰게 하는 일만이 아니다. AI의 답변을 받은 사람이 어떤 근거로 이를 확인할 수 있는지 구조를 갖추는 일이다.

기사와 보고서, 계약 검토처럼 사실 하나가 결과를 바꿀 수 있는 업무에서는 AI의 결론보다 원문이 우선돼야 한다. 고유명사와 날짜, 수치, 직접 인용, 법령과 정책의 현재 상태는 답변에 포함하기 전 원자료에서 다시 확인해야 한다.

AI가 자신 있게 말하는 순간은 검증을 멈출 이유가 아니라, 오히려 근거를 더 자세히 물어야 할 신호일 수 있다. 다음 편에서는 같은 AI에게 “정말 맞느냐”고 반복해서 물었을 때 왜 답이 바뀌기도 하고, 사용자 견해에 맞춰가는 아첨성 응답은 어떻게 나타나는지를 살펴본다.