[AI 신뢰의 역설①] AI는 정말 덜 틀리게 됐나…‘개선’과 ‘해결’ 사이

생성형 AI는 이전보다 덜 틀리게 됐다. 그러나 AI가 사실상 ‘정답 기계’가 됐다는 뜻은 아니다. 최신 모델은 일부 평가에서 이전 세대보다 사실 오류를 크게 줄였지만, 같은 모델도 어떤 질문을 받는지, 웹 검색을 활용하는지, 짧은 사실형 질문인지 여러 문서를 종합하는 업무인지에 따라 정확도 차이가 크게 난다.

AI가 자연스러운 문장과 근거처럼 보이는 설명, 출처 표기까지 갖춘 답을 내놓는 일이 일상이 됐다. 이용자 입장에서는 답변이 길고 단정적일수록 틀렸다는 신호를 찾기 어렵다. ‘할루시네이션이 줄었다’는 기술 발전의 이면에서, AI 답변을 검증 없이 받아들이는 위험도 함께 커지고 있다.

‘줄었다’는 사실, ‘해결’은 아닌 현실
OpenAI는 2025년 8월 GPT-5를 공개하면서 사실 오류가 이전 모델보다 감소했다고 밝혔다. 회사에 따르면 웹 검색을 활성화한 상태에서 실제 이용자 요청을 반영한 평가를 진행한 결과, GPT-5는 GPT-4o보다 사실 오류가 하나 이상 포함된 답변 비율이 약 45% 낮았다.

추론 기능을 활용한 GPT-5는 이전 추론 모델인 o3보다 같은 지표가 약 80% 낮았다고 OpenAI는 설명했다. 최신 모델이 사실 확인과 검색 도구 활용, 복합 추론에서 이전 세대보다 개선됐다는 것이 회사 측 평가다.


그러나 이 수치를 모든 AI 답변의 오류율로 받아들여서는 안 된다. 해당 결과는 OpenAI가 구성한 평가 프롬프트와 웹 검색 사용 조건, 특정 비교 모델을 전제로 한다. 검색 도구가 없는 상태에서 답하는 경우나 최신 정보가 필요한 질문, 여러 문서를 엮어 결론을 내리는 업무에서는 다른 결과가 나올 수 있다.

AI 성능 수치에는 늘 조건이 붙는다. 같은 모델이라도 이미 학습한 사실을 묻는 질문, 인터넷 검색을 통해 최신 정보를 확인할 수 있는 질문, 여러 문서의 내용이 서로 충돌하는 질문은 난도가 다르다. 단일 수치만으로 특정 모델의 전반적인 신뢰도를 판단하기 어려운 이유다.

같은 세대에서도 엇갈린 성적표
모델의 성능 향상이 할루시네이션 감소로 곧바로 이어지지 않은 사례도 있다. OpenAI가 공개한 SimpleQA 평가에서 o3는 o1보다 정답률은 높았지만, 할루시네이션율도 상승한 것으로 나타났다.

OpenAI 비교 수치에 따르면 SimpleQA에서 o1의 정답률은 47%, 할루시네이션율은 44%였고, o3는 정답률 54%, 할루시네이션율 46%를 기록했다. o3가 더 많은 주장을 생성하면서 맞는 답도 늘었지만, 틀린 주장도 함께 늘어난 것으로 해석할 수 있다.

이 수치가 보여주는 것은 ‘최신 모델은 항상 더 정확하다’는 단순한 공식이 아니다. 모델이 답변을 얼마나 적극적으로 시도하는지, 어느 수준에서 모른다고 답하는지, 검색이나 추론을 어떤 방식으로 결합하는지에 따라 정답률과 오류율은 다르게 움직일 수 있다.

GPT-5 계열에서도 사실성 개선 흐름은 확인된다. 다만 모델별 정답률과 할루시네이션율은 평가 과제, 답변 거부 조건, 검색·추론 기능 사용 여부에 따라 달라질 수 있다. 특정 모델의 수치 하나를 전체 사용 환경의 신뢰도로 일반화하기 어려운 이유다.


구글의 FACTS가 보여준 한계
Google DeepMind도 최신 Gemini 계열의 사실성 개선 결과를 공개했다. DeepMind가 자체 개발한 SimpleQA Verified 평가에서 Gemini 2.5 Pro의 정확도는 54.5%였고, Gemini 3 Pro는 72.1%로 높아졌다.

하지만 DeepMind가 공개한 FACTS Benchmark Suite의 종합 평가는 더 복잡한 장면을 보여준다. FACTS는 모델 내부 지식만으로 답하는 능력뿐 아니라 검색 결과 활용, 이미지 이해, 문서 근거를 바탕으로 한 답변 등 여러 상황에서 사실성을 측정한다.

Gemini 3 Pro는 이 평가에서 68.8점을 기록했다. 최고 성능 모델이라도 내부 지식, 검색, 멀티모달 자료, 문서 근거를 넘나드는 환경에서는 오류 가능성이 남는다는 의미다. 한 벤치마크에서 높은 점수를 받았다고 해서 모든 질문에서 같은 수준의 정확도가 보장되는 것은 아니다.

특히 검색 기능은 AI의 사실성을 높일 수 있지만 자동 검증 장치는 아니다. 모델이 검색 결과를 잘못 읽거나 일부 문장만 근거로 삼아 과도한 결론을 내리거나, 출처와 다른 주장을 연결할 가능성은 남는다. 검색을 했다는 사실보다 검색 결과가 실제 주장과 맞닿아 있는지를 확인하는 일이 더 중요하다.

숫자를 읽는 방법
AI 기업들이 발표하는 성능 수치는 기술 발전을 파악하는 중요한 자료다. 다만 서로 다른 회사의 수치를 순위표처럼 놓고 비교하기는 어렵다. 질문 집합과 평가 기준, 채점 방식, 웹 검색 사용 여부, 답변을 거부할 수 있는 조건이 제각각이기 때문이다.


미국 국립표준기술연구소(NIST)는 생성형 AI의 위험을 평가할 때 일부 벤치마크나 일화적 사례에만 의존하지 말고 실제 사용 환경과 유사한 조건에서 성능을 측정해야 한다고 권고한다. 알려진 정답과 비교하고, 인간 검토와 자동 평가를 병행하며, 인용과 출처도 별도로 점검해야 한다는 것이다.

이는 AI가 평균적으로 얼마나 똑똑한지를 묻는 것과 사용자가 지금 받은 한 문장의 답이 맞는지를 확인하는 일이 다르다는 점을 전제로 한다. 평균 점수가 높아도 한 번의 틀린 날짜, 잘못된 법 조항, 존재하지 않는 인용은 기사와 보고서, 계약과 의사결정의 방향을 바꿀 수 있다.

‘덜 틀린 AI’ 시대의 사용자
최신 모델은 일부 사실성 평가에서 이전 세대보다 개선된 결과를 보이고 있다. AI가 자료를 읽고 요약하고 비교하는 능력도 빠르게 높아지고 있다. 다만 개선 폭과 오류 양상은 모델, 질문 유형, 검색·추론 기능 사용 여부에 따라 다르게 나타난다.

‘줄었다’와 ‘없어졌다’는 전혀 다른 말이다. AI가 답변을 더 자연스럽게 만들수록 사용자는 그 답의 오류를 더 쉽게 놓칠 수 있다. 정확도 향상은 검증의 필요성을 없애는 근거가 아니라, 검증 대상을 더 정교하게 골라내야 한다는 신호에 가깝다.

AI의 답변을 평가할 때 먼저 물어야 할 것은 “이 모델이 최신인가”가 아니다. 이 답변이 어떤 자료를 바탕으로 나왔는지, 그 자료가 최신인지, 숫자와 인용이 원문과 일치하는지다. 할루시네이션이 줄어든 시대에도 답변의 신뢰는 AI의 자신감이 아니라 검증 가능한 근거에서 출발한다.