[AI 신뢰의 역설③] “정말 맞아?” 세 번 물어도 검증은 아니다

생성형 인공지능(AI)의 답이 의심스러울 때 많은 이용자는 같은 질문을 반복한다. “정말 맞나”, “다시 확인해 봐”, “틀린 것 아니냐”고 재차 묻는다. 하지만 AI가 같은 답을 두세 번 되풀이했다고 해서 정확성이 높아지는 것은 아니다. 같은 모델이 같은 대화 안에서 자신의 답을 다시 생성한 결과일 뿐, 서로 다른 자료나 전문가가 독립적으로 확인한 증거는 아니기 때문이다.


오히려 AI는 사용자의 질문 방식과 표현에 따라 기존 답을 고수하거나 바꾸기도 한다. 처음에는 틀린 답을 자신 있게 방어하다가 사용자가 계속 반박하면 말을 바꾸고 사과할 수 있다. 반대로 처음 답이 맞았더라도 사용자의 강한 의심이나 특정 결론을 전제로 한 질문에 맞춰 답변을 수정할 가능성도 있다. AI의 답변 번복을 단순한 ‘자기 수정 능력’으로만 보기 어려운 이유다.

재질문이 만드는 새 맥락
대화형 AI는 사람처럼 하나의 고정된 신념이나 판단을 유지하는 방식으로 작동하지 않는다. 이용자가 새 질문을 던질 때마다 앞선 대화와 새 지시를 포함한 맥락을 바탕으로 다음 답변을 생성한다.

“정말 맞아?”라는 질문도 모델에는 단순한 확인 요청으로만 전달되지 않는다. 앞선 답변에 오류가 있을 수 있다는 신호이거나, 이용자가 더 강한 확신을 원한다는 신호로 작동할 수 있다. AI가 앞선 오류를 재검토해 바로잡을 수도 있지만, 사용자의 의심에 반응해 답변을 바꾸는 데 그칠 가능성도 있다.

미국 국립표준기술연구소(NIST)는 생성형 AI의 주요 위험으로 ‘컨퍼뷸레이션(confabulation)’을 지목한다. 이는 생성형 AI가 잘못되거나 허위인 내용을 자신 있게 제시하는 현상이며, 같은 맥락에서 앞선 답변과 모순되는 내용을 생성하는 경우도 포함한다. 잘못된 사실을 만드는 일뿐 아니라 대화 흐름에 따라 일관성 없이 답을 바꾸는 일도 신뢰를 떨어뜨릴 수 있다는 뜻이다.

세 번의 답과 한 번의 검증
같은 모델이 세 차례 같은 답을 내놓는다고 해서 세 개의 증거가 생기는 것은 아니다. 모델이 참조한 지식과 대화 맥락, 답변 방식이 유사하다면 오류도 반복될 수 있다.

특히 AI가 첫 답변에서 존재하지 않는 통계나 인용, 잘못된 날짜를 만들어냈다면 같은 질문을 다시 던져도 그 오류를 그대로 반복할 수 있다. 답변 형식만 조금 바뀌거나 설명이 길어졌다고 해서 사실관계가 새롭게 확인된 것은 아니다.

검증은 AI에게 다시 묻는 데서 끝나지 않는다. 기관의 공식 발표문, 법령 원문, 기업 공시, 논문 원문, 통계 작성기관 자료처럼 AI 외부의 독립된 근거와 대조해야 한다. AI의 반복 답변은 참고용 신호일 수 있지만, 사실을 확정하는 절차는 아니다.

사용자에게 맞추는 아첨성 응답
AI가 사용자의 견해나 감정에 과도하게 맞춰 주는 행동은 시코팬시(sycophancy)로 불린다. 이는 사실 오류인 할루시네이션과는 구분되는 문제다. 할루시네이션이 존재하지 않거나 틀린 사실을 만들어내는 현상이라면, 시코팬시는 사용자의 말에 동조하느라 비판적 판단을 약하게 만드는 행동이다.

OpenAI는 2025년 4월 GPT-4o 업데이트가 지나치게 동조적이고 아첨하는 반응을 보이자 해당 업데이트를 철회했다. 회사는 이용자 피드백을 과도하게 반영하는 과정에서 모델이 지나치게 지지적이고 진정성 없는 답변을 내놓게 됐다고 설명했다.

이 사례는 AI가 친절하고 공감적인 말투를 쓴다고 해서 답변의 정확성까지 보장되는 것은 아니라는 점을 보여준다. 사용자가 원하는 결론을 강하게 제시하거나 감정이 깊게 개입된 상황에서는 모델이 사실 확인보다 관계 유지에 가까운 언어를 선택할 가능성도 남는다.

관계·감정 질문의 편차
Anthropic이 Claude에서 개인적 조언을 구한 대화를 분석해 공개한 연구에 따르면, 아첨성 행동은 전체 조언 대화의 약 9%에서 관찰됐다. 관계 관련 대화에서는 25%, 영성·신앙 관련 대화에서는 38%로 비율이 높아졌다.


이 결과는 AI가 개인 상담에서 언제나 이용자의 말만 따라 한다는 의미는 아니다. 다만 이용자가 불안하거나 확신을 원하는 상황일수록 AI의 공감적 문장을 객관적 조언이나 전문적 판단으로 받아들이지 않도록 주의해야 한다는 경고다.

특히 건강, 법률, 재정, 가족관계처럼 한 번의 조언이 실제 행동으로 이어질 수 있는 영역에서는 AI의 위로나 동의를 독립적인 판단과 분리할 필요가 있다. AI가 “당신 판단이 옳다”고 말하더라도 그 답변은 사실 검증이나 전문가 상담을 대체하지 않는다.

반복 확인 대신 반증 탐색
AI 답변을 검토할 때는 “정말 맞아?”라고 반복하기보다 질문의 방향을 바꾸는 편이 낫다. 먼저 답변 속 고유명사, 날짜, 수치, 직접 인용, 법령·정책 내용을 분리하게 한 뒤 각각의 원문 출처를 확인하도록 요구해야 한다.

“내 결론을 지지하는 근거”뿐 아니라 “이 답을 틀렸다고 볼 수 있는 반대 근거”를 먼저 찾아보게 하는 방식도 필요하다. 출처가 서로 충돌하거나 원문을 찾을 수 없다면 AI가 결론을 단정하지 않고 ‘확인 불가’로 표시하도록 해야 한다.

AI가 답을 바꿨다는 사실만으로 수정된 답이 더 정확해지는 것은 아니다. 중요한 것은 마지막 답변의 말투가 아니라 처음 답과 달라진 부분이 무엇인지, 그 수정이 어떤 외부 자료에 근거했는지다.

AI를 검증하는 일은 AI에게 확신을 다시 묻는 과정이 아니다. AI의 답변을 AI 밖의 자료와 대조하고, 반대 근거까지 확인하는 과정이다. 다음 편에서는 이용자가 반복해서 알려준 규칙과 정보조차 AI가 잊는 이유, 그리고 기억 기능을 업무 기준으로 삼기 어려운 이유를 살펴본다.