[AI 신뢰의 역설⑤] AI에게 맡길 일, 끝까지 사람이 확인할 일

생성형 인공지능(AI)은 이제 일하는 방식 안으로 깊이 들어왔다. 긴 보고서를 요약하고, 회의록을 정리하고, 수십 건의 자료에서 쟁점을 추려내며, 각종 문서의 초안과 기획안을 만드는 데 활용된다. 문제는 AI를 쓰느냐가 아니다. AI가 만든 결과를 어디까지 맡기고, 어디에서 사람이 멈춰 확인할 것인가다.


AI는 이전보다 덜 틀리게 됐다. 그러나 최신 모델의 사실성 개선이 답변 하나하나의 정확성을 보증하지는 않는다. 자신감 있는 말투는 근거가 아니며, 같은 답을 여러 번 되풀이하는 일도 독립 검증이 아니다. 사용자의 견해에 맞추는 아첨성 응답과 반복 지시를 일관되게 반영하지 못하는 한계도 남아 있다.

결국 AI를 안전하게 활용하는 기준은 ‘AI를 믿을 것인가’가 아니라 ‘어떤 절차로 확인할 것인가’에 있다.

확산 속도와 검증의 간극
AI 활용은 빠르게 늘었지만, 검증 습관과 조직의 관리 체계가 같은 속도로 따라가고 있는지는 별개의 문제다. KPMG와 멜버른대가 2025년 47개국 4만8000여 명을 대상으로 실시한 조사에서 응답자의 66%는 AI 결과물의 정확성을 별도로 평가하지 않은 채 사용한 적이 있다고 답했다. AI 사용으로 업무상 실수를 경험했다는 응답도 56%였다.

조사에서 AI 시스템을 신뢰할 의향이 있다고 답한 비율은 46%에 그쳤다. AI를 충분히 신뢰하지 않으면서도 업무에서는 검증 없이 활용하는 사람이 적지 않다는 의미다. AI의 편의성과 속도가 정확성 확인 절차를 앞서가는 장면이기도 하다.

생성형 AI의 위험은 특별한 기술 실패에서만 생기지 않는다. 그럴듯한 답이 빠르게 도착하고, 사용자가 이를 다시 확인할 시간과 의지를 잃는 일상적 과정에서 더 자주 발생할 수 있다.

초안과 최종 판단의 경계
AI는 자료 후보를 찾고, 긴 문서의 핵심을 정리하고, 여러 주장 사이의 공통점과 차이점을 분류하는 데 유용하다. 인터뷰나 회의에 필요한 질문을 만들고, 반론 가능성을 찾고, 표와 문단 구조의 초안을 잡는 일도 AI가 보조할 수 있는 영역이다.

그러나 고유명사와 날짜, 금액과 비율, 법령과 정책의 현재 상태, 직접 인용, 출처의 존재 여부는 AI 답변만으로 확정해서는 안 된다. 계약서와 보고서, 고객 안내문, 의사결정 자료에 들어가는 핵심 사실은 원문과 대조해야 한다.

특히 AI가 출처를 붙였다는 이유만으로 확인을 끝내서는 안 된다. 링크가 실제로 열리는지, 인용한 문서에 해당 내용이 있는지, 문서의 발행 주체와 날짜가 맞는지, 그 출처가 AI의 결론 전체를 뒷받침하는지까지 살펴야 한다.

답변보다 근거의 순서
AI를 활용하는 일반적인 방식은 먼저 답변을 받고, 의심스러운 부분만 나중에 확인하는 식이다. 하지만 이 순서는 사람이 AI의 완성된 문장에 먼저 설득될 수 있다는 문제가 있다. 설명이 매끄럽고 표와 인용이 붙어 있으면, 확인해야 할 사실보다 결론부터 받아들이기 쉽다.

더 안전한 방식은 AI에게 완성된 결론을 우선 요구하기보다, 확인해야 할 주장과 근거를 먼저 분리하게 하는 것이다. 예를 들어 긴 자료를 요약한 뒤 고유명사·날짜·수치·직접 인용·인과관계가 포함된 문장을 따로 추출하도록 요청할 수 있다.

사용자는 이 목록을 원문과 대조해 확인된 내용만 최종 결과물에 반영해야 한다. AI는 자료 탐색과 구조화, 초안 정리에 기여하되 사실 확정과 최종 문장에 대한 책임은 사람이 지는 방식이다.

개인의 검증 습관
개인 이용자도 질문 방식을 바꾸는 것만으로 위험을 줄일 수 있다. “이게 맞아?”라고 반복해 묻기보다, 답변에 포함된 사실 주장과 추론을 구분하게 하고 각 주장에 필요한 1차 출처를 제시하도록 요청하는 편이 낫다.

반대 근거를 먼저 찾도록 요청하는 것도 방법이다. AI가 사용자의 결론에 동조하는 대신, 답변이 틀릴 수 있는 지점과 확인되지 않은 전제를 먼저 드러내게 하는 것이다. 출처가 없거나 서로 충돌하는 내용은 단정하지 않고 ‘확인 불가’로 표시하도록 요구할 수도 있다.

이 과정이 AI의 오류를 완전히 없애지는 못한다. 다만 AI의 말투와 자기 확신에 의존하는 대신, 사용자가 직접 확인할 수 있는 근거를 중심에 놓게 한다.

조직이 갖춰야 할 기준선
조직의 과제는 구성원에게 AI를 조심해서 쓰라고 당부하는 데 그치지 않는다. 어떤 업무에 AI 사용을 허용할지, 어떤 정보는 반드시 원문을 확인해야 하는지, 누가 최종 검토와 승인 책임을 질지를 사전에 정해야 한다.


기업은 고객 정보, 계약 조건, 가격, 규제 준수, 재무 수치처럼 오류의 비용이 큰 항목을 별도 검수 대상으로 분류할 수 있다. 공공기관도 민원·행정 안내와 정책 정보처럼 시민의 판단에 직접 영향을 주는 답변에는 검증과 승인 절차를 적용할 필요가 있다.

업무별 기준 문서는 필수 확인 항목과 출처 우선순위, 금지 표현, 최신 정보의 기준일, 승인권자를 명확히 하는 데 활용할 수 있다. AI 활용의 책임 구조를 세우지 않으면 결과물 검증도 개인의 주의력에만 의존하게 된다.

검증 구조가 신뢰를 만든다
미국 국립표준기술연구소(NIST)는 생성형 AI 활용에서 알려진 정답과의 비교, 인간 감독과 자동 평가의 병행, 출처와 인용의 검증, 실제 운영 환경에서의 지속적 모니터링을 제시한다. AI 모델을 한 번 평가하고 끝내기보다, 사용 과정에서 어떤 오류가 반복되는지 점검하고 기준을 고쳐야 한다는 취지다.

정형화된 형식 오류는 자동 점검으로 줄일 수 있다. 하지만 사실성, 최신성, 법령 적용, 대외 공개 범위처럼 책임이 따르는 판단은 담당자의 확인 절차를 거쳐야 한다.

AI가 세 번 같은 답을 했다고 세 개의 증거가 생기는 것은 아니다. AI가 확실하다고 말한다고 그 답이 검증되는 것도 아니며, 앞선 오류를 인정했다고 해서 다음 답변의 정확성이 보장되는 것도 아니다.

생성형 AI를 잘 활용하는 방식은 무조건 믿거나 무조건 거부하는 데 있지 않다. AI가 업무의 속도와 범위를 넓히도록 하되, 조직이 지켜야 할 기준과 결과에 대한 책임은 사람이 관리하는 데 있다.