[AI 신뢰의 역설④] “어제 알려줬는데 왜 또 틀리나”…AI의 기억은 업무 매뉴얼이 아니다

생성형 인공지능(AI)을 반복 업무에 활용할수록 이용자가 자주 마주하는 불만이 있다. 숫자와 단위 표기, 회사명·제품명, 금지 표현, 승인 문구처럼 여러 차례 전달한 규칙을 AI가 다음 작업에서 놓치는 경우다. 전날까지 적용하던 형식이 다음날 달라지거나, 오류를 지적받은 뒤에도 비슷한 실수가 반복되기도 한다.

이런 경험을 모두 AI의 할루시네이션으로 볼 수는 없다. AI가 사실과 다른 내용을 사실처럼 생성하거나 존재하지 않는 정보·출처·인용을 제시하는 문제와, 앞선 대화에서 받은 규칙을 이후 결과물에 일관되게 반영하지 못하는 문제는 성격이 다르다. 앞선 지시를 놓친 뒤에도 잘못된 설명을 덧붙이면 이용자는 단순한 맥락 누락과 사실 오류를 구분하기 더 어려워진다.


사실 오류와 지시 누락은 다르다
할루시네이션은 AI가 사실과 다른 내용을 사실처럼 생성하거나 존재하지 않는 인용·통계·출처를 제시하는 현상을 가리킨다. 반면 사용자가 전달한 작성 규칙이나 업무 정보를 뒤 작업에서 누락하는 것은 지시사항 반영의 실패에 가깝다.

예를 들어 ‘제품명은 공식 표기만 쓴다’, ‘고객 보상 가능 여부는 단정하지 않는다’, ‘계약 조항은 승인된 표준 문구를 사용한다’는 원칙을 전달했는데도 AI가 다른 방식의 문안을 내놓는 경우다. 이는 곧바로 사실 오류라고 단정할 수는 없지만, 결과물의 품질과 업무 일관성을 떨어뜨릴 수 있다.

문제는 AI가 빠뜨린 규칙을 지적받고도 자신이 기준에 맞게 처리했다고 설명하거나, 틀린 형식을 새로운 기준처럼 제시할 때다. 결과물에 대한 신뢰가 흔들리는 지점은 단순한 누락보다, 누락된 상태에서 잘못된 설명이 덧붙을 때다.

모든 대화를 그대로 저장하는 메모리는 아니다
대화형 AI의 메모리를 과거 업무 지시를 빠짐없이 재현하는 기록관리 시스템으로 받아들이기는 어렵다. OpenAI도 메모리가 대화의 모든 세부 내용을 그대로 보존하는 기능은 아니라고 설명한다. 이용자에게 유용한 맥락을 이후 응답에 활용해 개인화를 돕는 데 초점이 맞춰져 있다.

따라서 기억 기능이 활성화돼 있다고 해서 과거에 전달한 모든 지시, 수정 이력, 승인 조건이 이후 작업에 같은 수준으로 반영된다고 기대하기는 어렵다. 특히 실무에는 단순한 선호와 달리 적용 시점과 승인 주체, 예외 조건, 개정 이력을 함께 관리해야 하는 정보가 많다.

계약서 표준 문구나 고객 안내 기준, 대외 공개 범위처럼 승인과 개정 이력을 확인해야 하는 정보는 메모리 기능에만 맡기기 어렵다. 무엇이 최신 문서인지, 누가 승인했는지, 어느 업무에 적용되는지를 별도로 확인할 수 있어야 한다.

요청이 쌓이면 앞선 지시가 누락될 수 있다
대화가 길어지고 새로운 요구가 계속 추가되면, 앞선 지시가 이후 답변에 반영되는 정도도 달라질 수 있다. 새로운 형식과 조건이 계속 붙으면 앞서 정한 원칙이 뒤 작업에서 빠질 수 있다.

가령 제품 소개 문안 작성 뒤 분량 축소와 표 형식 변환, 영문 번역을 잇달아 요청하면 최초에 정한 금지 표현이나 공식 명칭 기준이 뒤 작업에서 누락될 수 있다. 계약서 요약, 고객 안내문 작성, 보고서 초안 정리 등 여러 업무를 하나의 대화에서 이어갈 때도 적용 기준이 섞일 가능성이 있다.

AI가 이를 의도적으로 무시한다고 보기는 어렵다. 다만 AI는 사람처럼 업무 지시의 유효기간과 중요도, 승인 체계를 책임지고 관리하는 주체가 아니다. 장기간 유지해야 할 원칙을 대화형 AI의 기억 기능에만 의존하면 오류를 발견하기 전까지 같은 문제가 반복될 수 있다.

반복 업무라면 기준 문서가 필요하다
반복 업무에서는 반드시 지켜야 할 규칙을 별도 기준 문서로 관리하는 편이 안전하다. 반드시 지켜야 할 항목과 최신 확인이 필요한 정보, 담당자 판단이 필요한 사안을 구분해 두는 방식이 효과적이다.

기업 업무라면 공식 회사·제품명, 표준 문구, 승인 절차, 대외 공개 범위, 고객에게 약속할 수 없는 사항, 개인정보 처리 원칙 등을 한 문서에 정리할 수 있다. 법무·컴플라이언스 업무에서는 적용 법령의 기준일과 표준 조항, 검토·승인 절차, 예외 처리 기준을 명확히 두는 방식이 필요하다.


고객 응대와 영업 지원 업무에서는 정책별 안내 문구, 할인·환불·보상 범위, 담당 부서 이관 기준, 금지 표현을 관리할 수 있다. 정책·리서치·기획 업무에서는 통계 출처와 기준 시점, 사실과 분석의 구분, 인용·참조 원칙, 최신 자료 확인 절차를 기준 문서에 담을 수 있다.

반복 작업에서는 기준 문서를 해당 업무의 맥락에 명시적으로 연결하고, 결과물을 문서와 대조해 검수하는 과정이 필요하다. 기준 문서는 AI에 전달하는 지시이면서 동시에 담당자가 결과물을 검수하는 체크리스트가 된다.

기억 기능보다 중요한 것은 검증 구조
생성형 AI의 위험관리는 모델의 정확도만 높이는 문제로 끝나지 않는다. 미국 국립표준기술연구소(NIST)의 생성형 AI 위험관리 지침은 AI 시스템의 시험·평가·검증과 함께 지속적인 모니터링, 주기적 검토, 조직 내 역할과 책임의 명확화를 제시한다.

중요한 것은 AI가 반복 규칙을 완벽하게 기억하는지보다 기준을 벗어난 결과물을 누가, 언제, 어떤 방식으로 찾아내고 고치느냐다. 계약서와 고객 안내문, 대외 발표자료, 정책 보고서처럼 법적 책임이나 대외 신뢰와 연결되는 문서는 AI가 만든 초안을 곧바로 확정본으로 쓰기 어렵다.

정형화된 형식 오류는 자동 점검으로 걸러낼 수 있다. 그러나 사실성과 적용 기준, 대외 공개 범위처럼 책임이 따르는 판단은 담당자의 확인 절차를 거쳐야 한다.

AI에게 같은 규칙을 여러 번 전달했는데도 다시 틀리는 문제는 이용자가 지시를 부족하게 했기 때문만은 아니다. 대화의 편의를 높이는 기억 기능과 최신 기준, 승인 이력, 책임 소재를 관리하는 업무 체계는 역할이 다르다.

AI가 업무를 빠르게 만들 수는 있어도, 조직이 지켜야 할 기준과 그 결과에 대한 책임까지 대신할 수는 없다.