전산망이 멈추면 장애를 알아차릴 수 있다. 화면이 열리고 업무가 계속된다면 이야기는 달라진다. 그 안에서 AI가 잘못된 판단을 반복해도 시스템 가동률에는 아무 이상이 없을 수 있다.
AI가 기업과 공공기관의 실제 업무 처리에 들어오면서 장애의 모습도 달라지고 있다. 서버가 멈추는 문제가 아니라 시스템은 정상적으로 움직이는데 잘못된 판단이 계속 쌓이는 것이다.
국회미래연구원이 최근 발간한 ‘AI 내재화와 디지털 서비스 탄력성’ 브리프도 이 지점을 짚었다. AI의 판단과 실행 결과가 업무 처리에 직접 반영되기 시작하면 기존의 ‘서비스 중단 여부’만으로는 위험을 충분히 파악하기 어렵다는 것이다.
시스템은 정상인데 결과가 틀릴 수 있다
대출 심사 시스템은 멈추지 않았는데 AI가 특정 조건을 잘못 판단해 대출 가능 고객을 계속 탈락시킬 수 있다. 복지급여 심사에서도 잘못된 기준이 적용되면 대상자가 반복해서 제외될 수 있다.
기존 전산 장애는 눈에 잘 띄었다. 접속이 끊기고 결제가 멈추고 업무가 중단됐다.
AI 오류는 다르다.
서비스가 계속된다는 사실이 오히려 문제 발견을 늦출 수 있다.
가트너는 2026년 말까지 기업용 애플리케이션의 40%가 작업 특화형 AI 에이전트를 통합할 것으로 전망했다. 2025년 5% 미만에서 크게 늘어난 수치다.
이는 어디까지나 도입 전망이다. 그만큼의 업무가 이미 AI에 맡겨졌거나 관련 사고가 같은 비율로 늘었다는 뜻은 아니다. 다만 AI가 추천과 보조를 넘어 실제 처리 과정에 들어올수록 오류를 어떻게 찾아내고 바로잡을 것인지가 더 큰 문제가 된다는 의미는 분명하다.
복구보다 어려운 것은 잘못된 결정을 되돌리는 일
실제 피해로 이어진 사례도 있다.
미국 약국 체인 라이트에이드는 안면인식 시스템을 통해 고객을 절도 의심자로 잘못 식별해 문제가 됐다. 미국 연방거래위원회(FTC)는 소비자 피해를 막기 위한 적절한 절차가 부족했다고 보고 회사의 보안·감시 목적 안면인식 기술 사용을 5년간 금지했다.
시스템이 작동하고 있다는 사실과 그 판단이 옳다는 사실은 같은 말이 아니다.
문제는 오류를 발견한 뒤다.
서버 장애라면 시스템을 복구하고 서비스를 다시 시작할 수 있다. AI 판단 오류는 거기서 끝나지 않는다. 잘못된 처리를 받은 사람이 누구인지 찾아야 하고, 이미 내려진 결정을 다시 검토해야 한다. 필요하면 결과를 되돌려야 한다.
같은 모델이나 판단 구조가 다른 업무에도 쓰였다면 확인 범위는 더 넓어진다.
복구 대상이 서버가 아니라 ‘판단’과 그 결과라는 점에서 기존 장애 대응과 성격이 달라진다.
가동률보다 중요한 ‘되돌릴 수 있는가’
AI를 실제 업무에 적용하면 운영 지표도 달라질 수밖에 없다.
그동안 전산 시스템에서는 얼마나 오래 멈추지 않았는지가 중요한 기준이었다. AI가 판단에 참여하는 환경에서는 그것만으로 부족하다.
잘못된 판단을 얼마나 빨리 발견할 수 있는지, 사람이 개입해 처리를 멈출 수 있는지, 이미 내려진 결정을 다시 검토할 수 있는지가 함께 중요해진다.
금융과 의료, 복지처럼 한 번의 판단이 이용자의 권리와 안전에 직접 연결되는 영역에서는 더 그렇다.
하나의 AI 모델을 여러 기업이나 기관이 함께 사용한다면 오류도 한 조직 안에 머물지 않을 수 있다. 같은 판단 오류가 여러 서비스에서 반복될 가능성이 있기 때문이다. 이 경우 사고 대응도 개별 사업자의 복구만으로 끝나기 어렵다.
유희수 국회미래연구원 연구위원은 “AI가 업무 깊숙이 들어오면서 서비스는 지속되는데 잘못된 판단이 반복되는 새로운 위험이 생겼다”고 지적했다.
AI를 도입한 기업이 확인해야 할 것도 달라지고 있다.
시스템이 멈추지 않았는가.
그보다 먼저 물어야 할 질문이 하나 더 생겼다.
AI가 틀렸을 때 그것을 알아챌 수 있는가. 그리고 이미 내려진 판단을 되돌릴 수 있는가.
정상 가동 화면 뒤에 쌓이는 피해는 서버를 다시 켜는 것만으로 복구되지 않는다.