[AI 통제의 조건] ② 통제는 버튼 하나가 아니다…권한·검증·감시의 결합

AI를 멈출 수 있는 장치가 있어도 중단을 결정할 사람과 판단에 필요한 정보가 없다면 통제권은 작동하기 어렵다. 안전성 검증 역시 출시 전 성능시험을 넘어 실제 사용환경의 위험을 확인하고 대응하는 과정으로 이어져야 한다.


1편에서 살펴본 조사에서 응답자들은 AI가 인간의 통제를 벗어날 위험에 대비한 조치로 ‘인간의 최종 통제권을 보장하는 기술적 장치’를 가장 많이 선택했다. ‘AI 안전성 검증 강화’가 뒤를 이었으며, 두 응답의 비율을 합하면 63.2%였다.

이를 현장에 적용하려면 통제와 검증의 내용을 구체화해야 한다. 누가 AI의 결과를 거부하거나 수정할 수 있는지, 어떤 조건에서 가동을 중단할지, 운영 중 발생한 문제를 어떻게 추적할지가 핵심이다.

최종 통제권은 ‘중단·거부·수정할 권한’
유럽연합(EU) 인공지능법 제14조는 고위험 AI 시스템을 사용하는 동안 사람이 실질적으로 감독할 수 있도록 설계·개발해야 한다고 규정한다. 감독 조치는 시스템의 위험 수준과 자율성, 사용 맥락에 비례하도록 정하고 있다.

구체적으로 감독자가 시스템의 능력과 한계를 이해하고 이상 징후를 감시할 수 있도록 하는 조치를 요구한다. AI 결과에 자동으로 의존하거나 과도하게 신뢰하는 ‘자동화 편향’을 경계하고, 출력을 적절히 해석할 수 있어야 한다.

필요한 경우 시스템을 사용하지 않거나 출력을 무시·재정의·번복할 수 있도록 하는 내용도 담겼다. 작동에 직접 개입하거나 정지 버튼 또는 유사한 절차를 통해 안전한 상태로 멈출 수 있어야 한다.

이 조항이 제시하는 감독은 형식적인 승인 절차와 거리가 있다. 담당자가 AI의 결과를 검토할 정보를 확보하고, 필요하면 이를 뒤집을 실질적 권한을 행사할 수 있어야 한다는 의미다.

가령 채용이나 대출 심사에 AI를 활용하면서 담당자가 결과를 검토하거나 수정할 수 없다면 사람의 승인은 형식에 그칠 수 있다. 산업용 로봇이나 자율주행처럼 오류가 물리적 피해로 이어질 수 있는 시스템에서는 안전한 중단 설계도 중요하다.

안전성 검증, 배포 전 시험에서 운영 중 평가로
미국 국립표준기술연구소(NIST)의 AI 위험관리 프레임워크(AI RMF)는 조직이 자발적으로 활용하는 지침이다. 법적 의무를 부과하는 규정과는 성격이 다르며, 위험관리 활동을 거버넌스·위험 파악·측정·관리의 네 기능으로 구성한다.

NIST는 배포 전 시험과 운영 중 정기적인 평가를 제시한다. 측정에는 불확실성 검토, 기준 성능과의 비교, 결과 보고와 문서화가 포함된다. 시험과 평가도 AI 생애주기 전반의 위험관리 수단으로 다룬다.

개발 단계에서 성능을 확인했더라도 현장의 이용자와 데이터, 운영환경이 달라지면 결과도 바뀔 수 있다. 평균 정확도가 높다는 사실만으로 드문 상황이나 예상하지 못한 입력에서의 안전성까지 확인되는 것은 아니다.

검증 항목은 용도와 위험에 따라 달라질 수 있다. 오류율과 집단별 성능 차이, 보안·복원력, 운영 중 성능 변화 등이 검토 대상이다. NIST도 신뢰성과 안전성, 보안·복원력, 공정성 등을 폭넓게 평가하도록 제시한다.

사후 추적을 위한 기록도 필요하다. 다만 모든 입력과 출력을 일률적으로 저장하기보다 위험 수준과 개인정보 보호 요건을 고려해 주요 판단과 개입 과정을 확인할 수 있도록 기록 범위를 정하는 접근이 요구된다.

개발·도입·운영 단계마다 책임 구체화
검증 범위가 실제 사용환경까지 넓어지면 참여 주체의 역할도 구체화할 필요가 있다. 개발사는 모델의 성능과 한계를 시험하고, 도입기관은 자체 업무와 이용자 환경에서의 위험을 검토하며, 운영자는 가동 중 이상 징후를 감시하는 식이다.

생명·안전이나 기본권에 영향을 주는 분야에서는 외부 전문가나 독립기관의 평가가 필요할 수 있다. NIST는 독립 검토를 시험의 효과를 높이고 내부 편향이나 이해충돌을 줄일 수 있는 수단으로 설명한다. 모든 시스템에 외부 검사를 일률적으로 의무화하는 것은 아니다.

문제 발견 이후의 의사결정도 중요하다. 위험을 보고할 담당자와 서비스 중단을 결정할 책임자, 수정 후 재가동을 승인할 주체가 불분명하면 대응이 늦어질 수 있다.

국제표준 ISO/IEC 42001은 이러한 관리체계를 조직 차원에서 다룬다. 해당 표준을 도입하는 조직이 AI 경영시스템을 수립·실행·유지하고 지속적으로 개선하기 위한 요구사항과 지침을 담고 있다. 정책과 목표, 위험평가와 운영 절차를 관리체계로 연결하는 방식이다. 표준 자체가 모든 AI 기업에 법적 의무를 부과하는 것은 아니다.

법률과 자율적 지침, 국제표준은 적용 방식이 다르다. 다만 이를 통해 살펴볼 수 있는 공통 과제는 개발자 개인의 주의에만 의존하지 않고 경영진과 개발자, 현장 운영자, 위험관리 담당자의 권한과 책임을 조직 안에 배분하는 일이다.

안전을 개발 이후 절차로 미루지 않아야
1편의 조사에서는 AI 개발을 늦추기보다 속도를 유지하면서 안전 규제를 강화하자는 응답이 가장 많았다. 위험 가능성을 높게 본 집단에서도 같은 선택이 우세했다.

이러한 선택을 구현하려면 안전관리를 개발 이후의 추가 절차로만 다루기 어렵다. 기획 단계에서 위험을 분류하고 개발 과정에 시험을 반영하며, 배포 후에는 성능 변화와 사고 징후를 점검하는 구조가 필요하다.

통제권과 검증은 운영 과정의 결정으로 이어질 때 의미가 있다. 어떤 위험을 허용하고 언제 수정하거나 중단할지, 그 판단 권한과 책임을 누구에게 부여할지가 AI 안전을 구체화하는 과제다.