[AI 통제의 조건] ③ AI가 결정해도 책임은 사라지지 않는다…책임 구조의 빈칸

AI가 잘못된 판단을 내렸을 때 책임은 누구에게 있을까. 모델을 만든 개발사인지, 서비스를 도입한 기관인지, 결과를 승인한 운영자인지 경계가 뚜렷하지 않다. AI가 판단 과정에 깊숙이 들어올수록 책임 소재는 기술 문제가 아니라 제도와 조직의 문제로 확장된다.


나우앤서베이 조사에서 AI가 인간의 통제를 벗어날 위험에 대비해 필요한 조치로 ‘AI 기업의 법적 책임 강화’를 선택한 응답자는 12.7%였다. ‘국가 간 공동 AI 안전 기준 마련’은 12.3%였다. 두 응답을 합치면 25.0%다.

‘인간의 최종 통제권을 보장하는 기술적 장치’ 34.7%와 ‘AI 안전성 검증 강화’ 28.5%보다는 낮았지만, 응답자 4명 중 1명은 기업의 법적 책임 강화 또는 국가 간 공동 AI 안전 기준 마련을 우선 과제로 선택했다.

위험한 AI의 개발·배포를 제한해야 한다는 응답도 7.5%였다. 특별한 추가 조치가 필요하지 않다는 응답은 1.2%에 그쳤다.

AI 판단 자동화돼도 책임까지 자동화될 수 없어
AI는 사람보다 빠르게 정보를 처리하고 결과를 내놓지만, 현행 AI 규제 체계는 대체로 AI 자체보다 이를 개발·제공·도입·운영하는 사람과 조직에 의무를 부과한다.

채용 AI가 특정 지원자를 반복적으로 탈락시키거나 금융 AI가 대출 심사에서 잘못된 결과를 내놓는다면 모델의 오류만으로 설명을 끝낼 수 없다. 어떤 데이터를 사용했는지, 누가 시스템을 도입했는지, 사람이 결과를 검토했는지, 문제를 발견한 뒤 어떤 조치를 했는지까지 살펴야 한다.

산업현장에서는 책임 구조가 더 복잡해진다. AI가 제어하는 로봇이나 설비에서 사고가 발생하면 알고리즘과 센서, 장비, 운영 절차, 작업자의 대응이 함께 조사 대상이 될 수 있다.

모델 개발사와 장비 제조사, 시스템 통합업체, 도입 기업, 현장 운영자 가운데 누가 어느 단계의 위험을 관리해야 하는지 사전에 정하지 않으면 사고 이후 책임을 서로 떠넘길 가능성이 커진다.

2026년 시행된 국내 인공지능기본법은 고영향 AI를 제공하는 사업자에게 위험관리와 사람의 관리·감독 등을 요구한다. AI에 대한 기술적 통제뿐 아니라 이를 관리하는 조직의 역할도 제도에 반영된 것이다.

AI가 판단을 자동화하더라도 의사결정 권한과 책임까지 기계에 넘길 수는 없다. 어떤 사람과 조직이 감독하고 책임을 부담하는지 분명히 해야 하는 이유다.

개발사·도입기관·운영자 책임 구분
AI 책임은 개발사 한 곳에만 물어서는 해결하기 어렵다. 모델을 만든 기업과 실제 업무에 적용한 기관이 알고 있는 정보와 통제할 수 있는 범위가 다르기 때문이다.

책임 구조를 설계할 때 개발·제공자는 학습데이터의 범위와 모델 성능, 알려진 한계, 사용해서는 안 되는 조건을 이용 기관이 파악할 수 있도록 해야 한다. 중대한 결함이나 취약점이 발견됐을 때 이를 알리고 수정하는 절차도 마련할 필요가 있다.

도입기관은 AI가 수행할 업무와 사람에게 남겨둘 권한을 정해야 한다. 모델의 평균 정확도가 높다는 이유만으로 채용과 의료, 금융, 산업안전처럼 결과의 영향이 큰 업무에 그대로 적용해서는 안 된다.

운영자는 AI의 결과를 확인하고 이상 징후를 보고해야 한다. 사람의 검토가 필요한 조건과 서비스를 중단해야 하는 기준도 알고 있어야 한다.

이 같은 역할 구분은 모든 AI 사업자에게 동일한 법적 의무가 적용된다는 뜻은 아니다. 실제 의무의 범위는 AI의 용도와 위험 수준, 사업자의 역할, 적용 법령에 따라 달라진다.

책임을 나눈다는 것은 사고 책임을 분산해 흐리는 일이 아니다. 개발부터 도입과 운영까지 단계별 의무를 구체적으로 지정해 관리의 빈틈을 줄이는 과정이다.


책임의 출발점은 기록과 설명
AI 사고의 책임을 가리려면 판단 과정과 운영 이력이 남아 있어야 한다.

어떤 모델과 데이터가 사용됐는지, AI가 어떤 결과를 냈는지, 담당자가 결과를 그대로 수용했는지 수정했는지, 오류 신고 이후 어떤 조치를 했는지를 확인할 수 있어야 한다.

기록이 없으면 오류가 모델에서 시작됐는지, 입력 데이터가 잘못됐는지, 현장 운영자가 절차를 지키지 않았는지 구분하기 어렵다. 책임 규정이 있어도 근거를 확보하지 못하면 실제 집행으로 이어지기 힘들다.

국내 인공지능기본법도 고영향 AI의 안전성·신뢰성 확보 조치를 확인할 수 있도록 문서를 작성하고 보관하게 한다. 기술적으로 가능한 범위에서 AI의 최종 결과와 판단에 활용된 주요 기준, 학습용데이터의 개요 등을 설명하기 위한 방안도 마련하도록 했다.

이용자에게 AI 사용 사실을 알리는 절차 역시 법에 반영돼 있다. 인공지능기본법 제31조는 고영향 AI나 생성형 AI 기반 제품·서비스를 제공할 때 해당 AI에 기반해 운용된다는 사실을 사전에 고지하도록 규정한다. 구체적인 고지 방법과 예외는 하위 법령에 따른다.

사람이 내린 결정으로 알고 있던 결과가 실제로는 AI의 추천을 그대로 반영한 것이라면 이의를 제기하거나 재검토를 요구할 기회도 제한될 수 있다.

설명은 AI 내부의 모든 계산 과정을 공개하는 것만을 뜻하지 않는다. 어떤 목적으로 AI를 사용했는지, 판단에 영향을 준 주요 요소는 무엇인지, 사람이 어떻게 개입했는지, 결과에 이의를 제기하려면 어떤 절차를 따라야 하는지를 알려주는 것도 포함한다.

국경 넘는 AI, 공동 안전 기준 필요
AI 모델과 서비스는 한 국가 안에서만 개발되고 사용되지 않는다. 해외에서 개발한 모델을 국내 기업이 도입하거나 한 국가에서 수집한 데이터가 다른 지역의 서비스에 활용되기도 한다.

국가마다 안전성 검증과 책임 기준이 다르면 기업이 규제가 상대적으로 약한 지역을 선택할 유인이 생길 수 있다. 한 나라에서 위험하다고 판단한 AI가 다른 국가에서는 별다른 검증 없이 사용될 가능성도 있다.

국가 간 공동 기준은 모든 규제를 하나로 통일하기보다 최소한의 안전 원칙을 공유하고 국가별 제도가 서로 연계될 수 있도록 하는 데 의미가 있다.

고위험 AI의 범위와 시험 기준, 사고 보고 절차, 이용자 고지, 데이터 관리, 사람의 감독 권한 등은 공통 기준을 논의할 수 있는 항목이다. 다만 국가와 국제기구마다 규제 대상과 법적 구속력이 달라 동일한 기준이 적용되고 있는 것은 아니다.

공동 기준이 선언에 그쳐서도 안 된다. 평가 결과를 국가 간에 어느 범위까지 인정할지, 사고 정보를 어떻게 공유할지, 해외 사업자에게 책임을 어떻게 물을지까지 구체화해야 한다.

규제 강도보다 책임의 연결이 핵심
1편에서는 AI의 생존 위협 가능성을 높게 본 응답자 다수가 개발 감속보다 속도 유지와 안전 규제 강화를 선택했다는 점을 살펴봤다.

2편에서는 인간의 최종 통제권이 단순한 정지 버튼이 아니라 AI 결과를 거부·수정하고 시스템을 안전하게 중단할 수 있는 실질적인 권한이라는 점을 짚었다. 안전성 검증도 출시 전 한 번이 아니라 개발과 배포, 운영 전 과정에서 이어져야 한다.

3편의 핵심은 기술적 통제와 검증 결과를 책임으로 연결하는 일이다. 위험을 확인한 뒤 필요한 대응이나 고지가 이뤄지지 않았다면, 담당 주체가 관련 의무를 제대로 이행했는지 확인할 수 있어야 한다.

AI 안전 규제는 개발을 막는 금지 조항만으로 완성되지 않는다. 통제 권한과 검증 절차가 마련돼 있어도 이를 실행할 책임 주체가 불분명하면 사고 원인을 규명하고 재발을 막기 어렵다. 감독기관이 관련 기록을 바탕으로 의무 이행 여부를 확인할 수 있는 체계도 필요하다.

AI 사고에 따른 법적 책임은 인공지능기본법뿐 아니라 개인정보 보호, 소비자 보호, 제품 안전 등 관련 법령과 구체적인 사실관계에 따라 판단될 수 있다. 따라서 AI를 개발하고 사용하는 조직은 법적 의무를 확인하는 데 그치지 않고, 내부의 권한과 보고·대응 절차까지 명확히 해야 한다.

AI의 판단이 빨라질수록 책임 구조는 더 선명해져야 한다. 기술이 결정을 보조하거나 대신할 수는 있어도 결과에 대한 책임까지 대신할 수는 없다.