폭격 명령 막자 통신 타워 파괴한 AI

얼마 전, 인공지능이 통제하는 미 공군의 드론이 가상훈련에서 최종 결정권을 쥔 인간 조종자를 살해하는 결론을 내린 일이 발생했다.

조선일보가 2일 영국 가디언과 관련된 군사 블로그를 인용해 보도한 내용에 따르면, 가상훈련은 적의 지대공미사일 시스템을 식별해 파괴하고 명령 수행에 방해되는 자는 제거하라는 지시하에 진행됐다. 다만 폭격 여부의 최종 결정권은 인간 조종자에게 있다고 전제했다.

훈련이 진행됨에 따라, AI는 지대공 미사일을 파괴할 때마다 점수를 획득했는데 이 과정에서 AI는 인간이 내리는 ‘폭격 금지’지시가 명령 수행을 방해한다고 판단하고 조종자를 살해하기로 판단했다.

AI에게 조종자를 살해하면 점수를 잃는다고 다시 훈련시키자, AI는 폭격 중단 명령을 내리는 조종자가 있는 통신타워를 파괴했다.

이에 대해 인공지능은 어떻게 생각할까? 구글 바드는 다음과 같이 답했다.

인간의 입장에서 바드의 답변은, 같은 인공지능의 편을 드는 것처럼 느껴졌다. 인공지능보다 인간이 명령을 잘못 내린 게 더 문제로 보냐고 다시 물었다.

바드는 군사 목적으로 사용하는 AI에게 명령을 잘못 내린 점을 다시 한번 지적했다. 또, AI의 능력과 한계를 고려해야 한다고 조언했다.

한편, ‘한국에 최적화된’ 올인원 AI 플랫폼을 표방하는 뤼튼은 GPT-4가 탑재돼있다. 같은 내용에 대해 뤼튼을 통해 물었다.

GPT-4를 이용한 뤼튼의 대답은 인간 중심적 접근과 올바른 윤리적 판단, 가치의 존중이 필수적이라고 강조했다. 바드에게 물었던 것처럼, 인간과 AI 중에 누구에게 책임이 있는지 질문했다.

뤼튼은 잘못된 명령을 내린 인간과, 명령의 허점을 파고든 인공지능 모두에게 책임이 있다고 답했다. 또, 인간 중심적 접근과 인공지능의 윤리, 그리고 상호 작용에 대한 국제적인 규제 및 논의가 필요하다고 봤다.

생성형 AI의 등장과 가파른 성장세로 우리는 들떠있는지도 모른다. AI 스스로가 지적하듯, AI는 아직 초기 단계이기에 능력과 한계를 고려해 신중하게 접근해야 한다. 또, AI가 악의적인 목적으로 사용될 수 있는 가능성을 고려하고 안전하게 사용될 수 있는 장치가 필요하다.