차량의 하드웨어들을 소프트웨어가 제어하는 ‘스마트 모빌리티’가 대중화되면서, 차량 제어에 쓰이는 AI(인공지능)의 신뢰성 향상이 강조되고 있다.

고려대학교 인공지능학과 이상근 교수는 13일 삼성동 코엑스에서 열린 ‘제3회 HMG 개발자 컨퍼러스’에 연사로 나섰다.

‘스마트 모빌리티를 위한 AI 신뢰성 향상의 필요성’이라는 주제로 강연을 진행한 그는 “스마트 모빌리티 AI 모델에는 최적화/소형화와 신뢰성 향상이라는 도전과제가 있다”라고 언급했다.

이어 그는 AI의 취약성을 이용한 공격 유형을 소개했다. 먼저, 학습 완료 AI를 대상으로 ‘적대예제에 기반한 회피공격’이 이뤄지고 있다. 입력을 변조시켜 AI 모델의 오분류를 유도하는 원리다. 이를 물리공간에 적용해 도로의 속도 표지판을 오인식시킬 수 있다. 표지판에 반사되는 광원을 이용해 잘못된 정보를 차량에 인식시킬 수도 있고, 특정한 차량이 없다고 속일 수도 있다.

이 교수는 2016년 마이크로소프트의 연속학습AI를 적용한 챗봇이 공개 후 욕설, 혐오 발언 등으로 16시간 만에 서비스를 종료한 사례를 들어 데이터 포이즌(Data Poisoning)을 설명했다. 연속학습은 차량에도 개인화, 돌발 상황 대응 등에 사용될 수 있는데, 공격자가 해당 부분에 침입한다면 차량에 굉장한 위협이 될 수 있다는 말이었다.

이어, 미국이 국방과 관련해 심각하게 받아들이고 있는 ‘차량 백도어 공격’, 기술·기능 탈취를 위한 ‘모델 추출 공격’, 사용자의 민감한 개인정보 추출이 가능한 ‘학습데이터 추출 공격’을 설명했다.

이러한 공격들에 대항할 수 있는 방어 기법을 해설한 이상근 교수는 “차량 컴퓨터 시스템의 계산 용량의 한계와 에너지 소모 최소화를 위해 AI 경량화·소형화가 필요하다”라고 전했다.

그는 “여러 경량화 중 ‘학습 중 가지치기’와 ‘양자화’ 기술을 현대차와 협력 연구 중이다”라며 “그러나 신뢰성에 대한 연구가 많이 부족한 상황이다”라고 말했다.

이 교수는 “외부 공격과 노이즈 유입으로 인한 사고 방지·성능 보장을 위해 ‘AI 안전성’이 중요하다”라며 “AI 모델의 복제를 방지하고 추적해 관리할 수 있는 ‘AI 거버넌스’도 필요하다”라고 제언했다.

마지막으로, “스마트 모빌리티 AI 신뢰성 향상 및 공격 대응을 위해 적극적으로 협력해 연구하고 대응해야 한다고 생각한다”라고 힘주어 밝혔다.