XAI 향해 전진하는 인공지능 기술…‘설명가능성’ 필수인 시대

인류에게 두 손의 자유를 허락하며 편리함을 강조한 기술인 ‘자율주행차’에도 위험한 이면은 존재한다.

자율주행 분야의 기반 기술인 인공지능(AI)이 ‘설명 가능성’을 확보하지 못한다면 자율주행차는 곧 ‘묻지마 살인자동차’로 전락하고 말 것이기 때문이다.

‘2020 AI 레볼루션’이 한국미래기술교육연구원(KECFT)의 주최로 17일 중소기업중앙회관에서 개최됐다.

‘설명가능성을 확보한 AI’를 업계는 XAI(explainable AI)로 통칭한다. AI를 향한 사회의 기대치가 더욱 높아지고 있는 시점에서 XAI의 필요성은 더욱 두드러진다.

한국과학기술원의 유보선 박사는 “2018년, 우버(UBER)의 자율주행차가 사람을 치여 사망하는 사고가 발생했다”라며 “그 누구도 이 사고의 원인을 파악하지 못했다”라고 말했다.

이에 인식한 이미지로부터 AI가 내린 결론에 대해 픽셀로 거슬러 올라가 그 근거를 찾는, 즉 ‘설명가능성’ 확보를 위한 기술 개발이 활발히 진행 중에 있다.

유 박사는 LRP(Layer-wise Relevance Pr RAP(Relative Attribution Propagation)의 두 기술을 소개했다. RAP는 LRP의 단점을 개선한 기술이다. 육안으로도 RAP의 결과물이 LRP보다 훨씬 선명하며 정확한 것을 확인할 수 있었다.

자율주행 분야에서 가장 중요한 기술은 도로 상황을 파악·분별하는 ‘Semantic Segmentation’ 기술이다. 해당 기술은 카메라를 통해 인식된 이미지로부터 도로와 나무, 표지판과 사람 등을 구별해 집합화하는 기술로, AI의 비주얼 메이킹 과정에 해당한다.

유 박사는 “Semantic Segmentation의 과정에서 LRP와 RAP 등의 기술을 적용해 더욱 탄탄한 XAI를 개발하는 것이 AI 업계가 향후 바라봐야 할 발전 방향”이라고 당부했다.

이어 그는 “‘왜’에 초점을 둬야한다. AI가 ‘왜’ 이 사물을 나무로 인식했는지, AI가 ‘왜’ 이 부분을 무시했는지에 대한 근거를 찾는 작업이 선결돼야 곧 안전하고 신뢰할 수 있는 XAI 시대가 도래할 것”이라고 주장했다.