로봇 길찾기 성능 가른 ‘정지 판단’…ETRI-KAIST, ECCV 챌린지 1위

한국전자통신연구원(ETRI)은 KAIST와 구성한 ‘URL-FRRS’ 연합팀이 컴퓨터비전 학술대회 ECCV 2026의 VLNVerse 챌린지에서 참가팀 112개 가운데 1위를 차지했다고 밝혔다. 두 종류의 주행 과제를 합산한 평균 성공률은 90.7%였다. 2위 팀과 성공률은 같았으며 제출 시각을 기준으로 순위가 갈렸다.

VLN은 영상으로 주변 공간을 인식하면서 사람이 자연어로 내린 지시를 따라 이동하는 기술이다. 이번 대회에서는 목적지만 주어진 상태에서 이동경로를 만드는 과제와 여러 단계의 이동 지시를 차례로 수행하는 과제를 평가했다.

ETRI와 KAIST 연구진은 기존 시스템의 주행 실패 가운데 목적지 도착 여부를 잘못 판단하는 문제가 성능을 떨어뜨린다고 보고 정지 판단을 보완하는 데 초점을 맞췄다.


연구진은 약 80억개 매개변수 규모의 비전·언어 모델을 내비게이션에 맞게 조정하고 정지 관련 학습 데이터를 늘렸다. 학습 과정에서는 학습률을 주기적으로 변화시키는 코사인 어닐링 재시작 기법도 적용했다.

별도의 복구 기술인 ‘CoRe-VLN’도 개발했다. 로봇이 이동을 멈추면 해당 위치에서 여러 방향의 영상을 확보한 뒤 멀티모달 AI가 지시한 장소와 일치하는지 확인한다. 목표물의 색과 재질뿐 아니라 카메라 거리정보를 이용해 실제 접근 여부도 판별한다.

검증 결과 목적지가 아닌 것으로 판단되면 새로운 탐색 경로를 만든다. 이후 이동 과정에서 목적지 후보를 다시 선정하고 AI가 최종 도착 여부를 판단한다. 기존 주행 시스템을 다시 학습하지 않고 결합할 수 있도록 설계했으며 정상적으로 목적지를 찾은 경우에는 복구 과정이 개입하지 않는다.

모델 학습과 검증에는 엔비디아 H200 GPU 32장이 사용됐다. ETRI는 정보통신산업진흥원의 첨단 GPU 활용 지원을 받아 연산 자원을 확보하고 8B급 모델 학습과 가상환경 주행 실험을 진행했다.

연구진은 이번 기술을 시각장애인용 안내로봇과 제조·물류 분야 이동 로봇에 적용할 계획이다. ETRI는 현재 KAIST 등과 국산 AI 반도체에서 비전·언어 모델을 구동하는 온디바이스 이동지능 기술도 개발하고 있다.


2029년까지 정밀지도 없이 제조·물류 현장을 이동하는 자율행동체 기술을 확보하는 것이 목표다. 서버 환경에서 검증한 이동 AI를 국산 AI 반도체에서 실시간으로 구동할 수 있도록 모델 경량화와 자율복구 기술 개발을 이어갈 예정이다.

최승민 ETRI 필드로보틱스연구실장은 “국제 무대에서 검증한 기술을 국산 AI 반도체에서 실시간으로 동작하는 온디바이스 이동지능으로 발전시켜 실제 현장에 적용하겠다”고 말했다.