ETRI·GIST, 환경정보 선택 조회하는 로봇 AI 개발

한국전자통신연구원(ETRI)과 광주과학기술원(GIST)이 주변 환경정보를 저장하고 작업에 필요한 내용만 찾아 행동 계획에 반영하는 인공지능(AI) 에이전트 기술을 개발했다.
ETRI 최재우 선임연구원이 로봇이 주변을 직접 관측하며 기억을 쌓아가는 과정을 설명하고 있다

ETRI는 환경을 직접 관측하는 과정과 저장된 정보를 선택적으로 조회하는 과정을 결합한 ‘씬쿼리플래너(SceneQueryPlanner)’를 개발했다고 26일 밝혔다.

이 기술은 방과 가구, 물체의 위치·재질·상태 등을 3차원 장면 그래프로 관리한다. 공간과 물체를 계층 및 관계에 따라 정리한 구조로, 새로운 정보를 관측하면 저장 내용을 갱신한다.

기존 AI 에이전트는 관측한 환경정보를 긴 문장 형태로 한꺼번에 전달받아 작업을 계획했다. 이 방식은 정보가 누적될수록 필요한 내용을 찾기 어렵고, 관측 정보가 부족할 때 언어모델의 사전 지식에 의존해 판단할 수 있다는 한계가 있었다.

연구진이 공개한 씬쿼리플래너와 앳플랜-벤치 코드 저장소 화면

연구진은 주변을 직접 살펴 정보를 확보하는 ‘환경 그라운딩’과 저장된 정보에서 필요한 내용을 조회하는 ‘메모리 그라운딩’을 결합했다. 전체 정보를 매번 읽는 대신 현재 작업과 관련된 물체의 속성이나 위치관계를 찾아 활용하는 방식이다. 에이전트는 이를 바탕으로 수행할 행동과 추가로 확인할 정보를 함께 계획한다. [aclanthology](https://aclanthology.org/2026.findings-emnlp.16/)

예를 들어 식탁 위 유리컵과 플라스틱 컵을 서로 다른 장소에 정리하라는 지시를 받으면, 컵의 위치를 확인하고 저장된 재질 정보를 조회한 뒤 이동 경로와 작업 순서를 정한다. 물체의 종류뿐 아니라 재질과 상태를 구분해야 하는 작업에 대응하도록 설계됐다.

연구진은 성능 평가를 위해 가정환경의 복합작업을 다루는 ‘앳플랜-벤치(AttPlan-Bench)’도 개발했다. 여러 방을 이동하며 물건을 옮기거나 데우고 식히기, 청소하기, 기기 켜고 끄기 등 10가지 작업 유형으로 구성했다. 재질·상태·위치관계를 활용해야 하는 속성 기반 작업도 별도로 평가했다.

기존 ‘리액트(ReAct)’ 방식과 비교한 실험에서 메타 라마 3.1의 작업 성공률은 46.8%에서 69.6%로 22.8%포인트 높아졌다. 알리바바 큐원 2.5에서는 44.0%에서 68.0%로 24.0%포인트 상승했다. 오픈AI GPT-4o를 적용한 실험에서도 기존 방식보다 높은 성공률을 기록했으며, 속성 기반 복합작업에서는 17.2%포인트 향상됐다.


이번 평가 결과는 실제 생활공간에 배치된 로봇의 성능을 검증한 결과와는 구분된다. 연구진은 향후 카메라와 센서가 제공하는 불완전한 관측 정보를 처리할 수 있도록 기술을 보완하고, 실제 로봇 환경으로 적용 범위를 확대할 계획이다.

ETRI 소셜로보틱스연구실 최재우 선임연구원은 “이번 기술은 로봇이 관측한 환경정보를 체계적으로 기억하고, 필요한 순간에 스스로 찾아 활용하도록 한 것이 핵심”이라고 말했다.

연구 결과는 지난 25일 자연어처리 분야 국제학술대회 ‘EMNLP 2026’의 Findings에서 발표됐다.