삼성서울병원이 의료진의 음성 명령에 따라 수술 도구를 전달하고 내시경 시야를 조정하는 휴머노이드형 수술 보조 로봇을 공개했다.
삼성서울병원은 16일 서울 강남구 일원캠퍼스 히포크라테스홀에서 한국형 ARPA-H 수술보조로봇 연구과제 ‘ORchestra’의 두 번째 공개 시연회를 열었다.
시연은 실제 환자가 없는 모의 수술환경에서 진행됐다. 집도의 한 명과 두 대의 로봇이 수술 도구를 건네고 회수했으며, 의료진이 로봇을 실시간으로 원격조종하는 텔레오퍼레이션과 로봇핸드를 이용한 조작 동작도 선보였다.
이번 연구는 한국형 ARPA-H의 ‘효율적 수술환경 조성을 위한 휴머노이드형 피지컬 AI 수술 보조 로봇 시스템 개발(PAIR-S)’ 사업 아래 진행되는 삼성서울병원 주관 세부과제다.
세부과제의 공식 명칭은 ‘신뢰 가능한 시각·언어·행동 모델 인공지능 기반 휴머노이드형 수술 보조 로봇 개발’이다. 집도의를 도와 도구 전달과 내시경 유지, 조직 견인 등을 수행하는 지능형 수술 보조 로봇 개발을 목표로 한다.

지난 16일 삼성서울병원에서 의료진과 두 대의 이동형 양팔 로봇이 모의 수술 협업을 시연하고 있다. 실제 환자가 없는 환경에서 진행됐다.
AI 제어·원격조종 로봇 함께 운용
시연에는 레인보우로보틱스의 이동형 양팔 로봇 플랫폼 ‘RB-Y1’이 사용됐다. 바퀴형 이동장치에 두 개의 로봇팔을 결합한 구조다.
한 대는 음성 명령과 영상 인식을 기반으로 수술 도구를 전달했다. 다른 한 대는 의료진이 실시간으로 원격조종했다. 수술 판단과 통제는 의료진이 맡았다.
도구 전달에는 음성 인식과 영상 분석 기술이 적용됐다. 음성 명령을 문자로 변환하고 카메라 영상으로 트레이 위 수술 도구의 종류와 위치를 파악한 뒤 로봇이 도구를 집어 전달하는 방식이다.
내시경 보조에는 영상에서 수술 도구의 위치를 인식해 카메라가 따라가도록 하는 기술이 사용됐다. 도구가 미리 정한 영역을 벗어났을 때 내시경 위치를 조정하도록 했다.
연구진은 수술 장면을 바탕으로 다음 행동이나 필요한 도구를 예측하는 알고리즘도 개발했다고 밝혔다. 다만 개별 집도의의 수술 방식에 맞춰 로봇이 보조하도록 구현한 단계는 아니라고 설명했다.

의료진이 모의 수술대에서 이동형 양팔 로봇과 협업하는 모습을 시연하고 있다. 수술 판단과 통제는 의료진이 담당했다.
도구 5종 집기 100%·전달 98.7%
연구진은 실험실 평가에서 음성 명령 인식률과 동작 성공률이 1단계 목표치인 95%를 넘었다고 밝혔다.
수술 도구 5종을 대상으로 한 집기 성공률은 100%, 전달 성공률은 98.7%로 나타났다. 연구진에 따르면 명령을 인식한 뒤 동작을 시작하는 데 걸리는 시간은 실험환경에서 2초 이내이며, 최종 목표는 1초 이내다.
모호한 명령이나 오인식 가능성이 있으면 바로 움직이지 않고 의료진에게 다시 확인하도록 설계했다. 연구진은 정해진 위치가 아니더라도 영상으로 도구를 탐색해 전달할 수 있다고 설명했다.
연구진은 현재 수술 도구 5종 전달과 내시경 시야 이동·유지, 다음 도구 예측 등이 가능하다고 설명했다. 출혈이나 연기가 발생하는 환경에서의 인공지능 안정성 확보와 조직 견인, 절개·봉합 등은 추가 연구과제로 제시됐다.
수술 영상·의료진 동작 학습
연구팀은 영상 센서와 수술실 카메라로 의료진의 손동작과 이동 경로를 기록하고, 내시경 영상에는 수술 장면과 사용 도구, 수행 동작 등의 정보를 붙여 인공지능 학습에 활용한다.
연구진은 참여자의 동의를 받아 데이터를 수집하고 영상 속 얼굴 등 식별정보를 제거한다고 밝혔다. 데이터를 기관 밖으로 반출하거나 학습에 활용할 때는 데이터심의위원회(DRB) 심의·승인과 필요한 동의 절차를 거칠 계획이다.
2029년 첫 임상시험 목표
연구팀은 2029년 첫 임상시험을 목표로 제시했다. 내시경 유지부터 복강경 시야 조정, 조직 견인 순으로 적용 범위를 확대할 계획이다.
담낭절제술과 뇌하수체종양절제술 등을 대상으로 4개 병원에서 임상을 추진하는 방안도 검토하고 있다.
실제 환자에게 적용하기 전 대동물 전임상시험과 전기·전자파 안전성 시험 등을 진행하고 식품의약품안전처의 임상시험계획 승인과 병원 임상연구심의위원회(IRB) 심의를 받을 계획이다.
연구진은 음성 명령과 전용 페달, 버튼을 이용한 비상정지 기능과 의료진·환자와의 충돌을 막는 기술을 개발하고 있다고 밝혔다. 오작동에 따른 책임 기준은 연구 2단계에서 관계기관과 협의할 계획이다.
삼성서울병원이 연구를 총괄하며 레인보우로보틱스는 로봇 본체, 에이딘로보틱스는 그리퍼와 로봇핸드, 성균관대학교와 서울대학교는 인공지능 소프트웨어를 담당한다. 국립암센터와 전북대학교병원 등은 데이터 수집과 실증에 참여한다.