AI가 일할수록 커지는 통제 과제…가트너 2027 기술 전망의 의미

인공지능(AI)이 코드를 만들고 업무를 실행하는 속도가 빨라질수록 기업이 관리해야 할 범위도 넓어진다. 결과물의 품질뿐 아니라 AI가 어떤 정보를 근거로 판단하고, 누구의 권한으로 실행하며, 오류가 발생했을 때 어떻게 멈추거나 되돌릴 것인지까지 정해야 한다.


가트너가 20일 발표한 ‘2027년 10대 전략 기술 트렌드’에는 수치·음성·물리 환경을 다루는 AI 모델과 함께 에이전트의 권한, 소프트웨어 개발 과정, 보안 대응을 관리하는 기술이 포함됐다. AI에 맡길 수 있는 일을 넓히는 것과 그 행동을 통제하는 것이 함께 과제로 떠오른 셈이다.

업무 맥락과 실행 권한, 각각 설계해야
AI가 일반적인 질문에 정확하게 답하더라도 기업의 규정과 데이터 간 관계를 이해하지 못하면 업무에 맞는 판단을 내리기 어렵다. 가트너가 선정한 ‘AI 컨텍스트 플랫폼’은 에이전트가 입력을 해석하고 조직의 목표에 맞춰 행동하는 데 필요한 맥락 정보를 제공하는 기술이다.

가트너는 이러한 정보 계층이 부족할 경우 에이전트에 필요 이상의 권한이 부여되거나 규제 준수와 신뢰성에 문제가 생길 수 있다고 설명했다. 모델을 선택하고 사내 데이터를 연결하는 것만큼, 업무 기준과 정보의 관계를 AI가 활용할 수 있도록 정리하는 일이 중요해지는 이유다.

무엇을 알고 판단하는지와 무엇을 실행할 수 있는지는 별개의 문제다. ‘AI 에이전트 신원’은 사람을 대신해 일하는 에이전트의 행동을 자격 증명 및 접근 권한과 연결한다. 폭넓은 권한을 가진 고정 자격 증명 대신 정책과 상황에 따라 접근 범위를 조절하는 방식이다.

업무 맥락이 판단의 근거라면 신원과 권한은 실행의 경계다. 두 요소를 함께 관리해야 잘못된 판단과 권한 오용에 대응할 수 있다.

코드 생성 속도보다 검증 비용이 중요해져
AI가 코드를 빠르게 작성해도 사람이 결과를 일일이 검토하고 수정하는 데 많은 시간을 쓴다면 개발 효율은 기대에 미치지 못한다. 코드 작성 단계에서 줄인 시간이 검증 과정에서 다시 소요될 수 있다.

가트너가 제시한 ‘AI 코딩 에이전트 하네스’는 소프트웨어 개발 과정에서 자율적으로 작동하는 에이전트의 행동을 관리하는 폐루프 제어 시스템이다. 실행 결과를 점검하고 그 결과를 다시 제어 과정에 반영한다.

개발 조직은 코드 생성량과 함께 검토 시간, 수정 작업, 오류 대응 비용을 살펴야 한다. 자동화가 실제 생산성 향상으로 이어졌는지는 코드가 만들어진 속도보다 검증을 거쳐 사용할 수 있게 되는 과정에서 드러난다.

보안 분야의 ‘자율형 노출 개선’도 발견에서 실행으로 관리 범위를 넓힌다. 기업의 디지털 환경에서 취약점을 찾고 위험의 우선순위를 정한 뒤, 패치나 가상 패치를 시험해 운영 환경에 적용하는 기술이다. AI가 권고안을 작성하는 수준을 넘어 시스템 변경에 관여할수록 적용 결과를 확인하고 필요할 때 개입할 수 있는 체계가 중요해진다.

수치·음성·물리 환경으로 넓어지는 AI 모델
가트너의 목록에는 대규모 정량 모델, 음성 추론 모델, 월드 모델도 포함됐다. 텍스트 생성에 집중됐던 AI 활용을 수치 분석과 대화, 물리적 상황 예측으로 넓히는 기술들이다.

대규모 정량 모델은 수치 데이터를 처리·분석해 시뮬레이션에 기반한 의사결정을 지원한다. 음성 추론 모델은 오디오를 직접 분석하면서 대화의 흐름과 의도를 파악하고 다음 행동을 판단한다. 월드 모델은 공간과 시간, 인과관계를 바탕으로 가능한 상황과 결과를 예측한다. 로봇이나 자율주행 시스템이 행동에 나서기 전 주변 환경의 변화를 가늠하는 데 활용할 수 있다.

세 기술은 적용 대상이 다른 만큼 성능을 판단하는 기준도 달라진다. 수치 분석에서는 계산의 정확성과 재현성이, 음성 업무에서는 의도 파악과 응답의 적절성이 중요하다. 물리적 행동으로 이어지는 시스템은 환경 변화와 안전성까지 평가해야 한다. 기술 분야의 발전 가능성과 개별 제품이 실제 업무 조건에서 입증한 성능을 구분하는 일도 필요하다.

공급업체 선택만큼 전환 가능성도 중요
기업의 AI 활용이 늘면 모델뿐 아니라 데이터베이스와 개발 도구, 운영 환경에 대한 의존도도 높아진다. 가트너가 선정한 ‘소버린 테크’는 핵심 공급업체와의 관계가 달라졌을 때도 기술을 계속 사용하거나 다른 환경으로 옮길 수 있는 선택지를 다룬다.

이는 자국산 제품을 쓰거나 데이터를 국내에 보관하는 문제에만 국한되지 않는다. 계약 조건이나 운영 환경이 바뀌었을 때 시스템을 얼마나 오래 유지할 수 있고, 다른 공급업체로 이전하는 데 시간과 비용이 얼마나 드는지도 기술 선택의 기준이 된다.

‘일회성 애플리케이션’은 소프트웨어의 수명에 대한 접근을 바꾼다. 특정 업무를 위해 만들고 목적이 달성되거나 필요가 사라지면 사용을 끝내도록 설계한 애플리케이션이다. 모든 소프트웨어를 오래 유지할 자산으로 두는 대신 업무 목적과 사용 기간에 맞춰 개발·운영하는 방식이다.

같은 기술 목록이라도 도입 시점은 달라
가트너의 10대 기술을 같은 시점에 도입할 투자 목록으로 볼 수는 없다. 에이전트의 접근 권한과 코드 검증처럼 현재의 운영체계에 연결되는 기술이 있는 반면, 장기적인 연구와 성능 검증이 필요한 영역도 있다.

‘서비스형 웻웨어’는 생체 또는 합성 생물학 시스템을 계산 자원으로 활용하고 이를 클라우드를 통해 원격 이용하는 방식이다. 가트너는 생물학적 계산 방식이 장기적으로 AI 컴퓨팅의 에너지 부담을 줄일 가능성에 주목했다. 기업 업무에 적용하려면 처리 성능과 안정성, 운영 조건에 대한 검증이 뒤따라야 한다.

기업의 도입 순서는 기술 목록보다 현재의 업무와 위험에 따라 달라진다. 당장 AI가 행사하는 권한과 생성한 코드의 품질을 관리하는 일, 공급업체를 바꿔야 할 때 업무를 지속할 수 있는 조건을 마련하는 일이 각각 구체적인 과제다.

가트너의 전망을 관통하는 질문은 AI에 얼마나 많은 일을 맡길 것인가에 그치지 않는다. 판단에 쓰인 정보와 실행 권한을 어떻게 관리하고, 결과를 누가 검증할 것인가. AI가 맡는 업무가 늘어날수록 판단 근거와 실행 권한을 관리하고 결과를 검증하는 운영 역량이 기업의 경쟁력을 좌우할 수 있다.