AI 토큰 90% 폭락의 역설… 기업 ‘비용 고지서’는 더 두툼해져

AI 토큰 가격이 바닥을 쳐도 기업이 지불할 비용은 오히려 늘어날 수 있다는 분석이 나왔다. 글로벌 리서치 기업 가트너(Gartner)는 2030년 1조 파라미터급 거대언어모델(LLM) 추론 단가가 2025년 대비 90% 이상 하락하더라도, 실제 기업 부담은 줄어들지 않을 수 있다고 전망했다.

윌 소머 가트너 시니어 디렉터 애널리스트는 30일 서울 브리핑에서 반도체와 인프라 효율, 모델 설계 혁신 등에 힘입어 2030년 LLM 추론 비용이 현재 대비 90% 이상 절감될 것이라고 밝혔다. 초기 세대 모델과 비교하면 비용 효율성이 최대 100배까지 개선되는 수준이다.

가트너는 최첨단 칩만 쓰는 경우와 기존 칩을 혼용하는 경우를 나눠 분석했는데, 저성능 칩 비중이 높을수록 전체 비용 부담이 다시 커지는 것으로 나타났다.

토큰 단가 하락 비웃는 AI 에이전트의 ‘폭식’
단가 하락이 곧바로 비용 절감으로 이어지지 않는 이유는 사용량 폭증 때문이다. 스스로 판단해 여러 시스템을 오가며 작업하는 ‘AI 에이전트’는 단순 질의응답형 챗봇보다 작업당 최소 5배에서 최대 30배 많은 토큰을 소모하는 것으로 가트너는 추정한다.

토큰 가격이 떨어지는 속도보다 사용량이 늘어나는 속도가 더 빠르면, 기업이 부담하는 전체 추론 비용은 오히려 늘어날 수 있다는 얘기다.

소머 애널리스트는 “제품 총괄 책임자들은 단가 하락을 곧 ‘고급 AI의 공짜화’로 오해해서는 안 된다”며 “기본 기능은 제로 비용에 가까워질 수 있지만, 고급 추론 자원은 여전히 희소한 자원이 될 것”이라고 말했다. 값싼 토큰에 안주해 비효율적인 설계를 방치한 기업은, AI 에이전트를 본격 확장하는 단계에서 인프라와 비용 한계에 부딪힐 수 있다는 경고다.

단일 모델 환상 버려야… ‘멀티 모델 오케스트레이션’이 해답
가트너는 AI 경쟁력의 기준이 ‘모델 크기’에서 ‘여러 모델을 얼마나 효율적으로 섞어 쓰느냐’로 옮겨가고 있다고 진단한다. 반복적이고 규칙적인 업무는 경량 모델(sLLM)이나 도메인 특화 모델에 맡기고, 비싼 프런티어급 모델은 복잡하고 고부가가치가 큰 작업에만 아껴 쓰는 ‘멀티 모델 오케스트레이션’ 전략이 필수라는 것이다.

이를 위해서는 개별 모델의 성능뿐 아니라, 어떤 워크로드를 어떤 모델로 라우팅할지 결정하는 정책, 프롬프트·컨텍스트 길이를 동적으로 조정하는 기술, 에이전트가 여러 모델과 도구를 호출하는 순서를 최적화하는 아키텍처가 중요해진다.

소머 애널리스트는 “토큰 단가 인하 경쟁은 결국 한계가 있다”며 “장기적으로는 어떤 작업에 어떤 모델을 언제 쓰느냐를 잘 조율하는 기업이 AI 비용과 성능의 균형을 잡게 될 것”이라고 강조했다.

산업통상자원부와 관계 부처도 국내 기업이 워크로드별 최적 모델을 배치·운영하는 기술 역량을 쌓을 수 있도록 지원 체계를 재설계할 필요가 있다는 지적이 나온다.

단가는 낮아져도 총 사용량은 기하급수적으로 늘어나는 ‘AI 역설’을 이겨내기 위해서는, 토큰 가격이 아니라 전체 시스템 설계와 데이터·모델 오케스트레이션 관점에서 비용 구조를 다시 짜야 할 시점이라는 의미다.