AI 반도체 성공, '칩' 넘어 '추론 시스템' 전환이 관건… "수직 통합 실증 서둘러야"

AI 기술의 중심이 ‘학습’에서 ‘추론’으로 이동함에 따라, 국산 AI 반도체(NPU)의 경쟁력을 하드웨어 단품이 아닌 시스템 전체의 효율성을 높일 ‘추론 인프라’ 관점에서 재정립해야 한다는 목소리가 높다.

6일 국회의원회관에서 개최된 ‘소버린 AI와 AI 반도체: 추론 인프라 국가전략 토론회’에서 전문가들은 엔비디아가 장악한 생태계에 대응하기 위해 소프트웨어와 연결 기술을 아우르는 수직 통합적 접근이 필수적이라고 제언했다.

발제를 맡은 이진호 서울대 교수는 엔비디아의 독점을 단순 시장 선점을 넘어 차세대 AI 반도체의 강점을 GPU 내부로 흡수하며 진화하는 ‘무빙 타겟’으로 규정했다. 과거 전용 칩의 전유물이던 양자화와 저정밀 연산 기능이 GPU에 통합되면서 후발 주자의 진입 장벽이 한층 높아졌다는 진단이다.

이 교수는 “하드웨어 성능에만 집중하기보다는 국산 NPU를 중심으로 전용 컴파일러 등 소프트웨어 스택과 초고속 인터커넥트를 함께 확보해 자생적 선순환 구조를 구축해야 한다”고 제언했다.

현장에서는 NPU 도입 과정에서의 실질적 한계도 공유됐다. 권세중 네이버클라우드 이사는 “서비스가 정상적으로 구동되지 않는 경우, 서비스 기업과 레퍼런스, 칩 기업의 문제가 복합적으로 얽혀 있는 경우가 많다”며 “수학적 정확도뿐 아니라 서비스 관점에서의 유효성을 판단할 수 있는 협력 체계가 갖춰져야 상용화가 가능하다”고 말했다.

국산 NPU 개발사 퓨리오사AI의 김동건 PM은 인스트럭션(Instruction) 레벨 최적화를 대안으로 제시했다. 그는 “올해 초 양산에 돌입했으며, 가상 ISA(Virtual ISA) 등 다양한 레이어의 API를 제공해 개발자가 로우 레벨까지 제어할 수 있는 환경을 구축하고 있다”고 밝혔다.

정부도 이러한 흐름을 반영해 정책 방향을 구체화하고 있다. 이강용 과기정통부 정보통신방송기술정책과장은 “단순한 칩 개발을 넘어 하드웨어부터 서비스 유스케이스까지 일괄 검증하는 ‘풀스택 실증’ 사업을 대규모로 추진할 계획”이라며 “2027년부터 시작되는 차세대 NPU 개발 사업에서도 소프트웨어와 모델 연계성을 대폭 강화하겠다”고 말했다.

토론회를 주최한 이훈기 의원은 개회사를 통해 AI 확산 국면에서 인프라 자립의 엄중함을 역설했다. 해당 의원은 “소버린 AI의 본질은 해외 의존도를 낮추고 독자 생태계를 세우는 데 있다”며 “AI 반도체는 단순 제조 부품이 아닌 국가 안보와 직결된 핵심 자산인 만큼, 국회 차원의 입법과 예산 지원에 최우선 순위를 두겠다”고 말했다.