국내 서버 시장, AI 열풍 속 '폭발적 성장'…GPU 서버가 45% 비중 차지

지난해 국내 서버 시장은 생성형 AI 수요 확산과 GPU 서버 도입 증가에 힘입어 전년 대비 72.7% 증가한 5조1,425억원 규모로 급성장한 것으로 나타났다. 이는 하드웨어 공급 안정화, 기업의 IT 재투자 움직임, 그리고 AI 중심의 컴퓨팅 패러다임 변화가 맞물린 결과로 분석된다.

IT 시장 분석기관 한국IDC는 4일 발간한 ‘국내 서버 컴핏 보고서’를 통해 GPU 서버가 2023년에 이어 2024년에도 세 자릿수 성장을 기록하며 전체 시장 성장을 주도했다고 밝혔다. 특히 고가의 8 GPU 서버 수요가 늘면서 전체 서버 시장에서 GPU 서버가 차지하는 비중은 2023년 26.2%에서 2024년 45%로 확대됐다. 같은 기간 non-GPU 서버도 29.6% 성장했다.

보고서는 팬데믹 이후 지연됐던 제조·디지털 서비스 업계의 랙서버 도입이 재개된 점도 non-GPU 시장 성장의 배경으로 꼽았다. 한편, 생성형 AI 확산과 대규모 모델 학습·추론 환경에 최적화된 GPU 서버 수요가 늘면서 서버 산업 내 GPU 중심 구조 재편이 가속화되고 있다. CPU 중심의 전통적 인프라에서 벗어나 병렬 연산에 강한 GPU가 주력으로 떠오른 것이다.

시장 내 GPU 영향력이 커지는 가운데, NVIDIA는 하드웨어와 CUDA 생태계를 아우르는 독점적 기술력으로 시장을 선도하고 있으며, 국내 기업 다수는 이에 맞춰 AI 인프라를 설계하고 있다.

x86 서버 시장도 성장세를 이어갔다. 2024년 기준 국내 x86 서버 매출은 4조7,215억원으로, 전년 대비 75.6% 증가했다. 가격 대비 성능 개선과 클라우드 확산 영향으로 x86 아키텍처는 전체 시장의 90% 이상을 차지하며 주류로 자리매김했다.


한편 non-x86 서버 시장도 전년 대비 45.7% 증가한 4,210억원을 기록했다. 글로벌 하이퍼스케일러 중심의 ARM 서버 도입이 주요 요인으로 지목됐으며, 금융·공공·국방 등 민감한 시스템에서는 여전히 Unix 등 non-x86 인프라가 유지되고 있는 상황이다. 기술적 전환의 리스크와 운영 안정성 확보를 이유로 일부 산업은 전환을 보류하고 있는 것으로 분석된다.

한국IDC 김민철 수석연구원은 “AI 인프라 도입이 기업의 미래 경쟁력 확보를 위한 전략이라면, 기존 IT 인프라 유지·보수는 현재 운영 안정성을 지키는 필수 작업”이라며, “GPU 중심 투자뿐 아니라 노후 장비 교체와 시스템 기술 지원에도 균형 잡힌 예산 배분이 요구된다”고 강조했다.