“기업 AI 성능, 결국 데이터가 좌우”… 크라우드웍스, 전처리 기술 시연

크라우드웍스가 6일부터 8일까지 서울 코엑스에서 열린 ‘AI EXPO KOREA 2026(국제인공지능대전)’에서 기업용 AI 솔루션 구축을 위한 데이터 전처리 기술 및 검수 플랫폼을 시연했다.

크라우드웍스는 이번 전시에서 검색증강생성(RAG) 시스템 도입 시 발생하는 성능 저하 현상을 겨냥해 자체 개발한 데이터 파싱 솔루션 ‘알피 노리지 컴파일러(Alpy Knowledge Compiler)’를 전면에 내세웠다.

해당 솔루션은 기업 내부의 PDF, 워드 등 비정형 문서를 AI가 즉시 학습할 수 있는 데이터로 변환하는 기술이다. 크라우드웍스 관계자는 “파싱 과정에서 문서의 신뢰도와 복잡도를 수치화하는 지표화 기술은 자사의 특허 기술”이라고 소개했다.

이어 “문서 안에 여러 표가 삽입되는 등 문서복잡도가 높게 분류되면 페이지를 별도 관리할 수 있다”며 “이를 통해 대규모언어모델(LLM)이 문서를 잘못 해석할 가능성을 사전에 분석하고, 고난도 구간에는 추가 검수 절차를 적용하는 방식”이라고 설명했다.

AI가 시스템적으로 처리하지 못하는 정교한 검수 영역은 크라우드웍스가 보유한 66만 명 규모의 데이터 라벨러 풀을 통해 하이브리드 방식으로 해결한다. 회사 관계자에 따르면, 이들은 금융과 건설 등 각 산업 도메인에서 15~20년 이상 실무를 경험한 전문가 집단으로 구성됐다.

이러한 인적 검수 과정은 함께 전시된 정밀 데이터 구축 플랫폼 ‘워크스테이지(Workstage)’와 연계된다. 워크스테이지는 복잡한 데이터의 수집부터 가공, 검수까지 전 과정을 관리하는 플랫폼이다.

관계자는 “기업용 AI의 실효성은 내부 데이터를 얼마나 정확하게 정제해 학습시키느냐에 달렸다”며 “보안과 정확성이 필수적인 산업군을 중심으로 커스텀 파싱 기술과 데이터 검수 플랫폼 공급을 확대할 계획”이라고 밝혔다.