“GPU 1000장도 끊김 없이”…소버린AI 시대 주목받는 ‘인프라 OS’ 래블업

[이데일리 윤정훈 기자] “알리바바의 ‘QWEN(큐웬)’이나 오픈AI의 ‘챗GPT’를 그냥 쓰면 된다고 생각하는 것은 순진한 발상이다. 최근 중동 전쟁은 왜 ‘소버린 AI’가 필요한지 분명하게 보여줬다.”

AI 인프라 매니지먼트 플랫폼 기업 래블업의 김정묵 CRO(최고매출책임자)는 최근 이데일리와의 인터뷰에서 소버린 AI 구축은 더 이상 선택이 아니라 생존의 문제라고 강조했다. 그는 최근 이란이 아랍에미리트(UAE)와 바레인에 있는 AWS 데이터센터 3곳을 타격한 사건을 거론하며, AI 인프라를 외부 국가나 특정 기업에 의존할 때 어떤 안보 공백이 발생할 수 있는지를 단적으로 보여준 사례라고 지적했다.

김정묵 래블업 CRO가 MWC26 래블업 부스 앞에서 기념 촬영을 하고 있다(사진=윤정훈 기자)

래블업은 국내에서 유일하게 AI 인프라를 효율적으로 관리하는 ‘운영체계(OS)’급 소프트웨어를 개발하는 기업이다.

김 CRO는 “소버린 AI 시대에 ‘독자 파운데이션 모델(독파모)’을 직접 구축해본 경험은 향후 국가와 기업의 핵심 자산이 될 것”이라고 덧붙였다.

“GPU만 있다고 되는 것 아냐… 하드웨어와 데이터 잇는 ‘리소스 관리’가 핵심”

래블업은 정부가 추진하는 ‘독자 파운데이션 인공지능(AI) 모델 개발 프로젝트’에서 업스테이지 컨소시엄의 인프라 파트너로 참여해 기술력을 입증했다. SK텔레콤의 ‘해인 클러스터’ 위에서 업스테이지의 파운데이션 모델이 원활하게 학습될 수 있도록 수백장의 GPU 자원을 오케스트레이션(통합 관리)를 지원했다.

김 CRO는 “AI 개발에 있어 하드웨어만큼이나 중요한 것이 그 사이를 잇는 ‘리소스 관리 기술’”이라며 “단순히 하드웨어와 데이터가 있다고 저절로 AI가 되는 것이 아니라, 그 사이를 믿을 수 있게 메워주는 소프트웨어가 뒷받침되어야 한다”고 설명했다.

실제 래블업은 B200 GPU 504장으로 구성된 클러스터에서 1000억 매개변수 모델을 학습시키며 독보적인 내결함성 스케줄링 기술을 선보였다. 대규모 학습 시 반복되는 GPU 오류나 통신 타임아웃을 자동 감지하고 복구해, 평균 장애 복구 시간을 기존 대비 47% 단축시켰다. 특히 프로세스 재시작 시간을 3초 이내로 줄여 고가 자원의 유휴 시간을 최소화했다. 올해부터는 GPU 1,000장 규모의 대형 학습 지원까지 영역을 넓혔다.

[AI DALL-E3가 생성한 이미지]

삼성·신한·LIG넥스원이 선택한 이유...‘기술 해자’와 ‘보안’

소버린 AI의 핵심 가치는 데이터 주권과 보안이다. 김 CRO는 최근 신한은행과 방위산업체 LIG넥스원 등을 주요 고객사로 확보한 배경을 이렇게 설명했다.

김 CRO는 “금융이나 국방은 기술 유출 우려 때문에 외부 클라우드를 쓰기 어렵다”며 “신한은행의 경우 데이터가 밖으로 나가지 않도록 자체 데이터센터(온프레미스) 내에 GPU 인프라를 구축하고, 저희 소프트웨어를 통해 내부에서 자기완결적으로 AI를 운영 중”이라고 말했다.

삼성전자 역시 모바일 기술 유출 방지를 위해 갤럭시 AI 애플리케이션 개발 등에 래블업의 솔루션을 활용하고 있다. 래블업은 자체 개발한 ‘소코반(Sokoban)’ 엔진을 통해 엔비디아 GPU뿐만 아니라 인텔, AMD, 국산 NPU(리벨리온, 퓨리오사AI 등)까지 이종 반도체를 통합 관리하는 강력한 기술 해자를 구축했다. 이를 기반으로 SKT, KT클라우드, NHN클라우드 등 국내 주요 클라우드 사업자들에게도 ‘서비스형 GPU(GPUaaS)’ 기술을 공급하고 있다.

래블업은 기술력만큼이나 탄탄한 재무 구조를 갖췄다. 2015년 창업 후 2020년 이미 BEP(손익분기점)를 넘겼으며, 지난해에는 소프트웨어 라이선스 매출로만 70억 원을 기록했다. 올해는 글로벌 시장 공략의 원년으로 삼고 있다.

김 CRO는 “현재 미국 대기업과 PoC(개념 검증)를 진행 중이며, 영국 ‘보스턴 리미티드’와의 파트너십을 통해 유럽·중동·아프리카(EMEA) 진출도 본격화했다”며 “글로벌 성과에 힘입어 전년 대비 2~3배 이상의 가파른 성장을 기대한다”고 말했다.