텍스트·이미지·비디오까지…NC AI, ‘멀티모달 4종’ 전격 공개

[이데일리 김현아 기자] NC소프트(엔씨소프트(036570))의 AI 전문 자회사 NC AI는 16일 텍스트와 이미지는 물론 비디오 이해까지 가능한 멀티모달 AI 모델 ‘VARCO-VISION 2.0(바르코 비전 2.0) ’ 시리즈 4종을 공개했다.

회사는 이번 모델은 글로벌 최고 성능으로 평가받는 InternVL3, Ovis2, Qwen2.5-VL을 능가했으며, 특히 14B 파라미터 모델은 세계 최상위 비전언어모델(VLM)로 자리매김했다고 밝혔다.

이 발표는 한국어 특화 모델의 경쟁력을 입증함과 동시에, 정부가 추진 중인 ‘소버린AI’ 전략에 NC AI가 본격적인 기술 파트너로 나서겠다는 신호탄으로 보인다.

멀티모달 4종 모델 공개

NC AI가 공개한 모델은 총 4종이다. VARCO-VISION 2.0 14B는 이미지+텍스트 통합 이해가 가능한 플래그십 모델이다. 복잡한 문서, 차트, 표 등도 효과적으로 분석할 수 있다. 영문은 물론 한국어 이미지 이해와 OCR 성능에서도 InternVL3-14B, Ovis2-16B, Qwen2.5-VL 7B를 초월했다.

VARCO-VISION 2.0 1.7B (경량 모델)는 스마트폰·PC 등 개인 디바이스에서도 동작 가능한 모델이다. AI 기술의 접근성과 활용도 확대에 초점을 맞췄다. 다음주 오픈소스로 공개할 예정이다.

VARCO-VISION 2.0 1.7B 광학문자판독(OCR)특화 모델은 한·영 혼합 환경에서도 탁월한 광학문자인식 성능을 확보했다. 이미지 분할 기반 AnyRes 구조 적용, 흐린 이미지 등도 정밀 인식이 가능하다. AnyRes는 입력 이미지의 해상도에 제약 없이, 원본 이미지를 분할해 고해상도 정보 유지한 채 처리한다.

VARCO-VISION Embedding (텍스트·이미지·비디오 통합 임베딩 모델)은 영상, 이미지, 텍스트를 고차원 임베딩 공간에서 의미적 유사도로 매핑한다. 비디오 검색 벤치마크(MultiVENT2.0)에서 제로샷 기준 최고 성능을 기록한다. 벡터 차이 연산을 활용해 별도 추가 학습 없이도 이미지 검색 AI 성능을 영상 분야에 자연스럽게 확장할 수 있다.

주문서 디지털화, 비디오 자동 자막 등 가능

이번 4종 모델은 단순 기술 성능을 넘어, 산업 현장에서의 실질적 활용성에 초점을 맞췄다. 주요 활용 분야는 다음과 같다.

금융·제조·헬스케어 분야에서는 문서 자동 분석, 광학문서판독(OCR) 기반 청구서·주문서 디지털화가 가능하다.

콘텐츠·미디어 분야는 비디오 자연어 검색, 광고 카피 생성, 자동 번역·자막이 가능하다.

커머스 분야는 제품 이미지 기반 자동 설명 생성 및 분류가 가능하다.

4종 모델 모두 연구용 오픈소스로 배포해 전국민 AI 생태계에 기여한다는 점도 주목할 만하다. 연구자·기업·공공기관 누구나 활용 가능하며, 기술 민주화를 위한 전략적 행보로 풀이된다.

기술 내재화부터 정부 LLM 과제 도전까지

NC AI는 이번 발표를 계기로 독자 AI 생태계 구축에 본격적으로 나선다.

자체 개발한 ‘바르코’ 모델을 기반으로 패션, 미디어, 게임 등의 분야에서 AI 전환(AX)을 본격화할 예정이다. 이미지 기반 분석이 가능한 패션AI, 방송사와 협업 중인 미디어AI, 실시간 번역 가능한 게임AI 등 산업특화형 AI 플랫폼을 개발중이다.

아울러 7월 21일 마감되는 정부 LLM 국책 과제 ‘독자 파운데이션 모델 개발’에도 유형1으로 도전할 것으로 전해졌다.

이연수 NC AI 대표는 “멀티모달은 이제 선택이 아닌 기술 진화의 필연”이라며 “VARCO-VISION 2.0은 한국어 특화 성능과 글로벌 톱 수준 기술력을 동시에 확보한 대표 사례”라고 강조했다.

이어 “미디어, 게임, 패션 등 버티컬 AI를 리딩해온 NC AI는 비전언어모델(VLM)에서도 한국 기술의 자주권을 지켜낼 수 있다는 가능성을 이번에 보여줬다”고 덧붙였다.