NC AI가 한국어 기반 멀티모달 AI 기술력을 집약한 VARCO-VISION 2.0, 총 4종(14B / 1.7B / 1.7B OCR / Video-Embedding)의 멀티모달 AI 모델을 오픈소스로 공개한다고 발표했다.
NC AI는 오픈소스 텍스트 모델을 기반으로 추가학습을 통해 멀티모달 모델을 구축, 최고 수준의 한국어 성능을 바탕으로 이미지와 텍스트를 함께 이해하는 능력을 갖춘 차세대 인공지능 모델을 선보였다.
특히 VARCO-VISION 2.0 14B는 글로벌 오픈소스 VLM((비전언어모델) 최고 성능으로 알려진 InternVL3-14B(140억 파라미터)와 알리바바의 Ovis2-16B, Qwen2.5-VL 7B를 능가하는 성과를 달성했다. 4종의 모델 중 14B와 임베딩 모델 2종은 오늘, 1.7B와 OCR모델은 차주 중 공개 예정이다.
NC AI의 VARCO-VISION 2.0은 이미지와 텍스트를 함께 이해해 질문에 답할 수 있는 차세대 인공지능 모델로, 여러 장의 이미지를 동시에 분석할 수 있어 복잡한 문서나 표, 차트도 효과적으로 처리할 수 있다는 점이 핵심 차별화 요소다. 한국어와 영어 모두 자연스럽게 이해할 수 있으며, 특히 텍스트 생성 능력과 한국 문화에 대한 이해도를 크게 향상시켰다.
특히 오늘 공개된 14B모델의 경우 멀티모달 AI로 기존 최고 성능으로 알려진 InternVL3-14B, Ovis2-16B, Qwen2.5-VL 7B 등 동급 모델들을 영문 이미지 이해, 한국어 이미지 이해, OCR 벤치마크 등 다양한 벤치마크에서 능가하며, 멀티모달 AI에서도 소버린AI의 가능성을 확인했다.
NC AI는 개인과 산업의 활용도를 실질적으로 높이기 위해 14B 파라미터 모델과 함께 1.7B 파라미터 경량 모델을 동시에 제공한다. 14B 모델은 복잡한 멀티이미지 분석과 고도화된 추론이 필요한 업무용 환경에 최적화되어 있으며, 1.7B 경량 모델은 스마트폰이나 PC 등 개인 기기에서도 원활하게 동작할 수 있도록 설계됐다.
이미지 내 문자를 인식하는 광학 문자 인식 작업에 특화된 모델인 VARCO-VISION-1.7B-OCR도 내놓았다. 기존 OCR(광학문자판독) 모델들과 달리 이미지와 언어 정보를 동시에 학습한 VLM기반 접근 방식을 채택, 기존 오픈소스 OCR 모델 대비 한국어 OCR 능력이 더 높은 것으로 확인됐다.
이 모델의 가장 큰 특징은 AnyRes 해상도 분할 입력 방식을 적용한 것으로, 입력 이미지를 다수의 조각으로 나누고 각 부분에서 높은 해상도 정보를 생성하는 구조를 통해 다양한 해상도의 이미지를 손실 없이 효율적으로 처리한다. 특히 노이즈나 흐림 등이 포함된 어려운 환경에서도 이미지의 전반적인 분위기나 시각적 단서를 바탕으로 정밀하게 글자를 인식할 수 있어, 한국어-영어 혼합 환경에서도 높은 인식 정확도를 보여준다.
마지막으로 멀티모달 임베딩 모델 VARCO-VISION-Embedding은 텍스트, 이미지, 비디오 간의 의미적 유사도를 고차원 임베딩 공간에서 정밀하게 계산한다. 임베딩이란 영상의 내용을 숫자로 변환해서 저장하는 것으로, 이 기술을 통해 사용자의 자연어 질의에 따라 동영상 콘텐츠를 고차원 임베딩으로 변환하고, 이 임베딩 간의 거리나 유사도를 기반으로 관련성 높은 이미지나 비디오를 검색할 수 있다.
특히 검색 벡터 개념을 도입, 기술적 차별점을 극대화 함으로써 비디오 검색 벤치마크(MultiVENT2.0) 제로샷 기준 최고 성능 모델로 등극했다. 이미 잘 만들어진 검색 AI의 능력을 복사해서 영상 검색 AI에 그 능력을 더해주는 방식을 적용, 기존 이미지-텍스트 검색에 특화된 고성능 모델의 가중치 차이를 계산해 도출한 벡터를 파인튜닝된 비디오-텍스트 모델에 덧셈 방식으로 적용해 추가 학습 없이도 검색 성능을 강화했다.
이번에 공개된 4종의 모델은 금융, 교육, 문화, 쇼핑, 제조 등 다양한 도메인에서 활용 가능하며, NC AI는 이번에 공개하는 4종 모델 모두를 연구용 오픈소스로 공개한다고 밝혔다. 기업과 개인, 공공기관 누구나 활용할 수 있다.
|
[영상] 24년 하드웨어 전문기자가 바라는 새정부의 소버린 AI 정책의 방향, 칩부터 모델링 산업융합까지 우리 것으로 
