국내 생성형 인공지능(AI) 전문 기업 딥브레인AI(대표 장세영)는 XR 기반 메타버스 서비스 목적의 3D AI 휴먼 NPC(Non-Player Character) 인터페이스 개발도구인 ‘페르소나 XR AI 휴먼 SDK’ 개발을 완료했다고 15일 밝혔다.
가상현실(VR)•증강현실(AR) 등 확장현실(XR) 콘텐츠에서는 이용자와 상호작용이 몰입도를 높이는 핵심 요소다. 딥브레인AI는 자체 개발한 고속 음성합성(TTS) 기술, 음소 단위 립싱크 엔진, 거대언어모델(LLM) 기반 발화 생성 기술을 적용해 이용자의 질문에 즉각 반응하는 실시간 대화형 AI 휴먼 NPC를 구현했다.
해당 SDK는 유니티(Unity) 기반 플러그인 형태로 제공돼 XR 콘텐츠 개발자가 음성 대화가 가능한 AI 휴먼 NPC를 기존 콘텐츠에 손쉽게 적용할 수 있도록 설계됐다. 개발자는 NPC의 성별과 외형, 음성, 제스처, 페르소나를 자유롭게 설정할 수 있으며, 답변을 생성하는 인공지능 모델도 콘텐츠의 목적과 분위기에 맞게 교체 가능하다. 윈도우와 맥OS는 물론 안드로이드 기반 모바일 XR 기기까지 지원한다.
NPC의 표정과 몸짓, 목소리 등은 설정된 페르소나를 기반으로 구현된다. 개발자가 NPC의 역할과 성격을 정의하면 적합한 표정, 동작, 음성이 함께 적용된다. 딥브레인AI의 감정 인식 기술과 연동해 이용자의 질문 내용과 표정, 목소리 등을 실시간으로 분석하고 상황에 맞는 감정 표현을 담은 응답도 구현한다.
발화 내용과 화법 역시 거대언어모델을 활용해 설정된 페르소나와 대화 맥락에 맞게 생성된다. 시나리오 기반 학습을 거친 표준 모델을 통해 상황이 달라져도 일관된 캐릭터를 유지하도록 제어한다.
딥브레인AI는 사람의 얼굴과 목소리를 실제처럼 구현하는 AI 휴먼 ‘토킹헤드’ 기술 관련 원천특허를 보유한 국내 1위 AI 휴먼 솔루션 기업이다. 자체 개발한 합성 모델은 지난해 7월 KOLAS 공인시험기관 평가에서 글로벌•국내 주요 AI 휴먼 제품과 비교해 영상 품질, 립싱크 정확도, 발음 정확도 등 핵심 항목에서 가장 우수한 성능을 기록했다.
또한 2022년 정보통신산업진흥원의 ‘민간 인공지능 신뢰성 인증’ 시범사업에서 국내 기업 최초로 AI 휴먼 서비스 인증을 획득했다. 2025년에는 글로벌 소프트웨어 리뷰 플랫폼 G2의 ‘베스트 AI 소프트웨어 제품 톱50’에 자사 영상 합성 플랫폼 ‘AI 스튜디오’가 국내 기업 중 유일하게 이름을 올렸다. KB국민은행•신한은행•하나은행•우리은행•NH농협은행•IBK기업은행 등 국내 주요 금융기관을 비롯해 보험사와 서울사이버대학교•경희사이버대학교 등 교육기관, 대기업, 공공기관에도 AI 휴먼을 공급했다.
딥브레인AI는 이번 AI 휴먼 NPC SDK를 전시•박물관, 교육, 관광, 공공 안내 등 다양한 분야의 XR 콘텐츠 제작기업에 순차적으로 공급할 계획이다. 개발된 NPC•UI 컴포넌트는 분야별 템플릿 형태로 제작해 통합 플랫폼을 통해 배포하고, XR 콘텐츠 제작사가 사용자 경험(UX) 평가 서비스도 함께 이용할 수 있도록 서비스화 할 방침이다.
장세영 딥브레인AI 대표는 “이번 성과는 AI 휴먼 기술을 XR 콘텐츠 제작 현장에서 곧바로 활용할 수 있는 형태의 개발도구로 완성했다는 데 의미가 있다”며 “전시, 교육, 공공 서비스 등 다양한 영역에서 AI 휴먼이 실질적인 솔루션으로 자리 잡을 수 있도록 연구개발을 지속하겠다”고 밝혔다.
한편, 이번 SDK는 문화체육관광부와 한국콘텐츠진흥원이 지원하는 문화기술 연구개발(R&D) ‘지능형 문화콘텐츠 창제작 기술개발’ 사업의 ‘XR 공간 반응형 콘텐츠 최적화를 위한 멀티모달 UX 평가 플랫폼 기술 개발’ 과제(과제번호 RS-2024-00361757)를 통해 개발됐다.
해당 과제는 연세대학교 산학협력단이 주관하고 한양대학교와 한국외국어대학교, 딥브레인AI, 나인파이브, 스토익엔터테인먼트가 공동연구개발기관으로 참여하고 있다. XR 콘텐츠의 사용자 경험을 생체신호와 행동 등 여러 유형의 데이터를 활용해 객관적으로 평가하고, 그 결과를 반영해 NPC와 UI를 자동 최적화하는 통합 플랫폼 구축을 목표로 올해 하반기 최종 실증 평가를 앞두고 있다.
[영상] NVIDIA RTX SPARK는 인텔과 AMD의 X86 노트북 시장을, AI를 무기로 정복할 수 있을까? 
