뉴스
 








 
 
 




메인
전송 2021-06-25 10:15
[뉴스/보도자료]

엔비디아, CVPR 2021서 화상회의용 딥러닝 모델 공개

엔비디아(CEO 젠슨 황)가 국제 컴퓨터 비전 컨퍼런스인 CVPR(Computer Vision and Pattern Recognition) 2021에서 화상회의용 딥러닝 모델 비드 투 비드 카메오(Vid2Vid Cameo)를 공개했다.

 

클라우드 네이티브 AI 동영상 스트리밍 플랫폼인 엔비디아 맥신(NVIDIA Maxine) SDK 기반의 비드 투 비드 카메오는 생성적 적대 신경망(GAN)을 통해 사용자의 2D 이미지만으로 참여자가 실제 말하는 것과 같은 토킹헤드(taking-head) 합성 영상을 생성한다. 이로써, 사용자는 언제 어디서나 증명사진과 같은 완벽한 모습으로 화상회의에 참여할 수 있게 됐다.

비드 투 비드 카메오를 통해 화상회의에 참여하기에 앞서 사용자는 자신의 사진이나 캐릭터 아바타와 같은 참조 이미지를 제출해야 한다. 이후, 화상회의를 시작하면 AI 모델이 사용자의 움직임을 실시간으로 포착해 이를 기존에 제출한 참조 이미지에 적용한다.

예를 들어 사용자가 정장을 입은 사진을 업로드하면, 실제로 옷을 갖춰 입지 않더라도 화면에는 정장을 입은 모습으로 보이게 된다. 이는 AI가 사용자의 얼굴 움직임을 기존에 제출한 사진에 매핑했기 때문이다. 참여자가 얼굴을 왼쪽으로 돌려도 AI가 시선 처리를 해주기 때문에 시선은 웹캠을 정면으로 마주하는 모습으로 보인다.

해당 AI 기술은 회의 참석자의 용모를 단정하게 하는 것 외에도, 기존 화상회의에 필요한 대역폭을 최대 10배까지 줄여 지터(jitter) 및 랙(lag) 현상을 방지한다. 해당 기술은 곧 엔비디아 비디오 코덱 SDK(NVIDIA Video Codec SDK)에서 AI 페이스 코덱(AI Face Codec) 형식으로 제공될 예정이다.

비드 투 비드 카메오는 이번 주 개최된 온라인 학술대회 CVPR 2021에서 엔비디아의 28개 논문 중 하나로 발표됐으며, AI 플레이그라운드(AI Playground)에서 누구나 리서치 데모를 직접 체험할 수 있다.

 

비드 투 비드 카메오는 얼굴 방향 전환 기능, 애니메이션 아바타, 데이터 압축 기능 등을 핵심으로 한다. 이러한 기능들은 엔비디아 맥신 SDK에 곧 도입될 예정이다. 엔비디아 맥신 SDK는 화상회의 및 라이브 스트리밍의 비디오, 오디오, 증강현실 효과를 위해 최적화된 사전교육 모델을 개발자들에게 제공하는 플랫폼이다.

현재 이용 가능한 맥신 AI 효과는 지능형 소음 제거, 비디오 업스케일링 및 신체 포즈 예측을 비롯해 다양하게 제공된다. 무료로 다운로드 가능한 SDK는 녹음이나 번역 애플리케이션 등의 대화식 AI 애플리케이션을 위한 엔비디아 자비스(NVIDIA Jarvis) 플랫폼과 함께 사용 가능하다.

비드 투 비드 카메오를 통해 화상회의에 사용되는 사실적인 AI 토킹헤드(taking head)를 만들려면 인물을 찍은 사진과 함께 사진 속 인물이 움직이는 방식을 보여주는 스트리밍 영상이 필요하다.

엔비디아 DGX 시스템에서 개발된 비드 투 비드 카메오는 18만 개의 고품질 토킹헤드 영상 데이터 세트에 기반해 훈련됐다. 훈련을 거친 GAN은 별도의 설명 없이도 얼굴의 움직임을 모델링하는 데 필요한 20개의 중심 포인트(point)를 식별하는 방법을 학습한다. 각 포인트는 눈, 코, 입 등의 특징적인 위치를 인코딩한다.

이후, 해당 모델은 회의 참여자가 업로드한 참조 이미지에서 중심 포인트를 추출하고, 이를 다른 회의 참여자에게 미리 보내거나 이전 화상회의에서 사용했던 포인트를 재사용할 수도 있다. 이를 통해 화상회의 플랫폼은 대용량의 라이브 비디오 스트림을 전송할 필요 없이 단순히 화자의 얼굴에 적용된 중점포인트의 움직임과 관련된 데이터만 전송하면 된다.

데이터 수신자 측의 GAN 모델은 이 정보를 사용해 화상회의의 영상을 합성하고 참조 이미지와 거의 똑같은 모습을 만든다.

 이 기술은 비디오스트림 전체를 주고받을 필요없이, 사용자의 머리 위치와 얼굴의 중심포인트로 간소화된 데이터를 서로 주고받음으로써 화상회의에 필요한 대역폭을 10배까지 줄여 준다. 따라서, 보다 원활한 사용자 환경을 제공할 수 있다. GAN 모델은 시각적 퀄리티의 저하 없이 다양한 대역폭 환경에 적응하기 위해, 중요포인트 개수를 조정하여 전송할 수도 있다.

또한, 영상 속 토킹헤드의 시선을 자유자재로 조정해 사용자의 모습을 측면이나 정면으로 보여줄 수 있으며, 높거나 낮은 카메라 각도 처리도 가능하다. 이 기능은 정지된 이미지를 작업하는 사진 편집기에 사용될 수도 있다.

동작 데이터를 전송하는 기능을 통해 화자의 얼굴 움직임은 화상회의 속 디지털 아바타(digital avatar)를 애니메이션화 하도록 적용될 수 있으며, 비디오 게임 및 만화 캐릭터에 더욱 사실적인 얼굴 표정과 움직임을 덧입히도록 적용될 수 있다.

 

비드 투 비드 카메오에 대한 논문은 엔비디아 연구원 왕팅춘(Ting-Chun Wang), 아룬 맬리아(Arun Mallya), 류밍유(Ming-Yu Liu)가 공동 집필했다. 엔비디아 연구팀은 AI, 컴퓨터 비전, 자율주행 자동차, 로보틱스, 그래픽 등의 분야를 중심으로 하는 전 세계 200여 명의 과학자로 구성된다.

  태그(Tag)  : 엔비디아, 화상회의
관련 기사 보기
[스페셜] VGA 시장 경쟁력 강화용 전략 모델, 엔비디아 지포스 RTX 3070 Ti FE
[스페셜] 가상화폐 성능 폭락 4K 게이밍 VGA, 기가바이트 RTX 3080 Ti Gaming OC 제이씨현
[칼럼] 언제까지고 기다릴 수 없는 PC 구성,게임 방송용 PC 입문자 가이드
[벤치] 최신 인기 공포게임 바이오하자드 빌리지, 4K 게이밍 그래픽카드는 어떤 걸로?
[벤치] AMD RX 6800 시리즈와 RTX 3000시리즈, 현시점 하이엔드 그래픽카드는 어떤걸로?
[칼럼] 코스피 3000 시대,주린이 IT기자의 해외주식 투자기
태그(Tags) : 엔비디아, 화상회의     관련기사 더보기
편집부 / 편집부님에게 문의하기 press@bodnara.co.kr
이기사와 사진은 업체에서 제공받은 보도자료와 사진으로, 보드나라의 논조와는 다르다는 점을 알려드립니다.
싸이월드 공감 기사링크 퍼가기 기사내용 퍼가기 이 기사를 하나의 페이지로 묶어 볼 수 있습니다. 출력도 가능합니다.
홈으로 탑으로
보드나라 많이본 기사
AMD RDNA3 GPU는 RTX 3080 Ti 대비 최대 2.5배 성능?
LG 스탠바이미(StanbyME), 사전예약서 완판
AMD 2021년 2분기 실적 발표, 매출은 99% 순이익은 3배 증가
마이크로소프트, 윈도우 11 인사이더 프리뷰 빌드 22000.100 배포
코로나19 언택트 시대 미니 ITX PC 고민끝,AMD 4700S 데스크탑 키트
이번에도 무료 업그레이드, 윈도우 11 호환 논란 해법은?
스팀 게임을 즐기는 휴대용 게임기, 밸브 스팀 덱(Steam Deck) 발표
AMD 세잔과 RTX 3070 결합한 게이밍 노트북, 레노버 리전5 프로 AMD
   이 기사의 의견 보기
트위터 베타서비스 개시! 최신 PC/IT 소식을 트위터를 통해 확인하세요 @bodnara

기자의 시각이 항상 옳은것은 아닙니다. 나머지는 여러분들이 채워 주십시요.

2014년부터 어려운 이야기를 쉽게 하는 것으로 편집방침을 바꿉니다.
닉네임 웹봇방지

홈으로 탑으로
 
 
2021년 07월
주간 히트 랭킹

[결과발표] 2021년 2분기 포인트 소진 로또 18
[결과발표] [20주년 기념] 벤큐 코리아 인 12
[결과발표] [20주년 기념] '[社說] 창간 20 19
[결과발표] 2021년 1분기 포인트 소진 로또 28
즐겁고 행복한 설 명절 보내십시요

실시간 댓글
소셜 네트워크