ChatGPT를 통해 생성형 AI 시대를 본격화한 OpenAI가 이번에는 텍스트를 동영상으로 만드는 AI 기술을 선보였다.
OpenAI가 선보인 Sora는 텍스트 지침을 통해 현실적이고 상상력이 풍부한 장면을 만들 수 있는 AI 모델로 시각적 품질을 유지하고 사용자의 메시지를 준수하면서 최대 1분 길이의 동영상을 생성할 수 있다.
OpenAI는 Sora 홈페이지(https://openai.com/sora)에 텍스트 프롬프트 지침과 이를 통해 Sora가 생성한 여러 개의 동영상을 올렸는데, 8초에서 최대 1분(60초)에 이르기까지 다양한 샘플 영상에서는 실제 카메라로 찍은 동영상과 유사한 모습부터 CG로 합성한 듯한 영상, 3D 애니메이션, 기록영화, 광고 영상, 그리고 게임까지 다양한 장르와 카메라 앵글, SNS 업로드용 사이즈 등을 보여준다.
OpenAI는 현재 Sora가 레드 팀 구성원들이 중요한 영역의 피해나 위험을 평가하는데 사용할 수 있게 되었으며, 창의적인 전문가에게 가장 도움이 되는 모델을 발전시키는 방법에 대한 피드백을 얻기 위해 다수의 시각 예술가, 디자이너 및 영화 제작자에게 액세스 권한을 부여하고 있다고 설명했다.
DALL-E 및 GPT 모델에 대한 과거 연구를 기반으로 하는 Sora는 여러 캐릭터, 특정 유형의 동작, 피사체와 배경의 정확한 세부 정보로 복잡한 장면을 생성할 수 있으며, 모델은 프롬프트에서 사용자가 요청한 내용 뿐만 아니라 이러한 내용이 실제 세계에 어떻게 존재하는지 이해한다. 언어에 대한 깊은 이해를 갖추고 있어 프롬프트를 정확하게 해석하고 생생한 감정을 표현하는 매력적인 캐릭터를 생성할 수 있으며, 단일 비디오 내에서 캐릭터와 시각적 스타일을 정확하게 유지하는 여러 장면을 만들 수도 있다.
Sora는 와이드 스크린 1920x1080 및 세로 1080x1920 해상도 사이의 모든 것을 샘플링 할 수 있으며 이를 통해 다양한 장치용 콘텐츠를 기본 종횡비로 직접 만들 수 있다. 또한 동일한 모델을 사용해 전체 해상도로 생성하기 전에 더 작은 크기의 콘텐츠 프로토타입을 빠르게 제작할 수 있다.
또한 생성된 동영상의 시간을 앞으로 당기거나 뒤로 확장하여 서로 다르게 시작하지만 동일한 결말로 이어지는 다양한 앵글이나 액션을 만들 수 있으며, 확산 모델을 사용하여 입력된 동영상의 스타일과 환경을 변경하는 것도 가능하다. 서로 다른 2개의 동영상 사이를 점진적으로 보간하여 완전히 다른 주제와 장면 구성이 있는 동영상으로 연결시킬 수도 있으며, 비디오 게임과 같은 디지털 세계도 시뮬레이션 할 수 있다.
다만 현재 모델은 복잡한 장면의 물리학을 정확하게 시뮬레이션하는데 어려움을 겪을 수 있으며 인과 관계의 특정 사례를 이해하지 못할 수 있다고 한다.
유리 깨짐과 같은 많은 기본 상호 작용의 물리학을 모델링하지 않으며, 캐릭터가 먹은 음식이 뒤에서 다시 원상복구 되거나, 좌우를 혼합하는 등 공간적 세부 사항을 혼동할 수 있고, 특정 카메라 궤적을 따르는 것처럼 시간이 지남에 따라 발생하는 이벤트에 대한 정확한 설명에 어려움을 겪을 수 있다.
그 밖에 OpenAI는 Sora를 배포하기 전에 중요한 안전 조치를 취할 것이며 극단적인 폭력, 성적인 콘텐츠, 혐오스러운 이미지, 유명인 얼굴 또는 타인의 지적 저작권(IP)을 요청하는 것처럼 사용 정책을 위반하는 텍스트 프롬프트 입력을 거부하고 생성된 모든 비디오의 프레임을 검토하여 사용자에게 표시되기 전에 사용 정책을 준수하는지 확인하는데 사용되는 이미지 분류자를 개발했다고 밝혔다.
OpenAI는 Sora가 GPT 모델과 유사하게 변환기 아키텍처를 사용하여 뛰어난 확장 성능을 제공하며, 실제 세계를 이해하고 시뮬레이션 할 수 있는 모델의 기반 역할을 하여 AGI 달성을 위한 중요한 이정표가 될 것으로 믿는다고 덧붙였다.
[영상] 엔비디아에 대응하는 인텔 가우디3/AMD MI300/범클라우드 진영의 NPU/,그리고 AI 하드웨어 개발 흐름과 추세는? 
