일레븐랩스가 영상을 분석해 배경음악과 장면별 효과음을 함께 생성하는 ‘인스턴트 사운드트랙(Instant Soundtracks)’을 출시했다고 26일 밝혔다. 영상 내용에 어울리는 오리지널 음악을 만들고, 효과음이 필요한 장면을 감지해 해당 시점에 소리를 배치하는 기능이다.
인스턴트 사운드트랙은 영상 속 장면의 타임스탬프에 맞춰 효과음을 생성한다. 광고 마지막에 로고가 등장하는 순간에 효과음을 넣는 방식으로 활용할 수 있으며, 숏폼 영상의 빠른 전개에 맞춰 음악의 타이밍도 개선했다는 설명이다.
장면에 따라 음악의 분위기를 바꾸는 기능도 지원한다. 빠른 템포의 장면에는 EDM이나 R&B를, 차분하고 친밀한 분위기의 장면에는 어쿠스틱 기타를 적용하는 식으로 영상에 기존 오디오가 포함돼 있다면 장르와 BPM, 악기 구성 등을 참조해 해당 특성에 맞는 음악을 생성할 수도 있다.
생성한 음악과 효과음은 개별적으로 편집할 수 있다. 일레븐크리에이티브(ElevenCreative)의 ‘뮤직 비디오 에디터’에서는 음악과 효과음이 별도 레이어로 표시되며, 사용자는 각 요소를 확인하면서 효과음을 추가하거나 재생 타이밍을 조정하고 음악을 교체할 수 있다. 편집을 마친 결과물은 에디터에서 바로 내보낼 수 있다.
개발자를 위한 ‘Video to Music API’에는 효과음 생성, 트랙 분리, 기존 오디오 참조를 위한 ‘add_sfx’, ‘separate_tracks’, ‘use_audio_as_reference’ 파라미터가 추가됐다. ‘separate_tracks’를 활성화하면 음악과 효과음을 각각 별도 파일로 담은 ZIP 파일을 받을 수 있어 후속 믹싱 작업에 활용할 수 있다. 한 번의 API 요청으로 처리할 수 있는 영상은 최대 10개다.
인스턴트 사운드트랙은 지난 10월 15일부터 일레븐크리에이티브의 음악 탭에 있는 뮤직 비디오 에디터와 광고 제작용 크리에이티브 엔진, 일레븐뮤직(ElevenMusic), 일레븐크리에이티브 스튜디오 API에서 제공되고 있다.
|
[영상] NVIDIA RTX SPARK는 인텔과 AMD의 X86 노트북 시장을, AI를 무기로 정복할 수 있을까? 
