给 Sora 视频配音,ElevenLabs 推出 AI 音效生成功能,离 AI 生成电影又近了一步!
作者信息
【原文作者】 Founder Park
【作者简介】 来自极客公园,专注与科技创业者聊「真问题」。
【微 信 号】 Founder-Park
文章摘要
【关 键 词】 Sora、ElevenLabs、背景声音
AI语音克隆公司ElevenLabs即将推出AI Sound Effects功能,该功能可以根据用户输入的提示自动生成声音,为视频添加逼真的背景声音。
ElevenLabs的这项新功能在官方发布的演示视频中得到了展示,视频中所有声音均由文本提示生成,包括城市喧嚣、海浪声、火车声、人群声等。公司表示,这一功能将允许内容创作者为视频添加全方位的声音效果,如脚步声、波浪声和氛围声等。尽管ElevenLabs尚未准备好发布其文本到音效模型,但上线后将对内容创作者大有裨益。
为了实现视频到音频的精准映射,ElevenLabs的系统需要同时处理文本和视频像素信息。英伟达高级科学家Jim Fan分析指出,为了精确匹配视频内容,配音不仅需要文本信息,还需要视频像素信息。这要求模型在其潜在空间内理解一些隐式的物理原理,如确定物体种类、材质和空间位置,识别物体间的互动,辨识场景环境,提取物体及其环境的典型声音模式,应用物理规则,以及根据物体空间位置叠加声音轨道等。
ElevenLabs是由前谷歌机器学习工程师Piotr Dąbkowski和前Palantir部署策略师Mateusz Staniszewski在2022年共同创立的。尽管公司没有固定办公地点且员工数量有限,但在2023年6月成功筹集了1900万美元的A轮融资,并在2024年1月22日的B轮融资中筹集了额外的8000万美元,估值达到11亿美元。ElevenLabs的技术已被应用于多语言视频配音、游戏领域合作以及明星声音的复制等。
ElevenLabs的AI Sound Effects功能预计将为视频内容创作带来革命性的变化,尤其是在为视频添加逼真背景声音方面。随着AI技术的不断进步,未来视频内容的制作将更加便捷和高效。
原文信息
【原文链接】 阅读原文
【原文字数】 2345
【阅读时长】 8分钟