给 Sora 视频配音，ElevenLabs 推出 AI 音效生成功能，离 AI 生成电影又近了一步！

403 0 0

作者信息

【原文作者】 Founder Park
【作者简介】 来自极客公园，专注与科技创业者聊「真问题」。
【微信号】 Founder-Park

给 Sora 视频配音，ElevenLabs 推出 AI 音效生成功能，离 AI 生成电影又近了一步！

文章摘要

AI语音克隆公司ElevenLabs即将推出AI Sound Effects功能，该功能可以根据用户输入的提示自动生成声音，为视频添加逼真的背景声音。

ElevenLabs的这项新功能在官方发布的演示视频中得到了展示，视频中所有声音均由文本提示生成，包括城市喧嚣、海浪声、火车声、人群声等。公司表示，这一功能将允许内容创作者为视频添加全方位的声音效果，如脚步声、波浪声和氛围声等。尽管ElevenLabs尚未准备好发布其文本到音效模型，但上线后将对内容创作者大有裨益。

为了实现视频到音频的精准映射，ElevenLabs的系统需要同时处理文本和视频像素信息。英伟达高级科学家Jim Fan分析指出，为了精确匹配视频内容，配音不仅需要文本信息，还需要视频像素信息。这要求模型在其潜在空间内理解一些隐式的物理原理，如确定物体种类、材质和空间位置，识别物体间的互动，辨识场景环境，提取物体及其环境的典型声音模式，应用物理规则，以及根据物体空间位置叠加声音轨道等。

ElevenLabs是由前谷歌机器学习工程师Piotr Dąbkowski和前Palantir部署策略师Mateusz Staniszewski在2022年共同创立的。尽管公司没有固定办公地点且员工数量有限，但在2023年6月成功筹集了1900万美元的A轮融资，并在2024年1月22日的B轮融资中筹集了额外的8000万美元，估值达到11亿美元。ElevenLabs的技术已被应用于多语言视频配音、游戏领域合作以及明星声音的复制等。

ElevenLabs的AI Sound Effects功能预计将为视频内容创作带来革命性的变化，尤其是在为视频添加逼真背景声音方面。随着AI技术的不断进步，未来视频内容的制作将更加便捷和高效。