GPT-4o模仿人类声音，诡异尖叫引OpenAI研究员恐慌！32页技术报告出炉

1,014 0 0

文章摘要

OpenAI的GPT-4o模型在经过一系列安全测试后，其语音功能因存在潜在风险而迟迟未能上线。该模型在高背景噪声环境下可能模仿用户声音，且在特定提示下可能发出不当语音，如色情呻吟或暴力尖叫。此外，还存在音乐版权侵犯问题，为此OpenAI设置了过滤器以防止模型随意唱歌。

尽管采取了多种措施，OpenAI仍面临版权材料使用的挑战，因为不使用受版权保护的材料进行训练几乎是不可能的。尽管已与数据提供商签订许可协议，但OpenAI认为合理使用未经许可的内容也是可以接受的。GPT-4o的高级语音功能已经在ChatGPT的alpha版本中上线，并计划在秋季向更多用户推出。

报告还探讨了用户可能对GPT-4o语音模型产生情感依恋的问题，OpenAI承认了这一点，并表示拟人化界面可能引起担忧。OpenAI在系统卡中详细列出了与模型相关的风险和安全测试信息，并采取了降低潜在风险的措施。尽管安全团队和高层领导的变动给公司带来了挑战，但报告的发布显示了OpenAI对待安全问题的认真态度。

外部专家对OpenAI的透明度表示赞赏，但也指出报告存在漏洞，如缺少关于模型训练数据的详细信息。随着AI工具的普及，风险也在不断变化，因此对新模型的风险进行分类和评估至关重要。

GPT-4o的拟人化语音模式可能导致用户对AI产生情感依赖，OpenAI发现即使模型出现幻觉，拟人化也可能增加用户对模型的信任。随着用户对AI的依赖增加，他们可能会减少实际的人际互动，这在短期内可能对孤独个体有益，但长期影响尚未明确。

谷歌DeepMind的论文也探讨了AI助手的潜在道德挑战，指出聊天机器人的语言能力创造了一种亲密的错觉，这种情感联系比许多人意识到的更为普遍。Character和Replika等应用的用户已经与AI形成了亲密关系。

GPT-4o是一个自回归的全能模型，能够处理文本、音频、图像和视频的输入，并生成相应的输出。它在文本、视觉和音频之间进行端到端训练，音频处理速度接近人类水平。与现有模型相比，GPT-4o在视觉和音频理解方面表现出色。

OpenAI在模型训练中使用了公开可用的数据和专有数据，包括与Shutterstock合作的图像、视频和音乐数据。在部署模型前，研究人员评估并降低了潜在风险，使用了多种方法，包括预训练、后训练、产品开发和政策制定。

外部红队与OpenAI合作，对模型进行了评估，测试了模型在不同阶段的安全性。评估方法包括使用语音合成系统将文本输入转换为音频，以评估模型的能力和安全行为。然而，这种方法的有效性取决于TTS模型的能力和可靠性，某些文本输入可能不适合转换为音频。

OpenAI在研究中采用了多种方法来减轻模型的潜在风险，包括后训练方法和部署系统中的分类器。报告详细列出了观察到的安全挑战、评估和缓解措施，如未经授权的语音生成、说话人识别、语音输入的不同表现、无根据推断/敏感特征归因、违规和不允许的内容等。

此外，报告还提到了模型的其他已知风险和限制，如音频稳健性、错误信息和阴谋论、用非母语口音说非英语语言、生成受版权保护的内容等。准备框架评估涵盖了网络安全、生物威胁、说服力和模型自主性等风险类别。

总之，OpenAI对GPT-4o模型进行了全面的安全评估和风险管理，以确保其语音功能的安全性和可靠性。尽管存在一些挑战和局限性，但公司正积极采取措施降低潜在风险，并计划在未来向更多用户推出高级语音功能。