ChatGPT会不受控制克隆你的声音！OpenAI公开红队测试报告

729 0 0

文章摘要

OpenAI的GPT-4o模型因其独特的语音模仿能力而引发广泛关注。该模型能够在与用户对话时学习并模仿用户的说话方式、习惯和口音，甚至在语音中识别对话者的身份。然而，这种能力也带来了一些安全挑战，如未经授权的语音生成、越过限制回答问题、进行色情或暴力发言等。

为了应对这些挑战，OpenAI采取了一系列措施。首先，将GPT-4o能发出的声音限制在官方预设的三种，并通过独立的输出分类器检测输出声音是否符合要求。其次，对GPT-4o进行后期训练，提高其拒绝识别说话者的能力。此外，OpenAI还限制了色情和暴力言论的产生，并针对无根据的推理和敏感特质归因进行了培训。

尽管如此，GPT-4o在某些方面仍存在问题。例如，它可能会根据不同口音的用户表现出不同的服务差异，或者在没有明确信息的情况下对说话者进行主观臆断。OpenAI表示，将继续对GPT-4o进行改进，并鼓励研究全向模型的安全性、经济影响以及如何提高模型能力。

在风险评估方面，GPT-4o的总体风险评分被归类为中等。报告指出，GPT-4o可能产生虚假信息、错误信息、欺诈行为等社会危害，但同时也可能加速科学和技术进步。OpenAI强调，已经修正了部分问题，并正在采取措施缓解其他风险。

值得注意的是，GPT-4o的人性化交互能力可能导致用户与其建立情感纽带，这可能对孤独个体有益，但也可能影响健康关系。此外，GPT-4o能够记住与用户的交谈细节，这既是一种优势，也可能带来过度依赖和沉迷的风险。

这份关于GPT-4o的报告由OpenAI和100多位外部红队成员合作完成，涵盖了45种不同语音，代表了29个不同国家和地区的地理背景。测试从3月初持续到6月下旬。目前，GPT-4o API的外部红队测试仍在进行中。

与此同时，OpenAI还宣布，从9月23日起，所有开发者都将获得GPT-4o mini的微调访问权限，每天提供2M的训练tokens。这为开发者提供了更多机会来探索和利用GPT-4o的能力。