OpenAI 威胁用户撤销 o1 访问权,仅仅因为询问了 o1 思维链原理!

AIGC动态3个月前发布 ai-front
736 0 0
OpenAI 威胁用户撤销 o1 访问权,仅仅因为询问了 o1 思维链原理!

 

文章摘要


【关 键 词】 ChatGPT争议模型保密市场垄断技术创新社区批评

近期,OpenAI的ChatGPT模型因其对内部工作机制的保密性引发了社区的广泛讨论。用户bohner和SmokeAwayyy在尝试询问ChatGPT的内部推理机制时,收到了OpenAI的警告邮件,提示他们的行为违反了使用政策,甚至面临访问权限被撤销的风险。社区成员对此表示不满,认为OpenAI的做法过于严格,可能是为了保护其市场垄断地位。

用户LewisNWatson指出,OpenAI明确指示不得泄露使用“推理标记”完成的“隐藏的思路链”,并禁止用户诱导模型透露其内部逻辑。社区成员对OpenAI的这一策略表示怀疑,认为其隐藏内部工作机制的真实目的是为了避免市场竞争,而非如OpenAI所声称的为了提升模型的推理能力。

社区成员还提出了对OpenAI策略的批评,认为所谓的“创新”不过是通过收集用户的思维链提示词来训练数据,以此来弥补ChatGPT在推理能力上的不足。他们认为,OpenAI的产品并没有真正的护城河,只要有足够多的研究人员和计算资源,其他企业也能开发出类似的系统。

Simon Willison,Datasette的创建者,对o1思维链模型进行了分析。他指出,该模型在处理复杂提示词时需要更多的回溯和“思考”,而不仅仅是预测下一个token。Willison对OpenAI在API文档中提到的新模型的一些细节表示关注,特别是推理token的概念,这些token在API响应中不可见,但会被计算在内。

OpenAI的API文档中提到,只有5级账户才能访问新的o1-preview和o1-mini模型API,这意味着用户需要至少花费1000美元购买API积分。此外,新模型不支持系统提示词,不支持流媒体、工具使用、批量调用或图像输入。新模型的输出token上限也有所增加,o1-preview的上限为32768个,而o1-mini的上限为65536个。

OpenAI在《将思维链隐藏起来》一文中解释了隐藏思维链的原因,包括安全性、政策合规性和竞争优势。他们希望模型能够自行推理出如何遵循政策规定,同时不暴露可能违反政策的中间信息处理步骤。Willison对此表示不满,认为这降低了模型的可解释性和透明度。

OpenAI提供了一些新模型的初步示例,包括生成Bash脚本、解决填字游戏和计算化学溶液的pH值等。这些示例显示了新模型的ChatGPT UI版本确实公开了思维链细节,但没有展示原始的推理token。OpenAI研究员Jason Wei和Ethan Mollick也分享了他们对新模型的看法和体验,指出虽然新模型在某些复杂提示词上表现出色,但这种例子仍然有限。

总体而言,社区对OpenAI的保密策略持批评态度,认为这可能阻碍了对模型内部工作机制的理解和透明度,同时也限制了用户对模型推理能力的探索。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 3371字 | 14分钟 ]
【原文作者】 AI前线
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...