藏不住了!OpenAI的推理模型有时用中文「思考」

藏不住了!OpenAI的推理模型有时用中文「思考」

 

文章摘要


【关 键 词】 AI推理语言切换数据影响智能涌现多语言使用

OpenAI的o1模型在推理过程中出现了一种不同寻常的现象:尽管用户用英语提问,o1却开始用中文进行推理。这一行为在Reddit上引发了广泛讨论,神经科学和AI研究员Rishab Jain对此表示疑惑,猜测可能是训练数据的影响。OpenAI并未对此现象做出解释。

AI专家们提出了几种可能的解释。Hugging Face的CEO Clément Delangue推测,这可能是因为闭源公司在使用中国机构主导的开源AI和数据集。Google DeepMind的研究员Ted Xiao进一步解释说,许多第三方数据标注服务位于中国,这可能是o1切换到中文的一个原因。软件工程师ClaudiuDP也认为,可能是AI的训练数据中包含了用中文写的内容。

另一种观点是,中文作为象形文字系统,在表达上更为经济,可能是一种节省token的策略。在思维链中,同等token下,中文可能允许更深入的思考。有专家提出,o1可能只是在选择最顺手的语言来解题,或者这只是一种幻觉。AI研究员Matthew Guzdial指出,模型并不知道什么是语言,对它来说这些都只是文本。

Hugging Face的工程师Tiezhen Wang认为,推理模型语言的不一致性可能是训练期间建立了某种特殊的关联。他类比了人类的思维过程,认为大脑会自然地选择最适合当下场景的语言。这种语言切换就像程序员选择编程语言一样自然。

许多AI专家认同Wang的观点,认为在思维链推理过程中,模型可能会使用多种语言。他们认为,只要最终输出的是预期语言,这种语言切换是可以接受的。这表明AI出现了“以我为主,为我所用”的智能涌现,而不是bug。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 1879字 | 8分钟 ]
【原文作者】 机器之心
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★☆☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...