o3数学成绩作弊大瓜!提前让测试机构给真题,60多名数学大牛全被蒙在鼓里

AIGC动态9小时前发布 QbitAI
61 0 0
o3数学成绩作弊大瓜!提前让测试机构给真题,60多名数学大牛全被蒙在鼓里

 

文章摘要


【关 键 词】 OpenAI争议数学测试保密协议资助问题数据泄露

OpenAI的o3模型在数学测试基准FrontierMath中的表现引发了争议。该测试基准由Epoch.ai开发,包含了60余名数学家包括陶哲轩在内的高难度题目。然而,有爆料称OpenAI提前获得了这些严格保密的题目,而包括出题者在内的公众对此一无所知。Epoch.ai的联合创始人Tamay Besiroglu承认了与OpenAI的秘密赞助协议,并表示未能及时公开透明是一个错误,但否认OpenAI利用这些信息作弊。尽管如此,外界对此仍有质疑,认为OpenAI可能利用这些信息进行了训练。

FrontierMath的论文在两个月内发布了五个版本,直到最后版本才披露了OpenAI的资助,且仅在脚注中提及。Besiroglu表示,之前未公开是因为OpenAI的保密要求。FrontierMath的题目和答案严格保密,出题的数学家也被要求签订保密协议。然而,OpenAI却能够获得这些题目,而出题专家对此毫不知情。斯坦福博士、MIT罗德奖学金得主Carina Hong表示,至少有六名专家能够证实这一点,并且大部分专家表示如果知道OpenAI的独家访问权,可能不会选择贡献。

尽管Epoch.ai否认了OpenAI作弊的说法,并表示OpenAI拿到的数据并不是全部,且OpenAI口头承诺不会用于模型训练,但外界对此仍有质疑。有网友表示,至少应该有书面协议,但猜测OpenAI不会愿意提供。目前,所有回应都来自Epoch.ai,OpenAI尚未给出说明。Epoch.ai首席数学家Ellot Glazer承诺,之后会对受到的资助进行说明,并表示正在开发一个保留数据集,以确保OpenAI在测试之前无法事先接触。对于o3的成绩,Glazer表示Epoch.ai无法给出承诺,但他个人相信OpenAI的报告是准确的,因为在他看来OpenAI“没有撒谎的动机”。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 1196字 | 5分钟 ]
【原文作者】 量子位
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★☆☆☆☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...