文章摘要
【关 键 词】 ICLR审稿、论文接收、审稿公正性、AI辅助审稿、审稿串通
在2024年的ICLR会议上，除了学术成果和学者本身，审稿程序也成为了热议的话题。有人在Reddit上发帖质疑审稿过程中存在违反匿名政策和不遵守双盲原则的情况。ICLR官方表示已收到超过7000封关于审稿问题的意见书，并已开始调查所谓的“串通”行为，即审稿人和领域主席通过操纵系统与特定作者匹配，给予高评价以提高论文接收率的行为。ICLR官方已发现多起审稿人与作者之间的勾结行为，并表示这些行为违反了道德守则，目前道德委员会正在审查并评估可能的处罚。
此外，关于评审委员会在审稿时能否使用AI工具的问题也引起了争议。ICLR的审稿特点是无论论文是否被接受，其评分和评审意见都会公开发布。洛桑联邦理工学院的研究人员利用ICLR 2024的公开数据研究了AI辅助评审的情况。他们使用了一个商用的LLM检测器GPTZero来评估所有的文字评审意见，并发现至少有15.8%的评审意见是由AI辅助生成的。研究还发现，AI辅助评审的评分普遍高于人类评分，且AI辅助的评审意见会增加论文被接收的可能性，特别是对于分数在接收线边缘的论文。
研究者们通过控制变量的方法追踪并量化了AI辅助评审对论文接收结果可能产生的影响。他们担忧，随着大语言模型的快速发展，审稿过程的准则和评价指标需要相应进化，否则AI可能会将其不成熟的价值观投射到学术论文的筛选过程中，尤其是那些含有更多观点和价值表述的论文，从而产生严重的危机。最后，作者分享了他们基于GPTZero打造的检测网站，可以检测ICLR论文是否被AI辅助评审。这项研究揭示了AI辅助评审在学术界的普及情况及其对学术评审制度的潜在影响，引发了对审稿公正性和透明度的进一步讨论。
原文和模型
【原文链接】 阅读原文 [ 2191字 | 9分钟 ]
【原文作者】 新智元
【摘要模型】 gpt-4
【摘要评分】 ★★★☆☆
