GPT-4「荣升」AI顶会同行评审专家？斯坦福最新研究：ICLR/NeurIPS等竟有16.9%评审是ChatGPT生成

1,391 0 0

文章摘要

【关键词】 同行评审、大规模语言模型、文本修改、真实世界数据集、生成文本

这篇文章讨论了斯坦福大学的一项研究，指出在提交给人工智能（AI）会议的同行评审文本中，有6.5%到16.9%的文本可能是由大规模语言模型（LLM）大幅修改的，而这种趋势可能在个体级别上难以察觉。随着LLM的发展，人类越来越难以区分LLM生成的文本与人工编写的内容，这增加了未经证实的生成文本伪装成权威、基于证据的写作的风险。尽管在个例上难以察觉，但由于LLM的输出趋于一致性，这种趋势可能会放大语料库级别的偏见。为了应对这一问题，斯坦福团队提出了一种方法，用于对包含不确定量的AI生成文本的真实世界数据集进行可比较的评估，并在AI会议的同行评审文本中进行验证。

同行评审是一种学术论文发表前的质量评估机制，确保论文的科学性和可信度。研究团队研究了包括ICLR 2024、NeurIPS 2023、CoRL 2023和EMNLP 2023在内的AI会议，发现LLM可能会显著修改或生成大语料库中的文本。研究结果显示，有6.5%到16.9%的文本可能是由LLM大幅修改的，其中一些形容词的频率发生显著变化，这些词很可能是由人工智能生成的。此外，研究还发现，在报告较低自信度、接近截稿时间以及不太可能回应作者反驳的评论中，LLM生成文本的比例较高。

为了检测LLM的修改，研究人员采用了最大似然的方法，分为四个步骤：1. 收集人类作者的写作指导，将其输入LLM中生成AI文档的语料库；2. 使用人类和AI文档语料库，估算参考标记使用分布；3. 在已知正确比例的AI生成文档的合成目标语料库上验证方法的性能；4. 基于对分布的估计，使用最大似然法估算目标语料库中AI生成或修改文档的比例。研究表明，这种方法在LLM生成反馈比例方面表现出高精度，预测误差不到2.4%。此外，算法还能够检测到LLM用于大幅扩展由人提供的审稿大纲的情况。

总的来说，这项研究揭示了AI生成文本可能在同行评审中的影响，并提出了一种方法来检测和评估这种现象，以确保同行评审的科学性和可信度。