文章摘要
【关 键 词】 审稿人使用AI、顶会同行评审、ChatGPT影响、学术写作、人工智能
近期，斯坦福大学的研究人员发表了一项研究，关注的是ChatGPT对AI学术会议同行评审的影响。
研究分析了ICLR、NeurIPS、CoRL和EMNLP这四个顶级会议中的审稿意见，发现在ChatGPT问世后，这些审稿意见中的AI含量显著增加，最高达到16.9%，而之前这一比例约为2%。
研究人员通过设计一种分布式“GPT量化”方法来估计审稿意见中的AI含量，该方法在语料库级别有效，无需逐篇分析。
研究发现，AI含量较高的审稿意见具有一些共同特点，例如引用较少包含“et al.”的学术内容，语义上更加同质化，使用了大量特定形容词。此外，这些审稿意见的作者通常在截止期限前提交，并对自己的内容自信程度较低，较少回应论文作者的反驳。
这一现象引发了广泛讨论，有人担忧审稿意见的质量和原创性，也有人认为科学写作是ChatGPT的合理用途。讨论集中在是否应该披露AI在同行评审中的使用，如何激励好的实践，保持智力多样性，以及重新考虑人类/AI混合知识工作的可信度。
除了审稿意见，论文作者也频繁使用ChatGPT。谷歌学术搜索显示，许多论文中包含ChatGPT的痕迹，用于总结、翻译、制作表格等。一些论文甚至将ChatGPT的按钮“Regenerate Response”复制进了正文。尽管许多出版机构并不禁止使用ChatGPT，但前提是要进行声明。
这项研究的发现和讨论指向了一个更广泛的问题：在AI技术日益进步的背景下，学术界如何合理地运用AI工具，以及这对学术诚信和创新的影响。这些问题的答案将对未来的学术研究和出版行业产生深远影响。论文的详细内容和方法可以在arXiv上找到。
原文和模型
【原文链接】 阅读原文 [ 1837字 | 8分钟 ]
【原文作者】 量子位
【摘要模型】 gpt-4
【摘要评分】 ★★★★☆
