文章摘要
【关 键 词】 撤稿预测、GPT-4效能、社交媒体、科研诚信、模型比较
研究者们发现，通过分析社交媒体上的讨论，尤其是推文，可以预测学术论文是否有可能被撤稿。
这一发现源于中国人民大学和浙江大学学者团队的研究，他们利用了GPT-4来分析与数千篇SCI/SSCI期刊论文相关的10000多条推文。
研究结果表明，GPT-4在预测论文是否会被撤稿方面的表现与人类审稿人的结果相似性接近95%。
研究团队首先探讨了推文本身是否能预测论文撤稿的问题。
他们收集了3505篇撤稿论文的数据集，并找到了具有相似特征的未撤稿论文，以此作为对照。
通过推特API，他们收集了相关论文的推文数据，包括发布日期和文本内容。
这些数据被分为训练集和测试集，用于训练模型并验证预测结果。
人工预测结果显示，如果推文暗示论文存在问题，那么这篇论文有很高的可能性会被撤稿。
然而，这样的推文总体占比不高，只占所有撤稿论文的16%。
研究者发现，能够有效预测论文撤稿的批评性推文主要有两种类型：一种是直接指出论文中的错误或学术不端行为，另一种是以批评或讽刺的方式突出论文质量的问题。
进一步的研究比较了关键词方法、机器学习模型和ChatGPT在预测论文撤稿方面的效能。
结果显示，GPT-4的预测结果与人工预测结果的一致性最高，其次是GPT-3.5和SVM模型。
关键词方法和其他机器学习模型的一致性较低。
一个重要的优势是，ChatGPT能够为其预测提供理由，而其他方法则无法详细解释其决策。
这使得ChatGPT在使用推文评估论文是否存在潜在问题时提供了宝贵的帮助。
然而，ChatGPT有时也会出现逻辑推理错误和过度解读的问题，这表明尽管其表现优异，但仍有改进空间。
研究揭示了社交媒体讨论作为论文撤稿早期预警的潜力，并展示了生成式人工智能在促进科研诚信方面的潜在应用。
研究作者Er-Te Zheng、Hui-Zhen Fu和Zhichao Fang分别来自中国人民大学和浙江大学，他们在计算社会科学、科学学和科学计量等领域有着丰富的研究经验。
这项研究的成果已经发表在预印本平台arXiv上。
原文和模型
【原文链接】 阅读原文 [ 2020字 | 9分钟 ]
【原文作者】 量子位
【摘要模型】 gpt-4
【摘要评分】 ★★★★☆
