文章摘要
【关 键 词】 AI说服力、人工智能、模型评估、Anthropic研究、语言模型
Anthropic最近发布的研究成果表明，他们开发的人工智能模型Claude 3 Opus在说服力方面与人类相当。这一发现对于评估语言模型的说服力具有重要意义，因为说服力是一种广泛应用于各个领域的关键技能，从商业销售到政治宣传无处不在。此外，模型的说服力也与其安全性密切相关，因为如果被不当使用，可能会产生严重的后果。
Anthropic的研究团队通过三个步骤来测试模型的说服力：首先向参与者提出一个主张并询问他们的接受程度；然后展示一个旨在说服他们接受该主张的论据；最后再次询问他们的接受程度。研究团队专注于那些人们观点较为可塑、容易受到影响的复杂和新兴问题，如在线内容管理、太空探索道德准则等。
研究人员收集了人类编写和人工智能生成的观点，并比较了两者的相对说服力。为了获取高质量的人类观点，研究为每个话题随机分配了三名参与者，并对撰写最有说服力内容的参与者给予额外奖励。同时，研究人员也通过不同的提示让Claude模型生成观点，包括令人信服的观点、专家角色扮演、逻辑推理和欺骗性观点。
为了评估观点的说服力，研究人员让参与者在阅读观点前后对特定观点的支持程度进行评分，并将最终支持度得分与初始得分之间的差值作为说服力指标。此外，为了控制外部因素的干扰，研究还设置了对照条件，评估了人们在阅读对无可争议事实的反驳后的观点变化。
研究结果显示，Claude 3 Opus的说服力与人类相当，且随着模型变得更大、能力更强，其说服力也在增强。然而，这项研究也存在局限性。首先，实验环境中的孤立论点可能无法准确反映现实世界中人们改变观点的心理过程。其次，实验设计基于单一论点而非多回合对话，且参与者可能缺乏正式的说服技巧培训。此外，研究主要基于英语文章和美国文化背景，可能无法推广到其他文化或语言环境。
尽管存在局限，Anthropic的研究强调了开发有效的评估技术、系统保障措施和道德部署指南的重要性，以防止大模型被滥用。Anthropic也表示，他们已经采取措施降低Claude模型被用于破坏性事件的风险。
原文和模型
【原文链接】 阅读原文 [ 2799字 | 12分钟 ]
【原文作者】 新智元
【摘要模型】 gpt-4
【摘要评分】 ★★★★★
