数量即力量！腾讯揭秘：Agent数量越多，大语言模型效果越好

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k
【摘要评分】 ★★☆☆☆

文章摘要

【关 键 词】 腾讯研究、大语言模型、可拓展性、采样投票、性能提升

本文介绍了腾讯研究者们在大语言模型（LLM）的可拓展性（scaling property）方面的新发现。

研究者们通过简单的采样投票方法，证明了LLM的性能会随着实例化agent数量的增加而增强。

这一发现在多种LLM基准测试中得到了验证，并且与现有复杂方法正交，结合使用可以进一步提升性能。

实验结果显示，在不同任务和LLM规模上，性能提升显著，甚至多个小模型集成的性能可以超过单一大模型。

此外，研究还探讨了性能提升与问题难度之间的关系，并提出了两种优化策略：逐步采样和投票以及分层采样和投票。

最后，文章提出了未来的研究方向，包括优化采样阶段以降低成本，以及减轻LLM幻觉带来的潜在负面影响。

原文信息

【原文链接】 阅读原文
【阅读预估】 1386 / 6分钟
【原文作者】 机器之心
【作者简介】 专业的人工智能媒体和产业服务平台