Cohere发布RAG增强版大模型并开源权重，支持中文、1040亿参数

300 0 0

文章摘要

【关键词】 AIGC、大语言模型、Command R+、RAG技术、开源模型

近年来，人工智能生成内容（AIGC）领域迅速发展，特别是大语言模型（LLM）的进步引起了广泛关注。4月5日，Cohere这家专注于类ChatGPT平台的公司发布了一款名为Command R+的新模型。这款模型具有1040亿参数，支持包括英语、中文、法语、德语在内的10种语言，是目前市场上性能仅次于GPT-4 turbo的先进模型。

Command R+的一个显著特点是对内置的RAG（检索增强生成）技术进行了全面强化。RAG是一种结合了信息检索和生成的技术，它为大型语言模型提供外部知识源，以便生成更准确、更丰富的回答或内容，并减少模型的幻觉问题。Cohere的这一改进显著提升了模型的性能，使其在多语言处理、RAG应用和工具使用方面的表现接近GPT-4 turbo，并大幅超越了其他知名开源模型，如Mistral。

Cohere已经开源了Command R+的权重，但这些权重仅限于学术研究使用，不能用于商业目的。商业用户可以通过微软Azure云或Cohere提供的API来使用该模型。此外，Command R+还提供了量化版，可以在huggingface平台上找到。

Command R+的另一个亮点是其对非英语文本的压缩效果，这使得在大模型输入方面的成本仅为GPT-4 turbo的三分之一，而输出成本则是后者的二分之一。这种成本效益使得企业能够节省大量资金。

除了成本效益，Command R+还支持与企业平台结合，实现业务流程自动化。Cohere联合创始人兼Transformer作者之一的Aidan Gomez认为，大模型可以充当核心推理引擎，实现复杂业务流程的自动化，类似于RPA机器人。Command R+可以与CRM、ERP、HR等不同类型的企业软件结合使用，例如，将大模型内置在CRM平台中，帮助企业自动记录、管理客户关系、活动以及更新日志等。

此外，Command R+在执行任务过程中如果发生错误，它能够进行自我纠错并记住错误，以避免下次遇到相同的情况。这种自我纠错能力使得Command R+不仅仅是一个内容生成模型，更是一个能够帮助自动执行多场景复杂业务的智能AI代理。

RAG技术的主要架构包括检索器、生成器和融合机制三大部分。检索器负责从大规模文档集合中快速检索出相关文档或信息片段，生成器则使用这些检索到的文档作为额外的上下文信息，生成与输入相关的回答或文本。融合机制则决定了如何将检索到的信息整合到生成过程中，以提高生成文本的相关性和准确性。通过这种方式，大模型在使用了RAG功能后，可以访问更广泛、更具时效性的知识，提高生成内容的相关性和准确性，尤其是在需要特定知识背景的任务中，可以显著减少算力需求。