350亿参数、开放权重，Transformer作者创业后推出新大模型

AIGC动态8个月前发布 almosthuman2014

1,112 0 0

模型信息

【模型公司】 OpenAI
【模型名称】 gpt-3.5-turbo-0125
【摘要评分】 ★★☆☆☆

文章摘要

【关键词】 大语言模型、可扩展模型、检索增强生成、优化transformer架构、多语言生成能力

Cohere公司推出了新的大语言模型Command-R，该模型具有35B的参数量，属于可扩展模型类别，平衡了高效率和高精度，适用于大规模生产工作负载。Command-R针对检索增强生成（RAG）等长上下文任务和工具使用进行了优化，旨在与Embed和Rerank模型配合使用，提供一流的集成和出色的表现。该模型使用优化后的transformer架构，通过监督微调和偏好训练与人类偏好保持一致。Command-R具有高度准确性、低延迟、高吞吐量、更长的上下文、跨10种主要语言的功能，并在HuggingFace上提供模型权重。此外，Command-R支持多语言生成能力，更长的上下文窗口和更低的价格，通过使用工具实现自动执行任务。Cohere还将发布技术报告展示更多模型细节。