阿里发布Qwen2.5-Turbo，支持100万Tokens上下文！

266 0 0

文章摘要

【关键词】 Qwen2.5-Turbo、长文本处理、稀疏注意力、跨语言摘要、API使用

阿里巴巴推出了Qwen2.5-Turbo版本，该版本将上下文扩展至100万tokens，大幅提升了模型的理解与生成能力。这一扩展使得Qwen2.5-Turbo能够处理10部长篇小说、150小时演讲稿或3万行代码，展现出在复杂长文本任务中捕捉细节信息的能力。通过采用稀疏注意力机制，推理速度得到显著提升，生成首个token的时间从4.9分钟缩短至68秒，加速了4.3倍。Qwen2.5-Turbo能够处理包含690k tokens的三部《三体》系列小说，并提供英文剧情摘要，显示了其在深度理解和跨语言摘要方面的能力。尽管处理能力提升，价格保持不变，为0.3元/1M tokens，用户可以以相同成本处理更多的tokens。在短文本基准测试中，Qwen2.5-Turbo在大多数任务上超越了之前上下文长度为1M tokens的开源模型，并且与GPT-4o-mini和Qwen2.5-14B-Instruct模型相比，在短文本任务性能接近的同时，支持8倍长度的上下文。Qwen2.5-Turbo主要通过API使用，兼容OpenAI的API。用户需要在阿里云大模型服务平台注册获取API Key，并在Python环境中安装OpenAI库。使用Qwen 2.5 Turbo的API时，需要注意API Key安全、请求频率限制和错误处理。