腾讯混元推出首款开源混合推理模型：擅长Agent工具调用和长文理解

14 0 0

文章摘要

腾讯混元于6月27日宣布开源首个混合推理MoE模型Hunyuan-A13B，该模型总参数为80B，激活参数仅为13B，表现出与同等架构领先开源模型相当的效果，但在推理速度和性价比上更具优势。Hunyuan-A13B已在Github和Huggingface等开源社区上线，同时其API也在腾讯云官网正式上线，支持快速接入部署。这是业界首个13B级别的MoE开源混合推理模型，基于先进的架构设计，Hunyuan-A13B在多个权威数据测试集上取得了优异成绩，尤其在Agent工具调用和长文能力方面表现突出。

在Agent能力方面，腾讯混元构建了一套多Agent数据合成框架，接入了MCP、沙箱、大语言模型模拟等多种环境，并通过强化学习让Agent在多种环境中自主探索与学习，进一步提升了Hunyuan-A13B的效果。在长文处理方面，Hunyuan-A13B支持256K原生上下文窗口，在多个长文数据集中取得了优异表现。此外，Hunyuan-A13B提供了快思考和慢思考两种模式，用户可根据任务需求灵活切换，以在效率和准确性之间取得平衡。快思考模式适合追求速度和最小计算开销的简单任务，而慢思考模式则涉及更深层次的推理步骤，如反思和回溯。

Hunyuan-A13B对个人开发者非常友好，在严格条件下仅需1张中低端GPU卡即可部署。该模型已融入主流开源推理框架生态，支持多种量化格式，在相同输入输出规模下，整体吞吐量是前沿开源模型的2倍以上。腾讯混元在模型预训练和后训练环节的创新技术进一步增强了Hunyuan-A13B的推理性能、灵活性和效率。预训练阶段，Hunyuan-A13B训练了20T tokens的语料，覆盖多个领域，显著提升了模型的通用能力。此外，团队通过系统性分析构建了适用于MoE架构的Scaling Law联合公式，完善了MoE架构的理论体系，并为工程化设计提供了量化指导。

后训练阶段，Hunyuan-A13B采用多阶段训练方式，提升了推理能力，同时兼顾了创作、理解和Agent等通用能力。为填补行业内评估标准的空白，腾讯混元还开源了两个新数据集：ArtifactsBench和C3-Bench。ArtifactsBench用于评估大语言模型在代码生成中的视觉与交互能力，涵盖九大领域的1825个任务；C3-Bench则针对Agent场景模型面临的三大关键挑战，设计了1024条测试数据，以发现模型能力的不足。

此外，首届AICon全球人工智能开发与应用大会将于8月22-23日在深圳举行，主题为“探索AI应用边界”，聚焦Agent、多模态、AI产品设计等热门方向，邀请行业专家分享大模型实践经验与前沿洞察，探索AI驱动业务增长的新路径。