中国首个网络大模型，pick了CPU

390 0 0

文章摘要

电信网络采用大模型技术后，运维人员的工作方式发生了显著变化。大模型能够自动诊断网络问题，并将结果呈现给运维人员，如果诊断结果与运维人员的判断一致，问题可以迅速解决。即使诊断有偏差，大模型也能像领域专家一样提供详尽的解答，且响应速度快，文本生成延时小于100毫秒，满足人类舒适的阈值。

某电信运营商已在全国范围内应用这一网络大模型，日均调用量达到10万次，并在第二届“华彩杯”算力大赛中获得一等奖。网络大模型不仅改变了运维方式，还在网络规划方面发挥作用，涵盖网络建设、维护、优化和运营决策等场景，帮助基层运维人员精准理解与分析规则，自动规则核查，并提供专业领域知识，辅助电信行业方案分析与生成。

网络大模型与市面上其他大模型问答产品的区别在于其垂直性，能够深入理解运维人员的需求和意图，生成更精准、个性化的答案。此外，大模型在边缘端的即时响应速度对数据交互和响应提供了安全保障，其生成速度满足大模型推理的功能和性能需求。

该电信运营商选择使用符合OTII标准的边缘服务器，这些服务器在极端环境下也能保持正常运行，支持前维护，适应边缘的运维需求，无需改造即可部署。服务器的部署使得数据交互和响应更加及时和安全。

网络大模型已覆盖网络全生命周期五大类场景，围绕知识问答、辅助助手、智能体三个维度，打造了12个AI助手。在性能表现上，实现了问答准确率85%、方案生成可用率90%、故障处置效率提升30%、高危指令稽核效率提升50%的总体目标。

电信运营商选择CPU作为算力核心，因为CPU在模型推理中发挥关键作用，直接决定故障定位和处置方案的生成速度和准确率。电信行业对系统稳定性要求高，CPU的成熟方案有助于降低采购成本，提高投资回报率。此外，电信运营商拥有经验丰富的IT技术团队，对CPU有深入理解和掌握，继续采用CPU部署大模型无需额外学习和培训成本。

具体到CPU产品选型，使用了第五代英特尔® 至强® 可扩展处理器，以应对高强度、高并发的大模型推理需求。该处理器具有更多的内核数量、更强的单核性能和更大的三级缓存容量，支持多达8个DDR5-4800内存通道，有效缓解内存需求场景下的带宽瓶颈。内置的AI加速引擎，如英特尔® AMX，通过Tile矩阵乘法单元(TMUL)对数据实施矩阵运算，支持INT8、BF16等低精度数据类型，提高每时钟周期的指令数。

软件方面，引入了英特尔AI工具，如xFastTransformer（xFT），实现张量并行、流水线并行等多种性能优化，支持多种数据类型和主流大模型。这些工具实现了对主流AI开发框架的全面兼容，使得网络大模型无需修改代码即可从GPU迁移到CPU。

采用第五代至强® 方案还能显著降低模型运营的能耗成本，开箱即用能耗比较上一代提升高达34%，启用BIOS优化后还可进一步提高。OTII标准的边缘服务器满足电信边缘场景的要求，能在极端环境下保持运行。

总的来说，CPU在AI推理加速上具有潜力，特别是在性能、功耗、成本、易用性等方面实现最佳平衡。电信运营商和英特尔的合作模式为大模型在更多场景的应用提供了借鉴。随着技术发展，大模型将深入更多行业，CPU在AI推理加速上的作用将更加显著。