拿CPU搞AI推理，谁给你的底气？

文章摘要

【关 键 词】 CPU推理、大模型、英特尔、京东云、AI应用

本文主要讨论了CPU在大模型推理阶段的应用价值和潜力。

随着AI大模型的发展，推理逐渐成为大模型进程中的主旋律。

尽管GPU和其他专用加速芯片在AI训练阶段占据主导地位，但在推理阶段，CPU却展现出了其独特的优势。

首先，CPU的性能已经足够应对实战需求。例如，京东云推出的新一代服务器搭载的第五代英特尔®至强®可扩展处理器，其深度学习实时推理性能提升高达42%，AI推理性能最高提升至14倍。这得益于英特尔®至强®内置AI加速器经历的两个阶段：针对矢量运算优化和针对矩阵运算优化。

其次，CPU具有与生俱来的优势，如成本、部署和实践的效率。CPU是计算机的标准组件，几乎所有的服务器和计算机都配备了CPU，传统业务中也已然存在大量的基于CPU的现成应用。这意味着选择CPU进行推理，既容易获取，也不需要导入异构硬件平台的设计或具备相关的人才储备，还更容易获得技术支持和维护。

此外，CPU在AI应用落地过程中的优化简单、上手快，这也是其在AI应用落地过程中的一个重要优势。只要基于CPU的优化实现了一个单点的成功突破，那么它很快就可以实现精准且快速的复制或扩展，结果就是：能让更多用户能在相同或相近的场景中，以更快的速度、更优的成本把AI应用落到实地。

总的来说，CPU在整个英特尔AI Everywhere愿景下的定位是：补足GPU或专用加速器覆盖不到或不足的地方，为更多样和复杂的场景提供灵活的算力选择，在强化通用计算的同时，成为AI普及的重要基础设施。

原文和模型

【原文链接】 阅读原文 [ 2668字 | 11分钟 ]
【原文作者】 量子位
【摘要模型】 gpt-4-32k
【摘要评分】 ★★★★★

OpenAI GPT-4

GPT-4是OpenAI公司开发的自然...