独享MRDIMM有多强?至强6性能核处理器的内存二三事

AIGC动态17小时前发布 admin
51 0 0
独享MRDIMM有多强?至强6性能核处理器的内存二三事

 

文章摘要


【关 键 词】 英特尔至强性能核MRDIMM大模型内存带宽

英特尔至强6性能核处理器的核心规模和内存控制器布局引发了业界的关注和讨论。原先预测的43内核加上两组双通道内存控制器的45网格布局被新的晶圆照片所推翻,照片暗示了5×10的网格构成,其中两组内存控制器共占用6个网格,使得每个芯片中有44个内核。这种布局在构成128核的6980P时,只需屏蔽一到两个核,降低了良率要求。

至强6性能核处理器的内存控制器区域面积较大,引发了对其功能的猜测,可能是支持MRDIMM(Multiplexed Rank DIMM)技术。MRDIMM技术通过增加多路复用数据缓冲器和改进寄存时钟驱动器,实现了带宽翻倍,这对于AI训练、大型数据库等需要大内存容量和带宽的应用非常有利。

在NUMA(非统一内存访问)方面,至强6性能核处理器采用了SNC3 Mode和HEX Mode两种模式。SNC3 Mode将每个计算单元芯片作为一个SNC,拥有4个内存通道,适合虚拟化/容器化应用和并行化程度高的计算。HEX Mode允许通过其他芯粒的缓存代理访问所有内存,适合需要大规模内存访问的应用,如大型数据库和科学计算。

MRDIMM技术是至强6性能核处理器提升内存带宽的直接方法,其目标速率为8,800 MT/s,未来有望提升至12,800 MT/s、17,600 MT/s。MRDIMM的引入使得双路至强6900P机型可以获得6TB内存容量,这对于需要大内存容量的应用场景是一个巨大的优势。

大模型推理方面,MRDIMM的带宽优势在大语言模型推理中得到了充分发挥,性能提升超过30%。至强6性能核处理器在核数和内存带宽上的提升,使得其在大语言模型推理性能上有了显著的增长,这对于推理成本的降低是一个重要的因素。

综上所述,至强6性能核处理器在内存带宽和容量上的优势,以及对MRDIMM技术的支持,使其在传统的重负荷领域和新兴的向量数据库中具有显著的潜力。同时,其在大模型推理性能上的提升,为降低推理成本提供了新的解决方案。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 3058字 | 13分钟 ]
【原文作者】 半导体行业观察
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...