文章摘要
【关 键 词】 人工智能、高性能计算、异构集成、芯片技术、AI工作负载
2022年,ChatGPT的推出推动了人工智能(AI)和高性能计算(HPC)应用的指数级增长,使得AI在日常生活中的重要性日益增加。大型AI模型虽然擅长处理复杂任务,但它们需要大型训练数据集和大型计算系统,导致芯片尺寸增大、功率密度提高,设计节能架构变得更加困难。因此,芯片的异构集成(HI)变得至关重要,它能够实现高系统吞吐量和能源效率,满足不断增长的计算需求。通过将片上系统(SoC)拆分为多个Chiplet并集成到单个封装中,可以提高系统的设计灵活性、功能性、带宽、吞吐量和延迟。
半导体公司如Nvidia、Intel和AMD已经利用HI技术运行实时生成式AI模型并训练具有数十亿个参数的大型语言模型(LLM)。HI技术通过将高带宽内存(HBM)、CPU和GPU等芯片集成到一个封装中,显著提高了吞吐量、延迟和能效,克服了传统2D单片芯片设计的局限性。
当前和新兴的HI技术根据IEEE电子封装协会(EPS)异构集成路线图的定义,将multi-die架构分为2D、2.5D或3D。多芯片模块(MCM)是最早的多芯片2D架构之一,但互连密度可能受到限制。2.5D架构利用玻璃、硅中介层或局部硅桥等基板提高互连密度。晶圆级封装(WLP)技术对于基于先进芯片的架构具有重要意义,因为它们可以实现高互连密度、减少互连延迟和增加带宽。3D HI技术使用TSV和细间距互连技术实现高带宽和低延迟系统。
人工智能的快速发展推动了HI架构的多种商业部署,这些架构专门用于加速最大的人工智能工作负载。Cerebras、Nvidia、AMD、Intel和Tesla等公司最近为高计算AI工作负载设计的HI架构的商业部署被调查。芯片间接口和通信协议随着系统中芯片数量的增加变得越来越重要,UCIe协议已开始成为通用行业标准。
玻璃芯封装的最新进展被总结,评估了它们的优点和局限性。基于玻璃的中介层通过提高信号完整性、支持高密度互连、集成光通信、优化热管理以及确保可靠性和可扩展性,增强了用于AI应用的半导体封装的带宽能力。玻璃表面光滑,可以实现细线和空间的缩放,这对于实现非常高密度的互连至关重要。然而,玻璃基板的易碎性和相对较低的散热性带来了挑战。尽管如此,玻璃芯封装因其多种优势而受到关注,特别是在AI和HPC应用中。
原文和模型
【原文链接】 阅读原文 [ 5427字 | 22分钟 ]
【原文作者】 半导体行业观察
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★