谷歌发布了第六代TPU芯片

231 0 0

文章摘要

谷歌云宣布推出其第六代张量处理单元（TPU）——Trillium TPU，在性能和能效方面实现了显著提升。这款新产品专为严苛的生成式人工智能模型设计，计算性能比现有的TPU v5e提高了4.7倍。Trillium TPU的高带宽内存容量和带宽翻倍，芯片间互连带宽也同样增加，显著减少模型训练时间和服务延迟。

新一代TPU引入了第三代SparseCore技术，这是一个专门加速器，用于处理大型排名和推荐系统中超大型嵌入，从而高效训练和服务下一代基础人工智能模型。Trillium TPU的能效提升了67%，意味着更低的运行成本和较小的碳足迹。

Trillium TPU将能够在单个Pod中扩展到超过256个TPU，并且通过Google在Pod级可扩展性、多切片技术和Titanium智能处理单元的进步，可构建PB级超级计算机和数据中心网络。客户如谷歌DeepMind、Deep Genomics Inc.等已计划使用Trillium TPU来加速其人工智能模型的训练和服务。

Trillium TPU将成为Google Cloud AI超级计算机项目的一部分，这是一个集成了性能优化基础设施、开源软件框架和灵活消费模型的超级计算架构。它将支持从自动驾驶汽车到药物发现等各领域的人工智能发展。

此次发布体现了谷歌在推动人工智能硬件创新方面的持续努力，旨在提供能够处理日益增长的模型规模和复杂性的解决方案。TPU的发展历程显示了谷歌对机器学习硬件需求的早期认识，并通过定制化设计，使得TPU成为支持其服务如实时语音搜索、照片对象识别等的基石。

开源库如JAX、PyTorch/XLA和Keras 3的支持，以及与Hugging Face的合作，将使得开发者能够更容易地利用Trillium TPU的新硬件和网络功能。TPU作为人工智能加速领域的领先技术，专为大规模AI模型优化设计，通过Google Cloud独家提供，继续为训练和服务AI解决方案提供卓越的性能和成本效益。

原文和模型

【原文链接】 阅读原文 [ 3035字 | 13分钟 ]
【原文作者】 半导体行业观察
【摘要模型】 glm-4
【摘要评分】 ★★★★★

智谱AI

智谱AI是由清华大学计算机系技术成果转化而来的公司，致力于打造新一代认知智能通用模型。公司合作研发了双语千亿级超大规模预训练模型GLM-130B，并构建了高精度通用知识图谱，形成数据与知识双轮驱动的认知引擎，基于此模型打造了ChatGLM（chatglm.cn）。此外，智谱AI还推出了认知大模型平台Bigmodel.ai，包括CodeGeeX和CogView等产品，提供智能API服务，链接物理世界的亿级用户、赋能元宇宙数字人、成为具身机器人的基座，赋予机器像人一样“思考”的能力。