标签:能源效率

122 天打造的奇迹:深入探访 xAI 的 10 万块 GPU 超级 AI 计算机集群

xAI Colossus超级计算机集群位于孟菲斯,由马斯克的xAI公司建造,拥有10万块NVIDIA H100 GPU,以其庞大的规模和惊人的建设速度而闻名。该集群仅用122天建成,...

从LLM中完全消除矩阵乘法,效果出奇得好,10亿参数跑在FPGA上接近大脑功耗

在深度学习领域,矩阵乘法(MatMul)一直占据着核心地位,尤其是在语言模型中。然而,这一操作在计算开销和内存访问方面占据了很大比例。近期,来自加州大学...