标签：混合精度
国产之光DeepSeek把AI大佬全炸出来了！671B大模型训练只需此前算力1/10，细节全公开
DeepSeek V3，一个参数量为671B的MoE模型，已全面开源。该模型在14.8T高质量token上进行了预训练，激活37B参数，并在多项测评中达到开源SOTA，超越了Llama 3....
一行代码训练成本再降30%，AI大模型混合精度训练再升级｜开源
AI大模型开发系统Colossal-AI实现了混合精度训练的升级，支持BF16(O2)与FP8(O1)的新一代混合精度训练方案。这种升级通过FP8的独特数值表示方式，在保持精度的...
大模型端侧 CPU 部署最高提效 6 倍！微软亚研院新开源项目 T-MAC 技术解析来了
微软亚洲研究院的研究员们开发了一种名为T-MAC的新技术，旨在增强边缘设备上的智能性，通过在这些设备上部署大型语言模型（LLMs）。T-MAC使用基于查找表（LUT...
