标签:FP8训练

一行代码训练成本再降30%,AI大模型混合精度训练再升级|开源

AI大模型开发系统Colossal-AI实现了混合精度训练的升级,支持BF16(O2)与FP8(O1)的新一代混合精度训练方案。这种升级通过FP8的独特数值表示方式,在保持精度的...