标签：内存优化
给机器人装上「虫脑」？非Transformer液态神经网络终于来了！MIT CSAIL负责人创业成果
Liquid AI是一家专注于开发新型人工智能模型的初创公司，由MIT计算机科学与人工智能实验室（CSAIL）的前研究人员创立。该公司旨在超越现有的生成式预训练Tran...
一行代码训练成本再降30%，AI大模型混合精度训练再升级｜开源
AI大模型开发系统Colossal-AI实现了混合精度训练的升级，支持BF16(O2)与FP8(O1)的新一代混合精度训练方案。这种升级通过FP8的独特数值表示方式，在保持精度的...
麻省理工提出“跨层注意力”，极大优化Transformer缓存
在人工智能生成内容（AIGC）领域，Transformer架构因其在大语言模型（LLM）中的关键作用而备受关注。然而，随着模型参数的指数级增长，传统的Transformer架构...
极大降低大模型训练内存需求，Meta等推出高效方法
该文章介绍了一个名为GaLore的高效训练方法，旨在解决大型语言模型在预训练过程中对内存需求过高的问题。研究人员发现，在训练过程中，梯度矩阵会自然呈现出...
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存
陈丹琦团队发布了一种名为CEPE（并行编码上下文扩展）的新方法，该方法通过添加小型编码器和交叉注意力模块，扩展了预训练和指令微调模型的上下文窗口。这种...
