标签：内存优化
麻省理工提出“跨层注意力”，极大优化Transformer缓存
在人工智能生成内容（AIGC）领域，Transformer架构因其在大语言模型（LLM）中的关键作用而备受关注。然而，随着模型参数的指数级增长，传统的Transformer架构...
极大降低大模型训练内存需求，Meta等推出高效方法
该文章介绍了一个名为GaLore的高效训练方法，旨在解决大型语言模型在预训练过程中对内存需求过高的问题。研究人员发现，在训练过程中，梯度矩阵会自然呈现出...
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存
陈丹琦团队发布了一种名为CEPE（并行编码上下文扩展）的新方法，该方法通过添加小型编码器和交叉注意力模块，扩展了预训练和指令微调模型的上下文窗口。这种...
