标签：训练加速
标点符号成大模型训练神器！KV缓存狂减一半，可处理400万Tokens长序列，来自华为港大等 | 开源
华为、港大等机构的研究团队提出了一种基于自然语言分隔符的新型大语言模型SepLLM，通过将文本语义信息压缩至标点符号中，显著提升了训练推理效率。该方法发...
英伟达nGPT重塑Transformer，AI训练速度暴增20倍！文本越长，加速越快
英伟达团队提出了一种新的神经网络架构——归一化Transformer（nGPT），这一架构在超球面上进行表示学习，能够显著提升大型语言模型（LLM）的训练速度，同时保...
