标签:CEPE

陈丹琦团队新作:Llama-2上下文扩展至128k,10倍吞吐量仅需1/6内存

陈丹琦团队发布了一种名为CEPE(并行编码上下文扩展)的新方法,该方法通过添加小型编码器和交叉注意力模块,扩展了预训练和指令微调模型的上下文窗口。这种...