标签：线性注意力

谷歌爆改Transformer，“无限注意力”让1B小模型读完10部小说，114倍信息压缩

这篇文章介绍了谷歌最新提出的Infini-attention机制，该机制能够使Transformer架构的大模型在有限的计算资源下处理无限长的输入，并实现114倍的内存压缩比。I...

AIGC动态

6个月前