标签:Transformer生态

阶跃公开了自家新型注意力机制:KV缓存消耗直降93.7%,性能不减反增

近期,阶跃星辰与清华大学等机构合作的论文《Multi-matrix Factorization Attention》提出了一种新型注意力机制架构——多矩阵分解注意力(MFA)及其变体MFA-Ke...