标签：注意力机制
ICML 2025 Spotlight | 快手、南开联合提出模块化双工注意力机制，显著提升多模态大模型情感理解能力！
新一代人工智能发展的重要方向是“情智兼备”，这是迈向通用人工智能的关键一步。在人机交互场景中，具备情智的数字人与机器人需要精准解译多模态交互信息，深...
开源多模态大模型EarthMind，观测地球统一框架
地球观测数据在自然灾害监测和城市发展规划评估中发挥着关键作用，但如何高效理解和分析这些复杂数据一直是科学界的难题。现有的多模态模型虽然在通用图像理...
Cache Me If You Can：陈丹琦团队如何「抓住」关键缓存，解放LLM内存？
普林斯顿大学陈丹琦团队提出统一框架解决长上下文语言模型中的KV缓存内存瓶颈问题。随着'长思维链'等技术的兴起，模型需要处理数万token的输入，导致基于Tran...
算力终结者来了！华人天团「降维打击」注意力瓶颈，AI狂飙进对数时代
注意力机制的「平方枷锁」被突破，研究者提出对数线性注意力（Log-Linear Attention），通过Fenwick树分段和掩码矩阵实现对数级效率。这一创新由Mamba作者Tri...
谷歌Transformer过时了？清华姚班校友等三连击，爆改注意力！
谷歌研究团队提出了一种突破性的AI架构设计框架Miras，通过重新定义注意力机制和记忆管理方式，显著提升了序列模型的性能。该框架的核心创新在于将传统遗忘机...
被Transformer光芒掩盖的论文，Meta科学家回顾十年前创新之作
2015年发布的论文《End-To-End Memory Networks》虽然在当时被Transformer的光芒所掩盖，但它包含了当前大型语言模型的许多关键要素。这篇论文首次完全用注意...
DeepSeek的MLA，任意大模型都能轻松迁移了
DeepSeek-R1作为AI产业颠覆式创新的代表，其训练与推理成本仅为同等性能大模型的数十分之一，核心在于多头潜在注意力网络（MLA）。MLA通过对键值缓存进行低秩...
标点符号成大模型训练神器！KV缓存狂减一半，可处理400万Tokens长序列，来自华为港大等 | 开源
华为、港大等机构的研究团队提出了一种基于自然语言分隔符的新型大语言模型SepLLM，通过将文本语义信息压缩至标点符号中，显著提升了训练推理效率。该方法发...
YOLO已经悄悄来到v12，首个以Attention为核心的YOLO框架问世
YOLOv12通过引入创新的注意力机制和结构优化，显著提升了实时目标检测的性能与效率。该模型由纽约州立大学布法罗分校和中国科学院大学的研究团队联合开发，旨...
梁文锋亲自挂名，DeepSeek 最新论文丢出注意力新机制，推理速度直线提升 11 倍
DeepSeek研究团队近期发布了一种名为NSA的新型注意力机制，其核心设计包含动态分层稀疏策略、粗粒度token压缩与细粒度token选择三大技术要素。该机制通过优化...
