标签:低比特模型

大模型端侧 CPU 部署最高提效 6 倍!微软亚研院新开源项目 T-MAC 技术解析来了

微软亚洲研究院的研究员们开发了一种名为T-MAC的新技术,旨在增强边缘设备上的智能性,通过在这些设备上部署大型语言模型(LLMs)。T-MAC使用基于查找表(LUT...