标签:边缘智能
一文读懂NPU
神经处理单元(NPU)是一种硬件加速器,专为人工智能任务设计,旨在补充中央处理单元(CPU)和图形处理单元(GPU)的功能。NPU在智能手机中已经存在一段时间...
大模型端侧 CPU 部署最高提效 6 倍!微软亚研院新开源项目 T-MAC 技术解析来了
微软亚洲研究院的研究员们开发了一种名为T-MAC的新技术,旨在增强边缘设备上的智能性,通过在这些设备上部署大型语言模型(LLMs)。T-MAC使用基于查找表(LUT...