标签：端侧部署
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
随着大模型能力的持续提升，端侧设备部署成为产业界的重要工程挑战。手机、车载、IoT等设备对模型体积、推理时延、功耗和更新机制提出了极高要求，使得端侧推...
长文本推理 5 倍提速！面壁MiniCPM4 端侧模型发布，0.5B模型效果秒杀同级
新一代端侧AI模型MiniCPM4.0发布，包含8B和0.5B两种参数规模，在性能、速度和部署效率上实现显著突破。8B稀疏闪电版通过5%的极致稀疏度实现长文本推理速度5倍...
手机实现GPT级智能，比MoE更极致的稀疏技术：省内存效果不减｜对话面壁&清华肖朝军
在大模型竞争日益激烈的背景下，算力与效率的平衡成为决定胜负的关键因素。端侧部署作为大模型落地的最后一公里，长期以来面临算力瓶颈的挑战。面壁智能与清...
