标签：加速
腾讯、华为、微软、阿里专家齐聚一堂，共谈推理优化实践 ｜ AICon
在人工智能快速发展的背景下，大模型的推理性能优化已成为应对算力挑战、内存瓶颈与通信压力的关键突破口。当前，优化工作主要围绕模型优化、推理加速与工程...
COLING24｜自适应剪枝让多模态大模型加速2-3倍，哈工大等推出SmartTrim
本文介绍了哈工大联合度小满推出的针对多模态模型的自适应剪枝算法 SmartTrim，该算法旨在解决基于 Transformer 结构的视觉语言大模型（VLM）在实际环境中部...
