标签:压缩

华为中科大联创大模型低比特量化算法,1‰数据实现昇腾无损压缩7倍

大模型在人工智能领域展现出强大的能力,但其庞大的参数量和部署成本成为广泛应用的主要障碍。以DeepSeek-R1 671B为例,其推理过程需要高达1342GB的显存,即...