让大模型“瘦身”90%！清华&哈工大提出极限压缩方案：1bit量化，能力同时保留83%

714 0 0

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k
【摘要评分】 ★★★★★

文章摘要

### 摘要总结

清华大学和哈尔滨工业大学的研究团队提出了一种名为OneBit的大模型1bit极限压缩框架，实现了大模型权重压缩超过90%的同时保留83%的能力。这一突破性的成果对于在PC端甚至智能手机上部署大模型具有重要意义。

#### 大模型1bit量化方法

现有的大模型压缩方法，如剪枝、量化等，通常在参数低位宽表示时面临性能损失。OneBit框架通过全新的1bit线性层结构、基于SVID的参数初始化方法和量化感知知识蒸馏的深度迁移学习，克服了1bit超低位宽量化的挑战。这种方法在保持原模型大部分能力的同时，大幅降低了模型的空间占用和计算成本。

#### 整体框架

OneBit框架包括三个主要部分：1bit模型结构、参数初始化方法和深度能力迁移。1bit模型结构通过替换FP16模型的线性层为1bit线性层，并保留FP16精度的值向量，以保持权重矩阵的高秩和必要的浮点精度。参数初始化采用SVID方法，将符号和绝对值分开，以更好地匹配1bit模型框架。深度能力迁移则通过知识蒸馏，使学生模型从教师模型中学习。

#### 模型越大，效果越好

研究团队在不同大小和系列的模型上测试了OneBit框架，并与其他量化方法进行了比较。结果显示，OneBit在1bit量化时具有明显优势，尤其是在大型模型上。随着模型规模的增大，OneBit的压缩比越高，且在大小和性能之间取得了良好的平衡。

#### 分析与讨论

OneBit框架在压缩比和性能上的优势，特别是在大型模型上的表现，显示了其在更大模型上的优势。1bit量化模型在计算上的优势，如节省空间和降低硬件要求，具有重要的应用前景。此外，OneBit在训练过程中保持了出色的稳定性，解决了二值网络训练中的不稳定问题。

#### 总结

OneBit框架为1bit权重量化提供了一种有效的模型结构和参数初始化方法。广泛的实验表明，OneBit在各种大小和系列的模型上具有明显优势，并为未来的研究提供了指导。