标签:1bit量化
让大模型“瘦身”90%!清华&哈工大提出极限压缩方案:1bit量化,能力同时保留83%
### 摘要总结清华大学和哈尔滨工业大学的研究团队提出了一种名为OneBit的大模型1bit极限压缩框架,实现了大模型权重压缩超过90%的同时保留83%的能力。这一突...
清华、哈工大把大模型压缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!
摘要总结:清华大学和哈尔滨工业大学的研究团队在模型量化领域取得了重要进展,他们提出了一种名为「OneBit」的方法,成功将大型语言模型(LLM)压缩至1bit,...