学界正在研究1-bit的大模型，目前已经有突破性进展
文章摘要
【关 键 词】 语言模型、量化技术、能效优化、硬件需求、技术潜力
随着大型语言模型（LLM）性能的增强，其对计算资源和能源的需求也日益增加。为降低成本、提高速度并实现环保，研究者致力于将模型压缩至能在手机等小型设备上运行的大小。关键性的进展是通过将存储模型记忆的高精度数字简化为1或-1。
在量化技术方面，研究人员已从传统的16位参数精度降低至8位或4位，现在正探索1位参数的极端量化。目前，主要有两种方法实现1位LLM：训练后量化（PTQ）和量化感知训练（QAT）。PTQ方法由于避免了从头开始训练模型的必要性，而更受欢迎。例如，BiLLM方法就是采用1位或2位来近似参数，以减少内存需求，同时保持相对较好的性能。
微软亚洲研究院的韦福如提出了1位QAT方法BitNet，该方法通过参数调整速率的优化，实现了比PTQ更佳的性能。尽管1位LLM在精确度上仍无法与全精度网络相比，但其在能效上展现了显著优势，例如BitNet 1.58b的模型在保持性能的同时，大幅减少了GPU内存使用和能量消耗。
哈尔滨工业大学的团队进一步提出结合PTQ和QAT优点的OneBit方法，其模型在减少内存占用的同时，保持了竞争力的性能。然而，当前的硬件尚未完全利用这些模型的优势。1位LLM预示着对新型定制硬件和系统的需求，这类硬件能够直接处理-1、0、1的参数，通过加减运算替代传统的乘法运算。
尽管1位LLM和定制处理器的协同发展尚处于初期阶段，但已经显示出在模型性能、资源消耗及运算速度方面的巨大潜力。专家指出，开发新硬件以充分配合1位模型的能力是一个长期的过程，但这一研究方向无疑为未来的AI技术发展开辟了新的可能性。
原文和模型
【原文链接】 阅读原文 [ 1402字 | 6分钟 ]
【原文作者】 AI大模型实验室
【摘要模型】 glm-4
【摘要评分】 ★★★☆☆
