标签：量化技术
创新突破！字节跳动首创无需数据，1.58位超低量化自监督生成
字节跳动研究人员针对大型语言模型（LLM）在推理和生成过程中占用大量内存的问题，提出了一种创新的量化方法。该方法不依赖实际图像数据，仅利用模型自身的自...
大模型应用新战场：揭秘终端侧AI竞争关键｜智在终端
2024年，AI技术普惠性成为行业共识，各大企业与学术界均在探索AI应用的落地。在大模型与AIGC应用领域，安卓手机厂商与高通等公司的合作尤为引人注目。高通在C...
学界正在研究1-bit的大模型，目前已经有突破性进展
随着大型语言模型（LLM）性能的增强，其对计算资源和能源的需求也日益增加。为降低成本、提高速度并实现环保，研究者致力于将模型压缩至能在手机等小型设备上...
