标签:量化技术

大模型应用新战场:揭秘终端侧AI竞争关键|智在终端

2024年,AI技术普惠性成为行业共识,各大企业与学术界均在探索AI应用的落地。在大模型与AIGC应用领域,安卓手机厂商与高通等公司的合作尤为引人注目。高通在C...

学界正在研究1-bit的大模型,目前已经有突破性进展

随着大型语言模型(LLM)性能的增强,其对计算资源和能源的需求也日益增加。为降低成本、提高速度并实现环保,研究者致力于将模型压缩至能在手机等小型设备上...