标签：量化模型

Meta开源首个量化模型Llama 3.2：减少40%内存，效率提升2倍以上

Meta公司最近开源了一款名为Llama 3.2的轻量级量化版大语言模型，提供10亿和30亿两种参数规模的版本。这款模型经过特别优化，以适应手机、平板和笔记本等移动...

AIGC动态

2个月前

大模型部署技巧

在探讨大语言模型（LLM）的应用时，企业通常面临是否自托管模型的决策。自托管虽然复杂，但出于隐私、性能和成本的考虑，82%的企业计划采取这一策略。自托管...

AIGC动态

2个月前