标签：性能预测
苹果也在蒸馏大模型，给出了蒸馏Scaling Laws
苹果研究人员提出的蒸馏扩展定律为量化评估知识蒸馏效果提供了理论框架。该定律通过计算预算在教师模型与学生模型之间的分配关系，能够预测不同配置下学生模...
Scaling Laws终结，量化无用，AI大佬都在审视这篇论文
近期，AI领域一篇关于大模型量化的论文引起了广泛关注。UCSD助理教授Dan Fu认为该论文指明了大模型量化的方向，而CMU教授Tim Dettmers更是称之为'很长一段时...
