标签:扩展定律

苹果也在蒸馏大模型,给出了蒸馏Scaling Laws

苹果研究人员提出的蒸馏扩展定律为量化评估知识蒸馏效果提供了理论框架。该定律通过计算预算在教师模型与学生模型之间的分配关系,能够预测不同配置下学生模...