总结374篇相关工作，陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述

AIGC动态8个月前发布 almosthuman2014

796 0 0

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k
【摘要评分】 ★★★★★

文章摘要

机器之心编辑部撰写的这篇文章主要讨论了大语言模型（LLMs）的知识蒸馏技术及其在研究和工业界中的应用。文章首先指出，尽管闭源LLMs如GPT-4、Gemini和Claude等在过去两年取得了显著进展，但开源LLMs与闭源LLMs之间仍存在较大差距。因此，提高开源LLMs和其他小型模型的能力成为了研究热点。

文章强调了知识蒸馏（KD）的重要性，即从教师模型（如GPT-4）向较小模型（如Llama）转移知识的过程。这种技术不仅提高了小型模型的性能，而且是一种性价比高且有效的方法。文章提到，陶大程团队在2020年发表了一篇关于知识蒸馏在深度学习中应用的综述，随着LLMs的出现，知识蒸馏的应用范围不断扩大。

2024年初，陶大程团队与香港大学和马里兰大学合作发表了一篇新的综述《A Survey on Knowledge Distillation of Large Language Models》，总结了374篇相关工作。这篇综述探讨了如何从LLMs中获取知识，训练较小模型，以及知识蒸馏在模型压缩和自我训练中的作用。此外，该综述还涵盖了大语言模型技能的蒸馏以及垂直领域的蒸馏，帮助研究者全面了解如何训练和提升自己的模型。

综述将知识蒸馏分为两个步骤：知识获取和蒸馏算法。知识获取包括标注、扩展、数据合成、特征抽取、反馈和自生成的知识。蒸馏算法包括有监督微调、散度及相似度、强化学习和排序优化。文章还讨论了技能蒸馏和垂直领域蒸馏的应用，以及未来研究方向，如数据选择、多教师蒸馏、克服蒸馏过程中的灾难性遗忘、可信知识蒸馏、弱到强的蒸馏和自我对齐。

总之，这篇综述为如何利用大语言模型的知识来提升学生模型提供了全面且系统的总结，探讨了蒸馏大语言模型的未来方向，旨在推动大语言模型知识蒸馏的边界，以实现更易获取、高效、有效和可信的大语言模型。