小模型有大智慧，Phi-2：微软Microsoft 的小语言模型，开源!

835 0 0

作者信息

【原文作者】 黔岭苗七哥
【作者简介】 一个工业设计师💻，文创产品设计师🎨，AIGC 技术爱好者🧠，知识分享者👀。
【微信号】 QianlingCIGO

文章摘要

文章介绍了微软Microsoft推出的小语言模型Phi-2，该模型虽然参数只有2.7亿，但在各种测试中展现出了卓越的推理和语言理解能力，甚至超过了规模大达25倍的模型。

Phi-2是Microsoft Research的Phi系列模型之一，旨在探索小规模语言模型是否能够实现与大型模型相似的性能。Phi-2的成功部分归功于其在模型缩放和训练数据管理方面的创新。Microsoft Research通过重点关注“教科书质量”数据，深化了这一认识，并创建了专门用于教授模型常识推理和通识知识的合成数据集，包括科学、日常活动等方面。

此外，还通过精心挑选的Web数据进一步扩充了训练语料库，根据教育价值和内容质量进行了过滤。其次，Microsoft Research采用创新技术扩展模型大小，从1.3亿参数的Phi-1.5开始，将知识逐渐嵌入到了2.7亿参数的Phi-2中。Phi-2在各种综合基准上的性能均超越了7亿和13亿参数的Mistral和Llama-2模型。

Phi-2将成为研究人员的理想模型，可以进行可解释性探索、安全性改进或各种任务的微调实验。Phi-2已经完全开源，并在Azure AI Studio模型目录中提供，以促进语言模型的研究和开发。

文章总结了Phi-2模型的特点和优势，强调了小模型拥有大模型涌现能力的可能性，以及高质量数据对于模型能力的至关重要性。同时，还提供了Phi-2的体验网址，以及作者的其他相关文章。