大模型，小而美可能是更好的选择

AIGC动态10个月前更新 admin

1,461 0 0

作者信息

【原文作者】 面向数据编程
【作者简介】 分享有关数据科学的概念，思路与代码
【微信号】 MakeDataGreat

文章摘要

【关键词】 足球、大模型、成功、特点、猎户星空

文章主要讨论了足球比赛中的特点与成功、大模型的发展历程以及猎户星空发布的大模型。

在第一部分中，作者指出了弱队可以依靠自己的特长，在与强队的比赛中获取胜利的概率较大，但如果处处平庸则难以取胜。作者将这一道理引申到社会中，强调人不能没有自己的特点，成功的人具备不同的特质，这体现了社会的多样性和包容性。

第二部分介绍了大模型的发展历程，包括OpenAI GPT系列的崛起、各类公司发布自己的类GPT模型、LLAMA开源后的基座模型百模大战以及垂类大模型和任务类大模型的发展。总的来说，大模型经历了通用到垂直的发展过程，各家公司在研发大模型中加入了一些亮点，使得GPT4并不是唯一的选择。

第三部分介绍了猎户星空发布的大模型，包括Orion-14B-Base、Orion-14B-Chat、Orion-14B-LongChat、Orion-14B-Chat-RAG、Orion-14B-Chat-Plugin、Orion-14B-Base-Int4和Orion-14B-Chat-Int4等系列。这些模型针对特定任务进行了精细调整，效果不错，尤其是RAG模型。

作者指出，现在大模型的训练方向更趋向于专有数据加合适规模参数的结构，使得大模型能够在各种场景落地并节省资源。