从社区数据看大模型开发生态的全景与趋势

558 0 0

文章摘要

在QCon全球软件开发大会2024（上海站）的「开源重塑AI开发生态」专题中，王旭和夏小雅发表了题为「从社区数据看大模型开发生态的全景与趋势」的演讲，探讨了开源生态的变化及其对开发者的影响。他们通过分析社区数据，包括项目活动数据、项目间的关联信息和SPDX标准兼容的Dependency数据，揭示了AI生态中的依赖性、上下游合作关系以及同生态位的替换/竞争关系。这些关系构成了应用架构图，反映了生态位的清晰度和生态的大图。

演讲中提到，生态中的项目稳定性、开发者聚集效应和生态的隔离性是值得关注的现象。例如，PyTorch、llama.cpp和huggingface/transformers等项目在生态中占据核心地位，而Kubernetes等项目则显示出与大模型相关的开源项目之间的隔离性。此外，一些项目如Nvidia的项目在社区中的互动较少，显示出非社区化的特点。

为了绘制生态全景图，他们提出了开发链、供应链、执行链和工作流等前置定义，并强调这些链条不是二维平面图，而是相互交织的复杂结构。他们还展示了一些核心项目在生态位上的分布，并讨论了训练框架、推理引擎和IDE开发工具等领域的趋势。

最后，王旭和夏小雅强调，大模型开发的范式正在形成，类似于20年前的LAMP。他们建议开发者利用好的生态位或与中心生态位产生良好互动。尽管已经有一些阶段性的成果，但他们将继续进行更多的分析和观察，以更全面地理解AI生态中的动态和趋势。