当大模型升级速度变缓，AI Infra 创业还是一门「好生意」吗？

343 0 0

文章摘要

【关键词】 AI Infra、芯片适配、推理成本、MaaS平台、异构混训

AI Infra领域的发展呈现出两极分化的格局，海外市场被巨头垄断，而国内市场则显得过于分散。中国AI Infra创业主要由清华系背景的团队引领，这些企业主要聚焦于模型与芯片的深度适配，旨在减少算力资源闲置并降低模型应用的成本。随着大模型的发展重心从训练转向推理，推理成本的降低成为关键问题，预计未来三年内推理成本将实现每年十倍的降低。

在推理布局上，海内外企业存在分歧，特别是在MaaS平台的构建上。MaaS平台通过将模型部署到云端，以API形式提供服务，专注于计算调度，提高成本效率和稳定性。然而，潞晨科技创始人尤洋对此表示担忧，认为创业公司通过MaaS平台销售大模型API将与通用大模型公司竞争，难以获得市场份额。因此，潞晨科技选择进入视频大模型领域，发布开源模型并走向商业化。

国内外市场在AI Infra创业上的差异显著。海外市场由于英伟达的统一市场地位，创业相对简单，但国内市场芯片厂商分散，对不同国产芯片的支持显得尤为重要。国内算力资源丰富但分布不均，导致算力资源闲置和国产算力能力未能充分发挥。无问芯穹等企业通过异构混训技术，尝试解决芯片产能不足的问题，但异构混训的长期可行性受到质疑。

AI Infra创业公司与云服务商之间的关系也是业界关注的焦点。虽然存在竞争，但创业公司在分布式资源合并和国产芯片适配方面具有优势，与云服务商有合作空间。在大模型浪潮中，AI Infra创业公司正在探索合适的业务方向，解决国产算力问题是关键，而不同方向的尝试都将是有益的探索。