文章摘要
【关 键 词】 AI收购、模型优化、云服务、机器学习、技术创新
英伟达计划以约1.65亿美元收购AI初创公司OctoAI，这是一家致力于提升人工智能模型运行效率的软件销售公司。OctoAI成立于2019年，由华盛顿大学计算机科学与工程学院教授Luis Ceze联合创立，他因在Apache TVM和仿生数据存储系统方面的贡献而知名。公司总部位于华盛顿州西雅图，自成立以来已获得多家投资机构的支持。
OctoAI的愿景是简化AI的访问和可持续性，以便改善人们的生活。其平台为应用程序构建者提供了一套完整的工具，使他们能够在云端或本地运行、调整和扩展AI应用程序。OctoAI的平台支持多种流行的AI模型，如SDXL、Mixtral和Llama2，提供快速推理API和端到端的开发者解决方案。
OctoAI在2021年的估值约为9亿美元，此前已从包括Tiger Global Management、Madrona Venture Group和Amplify Partners在内的投资者那里筹集了1.32亿美元。公司在2022年4月推出了OctoStack软件平台，这是业界首个为生成式AI模型提供服务的完整技术堆栈，允许公司在内部基础设施上托管AI模型。
OctoAI的平台基于Apache TVM机器学习编译器框架，提供TVM即服务平台，并随着时间扩展为成熟的模型服务产品。随着生成式AI的兴起，OctoAI推出了完全托管的平台，帮助用户服务和微调现有模型。OctoStack的核心是OctoAI平台，但适用于私人部署。
OctoAI的首席执行官Luis Ceze透露，其平台上有超过2.5万名开发人员和数百名付费客户。OctoStack平台的优势在于它允许在公司内部基础设施上托管AI模型，支持本地硬件、主要公共云和AI优化的基础设施即服务平台。它还适用于英伟达和AMD的多种AI加速器，以及AWS提供的AWS Inferentia芯片。
OctoAI的技术包括运算符融合和量化技术，这些技术可以提高AI模型的性能。OctoStack采用开源技术TVM，可以自动优化不同芯片的神经网络，帮助客户更高效地运行AI基础设施。据OctoAI称，由OctoStack驱动的推理环境提供的显卡利用率是自建AI集群的四倍，且承诺将运营成本降低50%。
OctoStack的主要优点包括快速运行任何模型、在任何环境中运行、选择任何硬件目标、专业知识和创新以及持续优化。它支持流行的开源大型语言模型，如Meta公司的Llama和Mistral AI开发的Mixtral专家混合模型，并且可以运行内部开发的神经网络。OctoStack能够随着时间的推移更新推理环境中的AI模型，而无需对支持的应用程序进行重大更改。
原文和模型
【原文链接】 阅读原文 [ 1986字 | 8分钟 ]
【原文作者】 AI前线
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆
