对话 Nexa AI：两位斯坦福95后，做出比GPT-4o快4倍的小模型，直指“端侧版Hugging Face”

157 0 0

文章摘要

Nexa AI，一家由斯坦福校友创立的公司，近期在人工智能领域取得了显著成就。公司开发的Octopus v2模型以其5亿参数量在硅谷AI界引起了广泛关注，其Functional Token技术实现了快速推理速度，且函数调用准确率高达98%以上。该模型在Product Hunt上线当天即获得“No.1 Product of the Day”的荣誉，并在Hugging Face发布当月累积了1.2万次下载量，受到了AI界权威人士的高度评价。

Nexa AI由95后斯坦福校友Alex Chen和Zack Li共同创立，目前拥有8名全职员工，并得到了斯坦福大学教授的顾问支持。公司已成功签约10余家不同领域的头部企业客户，服务超过1000名注册用户，并完成了超千万美元的种子轮融资。

继Octopus v2发布后，Nexa AI又推出了参数量小于10亿的多模态AI模型Octopus v3，该模型在保持与GPT-4相当的函数调用准确度的同时，能够在各种边缘设备上高效运行，支持文本和图像输入，并能理解中英文。此外，公司还推出了38亿参数的Octo-planner模型，该模型能在不同领域知识中执行多步查询任务。

Nexa AI的目标是打造一个端侧AI综合开发平台「Model Hub」，该平台包含专为本地部署设计和优化的丰富AI模型库，如Octopus系列、Llama 3.1、Gemma 2等，适合在各种设备上高效运行，无需互联网连接和API费用。Model Hub还提供了全面的开源SDK，支持开发者将模型部署到本地，并根据需求微调定制，同时建立了开发者社区。

在对话中，Alex Chen和Zack Li分享了他们的创业经历和对端侧AI的思考。他们认为，随着算法的不断改进和端侧算力的提升，越来越多的大模型功能可以通过小模型完成，端侧AI有非常好的发展机会。他们强调，小模型在速度、耗电、部署成本和隐私保护方面具有优势，尤其是在处理特定领域问题时，小模型已经足够应对99%的日常需求。

Nexa AI的核心技术优势在于其Functional Token概念，通过一个端到端的模型直接输出，显著节省计算资源和上下文空间，提升处理速度。在实际验证中，Octopus v2模型在单卡A100的硬件条件下，比GPT-4o快4倍。此外，公司还计划推出支持长文本处理的压缩模型，并持续优化不同场景的服务。

面对激烈的市场竞争，Nexa AI凭借其模型优势和部署优势，以及通过Model Hub平台吸引更多开发者加入，形成了独特的差异化竞争。公司希望通过维护端侧AI社区，为开发者提供基于订阅的收入，并针对企业客户提供服务。Nexa AI的最新端侧AI模型社区Mobile Hub已于8月22日上线官网，供用户体验。