英伟达推出NIM,可优化推理以实现大规模AI模型部署

AIGC动态8个月前发布 AIGCOPEN
846 0 0

模型信息


【模型公司】 OpenAI
【模型名称】 gpt-3.5-turbo-0125
【摘要评分】 ★★★☆☆

英伟达推出NIM,可优化推理以实现大规模AI模型部署
 

文章摘要


【关 键 词】 生成式AI大语言模型模型优化模型微服务人工智能转型

本文介绍了专注于AIGC领域的专业社区,关注微软 & OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地的情况。ChatGPT的出现加速了生成式AI的开发和应用进程,英伟达(NVIDIA)推出了NVIDIA NIM,旨在帮助开发者加速部署和推理进程。NVIDIA NIM是一组经过优化的云原生微服务,旨在缩短上市时间并简化在云端、数据中心和GPU加速工作站上部署生成式AI模型。通过使用行业标准的API,将AI模型开发和打包的复杂性抽象化,从而扩大AI模型开发人员的范围。NIM旨在弥合人工智能开发的复杂世界与企业环境的运营需求之间的鸿沟,使得更多的企业应用开发人员能够参与其公司的人工智能转型。NIM专为可移植性和控制而构建,可实现模型在各种基础设施上部署,包括NVIDIA DGX、NVIDIA DGX Cloud、NVIDIA认证系统、NVIDIA RTX工作站和个人电脑。NIM通过针对每个模型和硬件设置进行优化的推理引擎,为加速基础设施提供最佳的延迟和吞吐量,降低了推理工作负载的成本,改善了最终用户的体验。NIM支持多种AI模型,如社区模型、NVIDIA AI基金会模型和NVIDIA合作伙伴提供的定制AI模型,可支持多个领域的AI用例,包括大语言模型、视觉语言模型(VLMs)以及语音、图像、视频、3D、药物发现、医学成像等模型。企业可以通过NIM优化他们的AI基础设施,实现最大效率和成本效益,而无需担心AI模型开发复杂性和容器化。此外,NVIDIA还提供了跨不同领域的模型定制微服务,如NVIDIA NeMo用于大语言模型、语音AI和多模态模型微调,NVIDIA BioNeMo用于加速药物发现,NVIDIA Picasso用于视觉内容创作。这些定制模型微服务有助于企业加速应用定制模型的过程,提高性能和可扩展性,同时降低硬件和运营成本。

原文信息


【原文链接】 阅读原文
【阅读预估】 936 / 4分钟
【原文作者】 AIGC开放社区
【作者简介】 专注AIGC领域的专业社区,关注微软OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

© 版权声明

相关文章

暂无评论

暂无评论...