英伟达推出NeMo，极大简化自定义生成式AI开发

886 0 0

文章摘要

【关键词】 大语言模型、NeMo微服务、生成式AI、NVIDIA CUDA-X、AIGC领域

这篇文章介绍了专注于AIGC领域的专业社区，关注微软 & OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态。为了帮助全球开发者和企业更好地开发定制大模型和生成式AI产品，NVIDIA推出了NeMo Curator、NeMo Customizer和NeMo Evaluator等微服务的早期访问计划。这些微服务涵盖了从数据整理、定制到评估的所有开发阶段，简化了用户构建自定义生成式AI模型的流程。NeMo是一个端到端的平台，可用于在任何地方开发定制的生成式AI，包括用于训练、微调、检索增强生成、防护栏、数据策划和预训练模型的工具。作为NVIDIA CUDA-X微服务的一部分，NeMo API端点建立在NVIDIA库之上，为企业提供了一个简单的路径，可以开始构建定制的生成式AI。在早期访问计划中，开发人员可以请求访问NeMo Curator、NeMo Customizer和NeMo Evaluator微服务，使企业能够更快地构建企业级定制生成式人工智能，并推向市场。NeMo Curator帮助开发人员筛选数据进行预训练和微调，NeMo Customizer实现微调和对齐，而NeMo Evaluator则用于评估模型与学术或自定义基准的对比情况，并确定改进方向。NeMo Curator是一种可扩展且支持GPU加速的数据整理微服务，用于为预训练和定制生成式AI模型准备高质量数据集。NeMo Customizer是一个高性能、可扩展的微服务，简化了特定领域用例的大语言模型的微调和对齐，支持LoRA和p-tuning两种参数高效微调技术。NeMo Evaluator可自动评估各种学术和定制基准上的定制生成式AI模型，支持通过一组选定的学术基准进行自动评估，包括BIG-Bench、多语言、大型代码评估工具和毒性。支持对自定义数据集进行评估，提供的指标包括准确率、召回率导向的摘要评估（ROUGE）、F1和精确匹配，同时可以利用大语言模型作为评判标准，对模型响应进行全面评估。开发人员可以使用NVIDIA API目录中支持的任何NVIDIA NIM支持的大语言模型来评估MT-Bench数据集上的模型性能。