击败GPT-4o、仅次于o1！英伟达重磅开源超强大模型–Nemotron

80 0 0

文章摘要

全球AI领域的领导者英伟达（Nvidia）最近开源了一款名为Llama-3.1-Nemotron-70B-Instruct的强大模型，该模型在测试中超越了140多个开闭源模型，包括GPT-4o、GPT-4turbo等，仅次于OpenAI的最新模型o1。Nemotron的基础模型基于Llama-3.1-70B，但在训练中采用了一种创新的混合训练方法，结合了Bradley-Terry和Regression技术来训练奖励模型，这种方法旨在提高模型输出的质量和准确性。

英伟达还开源了Nemotron的训练数据集，这对于开发同类型或更优模型至关重要。开源资源包括模型本身、数据集和在线demo，为AI社区提供了宝贵的资源。开源地址和数据集链接分别位于Hugging Face平台，而在线demo也提供了互动体验。

Nemotron的成功不仅展示了英伟达在AI领域的技术实力，也反映了其在科研资助和开发生态建设方面的投入。与此同时，大模型初创企业面临资金和商业落地的挑战，可能会在巨头竞争中遭遇困难。

在训练过程中，英伟达采用了一种新的混合训练方法，通过结合Bradley-Terry和Regression的优点，解决了单一方法的局限性。HELPSTEER2-PREFERENCE数据集的开发过程中，标注者从多个维度对回应进行评分，并提供文字说明，增强了数据的透明度和上下文信息。研究人员还进行了严格的数据预处理，以确保数据质量和一致性。

最终，使用HELPSTEER2-PREFERENCE数据集训练的模型在RewardBench评测中取得了94.1的高分，显示出其卓越的性能。这一开源举措不仅推动了AI行业的发展，也为开发者提供了宝贵的资源和工具，以促进AIGC领域的创新和进步。