文章摘要
【关 键 词】 Meta模型、多语言优化、知识推理、自回归语言、AI变革
Llama 3.1，一个由Meta开发的预训练和指令微调的生成模型系列，包括8B、70B和405B三种参数规模，已在开发者社区中引起了广泛关注。该系列模型在多语言对话用例上进行了优化，支持英语及其他七种语言，新增了更长的上下文、多语言输入输出和开发者与第三方工具的集成能力。
基准测试结果显示，Llama 3.1在通用任务、知识推理、阅读理解上创下了新纪录，尤其在MMLU、SQuAD细分基准上表现突出。Llama 3.1 405B在数学基准MMLU Pro上以73.3%的成绩超越其他大模型，与GPT-4o在多个基准上不相上下。此外，Llama 3.1是一个自回归语言模型，使用优化的Transformer架构，并采用了SFT和RLHF技术以符合人类对安全的偏好。
Llama 3.1在大约15万亿个公开可用的token上进行了预训练，微调数据包括公开可用的指令数据集和超过2500万个合成样本。模型支持多语言环境下的商业和研究用途，适用于聊天助手和各种自然语言生成任务。Meta还强调，除了支持的8种语言，Llama 3.1在更广泛的语言集合上进行了训练，开发者可以对其进行微调以适应其他语言。
在训练过程中，Meta使用了定制的训练库、GPU集群和生产基础设施，累计使用了3930万GPU小时的计算时间。Meta自2020年以来一直保持着净零的温室气体排放，并且100%的电力都是由可再生资源生成的。
重大风险测试方面，Meta评估了Llama 3.1在CBRNE有用性、儿童安全和网络攻击方面的表现。研究重点在于评估LLMs在网络攻击行动中用作自主Agent的能力，尤其是被勒索软件攻击时。
Llama 3.1的泄露引发了网友的热议和期待，许多人对模型的性能和开源特性表示兴奋。开源模型与闭源模型的差距再次缩小，Llama 3.1的发布无疑将为AI领域带来新的变革。
原文和模型
【原文链接】 阅读原文 [ 1689字 | 7分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆
