Llama 3 发布！目前最强开源大模型，全面登陆 Meta 系产品，即将推出 4000 亿模型

737 0 0

文章摘要

Meta公司于本周四正式推出了Llama 3，这是其最新开发的开源大型语言模型，被宣称为“有史以来最强大的开源大模型”。Llama 3模型包含8B（80亿）和70B（700亿）参数两个版本，相较于之前的Llama 2模型，Llama 3在性能上取得了显著进步，并在多个行业基准测试中展示了最先进的性能。

在性能方面，Llama 3的8B参数版本在评测中超越了Gemma-7B和Mistral-7B等其他模型，而70B参数版本同样在多个评测项目上超过了Gemini 1.5 Pro和Claude 3 Sonnet。Llama 3在推理、代码生成和遵循指令等方面的能力都得到了显著提升，使其更加灵活易用。

Meta计划在未来几个月内推出Llama 3的新功能，包括更长的上下文窗口、额外的模型尺寸和增强的性能，并计划分享Llama 3的研究论文。此外，Meta AI也已正式发布，并将在Instagram、WhatsApp、Messenger和Facebook等Meta的多款应用程序中整合，覆盖澳大利亚、加拿大、新加坡和美国等十几个国家。网页版Meta.ai也已同步上线。

Llama 3将很快在AWS、Databricks、Google Cloud等主要平台上推出，并得到AMD、AWS、Dell、Intel、NVIDIA和Qualcomm等提供的硬件平台支持。

Llama 3的研发过程中，Meta集中精力在四个核心要素上：模型架构的创新、预训练数据的选择、预训练过程的扩展，以及对模型进行指令微调的精细打磨。在模型架构方面，Llama 3采用了简化而高效的设计理念，选择了标准的仅解码器的Transformer架构，并在关键方面进行了改进。预训练数据方面，Llama 3基于超过15T的Token进行训练，这些Token全部来源于公开可获取的数据。预训练规模方面，Meta为Llama 3制定了详尽的Scaling Laws，以精选出最佳的数据处理方案。指令微调方面，Meta对后训练策略进行了创新性的改进，融合了多种技术。

展望未来，Meta计划推出一系列具备全新功能的模型，包括多模态、支持多语言对话、扩展上下文窗口的长度，以及全面提升的综合性能。此外，Meta还将发表一篇详尽的研究论文，分享Llama 3的成果和发现。

Meta AI已经集成了Llama 3技术，并可在更多国家使用。用户可以在Facebook、Instagram、WhatsApp和Messenger上使用Meta AI来完成任务、学习、创造以及连接对他们重要的事情。Meta AI也可以在这些应用中搜索，无需离开应用程序即可访问来自整个网络的实时信息。此外，Meta AI的图像生成功能也得到了提升，用户可以根据文字描述即时生成图片，并且新生成的图片质量更高、更清晰。