Meta开源MobileLLM-R1模型，不到1B参数，用1/10的训练就超越了Qwen3

文章摘要

【关 键 词】 MobileLLM-R1、推理模型、训练成本、华人作者、模型性能

Meta AI 团队本周五正式发布了 MobileLLM-R1，这是 MobileLLM 的全新高效推理模型系列，引发了机器学习社区的讨论。

MobileLLM-R1 包含基础模型 MobileLLM-R1 – 140M – base、MobileLLM-R1 – 360M – base、MobileLLM-R1 – 950M – base 及相应最终模型版。它们是监督微调 (SFT) 模型，针对数学、编程（Python、C++）和科学问题进行训练，并非通用聊天模型。Meta 还发布了完整的训练方案和数据源，以确保可重复性并支持进一步研究。

该系列参数最大的 MobileLLM-R1 950M 模型表现优异。它仅使用约 2T 高质量 token 进行预训练，总训练 token 量少于 5T，但在 MATH、GSM8K、MMLU 和 LiveCodeBench 基准测试中，性能与使用 36T token 训练的 Qwen3 0.6B 相当或更佳。与现有完全开源模型相比，其在 MATH 基准上准确率比 Olmo 1.24B 模型高出约五倍，比 SmolLM2 1.7B 模型高出约两倍，在编码基准测试中也远超这两个模型，创下完全开源模型新的最高水平。

MobileLLM-R1 的发布受社区欢迎，基于小体量模型的探索方向训练成本低廉，便于尝试新技术，且模型体量下降可覆盖更多端侧设备，利于大面积落地。随着训练成本普遍下降，有望得到更好的模型。

同时，MobileLLM-R1 系列背后的三位华人作者亮相，该项目研发历时一年。Zechun Liu 专注于大模型和基础模型的高效部署与优化，在顶级会议和期刊发表 20 多篇论文；Ernie Chang 专注于自然语言处理、多模态学习和高效模型部署等领域，参与多个前沿项目和重要论文研究；Changsheng Zhao 专注于自然语言处理、深度学习和大语言模型的高效部署与优化，在 Meta 参与多个前沿研究项目。

原文和模型

【原文链接】 阅读原文 [ 1200字 | 5分钟 ]
【原文作者】 机器之心
【摘要模型】 doubao-1-5-pro-32k-250115
【摘要评分】 ★★☆☆☆

火山方舟-火山引擎

火山方舟提供模型训练、推理、评测、精调等全方位功能与服务，并重点支撑大模型生态。