代码生成要变天了？被质疑架空后，Yann LeCun携320亿参数开源世界模型“杀回来了”

40 0 0

文章摘要

在新一代代码生成模型不断涌现的背景下，开发者关注模型代码编写能力及对代码运行的理解。多数大型语言模型虽能输出语法正确的代码，但在“理解执行”方面存在不足，与真正的程序员有明显差距。

美国当地时间9月24日，Yann LeCun领导的Meta FAIR CodeGen研究团队发布代码世界模型（CWM），这是Meta AI业务重组后首款模型。CWM是拥有320亿参数的密集解码器自回归开放权重大语言模型，在中期训练阶段引入新方式，利用“观察—动作”轨迹数据提升对代码的理解和推理能力，还应用多任务强化学习强化推理和规划水平。它不仅会写代码，还能“想象”代码运行过程，有望让AI在复杂编程任务中接近人类工程师工作方式。

性能测试上，CWM表现出色。在SWE – bench Verified任务中得分65.8%，领先所有开源同规模模型，接近GPT – 4水平；在LiveCodeBench上达到68.6%；在Math – 500上高达96.6%；在AIME 2024上取得76.0%。技术上，它支持最高131k token的上下文输入，训练涵盖多阶段多种数据集，两项大规模数据收集增强了其世界建模能力。团队还同步开放模型检查点，推动代码世界建模研究。

传统代码模型存在局限性，如生成合理但错误的代码、缺乏状态意识、处理多步骤任务困难等。CWM以代码执行轨迹和交互历史为核心训练数据，采用预训练、中期训练和后训练三阶段流程，结合监督微调与强化学习，在推理代码行为任务上优势显著。

Meta在半年内四次重组AI团队，将人工智能部门超级智能实验室分成四个小组，被外界解读为AI战略提速，且有从“全面开源”转向“选择性闭源”的趋势，Yann LeCun作为公司首席AI科学家的头衔未在此次重组中提及，被认为地位边缘化。但Meta推出开源的CWM，表明其未彻底放弃开源，在商业化与开源之间寻找平衡，Yann LeCun影响力被削弱但未被完全取代。