碾压前辈！Meta发布“最大、性能最好”的开源Code Llama 70B，但开发者纷纷喊穷：玩不起！

766 0 0

作者信息

【原文作者】 AI前线
【作者简介】 面向AI爱好者、开发者和科学家，提供AI领域技术资讯、一线业界实践案例、搜罗整理业界技术分享干货、AI论文解读。每周一节技术分享公开课，助力你全面拥抱人工智能技术。
【微信号】 ai-front

文章摘要

【关键词】 Code Llama、模型版本、编码、性能、微调

Meta发布了Code Llama 70B，这是Code Llama家族中最大、性能最好的模型版本。Code Llama提供了三种版本，包括基础编码模型、专门用于Python编码的模型以及针对自然语言指令理解进行微调的版本。通过对比现有解决方案测试，发现Code Llama在HumanEval和MBPP基准测试上的表现优于其他开源解决方案，甚至超越了Llama 2。扎克伯格在Facebook上表示对这一进展感到自豪，并期待未来模型中包括这些进展。

Code Llama是Llama 2模型的编码专用版本，支持多种高人气编程语言。Meta发布了四种Code Llama模型版本，参数分别为7B、13B、34B和70B，各模型版本使用不同数量的代码token进行训练。此外，Meta还进一步微调了Code Llama的两个附加变体：Code Llama – Python和Code Llama – Instruct。Meta建议开发者优先选择Code Llama – Instruct进行代码生成，而不建议使用Code Llama或Code Llama – Python执行常规自然语言任务。

随着模型参数的增加，开发者们担心自己手头没有足够装备来满足运行Code Llama 70B的需求。一些开发者提出了在不同设备上运行70B模型的建议，但也指出了模型的量化版本和硬件要求。

代码生成一直受到开发者的好评和批评，开发者对ChatGPT和Copilot的使用感受也不尽相同。开源领域一直在进行生成更好代码的研究，Hugging Face的“Big Code Models Leaderboard”上也有很多被开发者认可的模型。对于有开发者提出“当前SOTA本地代码生成模型是什么”的问题，可能现在还没有标准答案，大家还在努力优化现有模型。