Meta 开源的代码大模型

作者信息

【原文作者】 GitHub精选
【作者简介】 分享 GitHub 上有意思的开源项目和人。
【微 信 号】 UltraTrailBot

文章摘要

【关 键 词】 开源项目、编程语言模型、FacebookResearch、CodeLlama、GitHub

文章介绍了 GitHub 上的一个开源项目 facebookresearch/codellama，这是一个名为 Code Llama 的编程语言模型集合，由 Facebook Research 团队开发。Code Llama 支持大型输入内容和编程任务的 zero-shot 指令跟踪，适用于处理复杂的编程问题。

项目提供了三种类型的模型：Code Llama、Code Llama – Python 和 Code Llama – Instruct，参数分别为 7B、13B 和 34B。所有模型都在 16k 的令牌序列上训练，并改进了对多达 100k 令牌的输入内容的处理。

要使用 Code Llama，用户需要下载模型权重和标记器，并确保具有支持 PyTorch / CUDA 的 conda 环境。通过设置 max_seq_len 和 max_batch_size 的值，用户可以使用预训练的语言模型进行代码生成和代码填充等操作。

Code Llama 项目在 GitHub 上获得了超过 11.4k Star，受到了广泛的关注和好评。

原文信息

【原文链接】 阅读原文
【原文字数】 826
【阅读时长】 3分钟