纯C语言手搓GPT-2，前OpenAI、特斯拉高管新项目火了

文章摘要

【关 键 词】 Andrej Karpathy、C语言、GPT-2、llm.c、机器学习

Andrej Karpathy，前特斯拉Autopilot负责人和OpenAI科学家，近日发布了一个名为「llm.c」的项目，该项目仅使用大约1000行纯C语言代码，就能在CPU/fp32上实现GPT-2模型的训练。

这一成就在机器学习社区引起了广泛讨论，项目在GitHub上的Star数量在短时间内迅速增加。

Karpathy选择从GPT-2开始，是因为它是大型语言模型（LLM）的先驱，具有现代形式的组合，并且已有可用的模型权重。

在llm.c项目中，所有所需的内存在开始时一次性分配，训练过程中不会创建或销毁任何内存，内存占用量保持不变。

项目手动实现了所有单个层的前向和后向传递，并将它们串联起来，例如layernorm、编码器、matmul、自注意力、gelu、残差、softmax和交叉熵损失等。

Karpathy目前正在将项目逐层移植到CUDA上，以提高效率，并期待能在PyTorch的合理范围内提升性能，但不依赖于任何重型依赖项。

他还计划将项目的精度从fp32降低到fp16/以下，并增加一些新层以支持更现代的架构。

使用llm.c需要下载并tokenize数据集，例如tinyshakespeare数据集。

项目提供了一个脚本来下载GPT-2权重并将其保存为C语言中可加载的检查点。

然后，使用这些权重进行初始化并进行训练。

编译完成后，可以运行训练程序，并使用Adam优化器进行微调。

生成的token ID需要解码回文本，这可以通过C语言或其他工具实现。

Karpathy还提供了单元测试来确保C代码与PyTorch代码一致，并附上了一个教程，介绍如何用C语言实现GPT-2模型的单个层（layernorm层）。

他还计划制作关于从头开始用C语言编写大模型的视频教程。

此外，机器之心还宣布将于4月13日在北京海淀举办AI技术论坛，聚焦于视频生成技术、多模态大模型等前沿领域的技术突破和应用实践。

原文和模型

【原文链接】 阅读原文 [ 1954字 | 8分钟 ]
【原文作者】 机器之心
【摘要模型】 gpt-4
【摘要评分】 ★★★★☆

OpenAI GPT-4

GPT-4是OpenAI公司开发的自然语言处理模型GPT家族中的第四个版本，它是一个大型的多模态模型，可以接受图像和文本输入并输出文本。它在各种专业和学术基>准测试中实现了人类水平的表现。