Karpathy离职OpenAI,首发2小时AI大课!从头开始构建GPT分词器

AIGC动态9个月前发布 AIera
787 0 0

作者信息


【原文作者】 新智元
【作者简介】 智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
【微 信 号】 AI_era

Karpathy离职OpenAI,首发2小时AI大课!从头开始构建GPT分词器
 

文章摘要


【关 键 词】 AI分词器KarpathyBPE教育

新智元报道,前OpenAI技术专家Andrej Karpathy发布了一个关于构建GPT分词器的在线课程,引起了广泛关注。这个课程名为“从头构建GPT分词器”,时长两小时,旨在教育观众如何构建用于大型语言模型(LLM)的分词器。Karpathy在GitHub上发布了一个名为minbpe的项目,提供了BPE(字节对编码)算法的简洁代码,该项目迅速获得了6.1k星和442个fork。

Karpathy的课程被认为是含金量极高的,有观众甚至表示其价值相当于四年大学学位。分词器在LLM中扮演着重要角色,因为它们负责将字符串编码为token,并在训练后实现token的解码。Karpathy在课程中探讨了分词器可能导致的一些问题,例如LLM在拼写、字符串处理、非英语语言任务、简单算术等方面的不足。

课程内容涵盖了从引言到BPE算法演练,再到分词器与LLM的关系,以及如何编写自己的GPT-4分词器等多个部分。Karpathy还讨论了LLM在处理特定任务时可能遇到的问题,例如拼写错误、非英语数据处理不佳、算术问题等,并提出了可能的解决方案。

课程结束后,Karpathy为观众布置了课后习题,鼓励他们实践所学知识。这次课程不仅为AI领域的学者提供了宝贵的学习资源,也展示了Karpathy在AI教育方面的贡献。

原文信息


【原文链接】 阅读原文
【原文字数】 1604
【阅读时长】 6分钟

© 版权声明

相关文章

暂无评论

暂无评论...