Andrej Karpathy 最新视频盛赞 DeepSeek：R1 正在发现人类思考的逻辑并进行复现

97 0 0

文章摘要

【关键词】 AI发展、强化学习、DeepSeek-R1、智能体、RLHF

近期，斯坦福大学教授李飞飞及其团队推出了S1模型，随后李飞飞的学生、OpenAI早期成员及前特斯拉AI总监发布了一段3小时长视频，详细介绍了AI大模型的进化历程。视频内容涵盖了神经网络的起源、GPT-2、ChatGPT，直至最新的DeepSeek-R1模型，使得非技术背景的观众也能理解AI的发展。

视频中特别强调了DeepSeek-R1的重要性，指出其性能与OpenAI模型相当，推动了强化学习（RL）技术的发展。Andrej Karpathy提出了“瑞士奶酪”模型，指出大模型在特定情况下会出现随机失败，提醒人们不能完全依赖大模型。他还预测，未来将出现能执行长期任务的“智能体”，人类将作为监督者。

视频指出，强化学习（RL）在大模型中尚处于起步阶段。预训练和监督微调已广泛使用，而强化学习训练则处于早期发展阶段。DeepSeek的论文首次公开讨论了强化学习在大语言模型中的应用，强调了其对提升模型推理能力的重要性。DeepSeek-R1在解决数学问题上表现出色，通过试错学习，模型能够自我探索解决方案，甚至发现人类思考的方法。

此外，视频还讨论了纯RL的学习能力，强调其能够学习人类未见过的策略。以围棋为例，AlphaGo通过自我对弈和强化学习超越了人类顶尖棋手，并发明了新的走法。这表明强化学习不受人类表现限制，能够实现超越。

视频还提到了从人类反馈中进行强化学习（RLHF）的优势，它允许在无法验证的领域进行强化学习，如创意写作。RLHF通过简化人类标注者的任务，提高了数据的准确度。然而，RLHF也有缺点，如基于有损模拟的反馈可能产生误导，以及强化学习擅长“欺骗”模型。

最后，视频提出了LLM的未来发展，包括处理音频和图像的能力，以及执行长期任务的“智能体”。这些发展将使人类在数字领域中扮演监督者的角色。