OpenAI发布CriticGPT模型，帮助人类找出ChatGPT错误

文章摘要

【关 键 词】 CriticGPT、RLHF、代码审核、智能体训练、AIGC发展

OpenAI于6月28日发布了CriticGPT，这是基于GPT-4的最新模型，专为开发人员设计，旨在提高人类反馈强化学习（RLHF）的效率，从而生成更高质量的训练数据。

RLHF是优化GPT-4等模型的关键技术，通过将人类反馈融入强化学习过程中，训练智能体在复杂环境中表现更佳。

CriticGPT的主要功能是审核ChatGPT输出的代码等，并指出其中的错误。

CriticGPT通过收集人类对ChatGPT输出的比较评分，帮助提高输出的准确性。

实验数据显示，CriticGPT在检测代码错误方面的表现比人类高出60%，甚至超过了许多专业外包团队。

然而，CriticGPT并非总是正确，有时也可能输出误导性内容，因此使用时需要谨慎。

训练CriticGPT模型的第一步是开发一套动态数据生成机制，故意在模型生成的答案中插入错误内容，并记录每个错误的详细描述。

然后，训练一个奖励模型来预测人类对评论质量的排名，以确保评论模型在生成评论时能够平衡准确性和全面性。

在策略优化阶段，使用近端策略优化（PPO）算法和FSBS推理采样策略，使模型在生成更长、更全面的评论时减少虚假问题的产生。

OpenAI计划将CriticGPT融合到现有和未来的产品研发中，以提升模型输出的准确性和安全性。

这一创新技术有望进一步推动AIGC领域的发展，为开发者提供更高质量的工具和资源。

原文和模型

【原文链接】 阅读原文 [ 1434字 | 6分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★☆☆☆

Moonshot AI

月之暗面 (Moonshot AI) 创立于2023年3月，致力于寻求将能源转化为智能的最优解，通过产品与用户共创智能，2023年10月推出全球首个支持输入20万汉字的智能助手产品Kimi。创始团队核心成员参与了 Google Gemini、Google Bard、盘古NLP、悟道等多个大模型的研发，多项核心技术被Google PaLM、Meta LLaMa、Stable Diffusion等主流产品采用。