OpenAI发布季第二天：强化微调，少量样本就能训练自己的专家模型

125 0 0

文章摘要

OpenAI在其12天计划的第2天发布了一项名为Reinforcement Fine-Tuning（RFT）的新技术，这是一种通过强化学习对模型进行定制的技术。RFT允许开发者使用强化学习针对具体任务对模型进行微调，并根据参考答案对模型的响应进行评分，使模型不仅模仿输入特征，还能学会在特定领域以新的方式进行推理。这种技术能够提高模型在特定任务上的准确性，并增强其对类似问题的推理能力。

RFT的应用范围广泛，包括法律、金融、工程和保险等领域。例如，OpenAI与汤森路透合作，使用RFT微调o1-mini模型，以创建AI法律助理，帮助法律专业人员完成分析性工作流程。伯克利实验室的Justin Reese也提到，RFT在罕见疾病研究中也显示出巨大潜力，因为罕见疾病的诊断需要医学专业知识和基于生物医学数据的系统性推理。

RFT的实现过程包括训练数据集的准备、模型的输出响应、验证数据集的上传以及评分器的使用。评分器比较模型输出与正确答案并返回一个0到1之间的分数，以此来强化模型得到正确答案的思维方式。用户还可以调整模型种子和超参数，如批量大小、学习率乘数和epoch数量。经过强化微调的定制模型可以根据具体任务的不同，训练过程可能需要数小时到数天时间。

目前，OpenAI仅支持RFT的Alpha测试申请，名额有限，主要面向与专家团队一起处理复杂任务的组织。个人用户可能需要等到明年才能使用这项技术。