OpenAI发布全新微调API ：ChatGPT支持更详细可视化微调啦！

793 0 0

文章摘要

OpenAI近期宣布了针对其大语言模型（LLM）的6个全新微调API功能，这些功能旨在帮助企业和开发人员构建更加特定领域和精细化的ChatGPT应用。这些新增功能包括基于Epoch的检查点创建、Playground新功能、第三方集成、全面验证指标、超参数配置以及更详细的微调仪表板改进。这些功能适用于GPT-4/Turbo、GPT-3.5等系列模型，进一步扩展了自定义模型的能力。

OpenAI首次推出微调API是在2023年8月22日，基于GPT-3.5 Turbo，允许企业和开发人员使用自己的数据来构建专属的ChatGPT模型。自那以后，全球数千个组织利用这些功能训练了数十万个自定义模型，以实现成本降低和效率提升。例如，招聘平台Indeed利用GPT-3.5 Turbo进行微调，成功地为求职者提供了个性化推荐，将每月发送的消息数量从不到100万条增加到约2000万条。

新推出的6个微调API功能具体包括：

基于Epoch的检查点创建：这项功能在深度学习模型训练过程中非常重要，它允许在每个Epoch结束时或特定间隔时自动保存模型状态，包括模型参数和优化器状态。这样，在训练过程中断时，可以从最后保存的状态恢复，而不是重新开始，大大减少了模型的重复训练时间。
Playground新功能：Playground是OpenAI发布的一个可视化模型比较平台，提供交互式在线环境，允许用户输入指令或提示，并查看多个语言模型的输出结果。新增的并排Playground UI可以用于比较不同模型的质量和性能，并允许对模型输出进行人工评估或根据单个提示进行微调。
第三方集成：新的微调支持与第三方平台集成，使开发人员可以共享详细的微调数据。
全面验证指标：能够计算整个验证数据集的损失和准确性等指标，从而更好地了解模型质量。
微调仪表板改进：提供了配置超参数、查看更详细的训练指标以及从以前的配置重新运行作业等功能，使开发人员可以更直观地掌控微调数据。
超参数配置：可以直接从仪表板配置超参数，而不仅仅是通过API或SDK。

微调是在预训练大模型的基础上，通过进一步优化和调整模型参数，使模型更好地适应特定业务场景的技术。微调的主要流程包括初始化、添加输出层和微调训练。例如，为了提升GPT3.5模型在法律业务上的表现，可以使用大量法律数据集对模型进行微调。

进行微调的步骤包括准备数据、上传文件、创建微调作业以及使用微调模型。这个过程可能需要几分钟到几小时，具体取决于模型和数据集的大小。微调作业完成后，模型即可投入使用。在某些情况下，微调模型可能需要几分钟才能准备好处理请求，如果请求超时或找不到模型名称，可能是因为模型仍在加载中，此时应稍后重试。