文章摘要
【关 键 词】 结构化输出、JSON支持、GPT-4o模型、API改进、开发者需求
OpenAI 近期发布了一项新功能，即在其 API 中引入了结构化输出支持，以解决大语言模型（LLM）在处理 JSON 文件时经常出现的问题。JSON 作为一种流行的数据交换格式，由于其易于人类阅读和机器解析的特性，已成为行业标准。然而，LLM 在处理 JSON 时常常产生幻觉，生成不符合指令的响应或无法完全解析 JSON 内容，导致开发者需要借助开源工具、提示词组合或重复请求等方法以保证输出的互操作性。
OpenAI 的新功能通过在 API 中发布结构化输出，确保模型生成的输出与 JSON 模式相匹配。这些模式描述了 JSON 文档中的内容、结构、数据类型和预期约束，对于保持应用程序间的一致性至关重要。OpenAI CEO Sam Altman 表示，这是开发者长期呼吁的功能，满足了广大用户的迫切需求。该公司还强调，其最新的 GPT-4o 模型在结构化输出方面获得了 100% 的完美评估得分。
结构化输出的引入受到了开源项目的启发，这些项目主要关注大模型的结构化输出。OpenAI 在去年的 DevDay 上发布了 JSON 模式，迅速满足了开发者的需求。通过 API 中的结构化输出，开发人员可以约束模型以匹配数据模式，使模型更好地理解复杂的数据模式。结构化输出还能确保生成有效的 JSON，避免遗漏必要的键或生成无效的枚举值。
此外，结构化输出支持分步生成答案，引导输出按照预期路线前进。开发人员无需验证或重试格式不正确的响应，同时支持更简单的提示词和明确的拒绝表述。OpenAI 强调，安全是其首要任务，新功能将遵循现有安全政策，允许模型拒绝不安全的请求。
结构化输出适用于 GPT-4o-mini、GPT-4o 及其微调版本，兼容 Chat Completions API、Assistant API 和 Batch API，同时支持视觉输入。OpenAI 表示，这项功能是从开源社区的优秀工作中汲取灵感，包括 outlines、jsonformer、instructor、guidance 和 lark 库等项目。
尽管 OpenAI 的新功能受到了一定程度的好评，但也存在一些局限性。例如，生成首个 token 的速度较慢，API 能够接受的 JSON 模式有限，且当前的 Python SDK 并不包含文档中宣传的所有变更。有开发者认为，Instructor + Pydantic 的组合仍然是实现结构化输出的最简单方法，尽管无法保证生成结果的合规性。
总的来说，OpenAI 的结构化输出功能是一个积极的尝试，有望成为软件开发者将大模型集成到自有代码中的主要方式。然而，从前期探索到最终落地，可能还需要一段时间的观察和改进。
原文和模型
【原文链接】 阅读原文 [ 1703字 | 7分钟 ]
【原文作者】 AI前线
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆
