OpenAI DevDay：Realtime 实时多模态 API、缓存折扣、视觉微调，全是利好开发者的
文章摘要
【关 键 词】 实时API、提示词缓存、模型蒸馏、视觉微调、开发者生态
OpenAI在最近的DevDay上宣布了五项重大创新，这些创新标志着该公司战略重心的转变，更加注重基础建设和开发者生态的增强。这些新能力包括实时API、提示词缓存、模型蒸馏、视觉微调和新广场玩法。
实时API允许开发者构建近乎实时的语音转语音体验，并可以选择使用OpenAI提供的六种声音。这一功能目前处于公开测试阶段，已经在Wanderlust等应用程序中得到展示，允许用户通过自然对话的方式规划旅行。
提示词缓存功能类似于Anthropic几个月前推出的缓存功能，它允许开发人员在API调用之间缓存常用上下文，从而降低成本并改善延迟。这一功能可以为经常重复使用上下文的应用程序带来大量节省。
模型蒸馏技术允许使用较大的AI模型来微调较小的模型，使小公司能够利用与先进模型类似的功能，而无需承担相同的计算成本。这为资源受限的环境提供了复杂的人工智能能力。
视觉微调功能使开发人员能够使用图像和文本来微调他们的GPT-4o应用程序，增强了“看”的能力。Grab等公司已经利用这项技术来改进其地图服务。
新广场玩法提供了新的框架和用法，以及结构化输出的新突破，使开发变得更加容易。
尽管OpenAI最近面临一些挑战，如核心高管离职和产品兑现不及预期，但公司似乎已经回到了正轨，并在努力说服开发者更充分地利用他们的AI模型来创造。OpenAI首席产品官凯文·韦尔表示，高管离职不会影响公司的发展。
过去两年，OpenAI已将开发人员访问其API的成本降低了99%，这可能是受到Meta和谷歌等竞争对手价格压力的结果。现场观众对OpenAI的工程化能力表示认可，尤其是“用o1模型在30秒内构建iPhone iOS应用程序”的能力，这降低了APP开发的门槛，并展示了“人人都是开发者”的可能性。
OpenAI的2024 DevDay标志着该公司的战略转折点，优先考虑生态系统开发，而没有发布引人注目的新产品。通过提高模型的效率和成本效益，OpenAI旨在保持竞争优势，同时解决对资源强度和环境影响的担忧。随着OpenAI从“颠覆者”转型为“平台提供商”，其成功将在很大程度上取决于其培育蓬勃发展的开发者生态系统的能力。通过提供改进的工具、降低成本、增加开发相关支持，OpenAI为AI领域的长期增长和稳定奠定了基础。
原文和模型
【原文链接】 阅读原文 [ 3265字 | 14分钟 ]
【原文作者】 Founder Park
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★
