Ilya宣判后GPT-5被曝屡训屡败，一次训数月，数据要人工从头构建

31 0 0

文章摘要

OpenAI的GPT-5项目遭遇挑战，尽管已经完成了至少两轮训练，但每次都遇到了新问题，导致效果远不达预期。市场估算，GPT-5的单次训练成本高达5亿美元，而两次训练的不顺进展使得背后的成本成为一个天文数字。GPT-5的开发始于GPT-4发布时，至今已超过18个月，内部代号为“猎户座Orion”。尽管OpenAI对GPT-5寄予厚望，希望其能进行科学探索发现并完成人类任务，减少错误，但目前看来，Orion的提升与消耗的成本相比并不明显。

为了获得更好的模型，OpenAI雇佣了软件工程师和数学家从头构建数据，供GPT-5学习，但这种方法效率不高。同时，OpenAI也尝试使用AI合成数据，但速度仍然较慢。与此同时，OpenAI的o1、o3系列开启了推理Scaling Law，o3在ARC-AGI测试中刷新成绩，最好成绩达到91.5%。o3通过LLM在token空间内搜索和执行，实现了在测试时内的知识重组，为AGI提供了新的启示。

尽管o3在ARC-AGI领域接近人类水平，但其在一些简单任务上仍然失败，显示出与人类智能的根本差异。ARC-AGI的下一代ARC-AGI-2也即将推出，预计将对o3构成重大挑战。尽管如此，o3的成绩仍然是前所未有的，显示出在更多任务上的通用性。OpenAI在最后一天发布了o3的同时，也发布了一篇关于安全问题的论文，引入了“慎重对齐”的对齐方式，提高了模型的安全性。