o3崛起，但推理模型离「撞墙」只剩一年？

110 0 0

文章摘要

OpenAI的o3推理模型算力暴增10倍，能力显著提升，但专家警告其可能在一年内撞上算力资源极限。Epoch AI团队认为，推理模型虽有进步空间，但顶尖AI公司难以实现「指数级大飞跃」，按当前节奏，最多一年就会撞墙，到2026年扩展速度将放缓至每年4倍。

推理模型训练算力情况：推理模型从传统大语言模型发展而来，推理训练算力公开信息少。o3训练算力是o1的10倍，具体数值需从其他模型和业内人士言论中探寻。DeepSeek – R1在强化学习阶段花了6×10²³次浮点运算，可作为o1水平的参考基准，但因参数量、计算效率等不同，结果仅供参考。英伟达的Llama – Nemotron Ultra 253B和微软的Phi – 4 – reasoning也公开过数据，不过它们训练逻辑与o1、o3不同，参考价值有限。业内大佬认为，目前推理模型训练成本未到数亿美元，o1、o3使用的计算资源可能更多。

推理算力增长对AI进步的影响：目前推理模型算力水平对AI短期发展重要，o3靠10倍算力碾压o1，在数学、编程等领域，训练算力与模型能力挂钩。推理训练和模型性能存在一定规模效应，接下来的规模扩展中，模型性能可能显著提升。但推理算力摸到天花板后，增长速度会放缓，若推理训练和整体前沿算力差距小，一年内增速就会下降。

推理模型发展面临的挑战：推理模型发展并非只靠堆算力，数据是关键，高质量难题数据有限，获取不易。在复杂场景中推理模型效果未知，开发过程中大量试错实验成本未公开，可能限制模型扩展。运行推理模型成本高，易出现幻觉。不过，即便算力增长放缓，模型仍可能依靠数据、算法创新继续变强，算力增长依然值得重点关注，OpenAI后续或许还会带来惊喜。