The Information爆料：OpenAI调整大模型方向，Scaling Law撞墙？

88 0 0

文章摘要

根据研究预测，大型语言模型（LLM）的发展可能在2028年因数据储量耗尽而放缓。然而，The Information的报道指出，OpenAI的下一代模型提升幅度不及前代，AI产业正转向模型的后训练提升，同时OpenAI已成立团队应对数据匮乏。尽管有争议，但多数观点倾向于认同OpenAI的立场，认为AI发展短期内不会放缓。

OpenAI的员工和研究者对报道中的观点表示反对，认为AI发展不会短期内放缓，且对OpenAI CEO关于AGI发展路径的言论表示认同。报道中提到，尽管OpenAI的Orion模型在智能和任务处理能力上与GPT-4相当，但其性能提升幅度小于GPT-3和GPT-4之间的提升。此外，Orion在某些任务上可能不如前代模型，且运行成本可能更高。

AI行业正在探索训练后模型改进的新方法，以应对基于训练的scaling laws提升放缓的挑战。OpenAI正在将更多编程功能融入模型，以应对竞争对手的威胁。同时，公司仍在开发昂贵的数据中心以提升预训练模型性能，尽管有研究者提出更先进的模型可能在经济上不可行。

OpenAI员工和研究者表示，GPT提升放缓的原因之一是高质量数据供应减少。为此，OpenAI成立了基础团队研究数据匮乏问题和大模型扩展定律的持续性。Orion部分接受了AI生成数据的训练，但这种合成数据可能导致Orion在某些方面与旧模型相似。

风险投资人Ben Horowitz指出，尽管GPU数量增加，但智能改进并未随之提升。OpenAI研究人员正在利用其他工具在训练后改进LLM，如强化学习和带有人类反馈的强化学习（RLHF）。此外，OpenAI还在开发推理模型o1，该模型需要更多时间处理数据，但可以通过增加计算资源提高响应质量。

一些投资者怀疑大语言模型的进步速度是否开始趋于平稳，而其他科学家则认为大模型在某些方面仍在进步，尽管在执行通用任务方面进展缓慢。OpenAI的o1模型因其能提供反馈或想法而受到数学家和其他科学家的欢迎，但其价格较高，尚未广泛使用。