Anthropic联创:Scaling Law没崩,但推理成天价!有了TTT,25年AI更加速

AIGC动态16小时前发布 AIera
38 0 0
Anthropic联创:Scaling Law没崩,但推理成天价!有了TTT,25年AI更加速

 

文章摘要


【关 键 词】 AI发展强化学习计算能力推理成本模型创新

Anthropic联合创始人Jack Clark近日发文反驳了关于AI发展已到达瓶颈的观点,他认为AI的发展还远远没有达到极限。Clark指出,OpenAI的技术秘诀并不是让模型变得更大,而是让它们在运行时使用强化学习和额外的计算能力,这种“大声思考”的能力为AI发展开辟了新的可能性。他预计,到2025年,科技公司将开始将大模型的传统方法与在训练和推理时使用计算的新方法相结合,这将进一步加速AI的进展。

Clark在他的新闻通讯《Import AI》中提到,OpenAI的o3模型证明了AI极大的发展空间。o3模型在现有强大基础模型之上,采用了一种新方法——让大语言模型在推理时“边思考边执行”,即测试时计算(test-time compute)。这种方式能带来巨大的回报。Clark预计,下一个合理的发展方向将是同时扩展强化学习(RL)和底层基础模型,这将带来更为显著的性能提升。

o3模型在多个领域取得了显著的成绩,包括在科学理解基准(GPQA)上的突破、在ARC-AGI任务上优于人类工作者的表现,以及在FrontierMath和Codeforces上的高分。然而,o3模型的推理成本也非常高,每个任务的成本高达20美元。Clark指出,随着AI进展的加速,算力成本将成为一个主要挑战。

Anthropic目前尚未发布推理模型或测试时模型来与OpenAI的o系列或Google的Gemini Flash Thinking竞争。Anthropic CEO Dario Amodei曾证实,公司正在开发Claude Opus的新版本,但发布时间尚未确定。Amodei表示,开发这些AI模型的复杂性很高,需要大量的计算能力和时间。尽管如此,Opus 3.5也并非毫无意义,它帮助训练了全新的Sonnet 3.5,已经成为市场上最受欢迎的LLM之一。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 2157字 | 9分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★☆☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...