Scaling 能通往 AGI 吗？万字科普 Scaling Law 的业内争议与讨论

作者信息

【原文作者】 Founder Park
【作者简介】 来自极客公园，专注与科技创业者聊「真问题」。
【微 信 号】 Founder-Park

文章摘要

【关 键 词】 scaling law、AGI、AI发展、数据需求、模型性能

本文探讨了关于大型语言模型（LLM）的scaling law的争议，即通过增加模型规模和数据量来提升AI性能的理论。文章基于Dwarkesh Patel的观点，分析了scaling law的有效性及其对实现人工通用智能（AGI）的潜在影响。

讨论1：现有数据会被用光吗？
– 消极观点：到2024年，高质量语言数据可能耗尽，而所需的数据量远超现有数据。
– 积极观点：尽管LLM在处理低质量数据时效率不高，但合成数据和self-play可能成为解决方案。

讨论2：Scaling Law真的起过作用吗？
– 积极观点：模型性能在各种基准测试中稳步提升。
– 消极观点：现有基准测试可能无法准确衡量模型的智能程度，且模型在长期任务上表现不佳。

讨论3：模型真的能理解世界吗？
– 积极观点：LLM通过学习规律来预测下一个Token，显示出对世界的理解和推理能力。
– 消极观点：智能不仅仅是压缩数据，LLM的“领悟”能力有限。

结论
– 积极观点：适当的scaling和技术创新可能在2040年前实现AGI。
– 消极观点：LLM可能无法通过scaling达到理论上的最低损失点。

附录
– 模型能否实现领悟式学习？
– 灵长类动物的进化是否为Scaling提供依据？

文章最后提出了关于模型学习和进化的进一步问题，并对scaling law的未来进行了展望。

原文信息

【原文链接】 阅读原文
【原文字数】 6881
【阅读时长】 23分钟