标签：Scaling Law
OpenAI附议Ilya预训练终结！“但Scaling Law还没死”
在最近举行的NeurIPS会议上，OpenAI的核心成员Noam Brown提出了关于预训练终结和Scaling Law的讨论，引发了广泛关注。Brown指出，从2019年至今，AI领域的巨大...
遗憾不？原来百度2017年就研究过Scaling Law，连Anthropic CEO灵感都来自百度
在人工智能领域，Scaling Law是一个关键概念，它描述了深度学习模型的泛化误差和模型大小随着训练集规模的增长而呈现出可预测的幂律关系。这一概念最早被百度...
Scaling Law百度最早提出？！OpenAI/Claude都受它启发，Ilya出现在致谢名单中
在深度学习领域，Scaling Law的概念最早由百度在2017年提出，而非后来的OpenAI。这项研究由吴恩达领导的百度硅谷人工智能实验室（SVAIL）系统团队进行，探讨...
视觉模型智能涌现后， Scaling Law 不会到头
近期，哈佛大学的一篇论文《Scaling Laws for Precision》引发了关于自然语言处理领域Scaling Law可能达到瓶颈的讨论。该论文指出，当前语言模型在大量数据上...
Hinton揭秘Ilya成长历程：Scaling Law是他学生时代就有的直觉
在2003年夏天的一个周日，AI领域的传奇人物Hinton在他的多伦多大学办公室里，意外迎来了一个年轻的学生Ilya Sutskever。这位学生在经历了整个夏天的炸薯条工...
被低估的面壁：打造出不输 OpenAI 的 Scaling Law 曲线
面壁智能团队在大模型领域的探索与实践面壁智能团队，由曾国洋担任CTO，自2020年GPT-3发布后开始训练大模型，逐渐认识到提升模型效果是大模型训练的根本目标...
Scaling Law 又一次性感了吗？
专题解读事件：Sora 的出现被认为是 Scaling Law 的又一次成功，这也引起了社区中更多对 Scaling Law 的讨论。自 OpenAI 发布 Sora，业界对该模型的能力及其...
告别微软，姜大昕带领这支精英团队攀登Scaling Law，万亿参数模型已有预览版
机器之心原创文章深入探讨了前微软NLP大牛姜大昕的创业之路，以及他所领导的阶跃星辰公司在人工智能领域的发展和规划。文章首先提到了OpenAI的Scaling Law信...
大模型Scaling Law同样适用于下游任务性能？斯坦福、谷歌最新研究揭秘
本文探讨了大模型性能与训练数据规模、模型架构等设计要素之间的关系，即Scaling Law。研究者们主要关注了迁移学习中的Scaling Law，即预训练数据集大小与任...
Sora带来的四点启发（抱歉，内文不含“xx行业已死、AI一夜变天”等内容）
文章讨论了Sora的发布及其对AI领域的影响。首先，作者探讨了视觉数据在训练模型中的作用，以及它如何帮助模型获得泛化能力。Sora模型通过结合视频数据和大语...
