标签：Scaling Law
Hinton揭秘Ilya成长历程：Scaling Law是他学生时代就有的直觉
在2003年夏天的一个周日，AI领域的传奇人物Hinton在他的多伦多大学办公室里，意外迎来了一个年轻的学生Ilya Sutskever。这位学生在经历了整个夏天的炸薯条工...
被低估的面壁：打造出不输 OpenAI 的 Scaling Law 曲线
面壁智能团队在大模型领域的探索与实践面壁智能团队，由曾国洋担任CTO，自2020年GPT-3发布后开始训练大模型，逐渐认识到提升模型效果是大模型训练的根本目标...
Scaling Law 又一次性感了吗？
专题解读事件：Sora 的出现被认为是 Scaling Law 的又一次成功，这也引起了社区中更多对 Scaling Law 的讨论。自 OpenAI 发布 Sora，业界对该模型的能力及其...
告别微软，姜大昕带领这支精英团队攀登Scaling Law，万亿参数模型已有预览版
机器之心原创文章深入探讨了前微软NLP大牛姜大昕的创业之路，以及他所领导的阶跃星辰公司在人工智能领域的发展和规划。文章首先提到了OpenAI的Scaling Law信...
大模型Scaling Law同样适用于下游任务性能？斯坦福、谷歌最新研究揭秘
本文探讨了大模型性能与训练数据规模、模型架构等设计要素之间的关系，即Scaling Law。研究者们主要关注了迁移学习中的Scaling Law，即预训练数据集大小与任...
Sora带来的四点启发（抱歉，内文不含“xx行业已死、AI一夜变天”等内容）
文章讨论了Sora的发布及其对AI领域的影响。首先，作者探讨了视觉数据在训练模型中的作用，以及它如何帮助模型获得泛化能力。Sora模型通过结合视频数据和大语...
