标签：深度学习
Ilya Sutskever 在 NeurIPS 2024 的演讲：预训练时代已经结束了
在NeurIPS 2024会议上，Safe SuperIntelligence实验室创始人、原OpenAI联合创始人兼首席科学家Ilya Sutskever发表了题为《Sequence to sequence learning wit...
IBM推出化学大模型：可精准预测分子性质和行为
在化学领域，IBM研究人员开发了一款名为SMI-TED的大模型，专为化学领域设计，拥有2.89亿参数。该模型在PubChem数据库上的9100万个分子数据集上进行预训练，相...
Ilya Sutskever在NeurIPS炸裂宣判：预训练将结束，数据压榨到头了（全文+视频）
Ilya Sutskever，OpenAI的联合创始人和前首席科学家，在NeurIPS 2024会议上发表了演讲，提出了对人工智能发展的深刻见解。他预测，由于可用的新数据接近枯竭...
Ilya Sutskever发声：预训练将结束，数据压榨到头了
Ilya Sutskever，OpenAI的联合创始人和前首席科学家，在离开公司后创办了自己的人工智能实验室Safe Superintelligence，并在NeurIPS 2024会议上发表了演讲。...
李飞飞：World Labs这样实现「空间智能」
斯坦福大学教授李飞飞因其在人工智能领域的贡献而广为人知，尤其是她对“空间智能”的提倡，这一概念正在成为AI发展的新方向。李飞飞在深度学习革命中扮演了关...
LSTM之父：我也是注意力之父！1991年就发表线性复杂度，遥遥领先Transformer 26年
自2017年Transformer模型问世以来，其核心机制“注意力”已成为AI领域的核心技术，尤其在自然语言处理中占据主导地位。然而，关于注意力机制的起源存在争议。一...
Greg Brockman又做了一件伟大的事情
OpenAI总裁Greg Brockman在社交媒体上分享了他的假期生活，期间他与Arc Institute团队合作，致力于训练基于DNA的模型。Brockman对深度学习技术在医学和医疗保...
被忽略的起点？Karpathy揭秘最初的注意力论文被Transformer光芒掩盖的故事
AI研究者Andrej Karpathy最近在推特上分享了注意力机制背后的故事，揭示了这一概念的起源和发展。他指出，Dzmitry Bahdanau、Kyunghyun Cho和Yoshua Bengio的...
流式深度学习终于奏效了！强化学习之父Richard Sutton力荐
阿尔伯塔大学等机构的研究者提出了一种名为stream-x的深度强化学习算法，旨在解决流式深度强化学习中的样本效率问题，即流式障碍。流式障碍是指流式深度强化...
遗憾不？原来百度2017年就研究过Scaling Law，连Anthropic CEO灵感都来自百度
在人工智能领域，Scaling Law是一个关键概念，它描述了深度学习模型的泛化误差和模型大小随着训练集规模的增长而呈现出可预测的幂律关系。这一概念最早被百度...
