标签：深度学习
腾讯混元、英伟达都发混合架构模型，Mamba-Transformer要崛起吗？
近年来，Transformer架构在自然语言处理领域取得了显著成就，但其计算复杂度和内存占用问题逐渐成为瓶颈。与此同时，Mamba作为一种新兴的状态空间模型（SSM）...
13年后，AlexNet源代码终于公开：带注释的原版
谷歌首席科学家 Jeff Dean 宣布，谷歌与计算机历史博物馆（CHM）合作，共同发布了 AlexNet 的源代码，并将长期保存这些代码。AlexNet 是一个由多伦多大学研究...
团队“DeepSeek”化！字节 Seed Edge启动不足两月，冲刺AGI再发新作，训练成本再节省40%
字节跳动正式设立了代号为“Seed Edge”的研究项目，旨在探索通用人工智能（AGI）的新方法。该项目团队近期发布了一项名为Comet的关键优化技术，该技术针对MoE...
MIT 最新扩散模型课程：从微分方程探索 AIGC 的边界
MIT计算机系教授Peter Holderrieth和Ezra Erives在其最新课程系列“Generative AI with Stochastic Differential Equations”中，深入探讨了生成式人工智能（AI...
DeepSeek最新论文解读：NSA，物美价廉的超长上下文方案
DeepSeek最新提出的原生稀疏注意力（NSA）机制解决了传统稀疏注意力技术在训练与推理阶段的割裂问题。传统方法通常只能在推理阶段应用稀疏注意力，导致模型能...
刘知远详解 DeepSeek 出圈背后的逻辑：自身算法的创新以及 OpenAI 的傲慢
在探讨人工智能（AI）如何赋能全人类，实现大模型和通用人工智能的普及时，高效性成为了一个核心议题。智能革命被认为将经历与信息革命相似的阶段，即提高能...
DeepSeek为什么采用与主流大模型不一样的MoE架构？一文搞懂什么是MoE模型
混合专家模型（MoE）通过选择性激活子模型的方式显著提升计算效率，与传统Transformer架构形成鲜明对比。MoE模型每次计算仅激活5.5%的总参数量，而Qwen、LLam...
SemiAnalysis万字解析DeepSeek：训练成本、技术创新点、以及对封闭模型的影响
Semianalysis的分析报告对DeepSeek进行了全面分析，揭示了其在AI领域的多项关键成就和战略布局。报告指出，DeepSeek拥有约5万块Hopper GPU，总投资超过5亿美...
完整的671B MoE DeepSeek R1怎么塞进本地化部署？详尽教程大放送！
李锡涵在其AIxiv专栏中分享了如何将DeepSeek R1 671B模型部署到本地环境的详细教程。DeepSeek R1因其出色的性能而广受欢迎，但本地部署可以提供更个性化的服...
模型参数作知识通用载体，MergeNet离真正的异构知识迁移更进一步
浙江大学和上海交通大学的研究团队提出了一种名为MergeNet的知识迁移框架，旨在解决边缘计算设备如智能物联网设备在部署深度神经网络时面临的计算资源和存储...
