团队“DeepSeek”化！字节 Seed Edge启动不足两月，冲刺AGI再发新作，训练成本再节省40%

170 0 0

文章摘要

字节跳动正式设立了代号为“Seed Edge”的研究项目，旨在探索通用人工智能（AGI）的新方法。该项目团队近期发布了一项名为Comet的关键优化技术，该技术针对MoE（Mixture of Experts）架构进行了优化，能够将大模型训练效率提升1.7倍，并节省40%的成本。Comet的独特之处在于它能够像插件一样直接接入现有的MoE训练框架，支持业界主流大模型，且无需对训练框架进行侵入式改动。此外，Comet还可以与其他优化方案如DualPipe联合使用，进一步提升了其灵活性和适用性。

Comet主要解决了MoE模型中的专家放置挑战。在分布式环境中，单个GPU无法容纳所有专家，通常需要将专家分布在不同的GPU上，这导致了频繁的数据交换和通信开销。Comet通过两项关键设计实现了通信与计算的细粒度重叠：一是优化计算通信管道的结构，二是动态分配GPU线程块来平衡通信和计算工作负载。这些设计显著提高了延迟隐藏效率，减少了GPU的空闲时间，并提升了计算资源的利用率。

Comet由大约1.2万行的C++、CUDA代码以及2000行Python代码组成，提供了一套用户友好的Python API，开发者可以轻松将其集成到他们的框架中。在Nvidia H800和L20集群上的实验表明，Comet在典型的MoE层上实现了1.96倍的加速，对于端到端的MoE模型执行，平均加速1.71倍。目前，Comet已被部署到拥有超过一万块GPU的生产集群中，用于加速大规模MoE模型的训练和推理，节省了数百万的GPU小时。

Seed Edge项目团队还确定了五大研究方向，包括探索推理能力边界、感知能力边界、下一代Scaling方向、下一代学习范式以及下一代软硬一体的模型设计。这些研究方向旨在推动AGI技术的进一步发展，探索更高效、更通用的模型设计和学习方法。在过去的2月份，Seed Edge团队公开了三项重要成果：通用视频生成实验模型VideoWorld、全新的稀疏模型架构UltraMem以及基于大语言模型和最优先树搜索的自动形式化定理证明系统BFS-Prover。

VideoWorld模型不依赖语言来理解世界，仅通过观察视频就能学习复杂的任务，并达到了专业5段9×9围棋水平。UltraMem架构有效解决了MoE推理时的高额访存问题，推理速度较MoE架构提升2-6倍，推理成本最高可降低83%。BFS-Prover系统在数学定理证明基准MiniF2F测试集上取得了72.95%的准确率，超越了此前所有方法。

Seed Edge项目团队与DeepSeek相似，鼓励跨模态、跨团队合作，提供宽松的研究环境和长周期的考核方式，以保障挑战真正颠覆性的AGI课题。团队成员的年轻化趋势明显，许多核心作者是在读博士，长期实习于字节团队。此外，字节跳动还启动了“Top Seed人才计划”，在全球招募顶尖博士毕业生，以储备最具潜力的研究人才。

近期，字节大模型团队进行了一次架构调整，原谷歌DeepMind副总裁吴永辉博士加入字节担任Seed基础研究负责人。吴永辉博士主要负责AI基础研究探索工作，而之前负责人朱文佳则主要负责模型应用相关的工作。团队易帅对整体科研氛围的影响尚不明确，但Seed Edge项目团队的研究成果和技术突破无疑将继续推动AGI领域的发展。