全流程国产GPU，上下文提速100倍！中国科学院发布「线性复杂度」类脑大模型

84 0 0

文章摘要

【关键词】 类脑模型、SpikingBrain、长序优势、脉冲编码、高效算力

中国科学院自动化研究所李国齐、徐波团队发布国产自主可控类脑脉冲大模型SpikingBrain (瞬悉)-1.0，该模型借鉴大脑神经元工作机制，在长序列处理上展现出显著优势。

研究背景：当前主流大模型基于Transformer架构，虽取得巨大成功，但存在功耗高、可解释性差等问题，且处理超长序列时开销大、能力受限。人脑作为通用智能系统，功耗低且结构功能丰富。因此，团队探索「基于内生复杂性」的通用智能实现方法，构建非Transformer的类脑基础模型架构。

核心技术：SpikingBrain – 1.0基于脉冲神经元构建线性（混合）模型架构，具有线性及近线性复杂度。为解决脉冲编码性能退化问题，构建自适应阈值神经元模型，采用虚拟时间步策略和动态阈值脉冲化信息编码方案，将稠密连续值矩阵乘法替换为脉冲化算子。网络层面的MoE架构结合神经元层面的稀疏事件驱动计算，实现按需计算的高效算力分配。团队还建立了脉冲神经元内生动力学与线性注意力模型的联系，构建通用模型转换技术和高效训练范式，开发了面向国产GPU集群的训练和推理框架。

性能亮点：SpikingBrain1.0长序列训练效率显著提升。SpikingBrain – 1.0 – 7B以极低数据量实现与开源Transformer模型媲美的通用语言建模性能；SpikingBrain – 1.0 – 76B使用更少激活参数接近或优于先进Transformer模型。在推理速度上，SpikingBrain – 1.0 – 7B在超长序列下TTFT速度相比主流大模型大幅提升，4M长度下保守估计速度提升超100倍；部署到手机CPU端后，较Llama3.2的同规模模型Decoding速度提升明显。

总结展望：该模型探索了脉冲神经元与线性注意力模型的机制联系，解决了大规模类脑模型性能退化问题，实现国产GPU集群全流程支持。在超长序列科学任务建模场景中具有潜在效率优势。未来团队将进一步探索神经元与人工智能基础算子的联系，期望实现低功耗、高性能、支持超长上下文窗口的类脑通用智能计算模型，为类脑芯片设计提供启发。