得一微发布AI-MemoryX显存扩展技术,助力DeepSeek训推一体机

AIGC动态5小时前发布 admin
79 0 0
得一微发布AI-MemoryX显存扩展技术,助力DeepSeek训推一体机

 

文章摘要


【关 键 词】 显存扩展AI训练大模型成本优化存算技术

得一微电子推出的AI-MemoryX显存扩展解决方案,通过自研存储控制芯片和系统级创新,将单机显存容量从传统显卡的几十GB提升至10TB级别,解决了大模型微调训练的显存瓶颈问题。该技术使32B、70B、110B及671B等DeepSeek系列大模型能够实现单机微调训练,将原本需数百张显卡支撑的硬件需求缩减至1-16张显卡,同时将硬件扩充成本从数百万元降低至数万元级别。

训练与推理对GPU显存的需求差异显著,同一模型的训练显存需求通常为推理的20倍以上。现有训推一体机因显存限制,仅能支持7B、14B等中小规模模型的微调。AI-MemoryX通过显存扩展卡X200系列和软件栈的协同设计,使单机支持110B甚至671B模型的训练任务,显著降低了超大模型训练的门槛。以DeepSeek 70B模型为例,微调所需显存从1-2TB对应30多张显卡,优化后仅需少量显卡配合扩展技术即可完成。

在技术实现层面,AI-MemoryX方案包含三大核心创新:监督微调(SFT)通过少量高质量样本激活模型推理能力,例如s1-32B模型仅用1000个样本便超越OpenAI闭源模型性能;思维链微调(CoT)结合行业特定问题与专家思维模式,提升模型推理准确性和泛化能力;强化学习微调(RFT)通过规则框架下的迭代训练,使模型在特定领域达到专业水平。这些方法共同构建了“小样本驱动大效能”的微调范式

该方案还融合了显存扩展卡硬件与训练框架的深度优化,形成完整的微调训练机解决方案。在应用层面,技术突破使得企业能够将行业知识高效注入大模型,例如通过蒸馏技术传递行业思维链,或利用测试数据集实现模型自我进化。这不仅降低了算力基础设施投入,更推动了千行百业基于自身需求定制专业化AI模型。

得一微电子作为存储控制与存算技术领域的创新者,此次技术突破进一步巩固了其在企业级存储解决方案市场的地位。AI-MemoryX的推出,标志着单机微调训练从理论走向规模化应用,为智能制造、专业服务等场景提供了兼具经济性与实用性的AI部署路径,加速了行业智能化转型进程。

原文和模型


【原文链接】 阅读原文 [ 1600字 | 7分钟 ]
【原文作者】 半导体行业观察
【摘要模型】 deepseek-r1
【摘要评分】 ★★★★☆

© 版权声明
“绘蛙”

相关文章

“极客训练营”

暂无评论

暂无评论...