文章摘要
【关 键 词】 AI存储、MLPerf测试、国产厂商、性能竞争、数据流转
AI技术的发展极大地影响了高性能存储市场,尤其是自2016年AI在围棋领域取得突破后,市场格局发生了显著变化。原本由少数头部企业主导的市场,如英特尔、IBM等,现在迎来了更多新兴企业,尤其是那些专注于AI文件存储系统的创业公司,它们有机会挑战传统存储巨头。
MLCommons社区和焱融科技近期备受关注。MLCommons作为AI工程联盟,发起了MLPerf® Storage v1.0性能测试,吸引了多家国际知名存储厂商参与。焱融科技作为唯一参加全部测试项目的国产厂商,表现出色,与行业领导者DDN(DataDirect Network)竞争。
MLPerf® Storage v1.0测试的专业度和公信力得到了保障,其董事会成员包括来自英伟达、英特尔、谷歌等公司的AI业务高管,以及哈佛教授和Facebook的AI研究员。MLPerf能够通过CPU模拟GPU活动,减少了物理资源的需求,提高了测试的可行性。
测试涵盖了多种AI存储场景,使用了3D U-Net、ResNet-50、CosmoFlow和BERT-large四款模型,以测试不同场景下的存储性能。测试要求在3D U-Net、ResNet-50中AU(加速器利用率)必须大于90%,而CosmoFlow测试的AU必须大于70%。测试结果会不断增加虚拟加速器的数量,直到AU低于阈值,最终输出支持的虚拟加速器总数、测试数据集大小和吞吐速率三项数据。
尽管MLPerf® Storage v1.0存在一些问题,如测试场景覆盖不完整,缺少对大参数量级模型的测试,以及未测试模型重新加载或写Checkpoint时的存储峰值性能,但它仍然是一个重要的测试,能够展示存储系统在AI场景下的性能。
焱融科技在测试中的表现显示了国产存储厂商在部分垂直场景的存储技术上已经能够与国外厂商竞争。国内厂商的优势在于对客户需求的高包容度、产业链成本优势以及对定制化要求的配合。焱融科技的成功也反映了国内企业在AI存储领域的崛起。
随着AI技术的发展,存储厂商不仅要解决性能问题,还要提供优秀的产品设计和服务支持。焱融科技通过开发Dataload智能数据加载功能,激活历史数据价值,打通对象存储与文件存储,实现多云间的数据流转,消除性能瓶颈,满足了市场对产品的新要求。
面对激烈的市场竞争,存储企业需要走出舒适区,向上争夺市场份额,向下严守基本盘。MLPerf® Storage v1.0和IO 500等测试和榜单对国内企业将变得更加重要,以展示其在全球市场的竞争力。
原文和模型
【原文链接】 阅读原文 [ 3427字 | 14分钟 ]
【原文作者】 AI前线
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★