腾讯云 AIGC 存储解决方案全面升级，数据清洗、训练效率翻倍

1,119 0 0

文章摘要

腾讯云在AIGC场景下的云存储技术发布会上宣布其云存储解决方案全面升级，旨在提高大模型数据清洗和训练效率。新的解决方案使效率提升一倍，时间缩短一半，为AI大模型研发和应用提供强大支持。该方案包括对象存储COS、高性能并行文件存储CFS Turbo、数据加速器GooseFS和数据万象CI等产品，是国内首个全面自研存储引擎技术的云存储解决方案。目前，80%的头部大模型企业已选择腾讯云AIGC云存储解决方案。

腾讯云的对象存储COS支持百EB级别存储规模，提供高效的数据公网接入能力，满足大模型PB级别的海量数据采集需求。COS通过自研数据加速器GooseFS提升数据访问性能，实现数TBps的读取带宽，显著提升数据清洗效率。在模型训练环节，腾讯云自主研发的并行文件存储CFS Turbo经过专门优化，每秒总读写吞吐达到TiB/s级别，每秒元数据性能高达百万OPS，为业界领先。CFS Turbo能在10秒内完成3TB checkpoint文件的写入，大幅提升大模型训练效率。此外，数据万象CI为大模型推理场景提供图片隐式水印、AIGC内容审核、智能数据检索MetaInsight等能力，全面优化AIGC内容生产与管理模式，顺应监管导向，拓宽存储边界。

腾讯云推出了Metalnsight产品，以满足多模态数据搜索的需求，并在存储层面创新性地应对挑战。当前存储技术主要应用于大模型训练阶段，但随着大模型应用的普及，存储技术将逐步向智能存储和数据应用方向发展。同时，存储领域仍需解决稳定性、性能和性价比等核心问题，但随着大模型应用的持续增长，智能存储、数据治理和数据应用等方面将成为未来存储技术发展的重点。

腾讯云存储总经理马文霜、腾讯云存储总经理陈峥、腾讯云文件存储总监陆志刚以及腾讯云智能存储总监叶嘉梁分享了腾讯存储在AIGC场景下的能力升级，以及新一代的存储发展趋势。他们解释了大模型训练环节中Checkpoint写入时间的重要性，以及在数据清洗、训练和推理阶段使用不同存储产品的原因。腾讯云的解决方案提供了多种选择，以方便用户使用。此外，他们讨论了云端和本地存储的优缺点，以及腾讯云在技术架构上的创新和市场需求。

腾讯云的存储技术不仅适用于AI训练，还涵盖了数据清洗、隐私渲染等场景。尽管AIGC领域是主要应用场景，但腾讯云的云存储解决方案也为自动驾驶、渲染等领域提供了支持。腾讯云是业内唯一云原生自研并行文件存储引擎的厂商，其技术门槛适合外部客户使用。目前使用该解决方案的客户类型包括创业公司和大模型企业，主要应用场景包括数据清洗、训练和推理。未来，腾讯云将继续关注行业发展趋势，提供满足行业需求的存储产品。