双向赋能：AI与数据库的修行之道

AIGC动态5个月前发布 almosthuman2014

706 0 0

文章摘要

在数据为王的时代，人工智能（AI）的三大支柱之一是数据，其重要性不言而喻。OpenAI 收购数据库初创公司 Rockset，引起了广泛关注。OpenAI 通过这次战略性收购，将在其产品中融合 Rockset 的先进数据索引和查询技术，帮助 OpenAI 将数据转化为 “可操作智能”。

现代数据库与 AI 的融合，正如同一场席卷全球的技术革命，深刻地重塑着技术与产业的格局。数据库技术的技术迭代需要更好地支持 AI 应用工作，比如向量数据库，也就是 DB for AI；另一方面 AI 技术也更好地让数据库运维更方便，实现自动化和智能化，也就是 AI for DB。

数据库产业正面临诸多挑战，如海量数据高性能和大并发、大量数据库实例智能优化、保障数据安全防篡改的防护等。企业如何通过技术创新和生态协同应对挑战并抓住其中的机遇呢？东方国信、PingCAP、云和恩墨通过自身的技术与产品实践给出了他们的答案，同时他们与英特尔的协同创新，也让我们看到了数据库生态的蓬勃生机。

在 AI 大模型时代，由于数据库的使用人数和数据量的爆炸性增长，数据库系统的并发度会极大提升。云和恩墨联合创始人兼 CTO 杨廷琨强调，数据量爆发性增长带来压力的同时，硬件技术的快速发展也促进了算力提升，为提升处理能力和性能提供了可能性。这时候，数据库厂商需从两方面着手应对：一方面增强单机性能，另一方面通过架构设计实现平滑扩展，以满足海量数据的处理需求。

同时，数据量的爆炸性增长也会带来极大的数据冗余。在此挑战下，用户从需求侧又提出了很多新的要求，东方国信副总裁兼 CTO 查礼表示：用户往往会希望数仓既能做数据加工，又能做分析和查询，这要求数据库系统具有高度灵活性和多功能性。

数据来源多样化和用户需求复杂化催生了对硬件越来越高的需求，数据库要保持高性能、高稳定性，开发和运维人员又需要简化数据库的使用，这构成了一种 “悖论”。为解决数据库行业 “既要、又要” 的问题，越来越多的数据技术公司让 AI “入局”，让数据库越跑越 “聪明”。PingCAP 服务总经理林景旭表示，他们正探索利用 AI 技术增强数据库功能，同时简化用户操作。作为一家分布式数据库厂商，PingCAP 提供的开源分布式数据产品与解决方案，通过分布式数据库架构，实现计算和存储的分离，以动态扩展满足不同用户需求，这其中便可以通过 AI 算法来优化资源使用和性能评判。

数据库产业需要不断创新，开发更加高效、可靠、智能的数据库技术，才能满足新需求的挑战。同时，数据库产业链也需要紧密合作，共同推动数据库技术的发展，为数字经济的发展提供更加坚实的基础。

数据库产业面临的挑战是多方面的，这些挑战并非单个企业能够独自解决，需要整个产业的协同合作，才能共同应对挑战，并抓住其中的机遇。凭借先进的处理器技术、开源合作策略以及对客户需求的深刻理解，英特尔与数据库领域的合作伙伴一起构建了一个开源开放、合作共赢的生态环境，助力数据库技术的持续创新和应用落地。

英特尔中国云创中心技术总经理张晓军介绍说，第四代和第五代英特尔® 至强® 可扩展处理器内置了多项面向数据库优化的技术，例如英特尔® QAT（英特尔 ® 数据保护与压缩技术）用于数据压缩解压缩，以及英特尔® IAA（英特尔® 存内分析加速器）加速数据分析。在数据安全方面，英特尔也能通过英特尔® TDX（英特尔® 信任域扩展）和 SGX（英特尔® 软件防护扩展）为使用中的数据提供端到端硬件级防护能力。

此外英特尔至强 6 处理器已于近期发布，提供了两种不同的 CPU 微架构版本，分别为性能核 (P-core) 和能效核 (E-core)，让多种工作负载的性能和能效表现再创新高。其全新功能和内置加速器为目标工作负载带来进一步助力，实现了更高的性能和能效。

众多的合作伙伴正在借助至强处理器和加速器及软件工具增强自身的产品竞争力。比如 PingCAP 推出的 TiDB 开源分布式数据库就得益于第四代英特尔® 至强® 可扩展处理器卓越的代际性能，其数据库的只读性能与读写性能分别达到基准配置的 1.62 倍与 1.43 倍。

并结合 CPU 的迭代，性能提升可达到原配置的 1.56 倍，有助于客户化解数据压缩所带来的性能困扰。虽然硬件性能的提升为数据库处理海量数据提供了基础，但要真正发挥这些算力，需要对数据库内核进行深度优化。云和恩墨通过改进数据库内核，使之更好地适应现代硬件，如多核 CPU、大内存和高速 IO 子系统，从而在人工智能时代，数据作为AI三大支柱之一，其重要性不断凸显。OpenAI收购Rockset，预示着其将在产品中整合先进的数据索引和查询技术，推进数据向“可操作智能”的转化。这一战略举措，是数据库与AI融合趋势的体现，预示着技术革命对产业格局的重塑。

数据库产业正面临处理海量数据、保障数据安全等挑战。东方国信、PingCAP、云和恩墨等企业通过技术创新和产品实践，与英特尔等合作伙伴共同推动数据库技术发展，构建起开源开放、合作共赢的生态环境。英特尔的处理器技术、开源合作策略和对客户需求的理解，为数据库技术的持续创新和应用落地提供了支持。

在AI大模型时代，数据库系统的并发度极大提升，数据量的爆炸性增长带来压力的同时，也促进了算力的提升。数据库厂商需从增强单机性能和实现架构设计的平滑扩展两方面应对挑战，满足海量数据的处理需求。同时，用户对数据库系统提出了更高的灵活性和多功能性要求。

为解决数据库行业的挑战，越来越多的数据技术公司利用AI技术增强数据库功能，简化用户操作。PingCAP通过分布式数据库架构和AI算法优化资源使用和性能评判，提供了开源分布式数据产品与解决方案。数据库产业需要不断创新，开发更高效、可靠、智能的技术，满足新需求的挑战。

英特尔至强处理器的优化技术，如QAT和IAA，以及新发布的至强6处理器，为合作伙伴提供了性能和能效上的显著提升。云和恩墨通过改进数据库内核，使之更好地适应现代硬件，实现了单机性能的显著提升。东方国信的大数据BEH平台企业版通过集成Gluten与Velox Backend向量化执行引擎，结合英特尔处理器和QAT加速器，优化了Spark计算的执行效率。

数据库与AI的深度融合，不仅提升了数据库的性能和智能化水平，也推动了AI技术的应用落地。数据库厂商在不同维度上探索和应用AI，如东方国信利用AI技术提高数据提取的灵活性和效率，PingCAP利用AI算法进行资源管理，云和恩墨推动“AI for DB”和“DB for AI”的双向促进。

随着技术的不断进步和生态合作的深化，未来数据库将更加智能、灵活和强大，为数字经济的发展提供坚实的基础。英特尔与数据库领域的合作伙伴将共同推动数据库产业向智能化、高效化转型，满足客户的业务创新需求。