来源:至顶网

在这个数据为王的时期,数据是人工智能的三大支柱之一,其主要性不言而喻。
最近,OpenAI 收购了数据库初创公司 Rockset,迅速引起了业内外的广泛关注。
OpenAI 早已在算法和打算能力方面遥遥领先,通过这次计策性的收购,OpenAI 将在其产品中领悟 Rockset 的前辈数据索引和查询技能,帮助 OpenAI 将数据转化为 “可操作智能”。

当代数据库与人工智能(AI)的领悟,正如同一场席卷环球的技能革命,深刻地重塑着技能与家当的格局。

一方面,数据库技能的技能迭代须要更好地支持人工智能运用事情卖力,比如向量数据库,也便是 DB for AI;另一方面人工智能技能也更好地让数据库运维更方便,实现自动化和智能化,也便是 AI for DB。

双向赋能AI与数据库的修行之道

在这一个变革过程中,数据库家当正面临诸多寻衅,比如海量数据高性能和大并发、大量数据库实例智能优化、保障数据安全防修改的防护等。
面对这种情形,企业如何通过技能创新和生态协同应对寻衅并捉住个中的机遇呢?

作为数据库领域的领头羊,东方国信、PingCAP、云和恩墨通过自身的技能与产品实践给出了他们的答案,同时他们与英特尔的协同创新,也让我们看到了数据库生态的发达活气。

新需求催生新寻衅

在 AI 大模型时期,由于数据库的利用人数和数据量的爆炸性增长,数据库系统的并发度会极大提升。
云和恩墨联合创始人兼 CTO 杨廷琨强调,数据量爆发性增长带来压力的同时,硬件技能的快速发展也促进了算力提升,为提升处理能力和性能供应了可能性。
这时候,数据库厂商需从两方面动手应对:一方面增强单机性能,另一方面通过架构设计实现平滑扩展,以知足海量数据的处理需求。

同时,数据量的爆炸性增长也会带来极大的数据冗余。
在此寻衅下,用户从需求侧又提出了很多新的哀求,东方国信副总裁兼 CTO 查礼表示:用户每每会希望数仓既能做数据加工,又能做剖析和查询,这哀求数据库系统具有高度灵巧性和多功能性。

数据来源多样化和用户需求繁芜化催生了对硬件越来越高的需求,数据库要保持高性能、高稳定性,开拓和运维职员又须要简化数据库的利用,这构成了一种 “悖论”。

为办理数据库行业 “既要、又要” 的问题,越来越多的数据技能公司让 AI “入局”,让数据库越跑越 “聪明”。
PingCAP 做事总经理林景旭表示,他们正探索利用 AI 技能增强数据库功能,同时简化用户操作。
作为一家分布式数据库厂商,PingCAP 供应的开源分布式数据产品与办理方案,通过分布式数据库架构,实现打算和存储的分离,以动态扩展知足不同用户需求,这个中便可以通过 AI 算法来优化资源利用和性能评判。

数据库家当须要不断创新,开拓更加高效、可靠、智能的数据库技能,才能知足新需求的寻衅。
同时,数据库家当链也须要紧密互助,共同推动数据库技能的发展,为数字经济的发展供应更加坚实的根本。

生态协同推动家当变革

数据库家当面临的寻衅是多方面的,这些寻衅并非单个企业能够独自办理,须要全体家当的协同互助,才能共同应对寻衅,并捉住个中的机遇。

凭借前辈的处理器技能、开源互助策略以及对客户需求的深刻理解,英特尔与数据库领域的互助伙伴一起构建了一个开源开放、互助共赢的生态环境,助力数据库技能的持续创新和运用落地。

英特尔中国云创中央技能总经理张晓军先容说,第四代和第五代英特尔®️ 至强® 可扩展处理器内置了多项面向数据库优化的技能,例如英特尔® QAT(英特尔 ® 数据保护与压缩技能)用于数据压缩解压缩,以及英特尔® IAA(英特尔® 存内剖析加速器)加速数据剖析。
在数据安全方面,英特尔也能通过英特尔® TDX(英特尔® 信赖域扩展)和 SGX(英特尔® 软件防护扩展)为利用中的数据供应端到端硬件级防护能力。

此外英特尔至强 6 处理器已于近期发布,供应了两种不同的 CPU 微架构版本,分别为性能核 (P-core) 和能效核 (E-core),让多种事情负载的性能和能效表现再创新高。
其全新功能和内置加速器为目标事情负载带来进一步助力,实现了更高的性能和能效。

基于英特尔® 架构的加速器与软件工具

浩瀚的互助伙伴正在借助至强处理器和加速器及软件工具增强自身的产品竞争力。

比如 PingCAP 推出的 TiDB 开源分布式数据库就得益于第四代英特尔® 至强® 可扩展处理器卓越的代际性能,其数据库的只读性能与读写性能分别达到基准配置的 1.62 倍与 1.43 倍。

此外 TiDB 利用至强®️ 可扩展处理器搭载的英特尔®️ IAA 供应的出色吞吐量压缩和解压缩功能,在不影响性能的条件下,提升了数据压缩率,节约了存储空间。
PingCAP 采取英特尔®️ IAA 代替 LZ4 之后,TiDB 压缩率为 LZ4 无损压缩算法的 1.4 倍。

并结合 CPU 的迭代,性能提升可达到原配置的 1.56 倍 ,有助于客户化解数据压缩所带来的性能困扰。

虽然硬件性能的提升为数据库处理海量数据供应了根本,但要真正发挥这些算力,须要对数据库内核进行深度优化。
云和恩墨通过改进数据库内核,使之更好地适应当代硬件,如多核 CPU、大内存和高速 IO 子系统,从而实现单机性能的显著提升。

根据其透露的测试结果,在一颗至强®️ 双路做事器架构上,以 50G 内存配置,再加上一个 NVMe 的 SSD 闪存,云和恩墨达到了 700 万 TPCC 的指标,可以说是极大提高了单机能力。

东方国信适用于超大规模数据存储和在线剖析的大数据 BEH 平台企业版通过集成 Gluten 与 Velox Backend 向量化实行引擎,为 Spark 注入了原生矢量化实行的能力,同时结合第四代英特尔® 至强® 可扩展处理器,以及处理器集成的英特尔® QAT 加速器,显著优化了 Spark 批处理打算、SparkSQL 打算、SQL 查询做事的实行效率。
经测试,在相同硬件环境下,合营英特尔® QAT 的加成,Spark 打算性能可提升高达 2.9 倍。

除了硬件之外,英特尔还强化了在软件及数据库生态方面的投入。
张晓军还强调了英特尔在开源领域的贡献,如 Apache 社区的 Gluten 项目,已经在很多客户系统里得到了广泛运用,比较传统的 Spark,性能可以提高 2-3 倍,如果其运行在英特尔的硬件上估量取得更优性能,显著提升大数据处理效率。

数据库与 AI 深度领悟

随着大数据时期的到来,数据量及系统数量都呈指数级增长,数据类型也由构造化数据逐渐演化成了非构造化数据和半构造化数据,这就对数据库系统的稳定性和能力提出了更高的哀求,数据库技能和人工智能技能相结合成为当前热门的研究主题之一。

在 AI 时期,数据已成为驱动企业发展的核心要素,而数据库作为存储、管理和剖析数据的主要根本举动步伐,与 AI 技能的深度领悟将是大势所趋。
这种领悟不仅能够提升数据库的性能和智能化水平,还能够推动 AI 技能的运用落地。

数据库厂商在不同维度上探索和运用 AI,东方国信正在利用 AI 技能,尤其是在智能取数方面,通过自然措辞处理天生 SQL 语句,提高数据提取的灵巧性和效率。
同时,他们也在探索智能建仓,考试测验通过 AI 技能自动化数据仓库的构建和掩护流程,旨在实现数据仓库的自动化和智能化。

查礼表示,公司正积极研发办理方案,旨在通过 AI 赞助减少人工参与,提高效率,估量通过 AI 技能的引入,数仓掩护本钱能降落 60%。

PingCAP 利用 AI 算法进行资源管理,让数据库更适应繁芜多变的业务场景。
林景旭强调,通过集成 AI 技能,比如利用 AI 优化数据库内部管理,提升数据库本身的智能水平,使其在知足繁芜业务场景的同时,降落利用门槛。
这意味着数据库不仅要有强大的数据处理能力,还需具备自我管理和优化的能力,确保在面对日益繁芜的业务需求时,能更加自主、高效地运行。

云和恩墨则推动自身 “AI for DB” 和 “DB for AI” 的双向促进,杨廷琨指出,云和恩墨利用 AI 提升数据库性能,尤其是在数据库智能资源管理、智能监控、智能根因追踪、智能参数调优、SQL 智能优化以及自动驾驶等方面的运用潜能。

结语

当代数据库与人工智能的结合不仅对处理能力、架构灵巧性和用户体验提出了更高哀求,也为数据库家当带来了前所未有的发展机遇。

随着技能的不断进步和生态互助的深化,未来数据库将更加智能、灵巧和强大,为数字经济的发展供应坚实的根本。
英特尔与数据库领域的互助伙伴将一起共同推动数据库家当向智能化、高效化转型,知足客户的业务创新需求。