导语
4月8日下午，为期两天的第十二届数据技术嘉年华（DTC 2023）在北京新云南皇冠假日酒店圆满落下帷幕。大会以“开源·融合·数字化——引领数据技术发展，释放数据要素价值”为主题，汇聚产学研各界精英到场交流。云和恩墨作为大会的协办方和重要合作伙伴，公司的数据库一体机产品总经理刘宇在「融合引领：云原生与新技术」专题论坛发表了题为《面向多样化数据库的数据底座--数据库存储2.0》的演讲。本文对刘宇的演讲内容进行了整理归纳，供大家学习参考。
DTC2023
多元、互联、新硬件
数据库存储2.0时代已经到来
纵观当前数据库领域发展趋势，不难发现当前数据库存储形式呈现的几个特点。从需求角度分析，随着互联网、人工智能等技术场景不断增多，数据类型、数据处理方式也在不断增多，这就导致一个数据库系统往往需要多个不同种类的数据库同时支持，多元数据库时代已然来临。另外，近几年我国越来越重视将信息安全、根技术把握在自己手中，相关政策大力推动着国内关基行业逐步开展IT系统信创改造项目，这也推动着我国本土数据库品牌的进一步创新发展。从墨天轮中国数据库流行度排行榜来看，收录的数据库产品已达260+之多，鸾翔凤集、百家争鸣，呈现出蓬勃发展的盛景。
从技术层面分析，据第三方统计，预计在2025年，每人每天与互联网设备交互次数可达4800次，每18秒就会产生一次，万物互联带来的是爆炸的数据量和对高并发低时延更高的要求。除此之外，新硬件成本下降，性能却能够倍增，现如今已经超过传统硬件数十倍、数百倍之多，硬件潜力有待深入挖掘。
“多元”“互联”“新硬件”是数据库存储2.0时代的三个关键词，“对于用户来说，他们需要的是软硬一体化端到端的性能提升，去解决多元数据库承载管理和海量数据的处理问题。那么如何将软硬件完美结合，充分发挥它们的性能，带来1+1＞2的效果，是我们这个时代面临的重大挑战。”刘宇说。因此，针对于数据库存储2.0时代的挑战，云和恩墨推出基于新一代数据库分布式存储 zStorage 的数据库运行一体化平台 zData X，从“快、稳、易、专”四个方面构建强大能力。接下来，刘宇对这四方面能力构建所面临的挑战和技术实现做了详解。
DTC2023
快
“快”是指怎样优化系统整机性能去满足万物互联时代的高并发压力，在这一方面有三个挑战点：
一、硬件。随着硬件性能相对过去有数十、数百倍的提升，软件的开销已经占到整个性能开销非常大的比重，因软件架构自身的限制，无法充分发挥硬件性能。
二、协议。传统的机械硬盘对于单一队列多核访问时，需要加锁，但引起的性能开销占比低，可以容忍。然而现如今闪存介质无机械操作，加锁成为性能瓶颈，无法充分发挥闪存性能，需要更优的协议来发挥硬件性能。
三、调度机制。传统的调度机制中软件的任务、线程、CPU核完全随机匹配，依赖操作系统保障，随机性高，无法保障关键任务的资源分配，且线程调度依赖操作系统，线程排队及线程唤醒会产生额外时延和上下文（如内存拷贝等）开销。除此之外为保证全局Cache操作的原子性，需要加锁，导致等锁开销，造成不可控的时延。
针对这三方面挑战，zData X 做了全新架构优化：采用NVMe SSD硬盘、高速互联网络以及RDMA技术来提升效率、降低时延；使用NVMe-oF协议提升存取效率；在调度机制方面引入自适应锁核特性，任务、线程、CPU核能够自动绑定，专核专用，确保关键任务响应时延，减少线程上下文切换的开销；通过智能调度算法自动识别任务优先级，优先保障关键任务调度；引入自适应Cache锁特性，使得线程访问本地Cache，线程锁核避免对Cache锁的竞争。
相比传统架构，zData X 的新型架构能够充分发挥每颗芯片的算力，使得IOPS性能提升4倍、时延缩短50%、数据传输与存取性能提升60%。刘宇为观众分享了两组数据：zData X 当前性能能够达到2000万tpmC，且单个存储界面达到50万IOPS，仅0.3ms时延。
DTC2023
稳
“稳”是指如何保障关键业务、关键数据的可靠性及业务连续性，这对用户来说是一体机需具备的至关重要的能力。云和恩墨在 zData X 中实现了“三重高可靠”机制。首先通过实时校验、多点检测、后台巡检、自动修复等关键能力实现错误检测，并且将损害的数据快速修复，达成IO级高可靠；其次通过多副本一致性保证节点级甚至机柜的安全，实现部件级高可靠；最后，通过管理平台实现数据库高可用一键部署，达成解决方案级高可靠。多重可靠性保护机制全面保障了用户核心业务数据安全可靠、业务99.999%高可用。
DTC2023
易
在这个数据量爆炸的时代，“易”主要体现在弹性扩展能力和兼容性，以满足用户当下和未来的灵活扩展需求。对于此，zData X 能做到从3节点到1024节点进行快速的弹性扩容，性能也随着容量节点的增加呈线性增长；在兼容性方面，能够兼容当前国内外主流数据库、操作系统和物理硬件，能够快速适应企业务软硬件发展需求。
DTC2023
专
“专”是针对数据库和数据库存储来说，指需要做专项的能力提升，去结合多元数据库发挥系统更大的价值。在这一方面，云和恩墨在 zData X 上做的不仅仅是软件与硬件的简单结合，而是做了数据库与存储的深度联动：
第一、数据库快照能力保证了应用一致性。触发数据库脏数据下盘，存储再打快照，保证数据库文件一致性；同时存储一致性快照组，保证不同存储卷快照时间点一致性。
第二、结合数据库日志实现任意时间点恢复。通过快照与数据库日志结合，能够快速恢复不同时间点的数据，通过这种方式能够实现用尽量少的空间来实现尽量细的快照保护。
第三、通过识别日志IO以及数据页面IO，根据不同IO优先级去保证关键任务响应的时延。
zData X 还配备了一站式可视化管理平台，实现异构数据库、计算、网络、存储设备的全栈全生命周期管理，包含监控、告警、巡检、性能容量分析、高可用管理、自动化部署等运维功能，帮助DBA“简化运维”。通过管理平台，使得数据库的平均交付时间从原来的10余小时缩短到2小时以内，单问题诊断时间从小时级降到分钟级，以及高可用切换能够从10余小时压缩至分钟级。除此之外，其软件与硬件深度预装的一体化交付方式能够实现30分钟的开箱即用。
DTC2023
结语
云和恩墨在数据库领域深耕十余载，刘宇在演讲最后说道：“得益于在专业服务上的长期积累，云和恩墨具备两大优势：懂数据库、懂基础设施。这体现在数据库研发上就是：第一有经验的沉淀；第二有技术的积累；第三有全栈方案。因此我们做的产品和解决方案能够更好地去贴合、满足客户的需求。”
如今，云和恩墨的数据库基础软件和生态软件都已形成规模，如关系型数据库 MogDB、数据库一体机 zData、数据库云管平台 zCloud，都已在各行各业落地，帮助用户更便捷、更高效地运行和管理数据库环境。云和恩墨将继续以“洞察用户需求，坚持持续创新”为核心思想，将更加安稳易用的产品带给用户，助力用户实现跨越式升级。
→
点击文末“阅读原文”回顾完整演讲视频
数据驱动，成就未来，云和恩墨，不负所托！
云和恩墨创立于2011年，以“数据驱动，成就未来”为使命，是智能的数据技术提供商。我们致力于将数据技术带给每个行业、每个组织、每个人，构建数据驱动的智能未来。
云和恩墨在数据承载（分布式存储、数据持续保护）、管理（数据库基础软件、数据库云管平台、数据技术服务）、加工（应用开发质量管控、数据模型管控、数字化转型咨询）和应用（数据服务化管理平台、数据智能分析处理、隐私计算）等领域为各个组织提供可信赖的产品、服务和解决方案，围绕用户需求，持续为客户创造价值，激发数据潜能，为成就未来敏捷高效的数字世界而不懈努力。
