蚂蚁集团SQLess 开源，与内部版有何区别？

news2024/11/19 21:27:02

当我们使用关系型数据库时，SQL 是联系起用户和数据库的一座桥梁。

SQL 是一种高度非过程化的语言，当我们在编写SQL 时，表达的是想要什么数据，而不是怎么获取数据。因此，我们往往更关心SQL 有没有满足业务逻辑，比如返回结果、响应速度、DB 吞吐等，不太想关心SQL 有没有性能问题、索引如何创建、SQL 问题怎么快速定位等风险。同时，我们希望这部分能力可以通过自动化、智能化产品来解决。

上述情况也一直困扰着蚂蚁集团内部的业务，在探索解决方案的过程中，得益于蚂蚁业务场景对数据库稳定性、吞吐量的极致要求，孵化了一款覆盖SQL 生命周期的诊断优化产品—— SQLess 。它服务于蚂蚁8000+用户、70+业务站点，被集成至30+业务平台，减少90% 的SQL 异常、提升80%故障恢复时效，保障了业务稳定性，是数据库的基础设施之一。

近日，SQLess 宣布开源，为蚂蚁集团之外的业务提供服务，包含SQL 防控体系、SQL 应急体系、SQL 优化体系三道防线。同时，SQLess 团队希望将蚂蚁集团内部沉淀的SQL 诊断优化经验与更多企业进行分享与交流。

SQLess 针对OceanBase 的SQL 优化实践

SQLess 开源后，成为了OceanBase 生态中的一员。SQLess 基于OceanBase 的Hint 机制，提供诊断优化、自愈限流、索引演进等能力。通过建立外部实时的流量检测，结合OceanBase 内部提供的统计信息，进行热点流量检测，用于智能识别热点行、锁冲突、热点账号、大小账号等细粒度SQL 问题。同时建立知识库体系，用于自动回归检测和算法学习。

整体线上自愈流程如下：

监控指标识别到异常 -> SQLess 找到根因SQL -> SQLess 提供诊断建议 -> 自愈执行诊断操作 -> 监控指标回归正常

针对增量SQL ，SQLess 结合蚂蚁的研发流程，提供SQL Review 能力，有效地将SQL 风险阻拦在上线之前。

同时，针对存量SQL ，SQLess 结合治理平台，提供治理意见和性能回馈，有效push 存量问题SQL 的治理。

SQLess 内部版与开源版区别

目前，SQLess 在蚂蚁集团的实践更偏向于运维视角，解决的核心问题是蚂蚁业务在OceanBase 上的SQL 稳定性。区别于内部版，SQLess 开源版更偏向于研发视角，帮助用户更高效地写出优雅且高性能的SQL ，让用户花更少时间关注SQL 风险，更专注于SQL 业务逻辑本身，提升业务研发效率和数据库稳定性，并且提供全方位的SQL 监控能力，帮助用户解决SQL 风险并提升业务性能。正如SQLess 愿景描述的那样，让用户写SQL 时可以更聚焦于实现业务逻辑，而不需要关注性能问题：Less on SQL tuning，More to SQL doing。

SQLess 适配各个研发阶段，将优化建议更加简单明了地告诉用户，追求通用性、可扩展性，可以接入不同的数据库引擎，用户也可以灵活配置或创建各个规则，用于适配自己的研发体系。

SQLess 开源版提供以下四个主要功能：

· SQL 优化：支持索引优化、研发规范 ( PMD ) 扫描、Rewrite 改写建议。

· SQL 审核：SQL Review 能力，可以集成在CICD pipeline 中。

· SQL 分析：multi-SQL 维度的综合分析，可以基于Slow log 、各个云厂商流量接口等方式进行SQL 优化。

· SQL 监控：实时态的TopSQL 分析，提供SQL 动态的实时监控，提供采样流水、执行计划、统计信息等辅助信息帮助用户找到问题SQL 、分析问题根因。

目前支持的数据库引擎包括OceanBase 3.x 版本和OceanBase 4.x 版本，以及MySQL 5.6 版本和MySQL 5.7 版本，未来还将支持更多数据库。

SQLess 架构设计及产品规划

为了更好地适配不同业务场景、扩展规则、支持更多的数据库引擎，SQLess 大部分组件都以插件化设计。

用户可以方便地使用规则或者自定义规则来适配自己的业务场景。

对于优化器，采用“前置规则->剪枝规则->RBO 规则->CBO 成本计算”架构，支持三个优化能力：

索引优化
研发规范扫描
SQL Rewrite 优化

对于解析器，使用插件化框架，支持不同解析任务。

SQL 解析，支持不同DB 引擎的接入，已支持OceanBase 、MySQL
文本解析：支持不同文本类型的接入，已支持MySQL 慢查询日志、SQL 流量文件
XML 解析：支持不同ORM 框架的接入，已支持MyBatis

规则引擎也使用插件化框架，支持各维度的规则沉淀：

RBO 规则
Rewrite 规则
研发规范
异常诊断（规划中）
根因分析（规划中）

目前，SQLess 团队大部分工作聚焦在规则场景沉淀、数据库引擎扩展、优化器扩展、ORM 框架扩展、多云产品接入等工作上。希望帮助用户更加简单、准确地解决各类SQL 问题，比如：

1. 规则场景沉淀，不断丰富SQL PMD /SQL Rewrite /异常诊断等规则。

2. 数据库引擎扩展，目前支持OceanBase3.x /4.x、MySQL 5.6 /5.7，后续计划将持续支持MySQL8.0 /PostgreSQL /Oracle /TiDB /PolarDB 等数据库引擎。

3. 优化器扩展，目前支持Cost-Based Optimizer ，后续计划将持续支持AI-Based Optimizer 、Query-Based Workload Analysis 等更强大的优化器特性。

4. ORM框架扩展，目前只适配了MyBatis ，后续将持续支持GORM/Hibernate /SQLAlchemy 等ORM 框架。

5. 多云产品接入，持续支持多云产品的接入，类如OceanBase Cloud /Aliyun RDS /TiCloud 等。

6. 大模型结合的AIGC ，支持NL2SQL 、NL2DDL 、NL2 报表、SQL 优化、Schema 优化等。

除了建设更多SQL 能力外，SQLess 将提供轻量级的lib ，用于更好地接入如CICD 、SQL Console 、IDE 插件适用于SQL 优化和分析的产品。SQLess 也将持续加强与OceanBase 开源社区的融合，并支持MySQL 、PostgreSQL 等数据库，为更多数据库生态的用户提供服务，建设通用SQL 能力的开源生态。