目录
- 1.Amazon Redshift
- 参考链接:
- 2.阿里云-DAS-Database Autonomy Service
- 参考链接:
- 3.Oracle Autonomous Database
- 参考链接:
- 4.阿里云-MaxCompute(原ODPS)
- 参考文档:
- 5.腾讯云——DBbrain
- 参考链接:
- 6.Azure SQL
- 7.Google BigQuery ML
- 链接:
1.Amazon Redshift
Amazon Redshift AutoMV,亚马逊Redshift自动物化视图
参考链接:
-
官方文档
-
https://aws.amazon.com/blogs/big-data/optimize-your-amazon-redshift-query-performance-with-automated-materialized-views/
2.阿里云-DAS-Database Autonomy Service
数据库自治服务DAS(Database Autonomy Service)是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务,它能帮助消除人工操作引发的服务故障,有效保障数据库服务的稳定、安全及高效。
- 支持多种数据库:支持主流的关系型数据库、NoSQL、NewSQL。不支持spark等分布式数据库
- 基于规则和基于代价模型
- 自动SQL优化、自动空间、自动异常修复
索引其具体的工作过程如下,和物化视图推荐流程类似:
- SQL解析与验证:引擎对查询语句做解析验证,验证输入查询语句是否符合标准,识别查询语句的组成形成语法树,例如:谓词以及谓词类型、排序字段、聚合字段、查询字段等,识别查询语句相关字段的数据类型。验证SQL使用到的表、字段是否符合目标数据库的结构设计。
- 候选索引生成:依据解析验证后的语法树,生成多种候选索引组合。
- 基于代价评估:代价评估基于内置独立于数据库内核的优化器,获取数据库统计信息,在诊断引擎内部作缓存。诊断引擎内置优化器基于统计信息计算代价,评估每个索引的代价以及不同SQL改写方法下的代价评估,从而从代价选择最优索引或SQL改写方法。
- 索引合并与择优:引擎输入可以是一条查询语句,也可以为多个查询语句,或者整个数据库实例所有的查询语句。为多个查询语句做索引推荐,不同的查询语句的索引建议,以及已经存在的物理索引,有可能存在相同索引、前缀相同索引、雷同索引。
参考链接:
- 阿里云DAS
- 阿里云DAS产品文档
3.Oracle Autonomous Database
Oracle自治数据库是一种云数据库,它使用机器学习自动化数据库调优、安全、备份、更新以及其他传统上由 DBA 执行的常规管理任务。
在oracle database 21c版本开始materialized views可以自动的创建和维护,用于自冶数据库。oracle database使用了一种称为扩展覆盖子表达式的算法来自动化地生成物化视图。
oracle database仅支持带Group by和常见聚合函数(如SUM/AVG等)的物化视图,不支持窗口/UDF等复杂算子的物化视图。
参考链接:
- oracle官方文档
- www.oracle.com/automous-database
- 博客
4.阿里云-MaxCompute(原ODPS)
云原生大数据计算服务(MaxCompute,原名 ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
阿里云大数据计算服务( MaxCompute,原名 ODPS )是阿里云提供的一种安全可靠、高效能、低成本、从 GB 到 EB 级别按需弹性伸缩的在线大数据计算服务。MaxCompute 向用户提供了丰富的大数据开发工具、完善的数据导入导出方案以及多种经典的分布式计算模型。能够最快速地解决用户海量数据计算问题,有效降低企业大数据计算平台的总体拥有成本,提高大数据应用开发效率,并保障数据在云计算环境的安全。被广泛地应用于互联网海量数据分析类场景。
参考文档:
- 官方文档
- 阿里云官方博客
5.腾讯云——DBbrain
数据库智能管家(TencentDB for DBbrain,DBbrain)是腾讯云推出的一款为用户提供数据库性能、安全、管理等功能的数据库自治云服务。DBbrain 利用机器学习、大数据手段、专家经验引擎快速复制资深数据库管理员的成熟经验,将大量传统人工的数据库运维工作智能化,服务于云上和云下企业,有效保障数据库服务的安全、稳定及高效运行。
支持多款关系型、NoSQL、NewSQL 数据库类型。完美应用于云上、云下数据库场景,不仅为腾讯云数据库实例提供诊断分析服务,也支持用户自建、其他云部署的数据库实例,助力用户打造数据库混合云管理的使用场景。
参考链接:
- 官方文档
6.Azure SQL
Azure SQL 是一系列智能安全的托管产品,它们使用 Azure 云中的 SQL Server 数据库引擎。
SQL Azure 是 Windows Azure 平台的组成部分:一系列提供托管计算、基础结构、Web 服务和数据服务的服务。SQL Azure 组件不仅提供 SQL Server 的完全关系数据库功能,还作为承载于全球 Microsoft 数据中心的云计算服务提供功能。
7.Google BigQuery ML
谷歌 BigQuery 提供了基于大型数据集的交互式分析能力,让企业能够轻松分享有意义的见解并基于客户分析开发解决方案。很多使用 BigQuery 的企业都没有使用机器学习来更好地理解他们正在生成的数据,这是因为精通 SQL 的数据分析师可能不具备机器学习方面的数据科学背景。
BigQuery 引擎旨在高效地扫描大型数据集而不只是随机抽取小型样本,因此,BigQuery ML 是基于梯度下降的标准(批量)变体,而不是随机版本。虽然随机梯度下降在当今的大型机器学习系统中更为常见,但批量变体具有很多实践方面的优势。
链接:
- [官方文档](