开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共750人左右 1 + 2)
在开始说这个问题前,我们先了解一下什么是 heatWave,MySQL HeatWave 是 Oracle 在2020年推出的一个新服务,为 MySQL 数据库提供高性能的分析和机器学习功能。它是一个基于云的服务,使用内存技术和分布式存储来提供更快的查询处理和数据分析。
使用 MySQL HeatWave,用户可以实时运行复杂的 SQL 查询来针对大型数据进行分析,来提供之前不能进行的OLAP的工作。HeatWave 属于甲骨文cloud 基础架构的一部分。
那么这样的一个MYSQL HeatWave 的云上服务被甲骨文添加了机器学习的功能,MYSQL 在云上打破了传统MYSQL的概念,一个廉价的OLTP数据处理的数据库产品,MySQL HeatWave 是将OLAP + OLTP + 机器学习与AI 的集合。
这里面机器学习包含了两个功能:
自动机器学习 (AutoML):使非专业人员也能够创建和管理机器学习模型。使用 AutoML,用户可以通过简单的图形界面选择需要使用的数据集和算法,系统将为其生成预测模型。
自动驾驶 (Autopilot):可自动执行性能调整和优化,以确保在不同工作负载下始终获得最佳性能。Autopilot 还可以帮助用户诊断查询执行问题,并提供解决方案。
具体这两个功能提高了MYSQL HeatWave 的什么能力:
1 AutoML 可以通过机器学习增强时序性的能力,可预测,根据甲骨文的介绍,他们的机器学习与通常的做法不同,通常需要经过时间序列分析或预测培训的数据统计学家来选择适合所需输出的算法,而 AutoML 的多元时间序列预测会自动预处理数据,选择最佳机器学习模型算法,并自动调整模型。
根据甲骨文的公司的介绍,通过HW AL的功能,可以进行包含时间序列预处理和算法的选择,以及参数的调节,这样的方式可以避免企业在雇佣相关的机器训练中的一些训练师或与数据分析有关的工作者。
同时甲骨文称,这个功能目前只有甲骨文独有这一项技术,无论是多个维度还是单维度的,MYSQL heatwave 都提供机器学习分析。
除此之外HW 还提供了数据的误差分析的能力,或者我们成为异常分析的功能。Oracle表示使用特定的算法来监测数据中特定的场景,AL可以标记数据集合中的检测到的不同类型的异常情况,这个功能是突破性的,通过这个功能企业可以更智能的分析数据的未知的异常情况。
这可以帮助企业在分析数据中,抵消掉数据分析师认为的错误产生的数据倾斜,或算法失误导致的数据异常,HW可以推荐用户使用哪种数据方式来处理数据,Oracle称之为 推荐系统 -- recommender system.
再此基础上,甲骨文还为HW添加了人机互动的平台,和操作界面,这个交互平台可以让业务分析师直接在可视化的界面中,构建,训练,运行,和进行机器的学习,根本不需要你懂得什么SQL 或相关的知识,以及代码。这让企业更聚焦在业务,而不是雇佣IT 人员来进行工作。
这样的工作方式可以让数据分析师或数学科学家,在平台上根据企业的特点和需求来进行机器学习。这个控制平台将在AWS 上的MYSQL HW上提供,并且HW 将对接amazon的S3 存储,减少企业的数据存储的成本。
当使用MYSQL INNODB 数据引擎将数据加载到HW上,会创建一个在亚马逊上的S3的分布式数据管理层,通过它来管理数据,多个HW 可以并行访问这些数据,并可以将数据加载HW,无需等待和转换。
2 自动数据驾驶
在MYSQL HW 中还有刚才提到的 autopilot ,自动驾驶,这个公共直接加载到了交互的数据平台中,在平台中MYSQL HW 可以根据你正在计算的数据的压力,来监控你的OLTP的工作负载,并推荐给用户你应该用什么样的硬件来运行,降低硬件冗余成本,标准的HW是 512G,而更小的HW只有32G 的内存而每个月的价格仅仅需要16美元。这将大大增强在数据处理行业中甲骨文地位与先进性。
大概的意思是,甲骨文还是 The best database of the world !!
随着数据行业的变革,数据库行业也从原有的从数据库原有的技术上进行变革,转换到了从更大的附加值方面进行数据的变革,并成就自己和最终的用户,与此相比,我们应该还有 --- Starting a new business can be a long road to walk.