文章目录
- 华为云云耀云服务器L实例的使用
- 搭建MySQL集群
- 环境搭建
- 安装MySQL数据库
- 集群搭建
- 安装Galera Cluster
- 配置MySQL
- 启动集群
- 性能测试
- 安装sysbench
- 创建测试数据库
- 运行性能测试
- 使用Superset从MySQL数据源中获取数据进行分析
- 准备工作
- 配置MySQL数据源
- 从MySQL数据源中获取数据
华为云云耀云服务器L实例的使用
产品链接:
https://www.huaweicloud.com/product/hecs-light.html
产品首页如图所示:
点击购买后选择实例,我人在上海,所以选择华东的区域,相关的进行使用linux宝塔面板,如图所示:接着下拉,选择相关的配置,这里根据大家实际需求选择即可,如图所示:
后面这些附加选项我这里直接默认选择,大家也可以根据自己需要调整,华为云推出了很多活动,大家可以积极参与活动,领取优惠券进行折扣,如图所示:
购买完成后会有一个订单支付成功的页面,如图所示:
然后你会发现实例已经创建成功了,如图所示:
点击实例远程连接,如图所示:
根据密码设置规则进行设置,如图所示:
设置完成之后,还需要配置安全组,如图所示:
这里根据实际需要进行设置,如图所示:
输入用户名和密码之后,就登录成功啦,如图所示:
搭建MySQL集群
MySQL是一个开源的关系型数据库管理系统,它被广泛应用于互联网应用中。当应用流量增大时,单一的MySQL服务器可能无法满足业务要求,为了解决这个问题,需要将MySQL改造成为一个集群,以实现读写分离、故障恢复等功能。
下面将基于华为云云耀云服务器L实例搭建MySQL集群,并开展性能评测。主要分为以下几个部分:
- 环境搭建:创建华为云云耀云服务器L实例,并安装MySQL数据库。
- 集群搭建:使用Galera Cluster技术搭建MySQL集群。
- 性能测试:使用sysbench进行性能测试,并分析结果。
环境搭建
安装MySQL数据库
在SSH终端中,使用yum包管理器安装MySQL数据库。
sudo yum -y install mysql-server
安装完成后,启动MySQL服务。
sudo systemctl start mysqld
设置MySQL服务在开机时启动。
sudo systemctl enable mysqld
为MySQL设置root用户的密码,注意替换password
为自己的密码。
sudo mysqladmin -u root password 'password'
集群搭建
安装Galera Cluster
Galera Cluster是一个开源的MySQL集群解决方案,它使用多主复制技术,支持自动切换、读写分离、故障恢复等功能。我们需要先安装Galera Cluster。
sudo yum -y install http://www.percona.com/downloads/percona-release/redhat/0.1-6/percona-release-0.1-6.noarch.rpm
sudo yum -y install galera-3
配置MySQL
修改MySQL配置文件/etc/my.cnf
,添加以下配置。注意替换IP1,IP2,IP3
为实际的IP地址。
[mysqld]
binlog_format=ROW
default-storage-engine=innodb
innodb_autoinc_lock_mode=2
bind-address=0.0.0.0
# Galera Provider Configuration
wsrep_provider=/usr/lib64/galera-3/libgalera_smm.so
wsrep_provider_options="gcache.size=300M; gcache.page_size=300M"
# Galera Cluster Configuration
wsrep_cluster_name="my_cluster"
wsrep_cluster_address="gcomm://IP1,IP2,IP3"
# Galera Synchronization Configuration
wsrep_sst_method=rsync
启动集群
在第一台MySQL服务器上,使用如下命令启动集群。
sudo systemctl start mysqld
sudo mysql -uroot -p -e "SET GLOBAL wsrep_cluster_address='gcomm://';"
sudo systemctl stop mysqld
sudo galera_new_cluster
在其他的MySQL服务器上,使用如下命令启动集群。
sudo systemctl start mysqld
性能测试
安装sysbench
sysbench是一个开源的压力测试工具,它支持多种数据库和操作系统。我们需要安装sysbench工具。
sudo yum -y install sysbench
创建测试数据库
我们可以使用MySQL自带的sysbench
测试数据库进行测试。在第一台MySQL服务器上,使用以下命令创建测试数据库。
mysql -uroot -p -e "CREATE DATABASE sbtest;"
sysbench /usr/share/sysbench/oltp_read_write.lua \
--db-driver=mysql --mysql-db=sbtest \
--mysql-user=root --mysql-password=password \
--mysql-host=127.0.0.1 --mysql-port=3306 \
--tables=4 --table-size=1000000 prepare
运行性能测试
在第一台MySQL服务器上,使用以下命令运行性能测试。注意替换IP1,IP2,IP3
为实际的IP地址和threads
为线程数。
sysbench /usr/share/sysbench/oltp_read_write.lua \
--db-driver=mysql --mysql-db=sbtest \
--mysql-user=root --mysql-password=password \
--mysql-host=IP1,IP2,IP3 --mysql-port=3306 \
--tables=4 --table-size=1000000 \
--threads=8 --time=300 run
测试结果将会输出到终端中,并生成一个报告文件。
到此已经成功地搭建了MySQL集群,并使用sysbench进行了性能测试。测试结果表明,在8个线程的情况下,集群的性能大大优于单一的MySQL服务器。当业务流量增大时,集群能够快速响应并解决性能瓶颈问题。
使用Superset从MySQL数据源中获取数据进行分析
Superset是一个基于Web的开源商业智能(BI)平台,它可以从各种数据源中获取数据,进行分析,并生成可视化报告。其中,MySQL作为一种常用的关系型数据库管理系统,也是Superset支持的数据源之一。在本文中,我们将介绍如何从MySQL数据源中获取数据并进行分析。
准备工作
在使用Superset之前,我们需要确保已经安装了以下软件和工具:
- Python 3.6及以上版本
- virtualenv虚拟环境工具
- MySQL数据库
如果还没有安装以上软件和工具,可以先按照官方文档进行安装。
另外,在开始之前,我们需要确保Superset已经被成功安装并启动了。
配置MySQL数据源
在开始在Superset中使用MySQL数据源之前,我们需要配置MySQL数据源,以便Superset可以连接到MySQL数据库,并从中获取数据。
-
登录Superset,并进入“Sources”页面。在此页面中,我们可以看到各种不同类型的数据源。
-
在右上角,点击“+”按钮,选择“MySQL”数据源类型。
-
在“MySQL”数据源配置页面中,我们需要填写以下信息:
- Name: 数据源的名称。
- Host: MySQL服务器的地址。
- Port: MySQL服务器的端口号。
- Database: 要连接的数据库的名称。
- Authentication Type: 认证方式,可以选择“Password”或“Certificate”。
- Username: MySQL连接的用户名。
- Password: MySQL连接的密码。
- 在填写完毕后,点击保存即可。
此时,MySQL数据源已经成功配置。
从MySQL数据源中获取数据
在成功配置MySQL数据源后,我们可以通过Superset从中获取数据,并进行分析和可视化。
-
在Superset主页,点击左侧的“Explore”按钮,进入数据探索页面。
-
在数据探索页面中,选择刚刚配置的MySQL数据源,并选择要分析的表。如果没有找到要分析的表,可以点击“Import From Database”按钮,将数据库中的表导入到Superset中。
-
选择要分析的表后,可以在右侧的“Metrics”和“Columns”栏中选择需要分析的指标和维度。
- Metrics: 指标,用于计算和聚合。
- Columns: 维度,用于分组和过滤。
-
在选择完指标和维度之后,可以在页面中预览数据,并进行图表展示。Superset支持多种图表类型,包括折线图、柱状图、饼图、散点图等。
-
如果需要自定义图表的样式和配置,可以进入图表编辑页面进行设置。在图表编辑页面中,可以设置图表类型、指标和维度的样式和显示方式,以及其他高级选项。
通过以上步骤,我们可以轻松地从MySQL数据源中获取数据,并进行分析和可视化。使用Superset,我们可以将复杂的数据转化为易于理解和解释的图表和报告,帮助我们更好地理解数据,做出更准确的决策。
在官网中还提供了使用Superset从MySQL数据源中获取数据进行分析的文档,文档地址:https://support.huaweicloud.com/bestpractice-hcss/practice_superset_0001.html
除次之外,云耀云服务L实例最佳实践汇总文档链接也附上:https://support.huaweicloud.com/bestpractice-hcss/practice_overview_0000.html