文章目录
- 1. 资源准备
- 2. 部署 Mariadb 数据库
- 3. 安装CM服务
- 4. 安装数据节点
- 5. 登录CM系统
1. 资源准备
准备好CDH安装包资源,官方网站下载需要账号,如果没有账号可以去网上到处搜搜。主要涉及到的资源有:
- cloudera-manager-server
- cloudera-manager-daemons
- cloudera-manager-agent
- mysql-connector-java.jar
- CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 以及相关校验值
2. 部署 Mariadb 数据库
- 安装 mariadb 服务
yum install mariadb-server
- 初始化数据库配置
mysql_secure_installation
3. 安装CM服务
- 安装CM程序
yum install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
- 修改数据库配置
vim /etc/cloudera-scm-server/db.properties
# Copyright (c) 2012 Cloudera, Inc. All rights reserved.
#
# This file describes the database connection.
#
# The database type
# Currently 'mysql', 'postgresql' and 'oracle' are valid databases.
com.cloudera.cmf.db.type=mysql
# The database host
# If a non standard port is needed, use 'hostname:port'
com.cloudera.cmf.db.host=mariadb-server-ip:port
# The database name
com.cloudera.cmf.db.name=cmf
# The database user
com.cloudera.cmf.db.user=<用户名>
# The database user's password
com.cloudera.cmf.db.password=<数据库密码>
# The db setup type
# After fresh install it is set to INIT
# and will be changed post config.
# If scm-server uses Embedded DB then it is set to EMBEDDED
# If scm-server uses External DB then it is set to EXTERNAL
com.cloudera.cmf.db.setupType=EXTERNAL
- 添加mysql驱动程序
cp mysql-connector-java-6.0.6.jar /usr/share/java/mysql-connector-java.jar
- 复制CDH安装包到/opt/cloudera/parcel-repo目录
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256
manifest.json
- 启动 cloudera-scm-server 服务
systemctl start cloudera-scm-server
4. 安装数据节点
CM服务是集群的管理节点,CM负责管理大数据集群内所有的数据节点,数据节点上需要部署 agent 服务,agent服务负责与CM服务通信,CM 服务通过 agent 服务来管理集群内所有的数据节点。
- 安装 agent 服务
yum install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
- 修改 agent 配置
vim /etc/cloudera-scm-agent/config.ini
[General]
# Hostname of the CM server.
server_host=k8s-node1
# Port that the CM server is listening on.
server_port=7182
- 启动 agent 服务
systemctl start cloudera-scm-agent
5. 登录CM系统
CM服务默认端口是 7180, 默认账号以及初始密码是:admin/admin。请确保 7180 端口没有被防火墙禁止。登录系统后将会做基础的配置,根据需要选择合适的版本,企业版需要购买License,Express 版本免费使用,但是支持的功能有限。
- 版本选择完成后进入到配置服务的页面,
- 设置集群名称
- Express 版本最大支持100个主机,这一步主要设置主机名,建议将 hostname 设置成 CM 机器的主机名,选择Currently Managed Hosts 选项卡,将会显示出所有的 agent 节点。如果需要添加新节点,可以选择 New Hosts 选项卡进行操作。New Hosts 选项卡中添加新节点,需要有软件包管理服务。
- 开始安装Parcels
后续流程不在一一截图展示,根据提示进行操作,即可完成CDH的安装部署。基于CDH部署一套大数据平台比较容易,难点在于真正发挥大数据业务分析价值,不然淡出的搭建一套大数据平台而没有具体的有价值的业务去实践,有点浪费资源。