CDH大数据平台集群部署

news2024/11/25 15:25:17

文章目录

  • 1. 资源准备
  • 2. 部署 Mariadb 数据库
  • 3. 安装CM服务
  • 4. 安装数据节点
  • 5. 登录CM系统

1. 资源准备

  准备好CDH安装包资源,官方网站下载需要账号,如果没有账号可以去网上到处搜搜。主要涉及到的资源有:

  • cloudera-manager-server
  • cloudera-manager-daemons
  • cloudera-manager-agent
  • mysql-connector-java.jar
  • CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 以及相关校验值

2. 部署 Mariadb 数据库

  • 安装 mariadb 服务
yum install mariadb-server
  • 启动数据库
systemctl enable mariadb
systemctl start mariadb
  • 初始化数据库配置
mysql_secure_installation

  若CM服务与数据库不在同一台机器上,需要对数据库进行设置,使其允许其他机器IP远程访问数据库。这点非常重要,否则将会导致CM初始化数据库失败。

3. 安装CM服务

  • 安装CM程序
yum install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
  • 修改数据库配置
vim /etc/cloudera-scm-server/db.properties
# Copyright (c) 2012 Cloudera, Inc. All rights reserved.
#
# This file describes the database connection.
#

# The database type
# Currently 'mysql', 'postgresql' and 'oracle' are valid databases.
com.cloudera.cmf.db.type=mysql

# The database host
# If a non standard port is needed, use 'hostname:port'
com.cloudera.cmf.db.host=mariadb-server-ip:port

# The database name
com.cloudera.cmf.db.name=cmf

# The database user
com.cloudera.cmf.db.user=<用户名>

# The database user's password
com.cloudera.cmf.db.password=<数据库密码>

# The db setup type
# After fresh install it is set to INIT
# and will be changed post config.
# If scm-server uses Embedded DB then it is set to EMBEDDED
# If scm-server uses External DB then it is set to EXTERNAL
com.cloudera.cmf.db.setupType=EXTERNAL
  • 添加mysql驱动程序
cp mysql-connector-java-6.0.6.jar /usr/share/java/mysql-connector-java.jar
  • 复制CDH安装包到/opt/cloudera/parcel-repo目录
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel  
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha  
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1  
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256  
manifest.json
  • 启动 cloudera-scm-server 服务
systemctl start cloudera-scm-server

4. 安装数据节点

  CM服务是集群的管理节点,CM负责管理大数据集群内所有的数据节点,数据节点上需要部署 agent 服务,agent服务负责与CM服务通信,CM 服务通过 agent 服务来管理集群内所有的数据节点。

  • 安装 agent 服务
yum install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
  • 修改 agent 配置
vim /etc/cloudera-scm-agent/config.ini 
[General]
# Hostname of the CM server.
server_host=k8s-node1

# Port that the CM server is listening on.
server_port=7182
  • 启动 agent 服务
systemctl start cloudera-scm-agent

5. 登录CM系统

  CM服务默认端口是 7180, 默认账号以及初始密码是:admin/admin。请确保 7180 端口没有被防火墙禁止。登录系统后将会做基础的配置,根据需要选择合适的版本,企业版需要购买License,Express 版本免费使用,但是支持的功能有限。
在这里插入图片描述

  • 版本选择完成后进入到配置服务的页面,
    在这里插入图片描述
  • 设置集群名称
  • 在这里插入图片描述
  • Express 版本最大支持100个主机,这一步主要设置主机名,建议将 hostname 设置成 CM 机器的主机名,选择Currently Managed Hosts 选项卡,将会显示出所有的 agent 节点。如果需要添加新节点,可以选择 New Hosts 选项卡进行操作。New Hosts 选项卡中添加新节点,需要有软件包管理服务。
    在这里插入图片描述
  • 开始安装Parcels
    在这里插入图片描述
      后续流程不在一一截图展示,根据提示进行操作,即可完成CDH的安装部署。基于CDH部署一套大数据平台比较容易,难点在于真正发挥大数据业务分析价值,不然淡出的搭建一套大数据平台而没有具体的有价值的业务去实践,有点浪费资源。
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1022470.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

IEEE模板中没有.bib相关内容怎么添加?

为了加深个人对该问题的记忆&#xff0c;特在此进行记录。 下图是IEEE某期刊提供的期刊模板&#xff0c;该模板来自于IEEE-Template Selector 从图中并没有看到bib文件&#xff0c;而在main.tex中也并没有相关引导&#xff0c;只是提到&#xff1a; 那如何添加呢&#xff1f;…

深度学习——所需知识二

深度学习——所需知识二 文章目录 前言一、微积分1.1. 导数和微分1.2. 偏导数1.3. 梯度1.4. 链式法则 二、自动微分2.1. 简单例子2.2. 非标量变量的反向传播2.3. 分离计算2.4. python控制流的梯度计算 三、概率3.1. 基本概率论3.1.1. 概率论公理3.1.2. 随机变量 3.2. 处理多个随…

关于mysql已有主从环境得主从重配置

恢复主从环境 1&#xff1a;Situation&#xff08;背景&#xff09;2&#xff1a;Task&#xff08;任务&#xff09;3&#xff1a;Action&#xff08;行动&#xff09;主库&#xff08;备份&#xff09;1:锁表2&#xff1a;效验是否锁表3&#xff1a;查看主库状态并记录4&#…

工作相关----《配置bond》

进入到/etc/sysconfig/network-scripts&#xff0c;按照要求配置主备关系 vim ifcfg-bond0&#xff0c;编写主要内容如下&#xff1a; /*mode1 表示主备份策略&#xff0c;miimon100 系统每100毫秒监测一次链路连接状态&#xff0c; 如果有一条线路不通就转入另一条线路*/ BOND…

抖音seo矩阵系统源码开发技术

抖音seo矩阵系统源码开发技术要求十分严格。首先&#xff0c;需要熟练掌握Python、Java等编程语言&#xff0c;具有扎实的算法基础。在此基础上&#xff0c;还需要具备深度学习、神经网络等相关技能&#xff0c;能够实现精准推荐和内容分析等功能。 其次&#xff0c;抖音seo矩…

剑指offer(C++)-JZ20:表示数值的字符串(算法-模拟)

作者&#xff1a;翟天保Steven 版权声明&#xff1a;著作权归作者所有&#xff0c;商业转载请联系作者获得授权&#xff0c;非商业转载请注明出处 题目描述&#xff1a; 请实现一个函数用来判断字符串str是否表示数值&#xff08;包括科学计数法的数字&#xff0c;小数和整数&…

如何成为一个牛逼的脚本小子日记之0x001-JAVA 代码审计 Top half (2023829-...

如何成为一个牛逼的脚本小子日记之 0x001-JAVA 代码审计 Top half (2023/8/29-2023/9/1) 此记录是在拥有一定的java基础下进行的,java基础类,反射,继承,filter,servlet,calssLoader,Dynamic agent等基础知识点将不再进行阐述,TopHalf主要集中描述除了java反序列化之外的基础漏…

嵌入式开发环境Vscode开发STM32单片机程序

STM32单片机非常强大&#xff0c;大多数教程都是使用 keil 编译器&#xff0c;keil 是收费的而 gcc 是开源免费的。这里介绍一些使用 gcc vscode 开发单片机程序的经验。&#xff08;这里不解释 gcc 是什么&#xff09;。 ​第一&#xff1a;环境准备 gcc ARM 开发者官网 h…

创新视界论坛项目测试报告

目录 一、项目背景 1.1 项目简介 1.2 核心功能 1.3 项目要点 二、测试计划 2.1 测试环境 2.2 测试用例编写 2.2.1 功能测试 2.2.2 非功能测试 2.3 功能测试操作步骤 2.3.1 对注册页面进行测试 2.3.2 对登录页面进行测试 2.3.3 对首页页面进行测试 2.3.4 对帖子发…

SpringBoot调用ChatGPT-API实现智能对话

目录 一、说明 二、代码 2.1、对话测试 2.2、单次对话 2.3、连续对话 2.4、AI绘画 一、说明 我们在登录chatgpt官网进行对话是不收费的&#xff0c;但需要魔法。在调用官网的API时&#xff0c;在代码层面上使用&#xff0c;通过API KEY进行对话是收费的&#xff0c;不过刚…

企业架构LNMP学习笔记52

Redis安全限制&#xff1a; IP限制登录&#xff1a; 打开配置IP限制&#xff1a; 注意&#xff0c;如果有防火墙&#xff0c;先关闭防火墙&#xff0c;或者开启端口限制。 重启服务&#xff0c;检测是否启动成功。 远程连接测试&#xff1a; 密码验证&#xff1a; 修改配置…

成集云 | 金蝶云星辰集成聚水潭ERP(金蝶云星辰主管库存)| 解决方案

源系统成集云目标系统 方案介绍 金蝶云星辰是金蝶旗下的一款企业级SaaS管理云&#xff0c;其目标是帮助企业拓客开源、智能管理和实时决策。为了实现这一目标&#xff0c;它为企业提供了多种SaaS服务&#xff0c;包括财务云、税务云、进销存云、生产云、零售云、电商…

java调用天地图api获取地理信息

目录 1、注册账号登录 2、创建应用&#xff0c;获取key 3、查看接口示例 4、调用接口 4.1地理编码查询 4.2逆地理编码查询 天地图网址&#xff1a;天地图API 1、注册账号登录 2、创建应用&#xff0c;获取key 3、查看接口示例 4、调用接口 4.1地理编码查询 public cla…

Cesium 测量距离

Cesium 测量距离 需求分析第一种方式&#xff1a;使用测距 Measure第二中方式&#xff1a;使用 distance&#xff0c;自己封装第三种方式&#xff1a;自己封装&#xff08;样式不太好&#xff09; 需求 实际开发中我们经常需要用到量测工具&#xff0c;而Cesium没有直接提供量…

【AD操作】【原理图标注配置器】批量更新原理图的元件标签

原理图标注配置器 快捷键 T-A-A 1.调整编号顺序 2.设置起始编号 3.更新 和 执行变更 对 学习笔记&#xff0c;供自己复习参考。

Java基于微信小程序的自习室系统的设计,附源码、教程

博主介绍&#xff1a;✌程序员徐师兄、7年大厂程序员经历。全网粉丝30W、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 文章目录 1 简介2 技术栈3 需求分析3.1用户需求分析3.1.1 学生用户3.1.3 管理员用户 4 数据库设计4.4.1 E…

使用Chatgpt编写的PHP数据库pdo操作类(增删改查)

摘要 将PDO封装成PHP类进行调用有很多好处&#xff0c;包括&#xff1a; 1、封装性和抽象性&#xff1a; 通过将PDO封装到一个类中&#xff0c;您可以将数据库操作逻辑与应用程序的其他部分分离开来&#xff0c;提高了代码的组织性和可维护性。这样&#xff0c;您只需在一个地…

面对IT部门和业务部门跨网文件交换的不同需求,怎样才能兼顾呢?

文件交换是企业中必不可少的一环&#xff0c;无论是内部员工之间&#xff0c;还是与外部客户、供应商、合作伙伴之间&#xff0c;都需要频繁地进行文件的发送和接收。然而&#xff0c;由于企业内外网之间的隔离&#xff0c;跨网文件交换往往面临着诸多困难和挑战。如何在保证文…

【Verilog语法】比较不同计数器的运算方式,其中有一个数是延迟打一拍的效果,目的是使得两个计数器的结果相同。

比较不同计数器的运算方式&#xff0c;其中有一个数是延迟打一拍的效果&#xff0c;目的是使得两个计数器的结果相同。 1&#xff0c;第一种2&#xff0c;第二种3&#xff0c;第三种 第三种方案&#xff0c;完成实现。 1&#xff0c;第一种 &#xff08;1&#xff09;RTL modu…

基于Python开发的火车票分析助手(源码+可执行程序+程序配置说明书+程序使用说明书)

一、项目简介 本项目是一套基于Python开发的火车票分析助手&#xff0c;主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的Python学习者。 包含&#xff1a;项目源码、项目文档等&#xff0c;该项目附带全部源码可作为毕设使用。 项目都经过严格调试&#xff0c;…