文章目录
- @[toc]
- 1. CloudEon是什么?
- 2. gitHub地址和官网地址
- 3. 官网教程
- 4. 特性
- 5. 架构
- 6. 支持组件版本
- 7. 安装部署
- 7.1 部署前提
- 7.1.1 Kubernetes环境准备(必须)
- 7.1.2 SSH服务准备(必须)
- 7.1.3 数据库环境准备(非必须)
- 7.2 Docker部署
- 7.2.1 docker命令
- 7.2.2 配置应用数据库
- 7.2.3 配置文件挂载
- 7.3 本地部署
- 7.3.1 环境准备
- 7.3.2 文件结构
- 7.3.3 启动应用
- 7.3.4 直接运行
- 7.3.5 配置应用数据库 ( 非必须)
- 8. 总结
文章目录
- @[toc]
- 1. CloudEon是什么?
- 2. gitHub地址和官网地址
- 3. 官网教程
- 4. 特性
- 5. 架构
- 6. 支持组件版本
- 7. 安装部署
- 7.1 部署前提
- 7.1.1 Kubernetes环境准备(必须)
- 7.1.2 SSH服务准备(必须)
- 7.1.3 数据库环境准备(非必须)
- 7.2 Docker部署
- 7.2.1 docker命令
- 7.2.2 配置应用数据库
- 7.2.3 配置文件挂载
- 7.3 本地部署
- 7.3.1 环境准备
- 7.3.2 文件结构
- 7.3.3 启动应用
- 7.3.4 直接运行
- 7.3.5 配置应用数据库 ( 非必须)
- 8. 总结
1. CloudEon是什么?
CloudEon是构建于kubernetes集群之上的大数据集群管理平台
CloudEon
是一款基于kubernetes
的开源大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。该平台支持多种大数据服务的部署和管理,如hadoop、doris、Spark、Flink、Hive等,能够满足不同规模和业务需求下的大数据处理和分析需求
2. gitHub地址和官网地址
https://cloudeon.top/
https://github.com/dromara/CloudEon
3. 官网教程
https://mp.weixin.qq.com/s/I5qJkvD2EpQEggTOWfFvyA
4. 特性
- 快速搭建大数据集群
- 容器化运行大数据服务
- 支持监控告警等功能
- 支持配置修改等功能
- 自动化运维
- 可视化管理界面
- 灵活的扩展性
5. 架构
6. 支持组件版本
7. 安装部署
7.1 部署前提
7.1.1 Kubernetes环境准备(必须)
CloudEon需要一个可访问的Kubernetes集群,目前已知支持的版本是1.21+
,如果没有Kubernetes环境可以使用 kubekey 快速搭建一个。 也支持在k3s上部署。 container runtime目前只支持docker,后续会逐渐适配,欢迎大家一起来完善。
7.1.2 SSH服务准备(必须)
CloudEon需要访问Kubernetes集群中节点的SSH服务,所以必须保证网络可通
7.1.3 数据库环境准备(非必须)
CloudEon默认使用H2作为内置数据库,当然也支持Mysql作为数据库,可以通过修改application.properties文件进行配置
7.2 Docker部署
7.2.1 docker命令
Cloudeon 在 dockerhub 中的公共镜像地址为 peterpoker/cloudeon。如果你本地已经安装了 docker,执行以下命令可以一键安装:
docker run -p 7700:7700 peterpoker/cloudeon
如果国内访问比较慢,也可以用
docker run -p 7700:7700 --name cloudeon --rm registry.cn-hangzhou.aliyuncs.com/udh/cloudeon:1.0.0
镜像启动成功后,在浏览器中访问 http://docker_ip:7700 进入登录页。镜像中提供初始账户,用户名 admin 密码 admin
7.2.2 配置应用数据库
在默认情况下,Cloudeon 使用内置的 H2 作为应用程序数据库。 如果将 Cloudeon 用于生产环境,建议使用 MySQL 作为应用程序数据库。配置步骤如下: 新建一个名为 application.properties 的空文件,将以下内容填写完整,然后粘贴到到文件中
# Http server port
server.port=7700
spring.main.banner-mode=log
# db
spring.jpa.open-in-view=false
spring.jpa.hibernate.ddl-auto=none
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/cloudeon?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root
####### flyway properties #######
spring.flyway.enabled=true
spring.flyway.clean-disabled=true
spring.flyway.validate-on-migrate=true
# Configuration for uploading files.
spring.servlet.multipart.enabled=true
spring.servlet.multipart.file-size-threshold=0
spring.servlet.multipart.max-file-size=209715200
spring.servlet.multipart.max-request-size=209715200
# temporary skip circular references check
spring.main.allow-circular-references=true
####### cloudeon properties #######
cloudeon.stack.load.path=${cloudeon.home.path}/stack
cloudeon.remote.script.path=${cloudeon.home.path}/script
cloudeon.task.log=${cloudeon.home.path}/log
cloudeon.work.home=${cloudeon.home.path}/work
logging.config=${cloudeon.home.path}/conf/logback.xml
7.2.3 配置文件挂载
运行以下命令,使用新建的 application.properties 配置启动镜像
docker run -d --name cloudeon -v your_path/application.properties:/usr/local/cloudeon/conf/application.properties -p 7700:7700 peterpoker/cloudeon
7.3 本地部署
7.3.1 环境准备
- JDK 1.8+
- MySql5.7+ (可选,内置H2)
- Cloudeon 安装包(cloudeon-assembly-*-release.zip)
- Kubernetes 1.21 +
7.3.2 文件结构
首先下载安装包,并且解压安装包。
unzip cloudeon-assembly-*-release.zip
解压之后的文件结构如下
├── bin # 执行脚本目录
├── conf # 配置文件目录
├── script # 临时脚本
├── lib # 项目依赖目录
├── stack # 大数据服务安装包插件
└── LICENSE
7.3.3 启动应用
运行 bin 目录下的脚本来启动应用,Linux 用户使用 bin/server.sh
,命令列表如下:
${CLOUDEON_HOME}/bin/server.sh start # 启动
${CLOUDEON_HOME}/bin/server.sh stop # 停止
${CLOUDEON_HOME}/bin/server.sh status # 查看状态
${CLOUDEON_HOME}/bin/server.sh restart # 重启
7.3.4 直接运行
安装包解压后,即可直接运行脚本启动应用。需要注意的是,直接启动时使用的是内置的 H2 数据库作为应用数据库。 启动之后通过 http://127.0.0.1:7700 地址访问应用主页,内置初始账户,用户名 admin 密码 admin
7.3.5 配置应用数据库 ( 非必须)
cloudeon 目前支持配置 MySQL 作为应用数据库;需要 MySQL 5.7 及以上版本。配置步骤如下: 创建数据库,指定数据库编码为 utf8
mysql> CREATE DATABASE `cloudeon` CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';
注意:在初次连接时会自动初始化数据库 首次连接数据库时,建议使用一个权限较高的数据库账号登录(建议 root 账号)。因为首次连接会执行数据库初始化脚本,如果使用的数据库账号权限太低,会导致数据库初始化失败 编辑 conf/application.properties 文件,将数据库信息配置修改
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
# 数据库IP或域名
spring.datasource.url=jdbc:mysql://localhost:3306/cloudeon?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
# 用户名
spring.datasource.username=root
# 密码
spring.datasource.password=root
8. 总结
cloudEon 是一款java开发的云原生大数据平台,已经加入[dromara开源组织](javascript:void(0)😉 ,感觉还是不错的,具体的还是的自己去安装体验下,还没有其它的开源大数据管理平台吗?答案是肯定的,比如CDH,后续深入这方面的学习在和大家分享,请一键三连加关注,么么哒!