CloudEon云原生大数据平台

news2024/11/16 9:36:41

文章目录

    • @[toc]
  • 1. CloudEon是什么?
  • 2. gitHub地址和官网地址
  • 3. 官网教程
  • 4. 特性
  • 5. 架构
  • 6. 支持组件版本
  • 7. 安装部署
    • 7.1 部署前提
      • 7.1.1 Kubernetes环境准备(必须)
      • 7.1.2 SSH服务准备(必须)
      • 7.1.3 数据库环境准备(非必须)
    • 7.2 Docker部署
      • 7.2.1 docker命令
      • 7.2.2 配置应用数据库
      • 7.2.3 配置文件挂载
    • 7.3 本地部署
      • 7.3.1 环境准备
      • 7.3.2 文件结构
      • 7.3.3 启动应用
      • 7.3.4 直接运行
      • 7.3.5 配置应用数据库 ( 非必须)
  • 8. 总结

1. CloudEon是什么?

​   CloudEon是构建于kubernetes集群之上的大数据集群管理平台

​   CloudEon是一款基于kubernetes的开源大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。该平台支持多种大数据服务的部署和管理,如hadoop、doris、Spark、Flink、Hive等,能够满足不同规模和业务需求下的大数据处理和分析需求

在这里插入图片描述

2. gitHub地址和官网地址

https://cloudeon.top/
https://github.com/dromara/CloudEon

3. 官网教程

https://mp.weixin.qq.com/s/I5qJkvD2EpQEggTOWfFvyA

4. 特性

  • 快速搭建大数据集群
  • 容器化运行大数据服务
  • 支持监控告警等功能
  • 支持配置修改等功能
  • 自动化运维
  • 可视化管理界面
  • 灵活的扩展性

5. 架构

在这里插入图片描述

6. 支持组件版本

在这里插入图片描述

7. 安装部署

7.1 部署前提

7.1.1 Kubernetes环境准备(必须)

​    CloudEon需要一个可访问的Kubernetes集群,目前已知支持的版本是1.21+ ,如果没有Kubernetes环境可以使用 kubekey 快速搭建一个。 也支持在k3s上部署。 container runtime目前只支持docker,后续会逐渐适配,欢迎大家一起来完善。

7.1.2 SSH服务准备(必须)

​   CloudEon需要访问Kubernetes集群中节点的SSH服务,所以必须保证网络可通

7.1.3 数据库环境准备(非必须)

​   CloudEon默认使用H2作为内置数据库,当然也支持Mysql作为数据库,可以通过修改application.properties文件进行配置

7.2 Docker部署

7.2.1 docker命令

   Cloudeon 在 dockerhub 中的公共镜像地址为 peterpoker/cloudeon。如果你本地已经安装了 docker,执行以下命令可以一键安装:

docker run -p 7700:7700 peterpoker/cloudeon

  如果国内访问比较慢,也可以用

docker run  -p 7700:7700  --name cloudeon --rm registry.cn-hangzhou.aliyuncs.com/udh/cloudeon:1.0.0

  镜像启动成功后,在浏览器中访问 http://docker_ip:7700 进入登录页。镜像中提供初始账户,用户名 admin 密码 admin

7.2.2 配置应用数据库

​   在默认情况下,Cloudeon 使用内置的 H2 作为应用程序数据库。 如果将 Cloudeon 用于生产环境,建议使用 MySQL 作为应用程序数据库。配置步骤如下: 新建一个名为 application.properties 的空文件,将以下内容填写完整,然后粘贴到到文件中

# Http server port
server.port=7700

spring.main.banner-mode=log

# db
spring.jpa.open-in-view=false
spring.jpa.hibernate.ddl-auto=none
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/cloudeon?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root


####### flyway properties #######
spring.flyway.enabled=true
spring.flyway.clean-disabled=true
spring.flyway.validate-on-migrate=true

# Configuration for uploading files.
spring.servlet.multipart.enabled=true
spring.servlet.multipart.file-size-threshold=0
spring.servlet.multipart.max-file-size=209715200
spring.servlet.multipart.max-request-size=209715200

# temporary skip circular references check
spring.main.allow-circular-references=true

####### cloudeon properties #######
cloudeon.stack.load.path=${cloudeon.home.path}/stack
cloudeon.remote.script.path=${cloudeon.home.path}/script
cloudeon.task.log=${cloudeon.home.path}/log
cloudeon.work.home=${cloudeon.home.path}/work

logging.config=${cloudeon.home.path}/conf/logback.xml

7.2.3 配置文件挂载

​    运行以下命令,使用新建的 application.properties 配置启动镜像

docker run -d --name cloudeon -v your_path/application.properties:/usr/local/cloudeon/conf/application.properties -p 7700:7700 peterpoker/cloudeon

7.3 本地部署

7.3.1 环境准备

  • JDK 1.8+
  • MySql5.7+ (可选,内置H2)
  • Cloudeon 安装包(cloudeon-assembly-*-release.zip)
  • Kubernetes 1.21 +

7.3.2 文件结构

  首先下载安装包,并且解压安装包。

unzip cloudeon-assembly-*-release.zip

  解压之后的文件结构如下

├── bin               # 执行脚本目录
├── conf            # 配置文件目录
├── script          # 临时脚本
├── lib               # 项目依赖目录
├── stack            # 大数据服务安装包插件
└── LICENSE

7.3.3 启动应用

  运行 bin 目录下的脚本来启动应用,Linux 用户使用 bin/server.sh,命令列表如下:

${CLOUDEON_HOME}/bin/server.sh start       # 启动
${CLOUDEON_HOME}/bin/server.sh stop        # 停止
${CLOUDEON_HOME}/bin/server.sh status      # 查看状态
${CLOUDEON_HOME}/bin/server.sh restart     # 重启

7.3.4 直接运行

​    安装包解压后,即可直接运行脚本启动应用。需要注意的是,直接启动时使用的是内置的 H2 数据库作为应用数据库。 启动之后通过 http://127.0.0.1:7700 地址访问应用主页,内置初始账户,用户名 admin 密码 admin

7.3.5 配置应用数据库 ( 非必须)

​   cloudeon 目前支持配置 MySQL 作为应用数据库;需要 MySQL 5.7 及以上版本。配置步骤如下: 创建数据库,指定数据库编码为 utf8

mysql> CREATE DATABASE `cloudeon` CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';

​    注意:在初次连接时会自动初始化数据库 首次连接数据库时,建议使用一个权限较高的数据库账号登录(建议 root 账号)。因为首次连接会执行数据库初始化脚本,如果使用的数据库账号权限太低,会导致数据库初始化失败 编辑 conf/application.properties 文件,将数据库信息配置修改

spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
 # 数据库IP或域名
spring.datasource.url=jdbc:mysql://localhost:3306/cloudeon?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
# 用户名
spring.datasource.username=root
# 密码
spring.datasource.password=root

8. 总结

​    cloudEon 是一款java开发的云原生大数据平台,已经加入[dromara开源组织](javascript:void(0)😉 ,感觉还是不错的,具体的还是的自己去安装体验下,还没有其它的开源大数据管理平台吗?答案是肯定的,比如CDH,后续深入这方面的学习在和大家分享,请一键三连加关注,么么哒!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/438808.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【学习笔记】websocket数据帧

介绍 RFC官网给出的数据帧格式 字段解释 FIN(1bit): 标记位,表示该数据帧是否为完整消息最后的数据帧。RSV1/2/3(各1bit): 标记位,根据RFC的介绍,这三个bit位是用做扩展用途,没有…

rslidar_SDK二次开发

rslidar_SDK代码二开注意事项 文章目录 rslidar_SDK代码二开注意事项0.下载地址1.CMakeLists.txt1.1 Cmake里面,首先选择编译方式,原始ORIGINAL还是CATKIN,还是COLCON1.2 增加新增cpp文件位置1.3 如果选择ORIGINAL模式,需要额外增…

LabView中数组的使用2-1

在LabView中,数组用来管理相同类型的数据。 1 在前面板中创建数组 1.1 创建空数组 在前面板中创建数组时,首先在前面板中点击鼠标右键,弹出“控件”对话框,之后选择“新式->数组、矩阵与簇->数组”,在前面板中…

硬盘格式化工具,强烈推荐这个!

案例:硬盘格式化工具推荐 【我的电脑已经用了好几年了,硬盘存储容量严重不够了,最近想把它格式化,但却不知道怎么操作,大家有什么比较好的硬盘格式化工具可以推荐吗?】 硬盘作为存储设备,我们…

薄膜热电化学电池性能测试中的半导体制冷片高精度度温度控制解决方案

摘要:电化学热电池(electrochemical thermcells)作为用于低品质热源的热电转换技术,是目前可穿戴电子产品的研究热点之一,使用中要求具有一定的温差环境。电化学热电池相应的性能测试就对温度和温差形成提出很高要求&a…

11、HOOK原理上

一、HOOK 1.1 HOOK简介 HOOK,中文译为“挂钩”或“钩子”.在iOS逆向中是指改变程序运行流程的一种技术.通过hook可以让别人的程序执行自己所写的代码. 在逆向中经常使用这种技术重点要了解其原理,这样能够对恶意代码进行有效的防护. 1.2 Hook的应用场景 描述一个HOOK实用技…

由表及里的解读数据仓库

数据仓库作为商业智能BI系统中的一部分,已经成长为了企业信息化建设中必不可少的重要支撑,在可见的未来,数据仓库还会随着信息化、数字化技术、理念、应用的落地,继续成长。 数据仓库是一个面向主题的、集成的、随时间变化但信息…

jd侧边栏以及模态框样式设置

点击图像出现模态框&#xff0c;点击按钮叉叉模态框消失 html css样式&#xff1a; <style> * { padding: 0; margin: 0; } html, body { height: 100%; width: 100%; } li { list-style: none; } .box { position: fixed; bottom: 120px; right: -10px; width: 200px; }…

看完这篇 HTTPS,和面试官扯皮就没问题了

看完这篇 HTTPS&#xff0c;和面试官扯皮就没问题了 下面我们来一起学习一下 HTTPS &#xff0c;首先问你一个问题&#xff0c;为什么有了 HTTP 之后&#xff0c;还需要有 HTTPS &#xff1f;我突然有个想法&#xff0c;为什么我们面试的时候需要回答标准答案呢&#xff1f;为什…

零成本教你部署一个ChatGPT网站

&#x1f4cb; 个人简介 &#x1f496; 作者简介&#xff1a;大家好&#xff0c;我是阿牛&#xff0c;全栈领域优质创作者。&#x1f61c;&#x1f4dd; 个人主页&#xff1a;馆主阿牛&#x1f525;&#x1f389; 支持我&#xff1a;点赞&#x1f44d;收藏⭐️留言&#x1f4d…

BPMN绘制流程的项目推荐

项目简介 Vite Vue Bpmn流程编辑器&#xff0c;基于Bpmn.js&#xff0c; Vite&#xff0c; Vue.js 3.x, Naiveui 实现了 Bpmn.js 和 Diagram.js 的 typescript 类型声明&#xff0c;typescript 可以用来在编辑器中编写代码。 整合项目地址&#xff1a; https://github.com/m…

【JavaScript】4.JavaScript对象

JavaScript 对象 1. 对象 在 JavaScript 中&#xff0c;对象是一组无序的相关属性和方法的集合&#xff0c;所有的事物都是对象&#xff0c;例如字符串、数值、数组、函数等 对象是由属性和方法组成的。 属性&#xff1a;事物的特征&#xff0c;在对象中用属性来表示&#x…

浅谈兼容性测试

兼容性测试的概念 兼容性测试是一种软件测试&#xff0c;用于确保构建的系统/应用程序/网站与其他各种对象&#xff08;如其他网络浏览器、硬件平台、用户、操作系统等&#xff09;的兼容性。这种类型的测试有助于了解产品在特定环境中的表现。 为了方便理解&#xff0c;可以…

java String 和ArrayList转换 换化

[Ljava.lang.String; cannot be cast to java.util.List 原因&#xff1a; Map<String, Object> parameters (Map<String, Object>) jsonResult.getData(); parameters 参数中refrenceIds 是个string &#xff08;比如&#xff1a;"refrenceIds": [&…

媒体查询神器:掌握 CSS3 变革性技术

媒体查询是 CSS3 中的一项重要功能&#xff0c;它使得我们可以针对不同设备和屏幕尺寸应用不同的样式。本文将深入介绍媒体查询的使用方法&#xff0c;以及如何利用媒体查询优化响应式设计。 什么是媒体查询&#xff1f; 媒体查询是 CSS3 的一项新特性&#xff0c;允许我们根据…

聚类算法:Kmeans和Kmeans++算法精讲

前言 其实Kmesns聚类算法在YOLOv2&#xff08;【YOLO系列】YOLOv2论文超详细解读&#xff08;翻译 &#xff0b;学习笔记&#xff09;&#xff09;中我们就见到了&#xff0c;那时候只是简单地了解了一下。后来在这学期的数据挖掘课程的期末汇报中&#xff0c;我又抽中了这个算…

1 分钟给 Siri 升个级!从智Z变身 ChatSiri!

原文链接&#xff1a;https://forum.laf.run/d/79/17 众所周知&#xff0c;Siri 是一个智 Z&#xff01;那么如果能接入大火的 chatGPT&#xff0c;是不是就会从智 Z 变成人工智能&#xff1f;&#xff01; 众所周知&#xff0c;Laf 是一个集函数、数据库、存储为一体的云开发…

opencv-LSD线特征库文件

OpenCv-LSD线特征库使用 下载线特征库文件在工程源码中引入线特征头文件 下载线特征库文件 下面是阿里云盘链接 https://www.aliyundrive.com/s/rPxrmusTNPM 我们需要删掉build文件夹&#xff0c;并重新创建build文件夹。 并在build文件夹打开终端执行以下命令&#xff1a; …

Redis高可用之哨兵挂了,主从库还能切换吗

通过部署多个实例&#xff0c;就形成了一个哨兵集群&#xff0c;哨兵集群中的多个实例共同判断&#xff0c;可以降低对主库下线的误判率。 考虑一个问题&#xff1a;如果有哨兵实例在运行时发生了故障&#xff0c;主从库还能正常切换吗&#xff1f; 实际上&#xff0c;一旦多…

【Java 数据结构】二叉树的经典面试题 (图解)

&#x1f389;&#x1f389;&#x1f389;点进来你就是我的人了 博主主页&#xff1a;&#x1f648;&#x1f648;&#x1f648;戳一戳,欢迎大佬指点!人生格言&#xff1a;当你的才华撑不起你的野心的时候,你就应该静下心来学习! 欢迎志同道合的朋友一起加油喔&#x1f9be;&am…