花两天手撸海纳嗨数数据分析系统,实现数据分析自给自足

news2024/10/6 1:47:10

我发现一款超好用的数据分析营销系统,且支持免费私有化部署。


机器准备

机器角色配置
10.0.21.858核,12G,100G,Centos7.9
10.0.221.518核,12G,100G,Centos7.9
10.0.221.558核,12G,100G,Centos7.9

 以上配置足以启动私有化系统,但生产建议增大配置,硬盘至少要500G以上。

下载安装包

mkdir -p /data/deploy-hina-cloud 
cd /data/deploy-hina-cloud 
chmod 777 /data/*
# 离线下载,避免客户端网络中断情况,文件较大13G
nohup wget https://s3-model.hinadt.com/HaishuuSoftware/1.0.0/Hina_Haishuu-1.0.0.tar.gz &

环境准备

关闭 swap 分区

当先检查是否已经关闭swap,如未关闭,请参考如下内容:

Centos 7 中关闭 swap

  1. 删除 swap 区所有内容
swapoff -a
  • 删除 swap 挂载,这样系统下次启动不会再挂载 swap
# 注释 swap 行
vim /etc/fstab
  • 重启系统,测试
reboot
free -h

swap 一行应该全部是 0

              total        used        free      shared  buff/cache   available
Mem:           3.7G        203M        3.1G        8.5M        384M        3.3G
Swap:            0B          0B          0B

时钟同步

参考:CentOS 7同步时间的2种方法 - 小z博客

设置时区(CentOS 7)

先执行命令,查看当前时区,如果不是中国时区(Asia/Shanghai),则需要先设置为中国时区,否则时区不同会存在时差。

timedatectl status|grep 'Time zone'

#已经是Asia/Shanghai,则无需设置
[root@xiaoz shadowsocks]# timedatectl status|grep 'Time zone'
       Time zone: Asia/Shanghai (CST, +0800)

执行下面的命令设置时区

#设置硬件时钟调整为与本地时钟一致
timedatectl set-local-rtc 1
#设置时区为上海
timedatectl set-timezone Asia/Shanghai
使用ntpdate同步时间

目前比较常用的做法就是使用ntpdate命令来同步时间,使用方法如下:

#安装ntpdate
yum -y install ntpdate
#同步时间
ntpdate -u  pool.ntp.org
#同步完成后,date命令查看时间是否正确
date

另外再分享下几个常用的ntp server,如果需要更多可以前往:全球可用的NTP服务器列表与解析服务 - ntp.org.cn & ntpdate.net获取

#中国
cn.ntp.org.cn
#中国香港
hk.ntp.org.cn
#美国
us.ntp.org.cn

同步时间后可能部分服务器过一段时间又会出现偏差,因此最好设置crontab来定时同步时间,方法如下:

#安装crontab
yum -y install crontab
#创建crontab任务
crontab -e
#添加定时任务
*/20 * * * * /usr/sbin/ntpdate pool.ntp.org > /dev/null 2>&1
#重启crontab
service crond reload

上面的计划任务会在每20分钟进行一次时间同步,注意/usr/sbin/ntpdatentpdate命令所在的绝对路径,不同的服务器可能路径不一样,可以使用which命令来找到绝对路径,方法如下:

[root@xiaoz ~]# which ntpdate
/usr/sbin/ntpdate

设置系统最大打开文件句柄数

vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535

echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf

sed -i "s/nofile.[0-9]*$/nofile 65535/g" /etc/security/limits.conf

#重启后,验证
ulimit -n

参考华为云:修改最大文件句柄数_云容器引擎 CCE

修改虚拟内存区域 

在 CentOS 7 中永久修改 vm.max_map_count 并立即应用更改,你可以使用以下脚本:

#!/bin/bash
# 定义新的 vm.max_map_count 值
NEW_VM_MAX_MAP_COUNT=2000000
​
# 检查是否以 root 权限运行
if [ "$(id -u)" -ne 0 ]; then
  echo "该脚本需要以 root 权限运行" >&2
  exit 1
fi
​
# 编辑 /etc/sysctl.conf 文件,设置 vm.max_map_count
echo "vm.max_map_count = $NEW_VM_MAX_MAP_COUNT" | sudo tee -a /etc/sysctl.conf > /dev/null
​
# 应用更改
sudo sysctl -p
​
# 输出结果
if [ $? -eq 0 ]; then
  echo "vm.max_map_count 设置成功,当前值为: $(sysctl vm.max_map_count)"
else
  echo "vm.max_map_count 设置失败" >&2
fi

将上述脚本保存为一个文件,例如 set_vm_max_map_count.sh。然后,你可以按照以下步骤运行这个脚本:

给脚本执行权限:

chmod +x set_vm_max_map_count.sh

以 root 权限运行脚本:

sudo ./set_vm_max_map_count.sh

这个脚本首先检查是否以 root 权限运行,然后向 /etc/sysctl.conf 文件追加新的 vm.max_map_count 设置,接着应用更改,并根据应用的结果输出相应的信息。如果设置成功,它会显示当前的 vm.max_map_count 值;如果失败,则会输出错误信息。

 关闭透明大页

#!/bin/bash

# 关闭单个Linux系统上的透明大页

# 步骤1: 修改/sys/kernel/mm/transparent_hugepage/enabled 和 /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

# 步骤2: 将设置永久化,追加到 /etc/rc.d/rc.local 中
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.d/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local

# 步骤3: 验证是否关闭了透明大页
grep Huge /proc/meminfo
cat /proc/sys/vm/nr_hugepages

添加新用户【可选】

在 CentOS 7 上添加新用户 hncloud 并授予其 root 权限的步骤如下:

1. 添加新用户

使用 useradd 命令添加新用户 hncloud

sudo useradd hncloud

2. 设置用户密码

为新用户设置密码:

sudo passwd hncloud

系统会提示你输入并确认新用户的密码。

3. 将用户添加到 wheel

在 CentOS 7 中,wheel 组的成员默认具有 sudo 权限。将新用户添加到 wheel 组:

sudo usermod -aG wheel hncloud

4. 验证 sudo 配置

确认 /etc/sudoers 文件中 wheel 组的配置是正确的。你可以使用 visudo 命令来编辑 /etc/sudoers 文件:

sudo visudo

确保以下行没有被注释(前面没有 #):

%wheel  ALL=(ALL)       ALL

这行配置表示 wheel 组的成员可以使用 sudo 执行任何命令。

添加 sudo免密码配置【注意】

在打开的 sudoers 文件中,找到或添加以下行:

username ALL=(ALL) NOPASSWD: ALL

username 替换为你想要配置的实际用户名。例如,如果你的用户名是 hncloud,那么添加的行应该是:

hncloud ALL=(ALL) NOPASSWD: ALL

5. 验证新用户的权限

切换到新用户并验证其 sudo 权限:

su - hncloud
sudo whoami

输入密码后,应该返回 root,这表示新用户 hncloud 已成功获得 root 权限。

总结

通过以上步骤,你可以在 CentOS 7 上添加新用户 hncloud 并授予其 root 权限。这样,新用户可以使用 sudo 来执行需要 root 权限的命令。

修改配置


cd /data/hina-cloud
sed -i 's|NODE_SSH_PORT=.*|NODE_SSH_PORT=22|g' script/config
sed -i 's|NODE_SSH_USER=.*|NODE_SSH_USER=hncloud|g' script/config
sed -i 's|NODE_SSH_PASSWORD=.*|NODE_SSH_PASSWORD=admin123|g' script/config
sed -i 's|NODE_SSH_PATH=.*|NODE_SSH_PATH=/data/deploy-hina-cloud|g' script/config
cat > script/cluster-nodes-ssh-info << EOF
10.0.21.85
10.0.221.51
10.0.221.55
EOF

组件部署步骤

可以按如下步骤,批量进行部署:

步骤组件
1Doris
Monitor
Sentinel
2Zookeeper
Minio
Nacos
Flink
3DolphinScheduler-300
Kafka
4Hina-cloud

 详细官方部署文档文档指引-icon-default.png?t=N7T8https://himanual.haishuu.com/docs/it_haishuu/docs-map

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1890006.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

x86芯片定制,Ethercat芯片定制,适用于运动控制,工业总线等软硬一体机

x86芯片定制&#xff0c;Ethercat芯片定制 X86平台 我们的研发工程师已经积累了非常丰富的主板、整机设计经验&#xff0c;对接您的产品规格场景需求&#xff0c;快速交付样机&#xff0c;包含主板、BOX整机、平板电脑、CPCI等形态产品。降本、长生命周期、快速交付、及时响应…

电影院售票管理系统(小白)大佬求解

最近在写一个关于电影院售票管理系统的sm项目&#xff0c;但是在买票的环节出现了问题及点击选座购票&#xff0c;没有数据渲染出来&#xff0c;我不知道什么情况&#xff0c;所以问问。有没有大佬可以帮我解决这个问题&#xff1f;下面是我的。控制层&#xff0c;服务层&#…

systemctl命令使用

systemctl 作用&#xff1a;可以控制软件&#xff08;服务&#xff09;的启动、关闭、开机自启动 系统内置服务均可被systemctl控制第三方软件&#xff0c;如果自动注册了可以被systemctl控制第三方软件&#xff0c;如果没有自动注册&#xff0c;可以手动注册 语法 systemct…

《数据结构与算法基础 by王卓老师》学习笔记——2.5线性表的链式表示与实现1

1.链式表示 2.链表举例 3.链式存储的相关术语 4.三个讨论题

生成式人工智能与虚拟资产成为BGOV 2024的焦点议题

香港&#xff0c;2024年7月2日 — 一年一度的创新科技盛事BUSINESS GOVirtual (BGOV) 科技博览及会议将于2024年7月11日至12日在香港会议展览中心隆重举行。 展览及会议焦点两大科技趋势&#xff1a;生成式人工智能 (Generative AI) 和虚拟资产 生成式人工智能( Generative A…

【CT】LeetCode手撕—199. 二叉树的右视图

目录 题目1- 思路2- 实现⭐199. 二叉树的右视图——题解思路 3- ACM 实现 题目 原题连接&#xff1a;199. 二叉树的右视图 1- 思路 使用二叉树的层序遍历 2- 实现 ⭐199. 二叉树的右视图——题解思路 class Solution {public List<Integer> rightSideView(TreeNode ro…

【高级篇】第9章 Elasticsearch 监控与故障排查

9.1 引言 在现代数据驱动的应用架构中,Elasticsearch不仅是海量数据索引和搜索的核心,其稳定性和性能直接影响到整个业务链路的健康度。因此,建立有效的监控体系和掌握故障排查技能是每一位Elasticsearch高级专家的必备能力。 9.2 监控工具:洞察与优化的利器 在Elastics…

AzureDataFactory Dataverse connector自动处理了分页问题(单次查询上限5000条的限制)

众所周知&#xff0c;在用fetch执行D365的查询时&#xff0c;单次的查询是5000条&#xff0c;如果超过5000条则需要自己处理分页&#xff0c;添加额外的处理逻辑&#xff0c;但在ADF中&#xff0c;Dataverse connector已经自动处理了分页&#xff0c;我们可以很简单的做个POC. …

用随机森林算法进行的一次故障预测

本案例将带大家使用一份开源的S.M.A.R.T.数据集和机器学习中的随机森林算法&#xff0c;来训练一个硬盘故障预测模型&#xff0c;并测试效果。 实验目标 掌握使用机器学习方法训练模型的基本流程&#xff1b;掌握使用pandas做数据分析的基本方法&#xff1b;掌握使用scikit-l…

软件测试与质量保证 | 云班课选择题库

目录 第1章课后习题 第2章课后习题 第3章课后习题 第4章课后习题 第5章课后习题 第6章课后习题 第7章课后习题 第8章课后习题 第9章课后习题 第10章课后习题 第11章课后习题 第12章课后习题 第13章 测试相关未分类习题 第1章课后习题 1. 与质量相关的概念包括 &a…

HetuEngine简介

目录 HetuEngine是什么&#xff1f; HetuEngine的特点以及使用场景 特点 使用场景 HetuEngine介绍 结构 近期用到了Hetu&#xff0c;了解下这个工具是起什么作用的。 HetuEngine是什么&#xff1f; 是引擎&#xff0c;设计是为了让与当前的大数据生态完美融合的引擎&am…

Ubuntu22.04上Docker的安装

1. 使用APT安装 首先安装HTTPS传输的软件包和CA证书&#xff0c;确保软件下载过程中不被篡改。 sudo apt-get updatesudo apt-get install apt-transport-https ca-certificates curl gnupg lsb-release -y然后&#xff0c;使用国内源&#xff0c;并添加软件源的 GPG 密钥以防…

Steam夏促怎么注册 Steam夏促账号注册教程

随着夏日的炙热渐渐充斥着每一个角落&#xff0c;Steam平台也赶来添热闹&#xff0c;推出了一系列让人眼前一亮的夏季促销活动。如果你也是游戏爱好者&#xff0c;我们肯定不能错过这次的steam夏促。正直本次夏日促销有着很多的游戏迎来史低和新史低&#xff0c;有各种各样的游…

Vue3的模板语法插值表达式用法

在template中输入“5 3” &#xff0c;是没有运算能力的&#xff0c;只会把字符直接显示出来&#xff0c;代码如下&#xff1a; <template><view>这是demo</view><view>5 3</view><navigator open-type"navigateBack"><vi…

C++ 实现QT信号槽

https://github.com/libsigcplusplus/libsigcplusplus #include <iostream>/* 在sigslot.h的420,将&#xff1a; //typedef sender_set::const_iterator const_iterator; 改为&#xff1a; //typedef typename sender_set::const_iterator const_iterator;#include <…

在手机上也能开发软件?而且只需要用几句话就可以自动生成一个应用!

随着人工智能技术的飞速发展&#xff0c;软件开发的门槛正在迅速降低。 曾几何时&#xff0c;开发一款软件需要精通编程语言和掌握复杂的开发工具&#xff0c;而如今&#xff0c;只需几句话的描述&#xff0c;便能在手机上轻松开发出功能齐全的软件。 这一切的背后&#xff0…

轻度图像处理工具,匹敌photoshop

一、简介 1、一款功能强大的在线图片编辑工具,用户可以将其安装为渐进式网页应用(PWA)。它提供了与 Photoshop 相似的核心功能,能够满足大多数图像编辑需求,非常适合那些不愿或无法安装 Photoshop 的用户。即使使用免费版本,用户也能享受所有功能,是轻度图像处理的理想选…

springboot+vue+mybatis企业保修系统+PPT+论文+讲解+售后

企业管理系统提供给用户一个企业信息管理的系统&#xff0c;最新的企业信息让用户及时了解企业管理动向,,还能通过交流区互动更方便。本系统采用了B/S体系的结构&#xff0c;使用了java技术以及MYSQL作为后台数据库进行开发。系统主要分为系统管理员、员工和主管三个部分&#…

VRPTW(MATLAB):斑翠鸟优化算法(PKO)求解带时间窗的车辆路径问题VRPTW(提供MATLAB代码)

一、详细介绍 VRPTW&#xff08;MATLAB&#xff09;&#xff1a;斑翠鸟优化算法&#xff08;Pied Kingfisher Optimizer ,PKO&#xff09;求解带时间窗的车辆路径问题VRPTW&#xff08;提供MATLAB代码&#xff09;-CSDN博客 ********************************求解结果********…

idea创建自定义maven spark scala archetype脚手架,idea我让你转啊转,NND,自己造

一&#xff1a;先创建一个Maven项目net.alchim31.maven&#xff08;选该模板&#xff0c;得要等一会儿才能加载出来&#xff09; 之后将自己的目录结构建立好&#xff0c;最好不要有空目录&#xff0c;可能会因为没有文件在install的时候编译不进去 pom中内容也按照自己的需要改…