我发现一款超好用的数据分析营销系统,且支持免费私有化部署。
机器准备
机器 | 角色 | 配置 |
---|---|---|
10.0.21.85 | 主 | 8核,12G,100G,Centos7.9 |
10.0.221.51 | 辅 | 8核,12G,100G,Centos7.9 |
10.0.221.55 | 辅 | 8核,12G,100G,Centos7.9 |
以上配置足以启动私有化系统,但生产建议增大配置,硬盘至少要500G以上。
下载安装包
mkdir -p /data/deploy-hina-cloud
cd /data/deploy-hina-cloud
chmod 777 /data/*
# 离线下载,避免客户端网络中断情况,文件较大13G
nohup wget https://s3-model.hinadt.com/HaishuuSoftware/1.0.0/Hina_Haishuu-1.0.0.tar.gz &
环境准备
关闭 swap 分区
当先检查是否已经关闭swap,如未关闭,请参考如下内容:
Centos 7 中关闭 swap
- 删除 swap 区所有内容
swapoff -a
- 删除 swap 挂载,这样系统下次启动不会再挂载 swap
# 注释 swap 行
vim /etc/fstab
- 重启系统,测试
reboot
free -h
swap 一行应该全部是 0
total used free shared buff/cache available
Mem: 3.7G 203M 3.1G 8.5M 384M 3.3G
Swap: 0B 0B 0B
时钟同步
参考:CentOS 7同步时间的2种方法 - 小z博客
设置时区(CentOS 7)
先执行命令,查看当前时区,如果不是中国时区(Asia/Shanghai),则需要先设置为中国时区,否则时区不同会存在时差。
timedatectl status|grep 'Time zone'
#已经是Asia/Shanghai,则无需设置
[root@xiaoz shadowsocks]# timedatectl status|grep 'Time zone'
Time zone: Asia/Shanghai (CST, +0800)
执行下面的命令设置时区
#设置硬件时钟调整为与本地时钟一致
timedatectl set-local-rtc 1
#设置时区为上海
timedatectl set-timezone Asia/Shanghai
使用ntpdate同步时间
目前比较常用的做法就是使用ntpdate命令来同步时间,使用方法如下:
#安装ntpdate
yum -y install ntpdate
#同步时间
ntpdate -u pool.ntp.org
#同步完成后,date命令查看时间是否正确
date
另外再分享下几个常用的ntp server,如果需要更多可以前往:全球可用的NTP服务器列表与解析服务 - ntp.org.cn & ntpdate.net获取
#中国
cn.ntp.org.cn
#中国香港
hk.ntp.org.cn
#美国
us.ntp.org.cn
同步时间后可能部分服务器过一段时间又会出现偏差,因此最好设置crontab
来定时同步时间,方法如下:
#安装crontab
yum -y install crontab
#创建crontab任务
crontab -e
#添加定时任务
*/20 * * * * /usr/sbin/ntpdate pool.ntp.org > /dev/null 2>&1
#重启crontab
service crond reload
上面的计划任务会在每20分钟进行一次时间同步,注意/usr/sbin/ntpdate
为ntpdate
命令所在的绝对路径,不同的服务器可能路径不一样,可以使用which
命令来找到绝对路径,方法如下:
[root@xiaoz ~]# which ntpdate
/usr/sbin/ntpdate
设置系统最大打开文件句柄数
vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf
sed -i "s/nofile.[0-9]*$/nofile 65535/g" /etc/security/limits.conf
#重启后,验证
ulimit -n
参考华为云:修改最大文件句柄数_云容器引擎 CCE
修改虚拟内存区域
在 CentOS 7 中永久修改 vm.max_map_count
并立即应用更改,你可以使用以下脚本:
#!/bin/bash
# 定义新的 vm.max_map_count 值
NEW_VM_MAX_MAP_COUNT=2000000
# 检查是否以 root 权限运行
if [ "$(id -u)" -ne 0 ]; then
echo "该脚本需要以 root 权限运行" >&2
exit 1
fi
# 编辑 /etc/sysctl.conf 文件,设置 vm.max_map_count
echo "vm.max_map_count = $NEW_VM_MAX_MAP_COUNT" | sudo tee -a /etc/sysctl.conf > /dev/null
# 应用更改
sudo sysctl -p
# 输出结果
if [ $? -eq 0 ]; then
echo "vm.max_map_count 设置成功,当前值为: $(sysctl vm.max_map_count)"
else
echo "vm.max_map_count 设置失败" >&2
fi
将上述脚本保存为一个文件,例如 set_vm_max_map_count.sh
。然后,你可以按照以下步骤运行这个脚本:
给脚本执行权限:
chmod +x set_vm_max_map_count.sh
以 root 权限运行脚本:
sudo ./set_vm_max_map_count.sh
这个脚本首先检查是否以 root 权限运行,然后向 /etc/sysctl.conf
文件追加新的 vm.max_map_count
设置,接着应用更改,并根据应用的结果输出相应的信息。如果设置成功,它会显示当前的 vm.max_map_count
值;如果失败,则会输出错误信息。
关闭透明大页
#!/bin/bash
# 关闭单个Linux系统上的透明大页
# 步骤1: 修改/sys/kernel/mm/transparent_hugepage/enabled 和 /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
# 步骤2: 将设置永久化,追加到 /etc/rc.d/rc.local 中
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.d/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local
# 步骤3: 验证是否关闭了透明大页
grep Huge /proc/meminfo
cat /proc/sys/vm/nr_hugepages
添加新用户【可选】
在 CentOS 7 上添加新用户 hncloud
并授予其 root 权限的步骤如下:
1. 添加新用户
使用 useradd
命令添加新用户 hncloud
:
sudo useradd hncloud
2. 设置用户密码
为新用户设置密码:
sudo passwd hncloud
系统会提示你输入并确认新用户的密码。
3. 将用户添加到 wheel
组
在 CentOS 7 中,wheel
组的成员默认具有 sudo 权限。将新用户添加到 wheel
组:
sudo usermod -aG wheel hncloud
4. 验证 sudo 配置
确认 /etc/sudoers
文件中 wheel
组的配置是正确的。你可以使用 visudo
命令来编辑 /etc/sudoers
文件:
sudo visudo
确保以下行没有被注释(前面没有 #
):
%wheel ALL=(ALL) ALL
这行配置表示 wheel
组的成员可以使用 sudo 执行任何命令。
添加 sudo免密码配置【注意】
在打开的 sudoers 文件中,找到或添加以下行:
username ALL=(ALL) NOPASSWD: ALL
将 username
替换为你想要配置的实际用户名。例如,如果你的用户名是 hncloud
,那么添加的行应该是:
hncloud ALL=(ALL) NOPASSWD: ALL
5. 验证新用户的权限
切换到新用户并验证其 sudo 权限:
su - hncloud
sudo whoami
输入密码后,应该返回 root
,这表示新用户 hncloud
已成功获得 root 权限。
总结
通过以上步骤,你可以在 CentOS 7 上添加新用户 hncloud
并授予其 root 权限。这样,新用户可以使用 sudo
来执行需要 root 权限的命令。
修改配置
cd /data/hina-cloud
sed -i 's|NODE_SSH_PORT=.*|NODE_SSH_PORT=22|g' script/config
sed -i 's|NODE_SSH_USER=.*|NODE_SSH_USER=hncloud|g' script/config
sed -i 's|NODE_SSH_PASSWORD=.*|NODE_SSH_PASSWORD=admin123|g' script/config
sed -i 's|NODE_SSH_PATH=.*|NODE_SSH_PATH=/data/deploy-hina-cloud|g' script/config
cat > script/cluster-nodes-ssh-info << EOF
10.0.21.85
10.0.221.51
10.0.221.55
EOF
组件部署步骤
可以按如下步骤,批量进行部署:
步骤 | 组件 |
---|---|
1 | Doris |
Monitor | |
Sentinel | |
2 | Zookeeper |
Minio | |
Nacos | |
Flink | |
3 | DolphinScheduler-300 |
Kafka | |
4 | Hina-cloud |
详细官方部署文档文档指引-https://himanual.haishuu.com/docs/it_haishuu/docs-map