datahub部署

news2025/1/11 8:12:40

硬件要求

DataHub官方要求的最低配置为：2 个 CPU、8GB RAM、2GB 交换区和 10GB 磁盘空间。

本文的示例环境为阿里云centos8云服务器

安装docker

yum -y install docker
sudo systemctl  start docker

安装docker-compose

   curl -SL https://get.daocloud.io/docker/compose/releases/download/v2.3.4/docker-compose-linux-x86_64 -o  /usr/bin/docker-compose
   
   chmod +x /usr/bin/docker-compose
   
   守护进程重启
    sudo systemctl daemon-reload
    重启docker服务
    sudo systemctl restart docker

2.4 安装python3

DataHub要求 Python 版本3.6+，本例采用python3.9.7

# yum install -y update
#yum install gcc gcc-c++
#yum -y install gcc automake autoconf libtool make
#yum groupinstall -y 'Development Tools'
# yum install -y gcc openssl-devel bzip2-devel libffi-devel
#wget https://www.python.org/ftp/python/3.9.7/Python-3.9.7.tgz
# tar -zxvf Python-3.9.7.tgz
# cd Python-3.9.7
# ./configure prefix=/usr/local/python3 --enable-optimizations
# make && make install
# export PATH=$PATH:/usr/local/python3/bin/
# curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
# python3.9.7 get-pip.py
# python3 -v

这样python3就正常安装到centos8上了

安装datahub

   python3 -m pip install --upgrade pip wheel setuptools -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
   
   python3 -m pip install --upgrade acryl-datahub -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

   datahub version

启动datahub

datahub docker quickstart
datahub docker quickstart --quickstart-compose-file ./docker/quickstart/docker-compose-without-neo4j.quickstart.yml

镜像一直拉取不下来，试了很多源，

解决办法：更换镜像配置、绕过限制
Azure:  https://dockerhub.azk8s.cn
中科大: https://ustc-edu-cn.mirror.aliyuncs.com
网易:   https://hub-mirror.c.163.com

vi /etc/docker/daemon.json 
{
  "registry-mirrors": ["https://ustc-edu-cn.mirror.aliyuncs.com"]
}

更改很多源还是不行，最后只能自己手工一个个下载,尝试了一天了，还是不行