Doris中的本地routineload环境，用于开发回归测试用例

news2024/11/13 7:50:59

----------------2024-2-6-更新--------------

doris的routineload，就是从kafka中加载数据到表，特点是定时、周期性的从kafka取数据。

要想在本地开发测试routine load相关功能，需要配置kafka环境，尤其是需要增加routine load回归测试用例时，还需要kafka有回归测试需要的数据。

doris源码里自带了一个脚本 docker/thirdparties/run-thirdparties-docker.sh ，它可以在本地的docker中创建container（里面包含了kafka、zookeeper，总之就是kafka测试环境），并且加载回归测试所需要的数据。

下面就是使用这个脚本，搭建本地kafka环境的步骤：

1、首先本地机器要安装和启动docker服务器，podman也行：

systemctl start docker

或者

systemctl start podman

docker ps

脚本中要用docker-compose，这是个python脚本，要用pip下载：pip install docker-compose

2、安装Java环境：

export JAVA_HOME=/home/postgres/jdk-1.8.0_201
export PATH=$JAVA_HOME/bin:$PATH

3、安装kafka（客户端）

在docker之外，我们需要kafka客户端，这样可以查看docker中的kafka的topic，由于只需要客户端，只要下载安装包解压就行，不需要任何配置：

[root@qinhvm postgres]# ls kafka_2.13-2.7.2*
kafka_2.13-2.7.2.tgz

kafka_2.13-2.7.2:
bin config libs LICENSE licenses NOTICE site-docs

4、然后就是doris源码里的脚本 docker/thirdparties/run-thirdparties-docker.sh，在我的环境，它有点问题，需要改一下。

其实我们只用到 run-thirdparties-docker.sh 的

if [[ "${RUN_KAFKA}" -eq 1 ]]; then

。。。

fi

这部分代码块，修改后的这部分脚本如下：

if [[ "${RUN_KAFKA}" -eq 1 ]]; then
    # kafka
    KAFKA_CONTAINER_ID="${CONTAINER_UID}kafka"
    eth0_num=$(ifconfig -a|grep flags=|grep -n ^ens3|awk -F ':' '{print $1}')
    IP_HOST=$(ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:"|tail -n +${eth0_num}|head -n 1)
    cp "${ROOT}"/docker-compose/kafka/kafka.yaml.tpl "${ROOT}"/docker-compose/kafka/kafka.yaml
    sed -i "s/doris--/${CONTAINER_UID}/g" "${ROOT}"/docker-compose/kafka/kafka.yaml
    sed -i "s/localhost/${IP_HOST}/g" "${ROOT}"/docker-compose/kafka/kafka.yaml
    sudo docker-compose -f "${ROOT}"/docker-compose/kafka/kafka.yaml down
    if [[ "${STOP}" -ne 1 ]]; then
        sudo docker-compose -f "${ROOT}"/docker-compose/kafka/kafka.yaml up --build --remove-orphans -d
        sleep 10s
        # start_kafka_producers "${KAFKA_CONTAINER_ID}" "${IP_HOST}"
    fi
fi

下面的红色粗体部分根据自己机器上网卡名替换一下：

eth0_num=$(ifconfig -a|grep flags=|grep -n ^ens3|awk -F ':' '{print $1}')

start_kafka_producers() 这个函数把测试数据写到kafka的topic里，测试数据在doris/docker/thirdparties/docker-compose/kafka/scripts/目录下，这个函数在最新的代码里被注掉了，因为routine load测试用例里，有一段代码替代了它的工作。

还要修改 doris/docker/thirdparties/custom_settings.env：

CONTAINER_UID="doris-mytest-" # 这个要改一下，随便取个名

还需要修改 doris/docker/thirdparties/docker-compose/kafka/kafka.yaml.tpl ：

version: "3"

networks:
doris--kafka--network:
ipam:
driver: default
config:
- subnet: 168.45.0.0/24

services:
doris--zookeeper:
image: wurstmeister/zookeeper
restart: always
container_name: doris--zookeeper
ports:
- 12181:2181
networks:
- doris--kafka--network
doris--kafka:
image: wurstmeister/kafka
restart: always
container_name: doris--kafka
depends_on:
- doris--zookeeper
ports:
- 19193:19193
environment:
KAFKA_ZOOKEEPER_CONNECT: doris--zookeeper:2181/kafka
KAFKA_LISTENERS: PLAINTEXT://:19193
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:19193
KAFKA_BROKER_ID: 1
volumes:
- /var/run/docker.sock:/var/run/docker.sock
networks:
- doris--kafka--network