报错:
1 RESOURCES_DOWNLOAD_DIR : 这个错误是修改了 conf目录下 的 master 或 workers 等信息造成的.
2 修改了这个信息可能会造成输入密码的问题.
3 Could not connect to BlobServer at address localhost/127.0.0.1:39203 这个端口还会变化,这种问题可能是因为conf下的master 或者 workers配置问题,也有可能是 flink-conf.xml配置出了问题.
参考一下:
对flink-conf.yaml的jobmanager-bind-host 进行修改
standlone模式注释掉，或者设置0.0.0.0
YARN上，如果设置为localhost，这个设置将被忽略，默认为0.0.0.0。
Kubernetes上，此设置将被忽略，默认为0.0.0.0。
4 执行命令 sql-client.sh embedded 出现问题,多半也是配置的问题
5 提交测试任务也出问题,也是配置的问题
测试例子: /opt/flink1.16/bin/flink run /opt/flink1.16/examples/streaming/wordCount
-----------------------------------------------------------------------------------------------------------------------------
开始安装部署步骤:
我用的是standalone模式安装:
1 下载包,Downloads | Apache Flink 我安装的是1.16.0版本没有安装最新版本
2 解压包
tar -xzf flink-1.16.0-bin-scala_2.12.tgz3 一些包的依赖等需要上传到 lib目录下:
这个支持了clickhouse数据库同步, postgresql数据库同步功能了,
flink-connector-clickhouse-1.16.0-SNAPSHOT.jar 这个包我已经编译好了,
(367条消息) flink-connector-clickhouse-1.16.0-SNAPSHOT.jar资源-CSDN文库
4 flink信息配置
jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123
jobmanager.bind-host: localhost
jobmanager.memory.process.size: 900m
taskmanager.bind-host: localhost
taskmanager.host: localhost
taskmanager.memory.process.size: 1328m
taskmanager.numberOfTaskSlots: 10
parallelism.default: 1
jobmanager.execution.failover-strategy: region
rest.address: localhost
rest.bind-address: 0.0.0.0
classloader.resolve-order: parent-first
jobmanager.archive.fs.dir: file:///opt/flink-1.16.0/completed-jobs/
historyserver.web.address: 0.0.0.0
historyserver.web.port: 28082
historyserver.archive.fs.dir: file:///opt/flink-1.16.0/completed-jobs/
historyserver.archive.fs.refresh-interval: 10000
historyserver.archive.clean-expired-jobs: false
masters文件: localhost:8081
workers文件:localhost
5 启动
$ ./bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host.
Starting taskexecutor daemon on host.停止命令:
$ ./bin/stop-cluster.sh ,如果启动了多个taskmanger的话,可能要执行多次
启动historyserver命令
$ ./bin/historyserver.sh start
6 提交作业进行测试
$ ./bin/flink run examples/streaming/WordCount.jar
$ tail log/flink-*-taskexecutor-*.out
(nymph,1)
(in,3)
(thy,1)
(orisons,1)
(be,4)
(all,2)
(my,1)
(sins,1)
(remember,1)
(d,4)
