序言
整理下各种部署在Yarn上的应用如何查看日志的问题.当然我觉得使用自定义的日志收集器来收集就更好了.这样子也解决了集群日志的问题cuiyaonan2000@163.com
只用Flink做个引子,其它的服务也是这样的,没有什么差别
Flink
比如我们提交了一个任务同时知道他的ApplicationId是application_1687761285428_0011
JobManager上查看
Hadoop日志目录中查看
选择对应applicationId
01 这个是jobmanager的日志,02是taskmanager的日志.
Yarn界面上查看
点击容器进入后,点击logs(其实就是把扫描的userLog目录下的日志文件cuiyaonan2000@163.com)
但是只有jobmanager的日志01 没有taskmanager的日志02
但是可以自己修改请求路劲查看 taskmanager的日志
比如jobmanager的日志是
http://192.168.137.100:8042/node/containerlogs/container_1687761285428_0011_01_000001/root/jobmanager.log/?start=0
改成http://192.168.137.100:8042/node/containerlogs/container_1687761285428_0011_01_000002/root/taskmanager.log/?start=0
原理还是扫描的固定文件目录
