序言

整理下各种部署在Yarn上的应用如何查看日志的问题.当然我觉得使用自定义的日志收集器来收集就更好了.这样子也解决了集群日志的问题cuiyaonan2000@163.com

只用Flink做个引子,其它的服务也是这样的,没有什么差别

Flink

比如我们提交了一个任务同时知道他的ApplicationId是application_1687761285428_0011

JobManager上查看

 

 Hadoop日志目录中查看

 选择对应applicationId

 01 这个是jobmanager的日志,02是taskmanager的日志.

Yarn界面上查看 

点击容器进入后,点击logs(其实就是把扫描的userLog目录下的日志文件cuiyaonan2000@163.com) 

但是只有jobmanager的日志01 没有taskmanager的日志02

   但是可以自己修改请求路劲查看 taskmanager的日志

比如jobmanager的日志是

http://192.168.137.100:8042/node/containerlogs/container_1687761285428_0011_01_000001/root/jobmanager.log/?start=0

改成http://192.168.137.100:8042/node/containerlogs/container_1687761285428_0011_01_000002/root/taskmanager.log/?start=0

原理还是扫描的固定文件目录