在以session模式提交作业后,我们可以在session集群里查看作业的详细信息,但是假如session集群重启后,则不能再查看到之前作业的信息;或者以yarn application或per-job或k8s application模式提交,都存在一个问题,就是在作业完成后(即Flink集群关闭),无法查看作业信息,为了解决这个问题Flink提供了History Server服务。
Flink有一个历史服务器history server,在相应的Flink集群关闭后,可以使用它来查询已完成任务的统计信息。另外它也对外提供了一些REST API出来供HTTP请求查询。
1. 启动History Server
History Server 允许查询由JobManager归档的已完成作业的状态和统计信息。已完成的作业由JobManager来归档,并上传到指定的文件系统的相应路径下,可以是本地文件系统、HDFS、S3等。History Server 可以周期扫描该路径将归档的Flink作业信息恢复出来,从而可以查看相应Flink作业日志情况。
在配置好HistoryServer和JobManager之后,就可以通过相应的启动脚本来启动和停止History Server了。默认端口号为8082。访问地址:http://hostn