YarnClient发送和接收请求源码解析

news2024/11/15 10:16:16

YarnClient发送和接收请求流程

在这里插入图片描述

Yarn是通过RPC协议通信的，协议类型可以通过查看RpcKind类得知，总共有三种类型：

RPC_BUILTIN ((short) 1),         // Used for built in calls by tests
RPC_WRITABLE ((short) 2),        // Use WritableRpcEngine 
RPC_PROTOCOL_BUFFER ((short) 3);

其中Hadoop和Yarn组件大部分是通过Protobuf（Protocol Buffers）协议进行通信。

Protobuf 是一种由 Google 开发的二进制序列化格式和相关的技术，它用于高效地序列化和反序列化结构化数据，通常用于网络通信、数据存储等场景。

Protobuf 在许多领域都得到了广泛应用，特别是在分布式系统、RPC（Remote Procedure Call）框架和数据存储中，它提供了一种高效、简洁和可扩展的方式来序列化和交换数据，Protobuf 的主要优点包括：

高效性：Protobuf 序列化后的二进制数据通常比其他序列化格式（比如超级常用的JSON）更小，并且序列化和反序列化的速度更快，这对于性能敏感的应用非常有益。
简洁性：Protobuf 使用一种定义消息格式的语法，它允许定义字段类型、顺序和规则
版本兼容性：Protobuf 支持向前和向后兼容的版本控制，使得在消息格式发生变化时可以更容易地处理不同版本的通信。
语言无关性：Protobuf 定义的消息格式可以在多种编程语言中使用，这有助于跨语言的通信和数据交换
自动生成代码：Protobuf 通常与相应的工具一起使用，可以自动生成代码，包括序列化/反序列化代码和相关的类

发送和接收请求流程

发送请求

Yarn发送的请求协议都继承GeneratedMessage类实现Message接口，它们都是YarnServiceProtos的内部类。

请求头的协议类型可以在RpcHeaderProtos里面查看，它们都是RpcHeaderProtos的内部类，例如RpcRequestHeaderProto。

请求的协议类型可以在ApplicationClientProtocol里查看，它们都继承了ApplicationClientProtocol内部类。

YarnClient请求头使用的是ProtobufRpcEngineProtos的内部类RequestHeaderProto。

请求的连接信息都存储在Client的内部类ConnectionId里面，包含票据、协议类、目标地址、是否需要认证、配置文件、还有连接参数等信息。

调用器ProtobufRpcEngine.Invoker类用于代理客户端发送请求，该实例存储着Client、Client.ConnectionId等信息，它真正是通过Client实例发送请求的，Client每次请求时都会创建一个Client#Call和Client#Connection，代表每次发送的请求和连接。

Call表示调用操作，里面包含重试次数、id、响应、是否完成、请求等进行连接操作需要的信息。

Connection代表连接，它有ConnectionId的所有参数以及Socket客户端、流管道、连接参数等信息。

发送请求流程：

YarnClient发送请求案例：

接收请求

Yarn使用org.apache.hadoop.ipc.Server作为服务器，因为Yarn有三种RPC类型，所以Server也有三种实现类，ProtobufRpcEngine、RPC和WritableRPCEngine、TestServer（用于测试）

服务器创建时会创建连接监听器、响应器、地址、hadoop配置文件、端口、处理器数量、请求调用队列、安全管理器、连接管理器，指标服务等。

服务器的连接监听器 (org.apache.hadoop.ipc.Server.Listener) 用于接收连接，它几乎代表着服务器本身，它在创建时会创建一个nio服务器，用于接收和管理所有请求，它将接收的请求放入连接管理器中，然后交给Reader处理。

Reader (org.apache.hadoop.ipc.Server.Listener.Reader) 也将在Listener创建时创建的，Listener会创建多个Reader，每个Reader代表一个数据处理器，它用于读取连接监听器接收的请求信息，通过请求信息创建请求调用 (Call) 实例，并将Call实例放入请求调用队列中，请求调用队列将会由后面的Handler (服务器启动后创建) 处理。