Flink内核源码
Flink RPC 网络通信框架Akka
以往，我们接触过非常多的大数据技术栈相关的框架，用的比较多的大数据相关组件，常用的RPC实现技术如下：
| 技术组件 | RPC实现 |
|---|---|
| Hadoop | NIO + Protobuf (Protobuf即Protocol Buffers，是Google公司开发的一种跨语言和平台的序列化数据结构的方式，是一个灵活的, 高效的用于序列化数据的协议) |
| Hbase | Hbase2.x以前：NIO + ProtoBuf，Hbase2.x会议后：Netty |
| ZooKeeper | BIO(Blocking I/O，同步阻塞I/O模式) + NIO (New I/O，同步非阻塞的I/O模型) + Netty |
| Spark | Spark-2.x 以前 基于 Akka Actor，Spark2.x往后基于 Netty RpcEndpoint |
| Flink | Akka（组件中间）+ Netty (operator) |
| Kafka | NIO |
在Flink中主从节点之间的通信组件，即：akka，可以通过Flink web ui进行确认
为什么Flink使用了两套通信框架呢？这是因为Flink节点与节点之间，组件与组件之间通信采用的是Akka，但是数据交换，比如算子与算子之间的数据交换采用的是Netty，比如Flink中有JobManager，还有TaskManager从节点，而JobManager主节点里面有一些组件，比如JobMaster，Dispatcher等，组件与组件之间通信采用的是Akka，而Netty是算子与算子之间，比如Map算子后面跟着Filter,Filter后面跟着reducekeyby等操作这些算子之间采用的是Netty来通信的。
Fink 内部节点之间的通信是用Akka，比如JobManager 和 TaskManager之间的通信，而operator之间的数据传输是采用的Netty
Flink通过Akka进行的分布式通信的实现，有远程过程调用都实现为异步消息，这主要影响组件：JobManager，TaskManager 和JobClient.
RPC框架是Flink任务运行的基础，Flink整个RPC框架基于Akka实现，并对Akka中的ActorSystem, Actor 进行了封装和使用，Flink整个通信框架的组件主要由 RpcEndpoint，RpcService，RpcServer，AkkaInvocationHandler，AkkaRpcActor等构成。
