阿里云Kuafa RPC系统

夸父(Kuafu)是飞天平台内核中负责网络通信的模块，它提供了一 个 RPC 的接口 , 简化编写基于网络的分布式应用

夸父的设计目标是提供高可用(7×24小时)、大吞吐量(Gigabyte)、高效率、易用(简明 API、多种协议和编程接口)的 RPC服务

Hadoop IPC的应用

在 Hadoop系统中,Hadoop IPC为 HDFS、MapReduce提供了高效的 RPC 通信机制

Hadoop IPC 的 Server 端相对比较复杂, 包括 Listener、Reader、Handler 和 Responder 等多种类型的线程

一、分布式协同系统

当前的大规模分布式系统涉及大量的机器,这些机器之间需要进行大量的网络通信 以及各个节点之间的消息通信协同

1：Chubby锁服务

 Chubby是Google公司研发的针对分布式系统协调管理的粗粒度服务，一个Chubby实例大约可以负责一万台4核CPU机器之间对资源的协同管理，这种服务的主要功能是让众多客户端程序进行相互之间的同步，并对系统环境或资源达成一致的认知

Chubby的理论基础是 Paxos(一致性协议),Paxos是在完全分布式环境下不同客户端能够通过交互通信并投票对于某个决定达成一致的算法 

Chubby 的设计目标基于以下几点 : 高可用性 、高可靠性 、支持粗粒度的 建议性锁服务、支持小规模文件直接存储

Chubby整体架构共有5台服务器，其中一个是主服务器，客户端与服务器之间使用RPC交互，内其他服务器纯粹作为主服务器不可用后的替代品，而ZooKeeper的多余服务器均是提供就近服务的，也就是服务器会根据地理位置与网络情况来选择对哪些客户端给予服务

2：ZooKeeper

ZooKeper是 Yahoo! 开发的一套开源高吞吐分布式协调系统

分布式应用中的各节点可以通过ZooKeeper这个第三方来确保双方的同步，比如一个节点是发送，另一个节点是接收，但发送节点需要确认接收节点成功收到这个信息，因而就可以通过与一个可靠的第三方交互来获取接收节点的消息接收状态

ZooKeeper 是由多台同构服务器构成的一个集群 ,共用信息存储在集群系统 中，共用信息采用树形结构来存储

3：阿里云Nuwa协同系统

女娲(Nuwa)系统为飞天提供高可用的协调服务(Coordination Service)，是构建各类分布式应用的核心服务

女娲系统基于类 Paxos 协议 ,由多个女娲 Server 以类似文件系统的树形结构存储数据，提供高可用、高并发用户请求的处理能力

4：ZooKeeper在HDFS高可用方案中的使用

HDFS由三个模块构成，分别包括Client，NameNode，DataNode

NameNode负责管理所有的DataNode节点，保存block和DataNode之间的对应信息，Client读取文件和写入文件都需要NameNode节点的参与，因此NameNode发挥着至关重要的作用。

维护HDFS高可用基于以下两个目的

1：在出现NameNode节点故障时HDFS仍然可以对外提供数据的读取和写入服务

2：HDFS会出现版本的更新迭代，以保证HDFS在更新过程中仍然可以对外提供服务

一种解决HDFS高可用方法是采用ZK Failover Controller的方法 具体结构如下

 采用ZooKeeper设计HDFS高可用方案基于以下几点

1：提供了小规模的任意数据信息的强一致性

2：可以在ZooKeeper集群中创建一个临时的znode节点，当创建该znode节点时的Client失效时，该临时znode节点会自动删除

3：能够监控ZooKeeper集群中的一个znode节点的状态发生改变 并被异步通知 

创作不易 觉得有帮助请点赞关注收藏~~~