Netty RPC 实现

news2024/11/15 18:44:58

1 概念

RPC,即 Remote Procedure Call(远程过程调用),调用远程计算机上的服务,就像调用本地服务一样。RPC 可以很好的解耦系统,如 WebService 就是一种基于 Http 协议的 RPC。这个 RPC 整体框架如下:

2 关键技术 

 1. 服务发布与订阅:服务端使用 Zookeeper 注册服务地址,客户端从 Zookeeper 获取可用的服务
地址。
2. 通信:使用 Netty 作为通信框架。
3. Spring:使用 Spring 配置服务,加载 Bean,扫描注解。
4. 动态代理:客户端使用代理模式透明化服务调用。
5. 消息编解码:使用 Protostuff 序列化和反序列化消息。

3 核心流程

1. 服务消费方(client)调用以本地调用方式调用服务;

2. client stub 接收到调用后负责将方法、参数等组装成能够进行网络传输的消息体;
3. client stub 找到服务地址,并将消息发送到服务端;
4. server stub 收到消息后进行解码;
5. server stub 根据解码结果调用本地的服务;
6. 本地服务执行并将结果返回给 server stub;
7. server stub 将返回结果打包成消息并发送至消费方;
8. client stub 接收到消息,并进行解码;
9. 服务消费方得到最终结果。

        RPC 的目标就是要 2~8 这些步骤都封装起来,让用户对这些细节透明。JAVA 一般使用动态代理方式实现远程调用。

3.1 消息编解码

 息数据结构 (接口名称 + 方法名 + 参数类型和参数值 + 超时时间 + requestID )
客户端的请求消息结构一般需要包括以下内容:
1. 接口名称:在我们的例子里接口名是“HelloWorldService”,如果不传,服务端就不知道调用哪
个接口了;
2. 方法名:一个接口内可能有很多方法,如果不传方法名服务端也就不知道调用哪个方法;
3. 参数类型和参数值:参数类型有很多,比如有 bool、int、long、double、string、map、list,
甚至如 struct(class);以及相应的参数值;
4. 超时时间:
5. requestID,标识唯一请求 id,在下面一节会详细描述 requestID 的用处。
6. 服务端返回的消息 : 一般包括以下内容。返回值+状态 code+requestID

序列化
目前互联网公司广泛使用 Protobuf、Thrift、Avro 等成熟的序列化解决方案来搭建 RPC 框架,这
些都是久经考验的解决方案。

3.2 通讯过程

核心问题 ( 线程暂停、 消息乱序 )
        如果使用 netty 的话,一般会用 channel.writeAndFlush()方法来发送消息二进制串,这个方
法调用后对于整个远程调用(从发出请求到接收到结果)来说是一个异步的,即对于当前线程来说,
将请求发送出来后,线程就可以往后执行了,至于服务端的结果,是服务端处理完成后,再以消息
的形式发送给客户端的。于是这里出现以下两个问题:
1. 怎么让当前线程“暂停”,等结果回来后,再向后执行?
2. 如果有多个线程同时进行远程方法调用,这时建立在 client server 之间的 socket 连接上
会有很多双方发送的消息传递,前后顺序也可能是随机的,server 处理完结果后,将结
果消息发送给 client,client 收到很多消息,怎么知道哪个消息结果是原先哪个线程调用
的?如下图所示,线程 A 和线程 B 同时向 client socket 发送请求 requestA 和 requestB,
socket 先后将 requestB 和 requestA 发送至 server,而 server 可能将 responseB 先返
回,尽管 requestB 请求到达时间更晚。我们需要一种机制保证 responseA 丢给
ThreadA,responseB 丢给 ThreadB。

 通讯流程
requestID 生成 -AtomicLong
1. client 线程每次通过 socket 调用一次远程接口前,生成一个唯一的 ID,即 requestID
(requestID 必需保证在一个 Socket 连接里面是唯一的),一般常常使用 AtomicLong
从 0 开始累计数字生成唯一 ID;
存放回调对象 callback 到全局 ConcurrentHashMap
2. 将 处 理 结 果 的 回 调 对 象 callback , 存 放 到 全 局 ConcurrentHashMap 里 面
put(requestID, callback);
synchronized 获取回调对象 callback 的锁 并 自旋 wait
3. 当线程调用 channel.writeAndFlush()发送消息后,紧接着执行 callback 的 get()方法试
图获取远程返回的结果。在 get()内部,则使用 synchronized 获取回调对象 callback 的
锁,再先检测是否已经获取到结果,如果没有,然后调用 callback 的 wait()方法,释放
callback 上的锁,让当前线程处于等待状态。

监听消息的线程收到消息,找到 callback 上的锁并唤醒
4. 服务端接收到请求并处理后,将response结果(此结果中包含了前面的requestID)发
送给客户端,客户端 socket 连接上专门监听消息的线程收到消息,分析结果,取到
requestID,再从前面的 ConcurrentHashMap 里面 get(requestID),从而找到
callback 对象,再用 synchronized 获取 callback 上的锁,将方法调用结果设置到
callback 对象里,再调用 callback.notifyAll()唤醒前面处于等待状态的线程。

public Object get() {
synchronized (this) { // 旋锁
while (true) { // 是否有结果了
If (!isDone){
wait(); //没结果释放锁,让当前线程处于等待状态
}else{//获取数据并处理
}
}
}
}
private void setDone(Response res) {
this.res = res;
isDone = true;
synchronized (this) { //获取锁,因为前面 wait()已经释放了 callback 的锁了
notifyAll(); // 唤醒处于等待的线程
}
}

4 RMI 实现方式

        Java 远程方法调用,即 Java RMI(Java Remote Method Invocation)是 Java 编程语言里,一种用于实现远程过程调用的应用程序编程接口。它使客户机上运行的程序可以调用远程服务器上的对象。远程方法调用特性使 Java 编程人员能够在网络环境中分布操作。RMI 全部的宗旨就是尽可能简化远程接口对象的使用。

4.1 实现步骤

1. 编写远程服务接口,该接口必须继承 java.rmi.Remote 接口,方法必须抛出
java.rmi.RemoteException 异常;
2. 编写远程接口实现类,该实现类必须继承 java.rmi.server.UnicastRemoteObject 类;
3. 运行 RMI 编译器(rmic),创建客户端 stub 类和服务端 skeleton 类;
4. 启动一个 RMI 注册表,以便驻留这些服务;

5. 在 RMI 注册表中注册服务;
6. 客户端查找远程对象,并调用远程方法;

1:创建远程接口,继承 java.rmi.Remote 接口
public interface GreetService extends java.rmi.Remote {
String sayHello(String name) throws RemoteException;
}
2:实现远程接口,继承 java.rmi.server.UnicastRemoteObject 类
public class GreetServiceImpl extends java.rmi.server.UnicastRemoteObject
implements GreetService {
private static final long serialVersionUID = 3434060152387200042L;
public GreetServiceImpl() throws RemoteException {
super();
}
@Override
public String sayHello(String name) throws RemoteException {
return "Hello " + name;
}
}
3:生成 Stub 和 Skeleton;
4:执行 rmiregistry 命令注册服务
5:启动服务
LocateRegistry.createRegistry(1098);
Naming.bind("rmi://10.108.1.138:1098/GreetService", new GreetServiceImpl());
6.客户端调用
GreetService greetService = (GreetService)
Naming.lookup("rmi://10.108.1.138:1098/GreetService");
System.out.println(greetService.sayHello("Jobs"));

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1080043.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

优盘中毒了怎么办?资料如何恢复

在现代社会中,优盘成为我们日常生活与工作中必备的便携式存储设备。然而,正是由于其便携性,优盘也成为病毒感染的主要目标之一。本篇文章将帮助读者了解如何应对优盘中毒的情况,以及如何恢复因病毒感染丢失的资料。 ▶优盘为什么…

【Java】 DirectByteBuffer堆外内存回收

PhantomReference虚引用 在分析堆外内存回收之前,先了解下PhantomReference虚引用。 PhantomReference需要与ReferenceQueue引用队列结合使用,在GC进行垃圾回收的时候,如果发现一个对象只有虚引用在引用它,则认为该对象需要被回…

nvm的简介、安装、使用(简单明了)

一、nvm是什么? nvm是一个node的版本管理工具,可以简单操作node版本的切换、安装、查看。。。等等,与npm不同的是,npm是依赖包的管理工具。 二、nvm的安装。 1、windows包下载地址: 2、点击如下文件进行安装&#…

配置接口策略路由

【微|信|公|众|号:厦门微思网络】 【微思网络www.xmws.cn,成立于2002年,专业培训21年,思科、华为、红帽、ORACLE、VMware等厂商认证及考试,以及其他认证PMP、CISP、ITIL等】 组网需求 如图1所示,缺省情况下…

【TensorFlow2 之013】TensorFlow-Lite

一、说明 在这篇文章中,我们将展示如何构建计算机视觉模型并准备将其部署在移动和嵌入式设备上。有了这些知识,您就可以真正将脚本部署到日常使用或移动应用程序中。 教程概述: 介绍在 TensorFlow 中构建模型将模型转换为 TensorFlow Lite训练…

第九章-线程

初始时,CPU的执行流为进程;当产生了线程概念后,CPU执行流变为了线程,大大增大了一个周期以内进程的执行速度。 线程产生的作用就是为了提速,利用线程提速,原理就是实现多个执行流的伪并行,让处…

vue3前端开发系列 - electron开发桌面程序(2023-10月最新版)

文章目录 1. 说明2. 创建项目3. 创建文件夹electron3.1 编写脚本electron.js3.2 编写脚本proload.js 4. 修改package.json4.1 删除type4.2 修改scripts4.3 完整的配置如下 5. 修改App.vue6. 修改vite.config.ts7. 启动8. 打包安装9. 项目公开地址 1. 说明 本次安装使用的环境版…

提取log文件中的数据,画图

要提取的log格式如下: 代码如下: import reimport matplotlib.pyplot as plt import numpy as npimport argparse from os import path from re import searchclass DataExtractor(object): DataExtrator class def __init__(self, infile, keyword, out…

电脑上播放4K视频需要具备哪些条件?

在电视上播放 4K( 4096 2160 像素)视频是很简单的,但在电脑设备上播放 4K 视频并不容易。相反,它们有自己必须满足的硬件要求。 如果不满足要求,在电脑上打开 4K 分辨率文件或大型视频文件会导致卡顿、音频滞后以及更…

ROS中的命名空间

ROS中的节点、参数、话题和服务统称为计算图源,其命名方式采用灵活的分层结构,便于在复杂的系统中集成和复用。以下是一些命名的示例: /foo /stanford/robot/name /wg/node1计算图源命名是ROS封装的一种重要机制。每个资源都定义在一个命名空…

微信小程序wxml使用过滤器

微信小程序wxml使用过滤器 1. 新建wxs2. 引用和使用 如何在微信小程序wxml使用过滤器? 犹如Angular使用pipe管道这样子方便,用的最多就是时间格式化。 下面是实现时间格式化的方法和步骤: 1. 新建wxs 插入代码: /*** 管道过滤工…

泡泡玛特,难成“迪士尼”

作者 | 艺馨 豆乳拿铁 排版 | Cathy 监制 | Yoda 出品 | 不二研究 新增长难寻,新故事难讲。泡泡玛特(06682.HK)业绩增长承压的困局,都写在最新的半年报里。 曾经潮玩领域的王者、“潮玩第一股”泡泡玛特,主题城市乐园于9月26日在北京朝阳…

centos下安装配置redis7

1、找个目录下载安装包 sudo wget https://download.redis.io/release/redis-7.0.0.tar.gz 2、将tar.gz包解压至指定目录下 sudo mkdir /home/redis sudo tar -zxvf redis-7.0.0.tar.gz -C /home/redis 3、安装gcc-c yum install gcc-c 4、切换到redis-7.0.0目录下 5、修改…

2023年中国医学影像信息系统市场规模、竞争格局及行业趋势分析[图]

医学影像信息系统简称PACS,与临床信息系统、放射学信息系统、医院信息系统、实验室信息系统同属医院信息系统。医学影像信息系统是处理各种医学影像信息的采集、存储、报告、输出、管理、查询的计算机应用程序。主要包括:预约管理、数据接收、影像处理、…

[读博随笔] 系统安全和论文写作的那些事——不忘初心,江湖再见

很难想象读博这四年的时光意味着什么,是对妻子和儿子深切的思念。我在珞珈山下挑灯夜读,你在贵阳家中独自照顾幼子。怕的不是孑然一身,而是明明已经习惯两个人,又必须各自前行,像单打独斗的勇士。想到千里之外还有一个…

【软考设计师】【计算机系统】E01 计算机硬件组成与CPU

【计算机系统】E01 计算机硬件组成与CPU 硬件组成概述中央处理单元 CPUCPU 组成运算器控制器寄存器组 多核 CPU 硬件组成概述 运算器: 数据加工处理部件,用于完成计算机的各种算术和逻辑运算。控制器: 顾名思义,控制整个CPU的工作…

2023年中国牙线市场规模、竞争现状及行业需求前景分析[图]

牙线是由合成纤维或其他材料制成,或添加香料、色素、活性成分等,用来清洁牙齿邻面附着物的线。能够有效包裹牙齿,对于清洁平面/凸起牙面和牙齿邻接面的牙菌斑效果很好,还可以实现对于牙缝间食物/异物的剔除,有效清洁口…

水库大坝除险加固安全监测系统解决方案

一、系统背景 为贯彻落实《办公厅关于切实加强水库除险加固和运行管护工作的通知》(〔2021〕8号)要求,完成“十四五”小型病险水库除险加固、雨水情测报和大坝安全监测设施建设任务,规范项目管理,消除安全隐患&#xf…

nodejs+vue 教学辅助管理系统

通过科技手段提高自身的优势;对于驾校预约管理系统当然也不能排除在外,随着网络技术的不断成熟,带动了驾校预约管理系统,它彻底改变了过去传统的管理方式,不仅使服务管理难度变低了,还提升了管理的灵活性。…

云里雾里?云方案没有统一标准,业务结合实际情况才是应该着重考虑的

公共云正在迅速成为IT领导者及其业务线同行的首选平台。根据研究机构IDC的数据,2018年全球公共云服务和基础设施支出预计将达到1600亿美元,比2017年的投资水平增长23%。 然而,在向按需IT转变的步伐不断加快的同时,首席信息官们面…