从零开始实现一个RPC框架(一)

news2025/1/13 2:34:40

前言
在上一篇文章中我们先列举了大致的需求,定义了消息协议。这次我们着手搭建基本的RPC框架,首先实现基础的方法调用功能。

功能设计

RPC调用的第一步,就是在服务端定义要对外暴露的方法,在grpc或者是thrift中,这一步我们需要编写语言无关的idl文件,然后通过idl文件生成对应语言的代码。而在我们的框架里,出于简单起见,我们不采用idl的方式,直接在代码里定义接口和方法。这里先规定对外的方法必须遵守以下几个条件:

  1. 对外暴露的方法,其所属的类型和其自身必须是对外可见(Exported)的,也就是首字母必须是大写的
  2. 方法的参数必须为三个,而且第一个必须是context.Context类型
  3. 第三个方法参数必须是指针类型
  4. 方法返回值必须是error类型
  5. 客户端通过"Type.Method"的形式来引用服务方法,其中Type是方法实现类的全类名,Method就是方法名称

为什么要有这几个规定呢,具体的原因是这样的:因为java中的RPC框架场用到的动态代理在go语言中并不支持,所以我们需要显式地定义方法的统一格式,这样在RPC框架中才能统一地处理不同的方法。所以我们规定了方法的格式:

  • 方法的第一个参数固定为Context,用于传递上下文信息
  • 第二个参数是真正的方法参数
  • 第三个参数表示方法的返回值,调用完成后它的值就会被改变为服务端执行的结
  • 方法的返回值固定为error类型,表示方法调用过程中发生的错。

这里我们需要注意的是,服务提供者在对外暴露时并不需要以接口的形式暴露,只要服务提供者有符合规则的方法即可;而客户端在调用方法时指定的是服务提供者的具体类型,不能指定接口的名称,即使服务提供者实现了这个接口。
contet.Context
context是go语言提供的关于请求上下文的抽象,它携带了请求deadline、cancel信号的信息,还可以传递一些上下文信息,非常适合作为RPC请求的上下文,我们可以在context中设置超时时间,还可以将一些参数无关的元数据通过context传递到服务端。
实际上,方法的固定格式以及用Call和Go来表示同步和异步调用都是go自带的rpc里的规则,只是在参数里增加了context.Context。不得不说go自带的rpc设计确实十分优秀,值得好好学习理解。

接口定义

client和server

首先是面向使用者的RPC框架中的客户端和服务端接口:

type RPCServer interface {
        //注册服务实例,rcvr是receiver的意思,它是我们对外暴露的方法的实现者,metaData是注册服务时携带的额外的元数据,它描述了rcvr的其他信息
        Register(rcvr interface{}, metaData map[string]string) error
        //开始对外提供服务
        Serve(network string, addr string) error
}
type RPCClient interface {      
        //Go表示异步调用
        Go(ctx context.Context, serviceMethod string, arg interface{}, reply interface{}, done chan *Call) *Call
        //Call表示异步调用
        Call(ctx context.Context, serviceMethod string, arg interface{}, reply interface{}) error
        Close() error
}
type Call struct {
	ServiceMethod string      // 服务名.方法名
	Args          interface{} // 参数
	Reply         interface{} // 返回值(指针类型)
	Error         error       // 错误信息
	Done          chan *Call  // 在调用结束时激活
}

selector和registery

这次先实现RPC调用部分,这两层暂时忽略,后续再实现。

codec

接下来我们需要选择一个序列化协议,这里就选之前使用过的messagepack。之前设计的通信协议分为两个部分:head和body,这两个部分都需要进行序列化和反序列化。head部分是元数据,可以直接采用messagepack序列化,而body部分是方法的参数或者响应,其序列化由head中的SerializeType决定,这样的好处就是为了后续扩展方便,目前也使用messagepack序列化,后续也可以采用其他的方式序列化。
序列化的逻辑也定义为接口:

type Codec interface {
   Encode(value interface{}) ([]byte, error)
   Decode(data []byte, value interface{}) error
}

protocol

确定好了序列化协议之后,我们就可以定义消息协议相关的接口了。协议的设计参考上一篇文章:从零开始实现一个RPC框架(零)

接下来就是协议的接口定义:

//Messagge表示一个消息体
type Message struct {
	*Header //head部分, Header的定义参考上一篇文章
	Data []byte //body部分
}

//Protocol定义了如何构造和序列化一个完整的消息体
type Protocol interface {
	NewMessage() *Message
	DecodeMessage(r io.Reader) (*Message, error)
	EncodeMessage(message *Message) []byte
}

根据之前的设计,所以交互都通过接口进行,这样方便扩展和替换。

transport

协议的接口定义好了之后,接下来就是网络传输层的定义:

//传输层的定义,用于读取数据
type Transport interface {
	Dial(network, addr string) error
	//这里直接内嵌了ReadWriteCloser接口,包含Read、Write和Close方法
	io.ReadWriteCloser 
	RemoteAddr() net.Addr
	LocalAddr() net.Addr
}
//服务端监听器定义,用于监听端口和建立连接
type Listener interface {
	Listen(network, addr string) error
	Accept() (Transport, error)
	//这里直接内嵌了Closer接口,包含Close方法
	io.Closer
}

具体实现

各个层次的接口定义好了之后,就可以开始搭建基础的框架了,这里不附上具体的代码了,具体代码可以参考github链接
,这里大致描述一下各个部分的实现思路。

Client

代码实现

客户端的功能比较简单,就是将参数序列化之后,组装成一个完整的消息体发送出去。请求发送出去的同时,将未完成的请求都缓存起来,每收到一个响应就和未完成的请求进行匹配。

发送请求的核心在Go和send方法,Go的功能是组装参数,send方法是将参数序列化并通过传输层的接口发送出去,同时将请求缓存到pendingCalls中。而Call方法则是直接调用Go方法并阻塞等待知道返回或者超时。

接收响应的核心在input方法,input方法在client初始化完成时通过go input() 执行。input方法包含一个无限循环,在无限循环中读取传输层的数据并将其反序列化,并将反序列化得到的响应与缓存的请求进行匹配。

注:send和input方法的命名也是从go自带的rpc里学来的。

Server

代码实现

服务端在接受注册时,会过滤服务提供者的各个方法,将合法的方法缓存起来。

服务端的核心逻辑是serveTransport方法,它接收一个Transport对象,然后在一个无限循环中从Transport读取数据并反序列化成请求,根据请求指定的方法查找自身缓存的方法,找到对应 的方法后通过反射执行对应的实现并返。执行完成后再根据返回结果或者是执行发生的异常组装成一个完整的消息,通过Transport发送出去。

服务端在反射执行方法时,需要将实现者作为执行的第一个参数,所以参数比方法定义中的参数多一个。

codec和protocol

这两个部分就比较简单了,codec基本上就是使用messagepack实现了对应的接口;protocol的实现就是根据我们定义的协议进行解析。

线程模型

在执行过程中,除了客户端的用户线程和服务端用来执行方法的服务线程,还分别增加了客户端轮询线程和服务端监听线程,大致的示意图如下:
在这里插入图片描述
这里的线程模型比较简单,服务端针对每个建立的连接都会创建一个线程(goroutine),虽说goroutine很轻量,但是也不是完全没有消耗的,后续可以再进一步进行优化,比如把读取数据反序列化和执行方法拆分到不同的线程执行,或者把goroutine池化等等。

结语

到此我们的RPC框架已经具备了雏形,能够支持基础的RPC调用了。实际上整个框架就是参考go自带的rpc的结构,客户端和服务端的线程模型和go自带的rpc一样,只是自己定义了序列化和消息协议,而且实现的过程中保留了扩展的接口,方便后续进行完善和扩展。下一步的规划是实现过滤器链,以便后续实现服务治理相关的功能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1570047.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Codeforces CodeTON Round 8(Div.1 + Div.2) A~E

A. Farmer John’s Challenge (模拟) 题意: 构造一个长度为 n n n的数组,将这些数组围成一个圈(顺时针)从任意一个位置打开,有且仅有 k k k个非降序排列的数组。 分析: k 1 k1 k1时,升序输…

WGCAT工单系统使用指南 - 工单有哪几种状态

WGCAT工单管理系统设计的工单生命周期比较简单易懂 1、待接收 2、处理中 3、已拒绝 4、已完成 5、已关闭

鸿蒙OS开发实例:【应用状态变量共享】

平时在开发的过程中,我们会在应用中共享数据,在不同的页面间共享信息。虽然常用的共享信息,也可以通过不同页面中组件间信息共享的方式,但有时使用应用级别的状态管理会让开发工作变得简单。 根据不同的使用场景,ArkT…

阿基米德签证管理系统源码正式发布啦,基于thinkphp8.0+element-plus+uni-app

太棒了!太棒了!太棒了! 阿基米德签证系统的上线将为签证申请流程带来更高效和便利。 为什么选择阿基米德软件? 专注于行业垂直细分领域 / 专业级系统软件开发服务商 一、用户前端支持小程序、H5、PC和APP等主流流量端口 这样可以覆盖更广泛…

【零基础学数据结构】顺序表实现书籍存储

目录 书籍存储的实现规划 ​编辑 前置准备: 书籍结构体: 书籍展示的初始化和文件加载 书籍展示的销毁和文件保存 书籍展示的容量检查 书籍展示的尾插实现 书籍展示的书籍增加 书籍展示的书籍打印 书籍删除展示数据 书籍展示修改数据 在指定位置之前…

学习鸿蒙基础(12)

目录 一、网络json-server配置 (1)然后输入: (2)显示下载成功。但是输入json-server -v的时候。报错。 (3)此时卸载默认的json-server (4)安装和nodejs匹配版本的js…

第十四篇:web后端开发-Springboot

文章目录 一、Web入门1. 什么是Spring2. SpringBootWeb入门3. HTTP 协议3.1 HTTP-概述3.2 HTTP-请求协议3.3 HTTP-响应协议 4. Web服务器4.1 Tomcat---简介4.2 基本使用 5. 请求/响应5.1 请求5.1.1 postman5.1.2 简单参数5.1.3 实体参数5.1.4 数组集合参数5.1.5 日期参数5.1.6 …

蓝桥备赛——循环+二分

题干 AC code n,kmap(int,input().split()) data[] for i in range(n):h,wmap(int,input().split())mid[]mid.append(h)mid.append(w)data.append(mid) front,tail1,100000 def find(edge_len):global kans0for wid,hei in data:ans(wid//edge_len)*(hei//edge_len)if ans>…

java Web 辅助学习管理系统idea开发mysql数据库web结构java编程计算机网页源码maven项目

一、源码特点 java Web 辅助学习管理系统是一套完善的信息管理系统,结合java 开发技术和bootstrap完成本系统,对理解JSP java编程开发语言有帮助,系统具有完整的源代码和数据库,系统主要采用B/S模式开发。 前段主要技术 bootstr…

【ArcGIS微课1000例】0107:ArcGIS加载在线历史影像服务WMTS

文章目录 一、WMTS历史影像介绍二、ArcGIS加载WMTS服务三、Globalmapper加载WMTS服务一、WMTS历史影像介绍 通过访问历史影响WMTS服务,可以将全球范围内历史影像加载进来,如下所示: WMTS服务: https://wayback.maptiles.arcgis.com/arcgis/rest/services/World_Imagery/WM…

四川易点慧电子商务抖音小店品质之选,信赖之源

随着互联网的快速发展,电子商务以其便捷、高效的特点成为越来越多消费者购物的首选。四川易点慧电子商务抖音小店,作为众多电商平台中的佼佼者,以其卓越的品质和优质的服务赢得了广大消费者的信赖。 一、品质保证,消费无忧 四川易…

整合Mybatis(Spring学习笔记十二)

一、导入相关的包 junit 包 Mybatis包 mysql数据库包 Spring相关的包 Aop相关的包 Mybatis-Spring包(现在就来学这个) 提示jdk版本不一致的朋友记得 jdk8只支持spring到5.x 所以如果导入的spring(spring-we…

高等数学基础篇(数二)之定积分的应用

定积分的应用: 一、几何应用 二、物理应用 三、几何例题 四、物理例题 目录 一、几何应用 1.平面图形的面积 2.旋转体体积 3.曲线弧长 4.旋转体侧面积 二、物理应用 三、几何例题 四、物理例题 一、几何应用 1.平面图形的面积 2.旋转体体积 3.曲线弧长…

45.网络游戏逆向分析与漏洞攻防-角色管理功能通信分析-解码发送数据内容输出到日志

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 如果看不懂、不知道现在做的什么,那就跟着做完看效果 现在的代码都是依据数据包来写的,如果看不懂代码,就说明没看懂数据包…

VUE3和SpringBoot实现ChatGPT页面打字效果SSE流式数据展示

在做这个功能之前,本人也是走了很多弯路(花了好几天才搞好),你能看到本篇博文,那你就是找对地方了。百度上很多都是使用SseEmitter这种方式,这种方式使用的是websocket,使用这种方式就搞复杂了&…

58 vue-cli 以及 webpack 提供的默认的插件, 配置

前言 vue-cli 这边作为驱动 webpack 的一个应用 它需要构造 webpack 所需要的上下文, 以及参数 这里 我们来关注一下 vue-cli 这边为 webpack 构造的参数 的相关处理 webpack 这边上下文的配置, 主要分为了几个部分, Entry, Output, Module, Resolve, Plugin, DevServer, O…

open-cd框架调试记录

源于论文Changer: Feature Interaction Is What You Need forChange Detection 源码位置:open-cd/README.md at main likyoo/open-cd (github.com) 同样是基于MMSegmentation框架的代码,不符合本人编程习惯所以一直也没有研究这东西,近期打…

第15章 File类与IO流

一 java.io.File类的使用 1.1 概述 File类及本章下的各种流,都定义在java.io包下。一个File对象代表硬盘或网络中可能存在的一个文件或者文件目录(俗称文件夹),与平台无关。(体会万事万物皆对象)File 能新…

AcWing 788. 逆序对的数量——算法基础课题解

AcWing 788. 逆序对的数量 题目描述 给定一个长度为 n 的整数数列&#xff0c;请你计算数列中的逆序对的数量。 逆序对的定义如下&#xff1a;对于数列的第 i 个和第 j 个元素&#xff0c;如果满足 i<j且 a[i]>a[j]&#xff0c;则其为一个逆序对&#xff1b;否则不是。…

基于 Rust 标准库 API 使用 200 行代码实现 Http 1.1 协议简易服务

1. 背景 早在之前学过一波 Rust&#xff0c;但是由于没用武之地&#xff0c;没过多久又荒废了&#xff0c;最近想捡起来下。刚好看见有群里小伙伴说学习 Http 网络协议太难怎么办&#xff1f;其实很多技术都是相通的&#xff0c;只要你理解了技术的本质就可以自己实现它&#…