【Go】protobuf介绍及安装

news2024/10/7 14:23:07

目录

一、Protobuf介绍

1.Protobuf用来做什么

2. Protobuf的序列化与反序列化

3. Protobuf的优点和缺点

4. RPC介绍

<1>文档规范

<2>消息编码

<3>传输协议

<4>传输性能

<5>传输形式

<6>浏览器的支持度

<7>消息的可读性和安全性

<8>代码的编写

5. gRPC的适用场景

二、gRPC简单实践

1. 安装 protobuf 编译库

2.安装protoc-gen-go


一、Protobuf介绍

  Protobuf (Protocol Buffers) 是谷歌开发的一款无关平台,无关语言,可扩展,轻量级高效的序列化结构的数据格式,用于将自定义数据结构序列化成字节流,和将字节流反序列化为数据结构。所以很适合做数据存储和为不同语言,不同应用之间互相通信的数据交换格式,只要实现相同的协议格式,即后缀为proto文件被编译成不同的语言版本,加入各自的项目中,这样不同的语言可以解析其它语言通过Protobuf序列化的数据。目前官方提供c++,java,go等语言支持。

下面表格是支持语言的列表及各个语言的插件

Github源码地址:GitHub - protocolbuffers/protobuf: Protocol Buffers - Google's data interchange format

支持的语言列表,以及支持每种语言对应的安装说明:

LanguageSource
C++ (include C++ runtime and protoc)src
Javajava
Pythonpython
Objective-Cobjectivec
C#csharp
Rubyruby
Goprotocolbuffers/protobuf-go
PHPphp
Dartdart-lang/protobuf
JavaScriptprotocolbuffers/protobuf-javascript

1.Protobuf用来做什么

protobuf是跨平台的数据交互格式,通过字节流的方式在不同终端或服务器之间进行数据传输。

目前主要有以下数据交换格式:

  • json,一般用于WEB项目中,因为浏览器对JSON格式的数据支持非常好,大部分编程语言有很多内建函数支持,而且JSON几乎支持所有编程语言。用于Restful通信协议。
  • xml,XML在WebService中的应用比较多,相比于JSON,它的数据更加冗余,因为需要成对的闭合标签,而JSON使用了键值对的方式,不仅压缩了一定的数据空间,同时也有更好的可读性。
  • protobuf,谷歌公司新开发的一种数据格式,适合高性能,对响应速度有要求的数据传输场景。因为Protobuf是二进制数据格式,需要编码和解码。数据本身不具有可读性,因此只能反序列化得到可读数据。用于gRPC通信协议

2. Protobuf的序列化与反序列化

  1. 序列化:将数据结构或者对象转化成二进制串的过程。

  2. 反序列化:将序列化过程中所产生的二进制串转换成数据结构或对象的过程。

3. Protobuf的优点和缺点

优点:

  1. Protobuf序列化和反序列化速度快,序列化后的体积比json,xml更小,传输更快。使用相对也简单,因为Proto编译器能自己序列化和反序列化。
  2. 可以定义自己的数据结构,然后使用代码生成器去生成的代码来读写这个数据结构,甚至可以在不用重新部署的情况下来更新这个数据结构,只需要使用Protobuf对数据结构进行一次描述,就可以利用不同的语言或者从不同的数据流对你的结构化数据轻松的读写。
  3. 向后兼容性好,不需要破坏旧的数据格式,依靠老的数据格式的程序就可以对数据结构更新。
  4. 语义比xml更加清晰,无需类似xml解析器的东西(因为Protobuf编译器会将.proto文件编译成对应的数据访问用以对Protobuf数据进行序列化和反序列化操作)。
  5. 跨平台,跨语言,可扩展性好。
  6.  维护成本比较低,多个平台只需要维护一套.proto对象协议文件。
  7. 加密性好。

 缺点:  

  1. Protobuf功能简单,无法用来表示复杂的概念。
  2. 相比xml,xml具有某种程度的自解释性,因为最终是转成二进制流,不像xml和json能够直接查看明文。

4. RPC介绍

既然protobuf是跨语言的,gRPC是通过protobuf协议传输的,自然而然gRPC也是跨语言的。说起gRPC还是先聊聊RPC,RPC全称Remote Procedure Call,中文译为远程过程调用。通俗地讲,使用RPC进行通信,调用远程函数就像调用本地函数一样,RPC底层会做好数据的序列化与传输,从而能使我们更轻松地创建分布式应用和服务。

而gRPC,则是RPC的一种,它是免费且开源的,由谷歌出品。使用gRPC,我们只需要定义好每个API的Request和Response,剩下的gRPC这个框架会帮我们自动搞定。另外,gRPC的典型特征就是使用protobuf(全称protocol buffers)作为其接口定义语言(Interface Definition Language,缩写IDL),同时底层的消息交换格式也是使用protobuf。

4.1 常见的 PRC 框架
目前流行的开源 RPC 框架还是比较多的,有阿里巴巴的 Dubbo、Google 的 gRPC、Facebook 的 Thrift 和 Twitter 的 Finagle 等。

  1. Go RPC:Go 语言原生支持的 RPC 远程调用机制,简单便捷。
  2. gRPC:Google 发布的开源 RPC 框架,是基于 HTTP 2.0 协议的,并支持众多常见的编程语言,它提供了强大的流式调用能力,目前已经成为最主流的 RPC 框架之一。
  3. Thrift:Facebook 的开源 RPC 框架,主要是一个跨语言的服务开发框架,作为老牌开源 RPC 协议,以其高性能和稳定性成为众多开源项目提供数据的方案选项。

4.2 gRPC VS Restful

平时我们对接接口大都使用Restful协议比较多,gRPC能为我们解决什么样的问题又能带来什么样的体验,知乎的一篇文章分析很详细我引用如下:

gRPC和Restful之间的对比,历来是学习gRPC的必修课,我会从文档规范、消息编码、传输协议、传输性能、传输形式、浏览器的支持度以及数据的可读性、安全性等方面进行比较。

<1>文档规范

文档规范这种东西有点见仁见智,在我看来,gRPC使用proto文件编写接口(API),文档规范比Restful更好,因为proto文件的语法和形式是定死的,所以更为严谨、风格统一清晰;而Restful由于可以使用多种工具进行编写(只要人看得懂就行),每家公司、每个人的攥写风格又各有差异,难免让人觉得比较混乱

另外,Restful文档的过时相信很多人深有体会,因为维护一份不会过时的文档需要很大的人力和精力,而公司往往都是业务为先;而gRPC文档即代码,接口的更改也会体现到代码中,这也是我比较喜欢gRPC的一个原因,因为不用花很多精力去维护文档

<2>消息编码

消息编码这块,gRPC使用protobuf进行消息编码,而Restful一般使用JSON进行编码

<3>传输协议

传输协议这块,gRPC使用HTTP/2作为底层传输协议,据说也可替换为其他协议,但目前还未考证;而RestFul则使用HTTP

RPC 和 RestFul都是微服务间通信较为常用的方案之一,其实RPC 和 RestFul 并不完全是同一个层次的概念,它们之间还是有所区别的。

  • RPC 是远程过程调用,其调用协议通常包括序列化协议和传输协议。序列化协议有基于纯文本的 XML 和 JSON、二进制编码的Protobuf和Hessian。传输协议是指其底层网络传输所使用的协议,比如 TCP、HTTP。
  • 可以看出HTTP是RPC的传输协议的一个可选方案,比如说 gRPC 的网络传输协议就是 HTTP。HTTP 既可以和 RPC 一样作为服务间通信的解决方案,也可以作为 RPC 中通信层的传输协议(此时与之对比的是 TCP 协议)。
<4>传输性能

由于gRPC使用protobuf进行消息编码(即序列化),而经protobuf序列化后的消息体积很小(传输内容少,传输相对就快);再加上HTTP/2协议的加持(HTTP1.1的进一步优化),使得gRPC的传输性能要优于Restful。

<5>传输形式

传输形式这块,gRPC最大的优势就是支持流式传输,传输形式具体可以分为四种(unary、client stream、server stream、bidirectional stream),这个后面我们会讲到;而Restful是不支持流式传输的。

<6>浏览器的支持度

不知道是不是gRPC发展较晚的原因,目前浏览器对gRPC的支持度并不是很好,而对Restful的支持可谓是密不可分,这也是gRPC的一个劣势,如果后续浏览器对gRPC的支持度越来越高,不知道gRPC有没有干饭Restful的可能呢?

<7>消息的可读性和安全性

由于gRPC序列化的数据是二进制,且如果你不知道定义的Request和Response是什么,你几乎是没办法解密的,所以gRPC的安全性也非常高,但随着带来的就是可读性的降低,调试会比较麻烦;而Restful则相反(现在有HTTPS,安全性其实也很高)

<8>代码的编写

由于gRPC调用的函数,以及字段名,都是使用stub文件的,所以从某种角度看,代码更不容易出错,联调成本也会比较低,不会出现低级错误,比如字段名写错、写漏。

5. gRPC的适用场景

从上面gRPC和Restful的比较中,我们其实也从侧面了解gRPC的优劣势,也能顺势推断出其应用场景。

  • gRPC,主要用于公司内部的服务调用,性能消耗低,传输效率高,服务治理方便。
  • Restful,主要用于对外,比如提供接口给前端调用,提供外部服务给其他人调用等。

二、gRPC简单实践

一般来讲,实现一个gRPC服务端和客户端,主要分为这几步:

  • 1.安装 protobuf 依赖
  • 2.编写 proto 文件(IDL)
  • 3.编译 proto 文件(生成stub文件)
  • 4.编写server端,实现我们的接口
  • 5.编写client端,测试我们的接口

1. 安装 protobuf 编译库

        这是一个开源的项目,要使用protobuf需要安装protobuf编译环境和具体语言代码生成工具,这里以go语言为例进行安装测试

protobuf:protobuf核心类库

protoc-gen-go:生产go语言对应的代码,Java,python,ruby官网都有对应的工具。

protobuf github地址:GitHub - protocolbuffers/protobuf: Protocol Buffers - Google's data interchange format

安装protobuf,两种安装方式

<1>命令行安装

    可以搜索可用的protobuf源

brew search protobuf
搜索结果如下:
protobuf        protobuf-c      protobuf@21     protobuf@3      swift-protobuf

选择protobuf执行 

brew install protobuf

a.查看安装版本

protoc --version
libprotoc 25.1

b.查看安装的文件

brew list protobuf
/opt/homebrew/Cellar/protobuf/25.1/bin/protoc #二进制路径
/opt/homebrew/Cellar/protobuf/25.1/bin/protoc-25.1.0
/opt/homebrew/Cellar/protobuf/25.1/include/google/ (233 files) #google api文件路径
/opt/homebrew/Cellar/protobuf/25.1/include/java/core/src/main/java/com/google/protobuf/java_features.proto
/opt/homebrew/Cellar/protobuf/25.1/include/ (2 files)
/opt/homebrew/Cellar/protobuf/25.1/lib/libprotobuf-lite.25.1.0.dylib
/opt/homebrew/Cellar/protobuf/25.1/lib/libprotobuf.25.1.0.dylib
/opt/homebrew/Cellar/protobuf/25.1/lib/libprotoc.25.1.0.dylib
/opt/homebrew/Cellar/protobuf/25.1/lib/cmake/ (10 files)
/opt/homebrew/Cellar/protobuf/25.1/lib/pkgconfig/ (3 files)
/opt/homebrew/Cellar/protobuf/25.1/lib/python3.10/ (56 files)
/opt/homebrew/Cellar/protobuf/25.1/lib/python3.11/ (56 files)
/opt/homebrew/Cellar/protobuf/25.1/lib/python3.12/ (56 files)
/opt/homebrew/Cellar/protobuf/25.1/lib/ (5 other files)
/opt/homebrew/Cellar/protobuf/25.1/share/emacs/site-lisp/protobuf/protobuf-mode.el
/opt/homebrew/Cellar/protobuf/25.1/share/protobuf/ (25 files)
/opt/homebrew/Cellar/protobuf/25.1/share/vim/vimfiles/syntax/proto.vim

c.protoc执行搜索的文件

cd /opt/homebrew/Cellar/protobuf/25.1/include/google/protobuf 
ll *.proto
-rw-r--r--@ 1 easton  admin   6.0K 11 16 02:52 any.proto
-rw-r--r--@ 1 easton  admin   7.5K 11 16 02:52 api.proto
-rw-r--r--@ 1 easton  admin   974B 11 16 02:52 cpp_features.proto
-rw-r--r--@ 1 easton  admin    49K 11 16 02:52 descriptor.proto
-rw-r--r--@ 1 easton  admin   4.8K 11 16 02:52 duration.proto
-rw-r--r--@ 1 easton  admin   2.3K 11 16 02:52 empty.proto
-rw-r--r--@ 1 easton  admin   8.0K 11 16 02:52 field_mask.proto
-rw-r--r--@ 1 easton  admin   2.3K 11 16 02:52 source_context.proto
-rw-r--r--@ 1 easton  admin   3.7K 11 16 02:52 struct.proto
-rw-r--r--@ 1 easton  admin   6.3K 11 16 02:52 timestamp.proto
-rw-r--r--@ 1 easton  admin   6.2K 11 16 02:52 type.proto
-rw-r--r--@ 1 easton  admin   3.9K 11 16 02:52 wrappers.proto

每当在proto文件中写

import “google/protobuf/descriptor.proto”; 

protoc在编译时会自动搜索protoc的安装路径,并查询descriptor.proto文件。

如果由于网络导致安装失败建议通过编译安装,下载源码进行编译,并安装。

<2>编译安装

下载源码:https://github.com/protocolbuffers/protobuf/releases

选择对应的操作系统下载源码即可,mac下载protoc-25.1-osx-aarch_64.zip

a.解压源码:

unzip protoc-25.1-osx-aarch_64.zip 

 b.执行编译并安装到:/usr/local/protobuf/,进入到解压后的目录执行如下命令

cd protoc-25.1-osx-aarch_64

sudo ./configure --prefix=/usr/local/protobuf

sudo make

sudo make check

sudo make install

c.配置环境变量

vim ~/.bash_profile
export PROTOBUF=/usr/local/protobuf 
export PATH=$PROTOBUF/bin:$PATH
source ~/.bash_profile

d.执行命令:protoc --version 检查是否安装成功

protoc --version
libprotoc 25.1

2.安装protoc-gen-go

官网关于go语言的安装文档如下:

Go Generated Code Guide | Protocol Buffers Documentation

a.执行安装命令

go install google.golang.org/protobuf/cmd/protoc-gen-go@latest

这条命令会安装,并将protoc-gen-go可执行文件复制到 $GOBIN 文件夹下 ,也会将google.golang.org/protobuf源码文件下载到pkg包下,我的工程$GOBIN路径如下:

/Users/easton/sourceCode/go/goproject01/bin,可以看到生成了protoc-gen-go二进制文件

由于使用go mod包管理模式,会将源码下载到 $GOMODCACHE 目录下

GOMODCACHE="/Users/easton/sourceCode/go/goproject01/pkg/mod"

b.执行完安装,查看版本

可以进入到项目目录下执行命令

我的项目路径:cd /Users/easton/sourceCode/go/goproject01

protoc-gen-go --version
protoc-gen-go v1.31.0 #版本号

c.配置$GOBIN到环境变量

vim ~/.bash_profile

export GOBIN=/Users/easton/sourceCode/go/goproject01/bin
export $PATH=$GOBIN:$PATH

d.然后执行命令 

protoc-gen-go --version
protoc-gen-go v1.31.0 #版本号

⚠️注意:原来的github.com/golang/protobuf/protoc-gen-go这个库已经被弃用,我们需要使用 google.golang.org/protobuf 这个库

 % go get -u github.com/golang/protobuf/protoc-gen-go
go: module github.com/golang/protobuf is deprecated: Use the "google.golang.org/protobuf" module instead.
go: added github.com/golang/protobuf v1.5.2
go: added google.golang.org/protobuf v1.28.0
 

参考资料

Mac下protobuf安装:Protobuf 介绍与实战1:Mac环境下安装Protobuf(两种方式安装)_mac安装protobuf-CSDN博客

Mac下protobuf安装:Mac下环境搭建(用brew安装go和protoc)-腾讯云开发者社区-腾讯云

protobuf安装配置:Protobuf的安装、配置和使用(golang版) - 掘金

go proto代码生成工具安装:Go Generated Code Guide | Protocol Buffers Documentation

聊聊什么是gRPC - 知乎

gRPC介绍:https://www.cnblogs.com/songgj/p/11560565.html

protobuf介绍:https://www.cnblogs.com/songgj/p/13463717.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1276537.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【鸿蒙应用ArkTS开发系列】-自定义底部菜单列表弹窗

文章目录 前言创建Demo工程创建dialog 文件夹创建ListMenu 接口创建自定义弹窗 ListMenuDialog使用自定义弹窗 打包测试效果演示默认效果菜单带图标效果设置文本颜色效果不同文本颜色效果无标题效果 前言 上一篇文章中我们实现了选择图片、选择文件、拍照的功能 。 链接在这里…

11.28 C++作业

提示并输入一个字符串&#xff0c;统计该字符中大写、小写字母个数、数字个数、空格个数以及其他字符个数 要求使用C风格字符串完成 #include <iostream>using namespace std;int main() {string str;cout << "请输入一个字符串&#xff1a;" <<…

92基于matlab的引力搜索算法优化支持向量机(GSA-SVM)分类模型

基于matlab的引力搜索算法优化支持向量机&#xff08;GSA-SVM&#xff09;分类模型&#xff0c;以分类精度为优化目标优化SVM算法的参数c和g&#xff0c;输出分类可视化结果及适应度变化曲线。数据可更换自己的&#xff0c;程序已调通&#xff0c;可直接运行。 92 引力搜索算法…

无人机助力电力设备螺母缺销智能检测识别,python基于YOLOv5开发构建电力设备螺母缺销小目标检测识别系统

传统作业场景下电力设备的运维和维护都是人工来完成的&#xff0c;随着现代技术科技手段的不断发展&#xff0c;基于无人机航拍飞行的自动智能化电力设备问题检测成为了一种可行的手段&#xff0c;本文的核心内容就是基于YOLOv7来开发构建电力设备螺母缺销检测识别系统&#xf…

Symbol()和迭代器生成器

目录 1、Symbol&#xff08;&#xff09; 2、迭代器生成器 执行流程 模拟生成器函数 for of 遍历迭代选择器 yield * Generator函数应用 1、Symbol&#xff08;&#xff09; Symbol表示独一无二的值 const s1 Symbol(a)const s2 Symbol(a)console.log(s1 s2) // fa…

PCB走线宽度与电流的关系表

在1 oz./sq. ft.铜重量时将温度上升限制在10C。这应该可以让您大致了解如何调整PCB中的走线尺寸。 电流&#xff08;A&#xff09;走线宽度&#xff08;mil&#xff09;1102303504805110615071808220926010300 上表适用于许多通常采用标准工艺生产的PCB&#xff0c;其目标是非…

SHAP(三):在解释预测模型以寻求因果见解时要小心

SHAP&#xff08;三&#xff09;&#xff1a;在解释预测模型以寻求因果见解时要小心 与 Microsoft 的 Eleanor Dillon、Jacob LaRiviere、Scott Lundberg、Jonathan Roth 和 Vasilis Syrgkanis 合作撰写的关于因果关系和可解释机器学习的文章。 当与 SHAP 等可解释性工具配合…

STM32CubeMx+MATLAB Simulink点灯程序

STM32CubeMxMATLAB点灯程序 ✨要想实现在MATLAB Simulink环境下使用STM32&#xff0c;前提是已经搭建好MATLAB环境并且安装了必要的Simulink插件&#xff0c;以及对应的STM32支持包。 &#x1f33f;需要准备一块所安装支持包支持的STM32开发板. &#x1f516;具体支持包详情页…

uniapp uni-popup组件在微信小程序中滚动穿透问题

起因 在微信小程序中使用uni-popup组件时&#xff0c;出现滚动穿透&#xff0c;并且uni-popup内部内容不会滚动问题。 解决 滚动穿透 查阅官方文档&#xff0c;发现滚动穿透是由于平台差异性造成的&#xff0c;具体解决可以参照文档禁止滚动穿透 <template><page-…

Chrome 拓展开发系列:什么是 Chrome 拓展?

文章目录 Chrome 拓展&#xff08;Chrome Extension&#xff09;是什么为什么使用 Chrome 拓展&#xff1f;个性化浏览体验提高工作效率改善隐私和安全创新新功能 发展历史2009 年&#xff1a;初版发布2010 年&#xff1a;稳步增长2013 年&#xff1a;Chrome App 和扩展合并201…

企业存货库存综合分析全流程图

上期我们谈到了 诊断存货管理的4大维度&#xff0c;今天我们进一步全方位、全周期的分析企业内存货的问题。 企业存货是企业用于生产或销售的货品&#xff0c;是企业价值增值变现的载体&#xff0c;但是如果一旦没有产生交易&#xff0c;存货就很有可能带来损失。存货伴随着企业…

反序列化漏洞详解(一)

目录 一、php面向对象 二、类 2.1 类的定义 2.2 类的修饰符介绍 三、序列化 3.1 序列化的作用 3.2 序列化之后的表达方式/格式 ① 简单序列化 ② 数组序列化 ③ 对象序列化 ④ 私有修饰符序列化 ⑤ 保护修饰符序列化 ⑥ 成员属性调用对象 序列化 四、反序列化 …

深度学习今年来经典模型优缺点总结,包括卷积、循环卷积、Transformer、LSTM、GANs等

文章目录 1、卷积神经网络&#xff08;Convolutional Neural Networks&#xff0c;CNN&#xff09;1.1 优点1.2 缺点1.3 应用场景1.4 网络图 2、循环神经网络&#xff08;Recurrent Neural Networks&#xff0c;RNNs&#xff09;2.1 优点2.2 缺点2.3 应用场景2.4 网络图 3、长短…

ZeroTier外网访问实验室Linux服务器

ZeroTier外网访问实验室Linux服务器 1、在ZeroTier上创建一个自己的Network 进入ZeroTier的官网https://www.zerotier.com/注册一个账号 注册完之后登录进去&#xff0c;创建自己的Network 创建完之后来到IPv4的分配管理&#xff0c;选择主机位只有后8位的IP&#xff0c;才能…

Windows安装Mysql Workbench及常用操作

Mysql Workbench是mysql自带的可视化操作界面&#xff0c;功能是强大的&#xff0c;但界面和navicat比&#xff0c;就是觉得别扭&#xff0c;但其实用惯了也还好&#xff0c;各有特色吧。这里记录一下常用的操作。 官方手册&#xff1a;MySQL Workbench 一、安装 1. 下载 官方…

C++可表示的数(数组前面2个数的和)

void 可表示的数&#xff08;数组前面2个数的和&#xff09;() {int aa[]{1,2,3,4,5,6,7,8,9}, j 0, z 1, jj z, n 9, ge 0;string a "";while (j < n)//缘由https://bbs.csdn.net/topics/396063706?page1#post-410898529{if (jj < n)if (aa[j] aa[z] …

深入浅出强化学习

目录 一、强化学习的概念 二、强化学习的特点 三、强化学习的训练过程 一、强化学习的概念 强化学习是一种机器学习方法&#xff0c;旨在教会算法如何通过与环境的交互来进行学习和决策。与传统的监督学习和无监督学习不同&#xff0c;强化学习侧重于学习与奖励和惩罚&#…

OSI七层模型的前三层

开发中我们常见的网络设计和网络排查等&#xff0c;用到的网络层一般是tcp/ip第四层&#xff0c;也称OSI 网络层&#xff0c;很少去关心前三层的网络层、数据链路层、物理层&#xff0c;脑海里想到这三层的数据流转&#xff0c;脑海里都是抽象的画面。 本篇浅显的梳理前三层中各…

spring boot 3.2.0 idea从零开始

spring boot 3.2.0 idea从零开始 最新的spring initilizer 不再支持低版本java&#xff0c;只能选择17、21 。 我也被迫尝试下最新版本的java。 jdk下载地址 自定义好artifact和group之后点击下一步。 在这里选择需要的组件&#xff0c;我准备做web项目所以只选择spring web …

Navicat Premium 16.3.3 Windows x64 Crack

增强您的表现。 Navicat 16 具有许多改进和功能&#xff0c;可以满足您的数据库开发需求。凭借 100 多项增强功能和全新界面&#xff0c;您可以探索构建、管理和维护数据库的新方法。构建时考虑到可用性。 Navicat 16 引入了许多 UI/UX 改进&#xff0c;以最大限度地提高您的效…