深入掌握 Protobuf 与 RPC 的高效结合：实现C++工程中的高效通信

news2024/11/6 3:09:39

目录

      • 一、Protobuf与RPC框架的通信流程概述
      • 二、Protobuf与RPC在C++中的实际应用
        • 2.1 定义 `.proto` 文件
        • 2.2 编译 `.proto` 文件生成C++代码
        • 2.3 实现服务器端逻辑
        • 2.4 实现客户端逻辑
        • 2.5 使用CMake构建工程
        • 2.6 编译与运行
        • 2.7 关键组件解析
        • 2.8 序列化与反序列化的实现
      • 三、关键实现与解析
      • 四、工程实践中的最佳实践
      • 五、总结
      • 附录：常用Protobuf与gRPC命令
      • 参考资料

在现代分布式系统中，高效的通信至关重要，而Protobuf（Protocol Buffers）不仅能提供数据序列化的高效性，还常被用于与RPC（远程过程调用）框架结合，优化客户端与服务器之间的通信效率。本文将详细解析如何在C++工程中使用Protobuf，并结合RPC框架，构建高性能的分布式系统通信机制。

一、Protobuf与RPC框架的通信流程概述

在这里插入图片描述

为了便于理解，以下结合Protobuf和RPC的通信流程进行详细解析：

  1. 定义IDL（接口定义语言）文件：通过Protobuf的.proto文件，定义服务接口和消息格式，这是所有客户端与服务器通信的基础。

  2. 编译IDL文件：使用Protobuf编译器（protoc），生成客户端与服务器的代码骨架。这一步使得开发者无需关心底层通信细节，大幅减少编码工作量。

  3. 客户端调用服务：客户端通过调用生成的骨架代码发起请求，Protobuf负责将消息进行序列化，并通过RPC框架的协议栈传输至服务器。

  4. 服务器处理请求：服务器接收客户端请求，反序列化数据，执行相应的业务逻辑，并将结果序列化为响应数据返回给客户端。

  5. 客户端接收响应：客户端接收到服务器的响应后，反序列化数据并继续处理后续业务逻辑。

二、Protobuf与RPC在C++中的实际应用

2.1 定义 .proto 文件

首先，我们需要通过Protobuf定义服务接口和消息结构。例如，下面的.proto文件定义了一个简单的用户服务接口，包括获取用户信息的服务：

syntax = "proto3";

package example;

message User {
    int32 id = 1;
    string name = 2;
    string email = 3;
}

message GetUserRequest {
    int32 id = 1;
}

message GetUserResponse {
    User user = 1;
}

service UserService {
    rpc GetUser (GetUserRequest) returns (GetUserResponse);
}
2.2 编译 .proto 文件生成C++代码

使用protoc编译器生成C++代码：

protoc --cpp_out=. --grpc_out=. --plugin=protoc-gen-grpc=`which grpc_cpp_plugin` user_service.proto

编译后生成的文件包含以下两部分：

  • 消息类：user_service.pb.h 和 user_service.pb.cc
  • 服务接口及骨架代码：user_service.grpc.pb.h 和 user_service.grpc.pb.cc
2.3 实现服务器端逻辑

服务器端需要实现生成的服务接口，并通过RPC服务器处理客户端的请求。下面是基于gRPC的C++服务器实现：

#include <iostream>
#include <memory>
#include <string>
#include <grpcpp/grpcpp.h>
#include "user_service.grpc.pb.h"

using grpc::Server;
using grpc::ServerBuilder;
using grpc::ServerContext;
using grpc::Status;
using example::UserService;
using example::GetUserRequest;
using example::GetUserResponse;
using example::User;

class UserServiceImpl final : public UserService::Service {
public:
    Status GetUser(ServerContext* context, const GetUserRequest* request,
                  GetUserResponse* reply) override {
        // 模拟数据库操作
        User* user = reply->mutable_user();
        user->set_id(request->id());
        user->set_name("Alice");
        user->set_email("alice@example.com");
        return Status::OK;
    }
};

void RunServer() {
    std::string server_address("0.0.0.0:50051");
    UserServiceImpl service;

    ServerBuilder builder;
    builder.AddListeningPort(server_address, grpc::InsecureServerCredentials());
    builder.RegisterService(&service);

    std::unique_ptr<Server> server(builder.BuildAndStart());
    std::cout << "Server listening on " << server_address << std::endl;
    server->Wait();
}

int main() {
    RunServer();
    return 0;
}
2.4 实现客户端逻辑

客户端通过调用生成的代码与服务器进行通信。以下是gRPC客户端的实现代码：

#include <iostream>
#include <memory>
#include <grpcpp/grpcpp.h>
#include "user_service.grpc.pb.h"

using grpc::Channel;
using grpc::ClientContext;
using grpc::Status;
using example::UserService;
using example::GetUserRequest;
using example::GetUserResponse;

class UserServiceClient {
public:
    UserServiceClient(std::shared_ptr<Channel> channel)
        : stub_(UserService::NewStub(channel)) {}

    GetUserResponse GetUser(int id) {
        GetUserRequest request;
        request.set_id(id);

        GetUserResponse response;
        ClientContext context;

        Status status = stub_->GetUser(&context, request, &response);
        if (!status.ok()) {
            std::cerr << "RPC failed: " << status.error_message() << std::endl;
        }
        return response;
    }

private:
    std::unique_ptr<UserService::Stub> stub_;
};

int main() {
    UserServiceClient client(grpc::CreateChannel("localhost:50051", grpc::InsecureChannelCredentials()));
    int user_id = 1;
    GetUserResponse response = client.GetUser(user_id);
    std::cout << "User ID: " << response.user().id() << std::endl;
    std::cout << "Name: " << response.user().name() << std::endl;
    std::cout << "Email: " << response.user().email() << std::endl;
    return 0;
}
2.5 使用CMake构建工程

使用CMake构建Protobuf和gRPC项目，确保将生成的代码自动编译到项目中：

cmake_minimum_required(VERSION 3.14)
project(ProtobufRPCExample)

find_package(Protobuf REQUIRED)
find_package(gRPC REQUIRED)

set(CMAKE_CXX_STANDARD 14)

protobuf_generate_cpp(PROTO_SRCS PROTO_HDRS user_service.proto)
grpc_generate_cpp(GRPC_SRCS GRPC_HDRS user_service.proto)

add_executable(server server.cpp ${PROTO_SRCS} ${PROTO_HDRS} ${GRPC_SRCS} ${GRPC_HDRS})
target_link_libraries(server PRIVATE protobuf::libprotobuf gRPC::grpc++)

add_executable(client client.cpp ${PROTO_SRCS} ${PROTO_HDRS} ${GRPC_SRCS} ${GRPC_HDRS})
target_link_libraries(client PRIVATE protobuf::libprotobuf gRPC::grpc++)
2.6 编译与运行

  1. 安装依赖

    确保已安装Protobuf和gRPC库。可以参考以下步骤进行安装：

    # 安装gRPC及其依赖
git clone -b v1.53.0 https://github.com/grpc/grpc
cd grpc
git submodule update --init
mkdir -p build
cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
make -j4
sudo make install
sudo ldconfig

  2. 编译项目

    在项目根目录下创建构建目录并编译：

    mkdir build
cd build
cmake ..
make

  3. 运行服务器

    在一个终端中启动服务器：

    ./server

    输出：

    Server listening on 0.0.0.0:50051

  4. 运行客户端

    在另一个终端中运行客户端：

    ./client

    输出：

    User ID: 1
Name: Alice
Email: alice@example.com
2.7 关键组件解析

在这里插入图片描述
以下是各组件在上述实现中的作用：

  1. client（客户端）：

    • 客户端代码位于 client.cpp，通过 UserServiceClient 类发起RPC请求。
    • serialize（序列化）：Protobuf自动处理消息的序列化，将 GetUserRequest 转换为字节流。
    • deserialize（反序列化）：接收 GetUserResponse 字节流并转换为 User 对象。

  2. server（服务器）：

    • 服务器代码位于 server.cpp，通过 UserServiceImpl 类实现服务逻辑。
    • serialize/deserialize：Protobuf自动处理接收的请求数据反序列化和响应数据序列化。

  3. protocol stack（协议栈）：

    • 在本示例中，gRPC基于HTTP/2协议栈处理网络通信细节，负责数据的传输和连接管理。

  4. idl（接口定义语言）：

    • user_service.proto 文件定义了服务接口和消息结构，作为IDL文件。

  5. compiler（编译器）：

    • protoc 编译器与gRPC插件一起，将.proto文件编译生成C++代码，生成消息类和服务骨架代码。

  6. skeleton（骨架代码）：

    • 生成的 user_service.grpc.pb.h 和 user_service.grpc.pb.cc 文件包含服务接口的骨架代码。
    • 服务器实现类 UserServiceImpl 继承自生成的骨架类，完成业务逻辑。
    • 客户端通过生成的 UserService::Stub 类进行远程调用，隐藏了底层的通信细节。
2.8 序列化与反序列化的实现

在上述示例中，序列化与反序列化过程由gRPC和Protobuf库自动处理，开发者无需手动编写相关代码。然而，理解这一过程对于优化和调试至关重要。

  • 序列化：

    • 客户端在调用 stub_->GetUser(&context, request, &response) 时，Protobuf将 GetUserRequest 对象序列化为二进制格式，通过gRPC协议栈发送到服务器。

  • 反序列化：

    • 服务器接收到字节流后，Protobuf将其反序列化为 GetUserRequest 对象，并传递给 GetUser 方法进行处理。

  • 响应过程：

    • 服务器将 GetUserResponse 对象序列化后，通过gRPC协议栈发送回客户端，客户端再将其反序列化为 GetUserResponse 对象。

三、关键实现与解析

通过上述代码示例，我们可以看到Protobuf和RPC的高效结合体现在以下几个方面：

  1. 自动化生成代码：通过Protobuf定义的IDL文件（.proto），可以自动生成C++类，省去手动编写通信代码的复杂性。

  2. 数据序列化与反序列化：Protobuf通过高效的二进制格式，减少了数据传输的开销，保证了性能和数据传输的一致性。

  3. RPC框架的透明性：开发者不必关心底层通信协议，gRPC框架负责数据的传输和连接管理，使得程序员能够像调用本地函数一样完成远程调用。

四、工程实践中的最佳实践

  1. 代码生成自动化：集成Protobuf的代码生成步骤至构建系统，确保.proto文件变更后，自动生成与其匹配的代码。

  2. 性能调优：对于大规模消息传输，可考虑使用Protobuf的流式解析功能，并优化网络带宽。

  3. 版本兼容性：在设计Protobuf消息结构时，尽量避免破坏兼容性，确保后续扩展性。例如，避免删除字段或改变字段编号。

  4. 错误处理机制：在客户端和服务器端实现完备的错误处理机制，确保网络异常和序列化失败时的回退策略。

五、总结

Protobuf与RPC框架的结合为现代分布式系统提供了一种高效的通信方案。在C++工程中，通过合理设计和使用Protobuf进行数据序列化，再借助gRPC完成远程过程调用，可以大幅提升通信效率，并简化系统的开发与维护。

附录：常用Protobuf与gRPC命令

  • 编译Protobuf文件

    protoc --cpp_out=. user_service.proto

  • 编译gRPC Protobuf文件

    protoc --grpc_out=. --plugin=protoc-gen-grpc=`which grpc_cpp_plugin` user_service.proto

  • 生成所有代码（包括消息和gRPC服务）

    protoc --cpp_out=. --grpc_out=. --plugin=protoc-gen-grpc=`which grpc_cpp_plugin` user_service.proto

参考资料

  • Protocol Buffers 官方文档
  • gRPC 官方文档
  • Protobuf 编码原理详解
  • 0voice · GitHub

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2180002.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

想不到！手机壁纸变现项目，有人 3 个月怒赚 180000+（附教程）

想不到！手机壁纸变现项目，有人 3 个月怒赚 180000+（附教程）

同学们&#xff01;今天无意间发现了一个超级有潜力的变现数据账号。这个账号专注于制作 3D 立体膨胀壁纸&#xff0c;我实在是忍不住要和大家分享。 这个账号的笔记内容非常简洁&#xff0c;主要就是展示壁纸作品。然而&#xff0c;就是这样简单的内容&#xff0c;却在短短 8…
阅读更多...
介绍我经常使用的两款轻便易用的 JSON 工具

介绍我经常使用的两款轻便易用的 JSON 工具

第一款是 Chrome Extension&#xff0c;名叫 JSON Viewer Pro&#xff0c;可以在 Chrome 应用商店下载&#xff1a; 点击右上角的 JSON Input&#xff0c;然后可以直接把 JSON 字符串内容粘贴进去&#xff0c;也直接直接加载本地 JSON 文件。 可以在树形显示和图形显示两种模式…
阅读更多...
淘宝自动下单退货RPA自动化脚本（已运行两个月）

淘宝自动下单退货RPA自动化脚本（已运行两个月）

使用AdsPower Browser写的两个自动化脚本&#xff0c;一个下单一个退货&#xff0c;我也不知道他为什么要做这个自动化脚本&#xff0c;运行2个月时间&#xff0c;还蛮稳定&#xff0c;可以多窗口并发运行! 下单指定淘宝商品连接&#xff0c;执行下单RPA脚本实现自动操作。 退…
阅读更多...
模糊测试SFuzz亮相第32届中国国际信息通信展览会

模糊测试SFuzz亮相第32届中国国际信息通信展览会

9月25日&#xff0c;被誉为“中国ICT市场的创新基地和风向标”的第32届中国国际信息通信展在北京盛大开幕&#xff0c;本次展会将在为期三天的时间内&#xff0c;为信息通信领域创新成果、尖端技术和产品提供国家级交流平台。开源网安携模糊测试产品及相关解决方案精彩亮相&…
阅读更多...
Flux最新ControlNet 高清修复模型测评，效果好速度快！

Flux最新ControlNet 高清修复模型测评，效果好速度快！

上一篇介绍了Jasper AI 发布了三个模型中的法线贴图&#xff0c;没看过的可以看一下哈&#xff1a; Flux目前最快ControlNet模型现身&#xff01;法线贴图详细测评 (chinaz.com) 这次再介绍一下另一个模型&#xff1a;升频器&#xff0c;可以有比较好的模糊修复效果&#xff…
阅读更多...
一条命令Docker安装常用桌面linux系统含一些系统和应用

一条命令Docker安装常用桌面linux系统含一些系统和应用

分类 一. opens use 15.5 desktop https://hub.docker.com/r/kasmweb/opensuse-15-desktop 这是我最近用的一个,稳定性和性能好过ubuntu,兼容性稍微差,部分依赖无法安装,部分软件运行不起来,界面比ubuntu的要好看.风格是win10的.提供一个开源的webVNC, 可选,但是桌面必定要用…
阅读更多...
AIGC专栏16——CogVideoX-Fun V1.1版本详解 支持图文生视频与更大的动态性 为文生视频添加控制

AIGC专栏16——CogVideoX-Fun V1.1版本详解 支持图文生视频与更大的动态性 为文生视频添加控制

AIGC专栏16——CogVideoX-Fun V1.1版本详解 支持图&文生视频与更大的动态性 为文生视频添加控制 学习前言相关地址汇总源码下载地址HF测试链接 CogVideoX-Fun V1.1详解技术储备Diffusion Transformer (DiT)Stable Diffusion 3EasyAnimate-I2V 算法细节V1.1特点参考图片添加…
阅读更多...
20.1 分析pull模型在k8s中的应用，对比push模型

20.1 分析pull模型在k8s中的应用，对比push模型

本节重点介绍 : push模型和pull模型监控系统对比为什么在k8s中只能用pull模型的k8s中主要组件的暴露地址说明 push模型和pull模型监控系统 对比下两种系统采用的不同采集模型&#xff0c;即push型采集和pull型采集。不同的模型在性能的考虑上是截然不同的。下面表格简单的说…
阅读更多...
二、Spring Boot集成Spring Security之实现原理

二、Spring Boot集成Spring Security之实现原理

Spring Boot集成Spring Security之实现原理 一、Spring Security实现原理概要介绍二、使用WebSecurityConfiguration向Spring容器中注册FilterChainProxy类型的对象springSecurityFilterChain1、未配置securityFilterChain过滤器链时使用默认配置用于生成默认securityFilterCha…
阅读更多...
Java SE 总结

Java SE 总结

Java SE&#xff08;Standard Edition&#xff09;是Java编程语言的标准版本&#xff0c;提供了基础的编程环境和API&#xff0c;适用于开发和运行Java应用程序。下面是Java SE的几个重要方面的知识回顾与总结。 1. Java环境基础 具体可参考这里对三者的介绍 传送门 1.1 JVM…
阅读更多...
后端-对表格数据进行添加、删除和修改

后端-对表格数据进行添加、删除和修改

一、添加 要求&#xff1a; 按下添加按钮出现一个板块输入添加的数据信息&#xff0c;点击板块的添加按钮&#xff0c;添加&#xff1b;点击取消&#xff0c;板块消失。 实现&#xff1a; 1.首先&#xff0c;设计页面输入框格式&#xff0c;表格首行 2.从数据库里调数据 3.添加…
阅读更多...
SpringBoot助力墙绘艺术市场创新

SpringBoot助力墙绘艺术市场创新

3 系统分析 当用户确定开发一款程序时&#xff0c;是需要遵循下面的顺序进行工作&#xff0c;概括为&#xff1a;系统分析–>系统设计–>系统开发–>系统测试&#xff0c;无论这个过程是否有变更或者迭代&#xff0c;都是按照这样的顺序开展工作的。系统分析就是分析系…
阅读更多...
数字化智能工厂应用场景

数字化智能工厂应用场景

数字化智能工厂的应用场景广泛&#xff0c;涵盖了多个行业和领域。以下是一些主要的应用场景&#xff1a; 一、制造业 汽车制造&#xff1a;数字化智能工厂在汽车制造业中得到了广泛应用。通过自动化生产线、机器人、物联网和人工智能等技术&#xff0c;汽车制造商能够实现高…
阅读更多...
三分钟速览：Node.js 版本差异与关键特性解析

三分钟速览：Node.js 版本差异与关键特性解析

Node.js 是一个广泛使用的 JavaScript 运行时环境&#xff0c;允许开发者在服务器端运行 JavaScript 代码。随着技术的发展&#xff0c;Node.js 不断推出新版本&#xff0c;引入新特性和改进。了解不同版本之间的差异对于开发者来说至关重要。以下是一个快速指南&#xff0c;帮…
阅读更多...
Redis篇（应用案例 - 附近商户）（持续更新迭代）

Redis篇（应用案例 - 附近商户）（持续更新迭代）

目录 一、GEO数据结构的基本用法 二、导入店铺数据到GEO 三、实现附近商户功能 一、GEO数据结构的基本用法 GEO就是Geolocation的简写形式&#xff0c;代表地理坐标。 Redis在3.2版本中加入了对GEO的支持&#xff0c;允许存储地理坐标信息&#xff0c;帮助我们根据经纬度来…
阅读更多...
【高性能内存池】基本框架 + 固定长度内存池实现 1

【高性能内存池】基本框架 + 固定长度内存池实现 1

高性能内存池 1. 基本框架2. 定长内存池的实现2.1 介绍定长内存池2.2 T* New()2.3 void Delete(T* obj) 3. 源码&#xff08;附赠测试&#xff09;4. 总结 1. 基本框架 高并发内存池主要由三个部分构成&#xff1a; 1.thread cache:用于小于256KB的内存的分配。线程缓存是每个…
阅读更多...
opencv实战项目（三十）：使用傅里叶变换进行图像边缘检测

opencv实战项目（三十）：使用傅里叶变换进行图像边缘检测

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 一&#xff0c;什么是傅立叶变换&#xff1f;二&#xff0c;图像处理中的傅立叶变换&#xff1a;三&#xff0c;傅里叶变换进行边缘检测&#xff1a; 一&#xff0c…
阅读更多...
适合初学者的[JAVA]: 基础面试题

适合初学者的[JAVA]: 基础面试题

目录 说明 前言 String/StringBuffer/StringBuilder区别 第一点: 第二点: 总结&#xff1a; 反射机制 JVM内存结构 运行时数据区域被划分为5个主要组件&#xff1a; 方法区&#xff08;Method Area&#xff09; 堆区&#xff08;Heap Area&#xff09; 栈区&#x…
阅读更多...
局部整体（七）利用python绘制圆形嵌套图

局部整体（七）利用python绘制圆形嵌套图

局部整体&#xff08;七&#xff09;利用python绘制圆形嵌套图 圆形嵌套图&#xff08; Circular Packing&#xff09;简介 将一组组圆形互相嵌套起来&#xff0c;以显示数据的层次关系&#xff0c;类似于矩形树图。数据集中每个实体都由一个圆表示&#xff0c;圆圈大小与其代…
阅读更多...
Spring Task 调度任务

Spring Task 调度任务

Spring Task是调度任务框架&#xff0c;通过配置&#xff0c;程序可以按照约定的时间自动执行代码逻辑&#xff0c;基于注解方式实现需要如下注解&#xff1a; Component 任务调度类交给Spring IOC容器管理EnableScheduling 启用 Spring 的定时任务&#xff08;Scheduling&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023