protobuf原理解析-基于protobuf-c实现序列化,反向序列化

news2024/11/25 2:42:22

1.一个实例
前面介绍了使用protobuf的流程.
(1). 定义proto文件来描述需要序列化和反向序列化传输的消息.
(2). 借助proto-c,为proto文件生成对应的代码控制文件.
(3). 程序借助生成的代码控制文件和protobuf-c动态库的支持实现类型序列化,反向序列化.

我们以一个实例来分析protobuf-c中序列化,反向序列化的处理.
a. proto文件为test_normal.proto

syntax = "proto2";
package foo;

enum TestEnum {
    VALUENEG123456 = -123456;
    VALUENEG1 = -1;
    VALUE0 = 0;
    VALUE2097152 = 2097152;
    VALUE268435456 = 268435456;
}

message TestInt{
    optional int32 test_int = 1;
    optional int32 test_int2 = 2 [default = 100];
}

message TestClass {
    optional int32 test_int32 = 1;
    optional sint32 test_sint32 = 2;
    optional sfixed32 test_sfixed32 = 3;
    optional int64 test_int64 = 4;
    optional sint64 test_sint64 = 5;
    optional sfixed64 test_sfixed64 = 6;
    optional uint32 test_uint32 = 7;
    optional fixed32 test_fixed32 = 8;
    optional uint64 test_uint64 = 9;
    optional fixed64 test_fixed64 = 10;
    optional float test_float = 11;
    optional double test_double = 12;
    optional bool test_boolean = 13;
    optional string test_string = 14;
    optional bytes test_bytes = 15;
    optional TestEnum test_enum = 16;
    optional TestInt test_class = 17;

    required int32 test_int32_req = 101;
    required sint32 test_sint32_req = 102;
    required sfixed32 test_sfixed32_req = 103;
    required int64 test_int64_req = 104;
    required sint64 test_sint64_req = 105;
    required sfixed64 test_sfixed64_req = 106;
    required uint32 test_uint32_req = 107;
    required fixed32 test_fixed32_req = 108;
    required uint64 test_uint64_req = 109;
    required fixed64 test_fixed64_req = 110;
    required float test_float_req = 111;
    required double test_double_req = 112;
    required bool test_boolean_req = 113;
    required string test_string_req = 114;
    required bytes test_bytes_req = 115;
    required TestEnum test_enum_req = 116;
    required TestInt test_class_req = 117;

    repeated int32 test_int32_rep = 201;
    repeated sint32 test_sint32_rep = 202;
    repeated sfixed32 test_sfixed32_rep = 203;
    repeated int64 test_int64_rep = 204;
    repeated sint64 test_sint64_rep = 205;
    repeated sfixed64 test_sfixed64_rep = 206;
    repeated uint32 test_uint32_rep = 207;
    repeated fixed32 test_fixed32_rep = 208;
    repeated uint64 test_uint64_rep = 209;
    repeated fixed64 test_fixed64_rep = 210;
    repeated float test_float_rep = 211;
    repeated double test_double_rep = 212;
    repeated bool test_boolean_rep = 213;
    repeated string test_string_rep = 214;
    repeated bytes test_bytes_rep = 215;
    repeated TestEnum test_enum_rep = 216;
    repeated TestInt test_class_rep = 217;

    repeated int32 test_int32_rep_p = 301 [packed=true];
    repeated sint32 test_sint32_rep_p = 302 [packed=true];
    repeated sfixed32 test_sfixed32_rep_p = 303 [packed=true];
    repeated int64 test_int64_rep_p = 304 [packed=true];
    repeated sint64 test_sint64_rep_p = 305 [packed=true];
    repeated sfixed64 test_sfixed64_rep_p = 306 [packed=true];
    repeated uint32 test_uint32_rep_p = 307 [packed=true];
    repeated fixed32 test_fixed32_rep_p = 308 [packed=true];
    repeated uint64 test_uint64_rep_p = 309 [packed=true];
    repeated fixed64 test_fixed64_rep_p = 310 [packed=true];
    repeated float test_float_rep_p = 311 [packed=true];
    repeated double test_double_rep_p = 312 [packed=true];
    repeated bool test_boolean_rep_p = 313 [packed=true];
    repeated TestEnum test_enum_rep_p = 316 [packed=true];
}

b.生成的代码控制文件为test_normal.pb-c.htest_normal.pb-c.c
内容略去.

c.主程序为main.c

#include "test_normal.pb-c.h"
#include <string.h>
#include <stdlib.h>
#include <stdio.h>

void checkValid(Foo__TestClass *p1, Foo__TestClass* p2){
    if(p1->has_test_int32 != p2->has_test_int32 
        || p1->test_int32 != p2->test_int32) {
            printf("check test_int32 err\n");
            return;
    }
    // 后续检测略去
}

int main(void)
{
    Foo__TestClass stTest = FOO__TEST_CLASS__INIT;
    // optional部分
    stTest.has_test_int32 = 1;
    stTest.test_int32 = 1;
   	// 后续各个字段赋值略去
    int64_t nPackSize = foo__test_class__get_packed_size(&stTest);
    printf("nPackSize_%d\n", nPackSize);
    uint8_t* pBuff = (uint8_t*)malloc(nPackSize);
    int64_t nRealPackSize = foo__test_class__pack(&stTest, pBuff);
    printf("nRealPackSize_%d\n", nRealPackSize);
    
    unsigned char simple_pad[8];
    ProtobufCBufferSimple bs = PROTOBUF_C_BUFFER_SIMPLE_INIT (simple_pad);
    foo__test_class__pack_to_buffer(&stTest, &bs.base);
    printf("bs.len_%d\n", bs.len);
    int32_t nCmp = memcmp(bs.data, pBuff, bs.len);
    printf("nCmp_%d\n", nCmp);
    PROTOBUF_C_BUFFER_SIMPLE_CLEAR (&bs);

    Foo__TestClass* pTestClass = NULL;
    pTestClass = foo__test_class__unpack(NULL, nRealPackSize, pBuff);
    checkValid(pTestClass, &stTest);
    foo__test_class__free_unpacked(pTestClass, NULL);
    free (pBuff);
    return 0;
}

编译并运行输出如下:
在这里插入图片描述
其中nCmp_0后续的输出是checkValid中打印的内容.

2.计算类型实例序列化尺寸
我们分析针对自定义类型计算类型实例序列化尺寸的过程.

size_t protobuf_c_message_get_packed_size(const ProtobufCMessage *message)
{
	unsigned i;
	size_t rv = 0;
	for (i = 0; i < message->descriptor->n_fields; i++) {
		const ProtobufCFieldDescriptor *field = message->descriptor->fields + i;
		const void *member = ((const char *) message) + field->offset;
		const void *qmember = ((const char *) message) + field->quantifier_offset;
		if (field->label == PROTOBUF_C_LABEL_REQUIRED) {
			rv += required_field_get_packed_size(field, member);
		} else if (field->label == PROTOBUF_C_LABEL_OPTIONAL) {
			rv += optional_field_get_packed_size(field, 
				*(protobuf_c_boolean *) qmember, member);
		} else {
			rv += repeated_field_get_packed_size(field, *(const size_t *) qmember, member);
		}
	}
	return rv;
}

我们不考虑oneof类型,unknown field的情况下.计算类型实例序列化尺寸的过程可分解为依次对类型的每个字段求取序列化尺寸.所有字段序列化尺寸之和就是类型实例的序列化尺寸.

字段按其修饰符类型可以分为required,optional,repeated三种类型.我们分别分析每种类型下字段序列化尺寸计算方式.
(1). required

rv += required_field_get_packed_size(field, member);

该类型字段序列化由两部分构成:
在这里插入图片描述
a. tag用来存储字段的序号信息.不同序号数值及其所需尺寸关系为:

static inline size_t get_tag_size(uint32_t number) {
	if (number < (1UL << 4)) {
		return 1;
	} else if (number < (1UL << 11)) {
		return 2;
	} else if (number < (1UL << 18)) {
		return 3;
	} else if (number < (1UL << 25)) {
		return 4;
	} else {
		return 5;
	}
}

为何tag部分尺寸和序号数值存在上述关系.可参考tag部分序列化处理后,得到解释.
b. data
data部分所需序列化尺寸不同类型计算方式不同.
b.1.PROTOBUF_C_TYPE_SINT32

uint32_size(zigzag32(v));
static inline uint32_t zigzag32(int32_t v) {
	return ((uint32_t)v << 1) ^ -((uint32_t)v >> 31);
}

即先经过zigzag32处理得到一个uint32_t数值,再对其按uint32_size计算尺寸.
zigzag32处理效果如下:
在这里插入图片描述
即将一个有符号数,转化为相同尺寸下一个无符号数.
b.2.PROTOBUF_C_TYPE_ENUM
b.3.PROTOBUF_C_TYPE_INT32

static inline size_t int32_size(int32_t v) {
	if (v < 0) {
		return 10;
	} else if (v < (1L << 7)) {
		return 1;
	} else if (v < (1L << 14)) {
		return 2;
	} else if (v < (1L << 21)) {
		return 3;
	} else if (v < (1L << 28)) {
		return 4;
	} else {
		return 5;
	}
}

为何数值和所需序列化尺寸存在上述关系,需结合后续序列化处理过程分析.
b.4.PROTOBUF_C_TYPE_UINT32

static inline size_t uint32_size(uint32_t v) {
	if (v < (1UL << 7)) {
		return 1;
	} else if (v < (1UL << 14)) {
		return 2;
	} else if (v < (1UL << 21)) {
		return 3;
	} else if (v < (1UL << 28)) {
		return 4;
	} else {
		return 5;
	}
}

为何数值与所需序列化尺寸存在上述关系,需结合后续序列化处理过程分析.
b.5.PROTOBUF_C_TYPE_SINT64

uint64_size(zigzag64(v));
static inline uint64_t zigzag64(int64_t v) {
	return ((uint64_t)v << 1) ^ -((uint64_t)v >> 63);
}

zigzag64可以参考zigzag32,处理的目的是将一个64位有符号数,转化为一个64位无符号数.
b.6. PROTOBUF_C_TYPE_INT64
b.7. PROTOBUF_C_TYPE_UINT64

static inline size_t uint64_size(uint64_t v) {
	uint32_t upper_v = (uint32_t) (v >> 32);
	if (upper_v == 0) {
		return uint32_size((uint32_t) v);
	} else if (upper_v < (1UL << 3)) {
		return 5;
	} else if (upper_v < (1UL << 10)) {
		return 6;
	} else if (upper_v < (1UL << 17)) {
		return 7;
	} else if (upper_v < (1UL << 24)) {
		return 8;
	} else if (upper_v < (1UL << 31)) {
		return 9;
	} else {
		return 10;
	}
}

为何数值与所需序列化尺寸存在上述关系,需结合后续序列化处理过程分析.
b.8. PROTOBUF_C_TYPE_SFIXED32
b.9. PROTOBUF_C_TYPE_FIXED32
序列化尺寸固定为:
b.10. PROTOBUF_C_TYPE_SFIXED64
b.11. PROTOBUF_C_TYPE_FIXED64
序列化尺寸固定为:
b.12. PROTOBUF_C_TYPE_BOOL
序列化尺寸固定为:
b.13. PROTOBUF_C_TYPE_FLOAT
序列化尺寸固定为:
b.14. PROTOBUF_C_TYPE_DOUBLE
序列化尺寸固定为:
b.15. PROTOBUF_C_TYPE_STRING
先计算字符串长度len,按uint32_size(len)计算长度序列化尺寸,再加上len,就是其序列化尺寸.
b.16. PROTOBUF_C_TYPE_BYTES
uint32_size(len)计算长度序列化尺寸,再加上len,就是其序列化尺寸.
b.17. PROTOBUF_C_TYPE_MESSAGE
假设自定义类型实例字段序列化所需尺寸为len,则uint32_size(len),再加上len就是其序列化尺寸.

(2). optional

static size_t optional_field_get_packed_size(const ProtobufCFieldDescriptor *field, const protobuf_c_boolean has, const void *member)
{
	if (field->type == PROTOBUF_C_TYPE_MESSAGE || field->type == PROTOBUF_C_TYPE_STRING)
	{
		const void *ptr = *(const void * const *) member;
		if (ptr == NULL || ptr == field->default_value)
			return 0;
	} else {
		if (!has)
			return 0;
	}
	return required_field_get_packed_size(field, member);
}

该类型字段序列化尺寸计算方式简要描述为:
a. 针对PROTOBUF_C_TYPE_MESSAGEPROTOBUF_C_TYPE_STRING类型字段,当其数值为null或默认值时,所需尺寸为0
b. 针对其他类型,其关联has字段为0时,所需尺寸为0
c. 其他情况下,按required方式计算所需序列化尺寸.

(3). repeated
首先,若字段的数量为0,则所需尺寸为0
字段数量不为0时,可分为unpack方式,pack方式.
两种方式下,我们将其序列化尺寸分为序号部分,数据部分.两者数据部分尺寸计算方式一致.序号部分不同.

序号部分尺寸计算:
a. unpack方式
a.1.依据序号计算序号所需尺寸

static inline size_t get_tag_size(uint32_t number) {
	if (number < (1UL << 4)) {
		return 1;
	} else if (number < (1UL << 11)) {
		return 2;
	} else if (number < (1UL << 18)) {
		return 3;
	} else if (number < (1UL << 25)) {
		return 4;
	} else {
		return 5;
	}
}

a.2. 序号总尺寸
按上述计算出的序号尺寸 * 元素数量.
b. pack方式
b.1. 依据序号计算序号所需尺寸
计算方式参考a.1
b.2. 序号总尺寸
假设所有元素数据部分所需尺寸为len,则总尺寸= 按上述计算的序号尺寸+uint32_size(len)

数据部分尺寸计算:
元素类型不同计算方式也不同.
a.1. PROTOBUF_C_TYPE_SINT32

sint32_size(((int32_t *) array)[i])

对每个元素分别按上述计算尺寸.
a.2. PROTOBUF_C_TYPE_ENUM
a.3. PROTOBUF_C_TYPE_INT32

int32_size(((int32_t *) array)[i]);

对每个元素分别按上述计算尺寸.
a.4. PROTOBUF_C_TYPE_UINT32

uint32_size(((uint32_t *) array)[i]);

对每个元素分别按上述计算尺寸.
a.5. PROTOBUF_C_TYPE_SINT64

sint64_size(((int64_t *) array)[i]);

对每个元素分别按上述计算尺寸.
a.6. PROTOBUF_C_TYPE_INT64
a.7. PROTOBUF_C_TYPE_UINT64

uint64_size(((uint64_t *) array)[i]);

对每个元素分别按上述计算尺寸.
a.8. PROTOBUF_C_TYPE_SFIXED32
a.9. PROTOBUF_C_TYPE_FIXED32
a.10. PROTOBUF_C_TYPE_FLOAT
每个元素固定尺寸为:
a.11. PROTOBUF_C_TYPE_SFIXED64
a.12. PROTOBUF_C_TYPE_FIXED64
a.13. PROTOBUF_C_TYPE_DOUBLE
每个元素固定尺寸为:
a.14. PROTOBUF_C_TYPE_BOOL
每个元素固定尺寸为:
a.15. PROTOBUF_C_TYPE_STRING
假设当前元素字符串长度为len,则其尺寸为uint32_size(len) + len;
a.16. PROTOBUF_C_TYPE_BYTES
假设当前元素长度为len,则其尺寸为uint32_size(len) + len;
a.17. PROTOBUF_C_TYPE_MESSAGE
假设当前自定义类型实例序列化尺寸为len,则其所需尺寸为uint32_size(len) + len;

每个元素的尺寸累计起来就是数据部分序列化所需尺寸.

3.将类型实例序列化并输出到指定缓存区

size_t protobuf_c_message_pack(const ProtobufCMessage *message, uint8_t *out)
{
	unsigned i;
	size_t rv = 0;
	ASSERT_IS_MESSAGE(message);
	for (i = 0; i < message->descriptor->n_fields; i++) {
		const ProtobufCFieldDescriptor *field = message->descriptor->fields + i;
		const void *member = ((const char *) message) + field->offset;
		const void *qmember = ((const char *) message) + field->quantifier_offset;
		if (field->label == PROTOBUF_C_LABEL_REQUIRED) {
			rv += required_field_pack(field, member, out + rv);
		} else if (field->label == PROTOBUF_C_LABEL_OPTIONAL) {
			rv += optional_field_pack(field, *(const protobuf_c_boolean *) qmember, member, out + rv);
		} else {
			rv += repeated_field_pack(field, *(const size_t *) qmember, member, out + rv);
		}
	}
	return rv;
}

我们忽略oneof,unknown field的情况.上述过程是针对类型实例的每个字段数据逐个序列化的过程.
3.1.required字段序列化
a. 序号序列化
首先针对字段序号进行序列化

static size_t tag_pack(uint32_t id, uint8_t *out)
{
	if (id < (1UL << (32 - 3)))
		return uint32_pack(id << 3, out);
	else
		return uint64_pack(((uint64_t) id) << 3, out);
}

因为序号序列化的低三个比特位需作其他用途.
所以,在判断id数值可用其低29个比特位表示时,构造一个高29个比特位为id数值,低三个比特位为0的数值,再序列化.否则,构造一个高61个比特位为id数值,低三个比特位为0的数值,再序列化.

static inline size_t uint32_pack(uint32_t value, uint8_t *out)
{
	unsigned rv = 0;
	if (value >= 0x80) {
		out[rv++] = value | 0x80;
		value >>= 7;
		if (value >= 0x80) {
			out[rv++] = value | 0x80;
			value >>= 7;
			if (value >= 0x80) {
				out[rv++] = value | 0x80;
				value >>= 7;
				if (value >= 0x80) {
					out[rv++] = value | 0x80;
					value >>= 7;
				}
			}
		}
	}
	out[rv++] = value;
	return rv;
}

上述编码有个特定名称:Varints编码.用一个实例来说明其对无符号数值的编码过程.

uint32_t val = 666;
补码:000 ... 101 0011010  // 666 的源码
Varints 编码:1#0011010  0#000 01019a 05// 666 的 Varints 编码

其编码过程是依次取数值低7位,构造一个字节,直到处理了数值全部有效位.非最后一个字节最高位需设置为1.知道了序号的序列化规则,也就能解释前面序号数值与其所需序列化尺寸的关系计算了.

uint64_pack过程类似uint32_pack不再额外分析.
这样处理序号序列化时,首个字节低三位必然是0.我们可以用这三个比特位来存储额外信息.

b.数值序列化
数值序列化需结合数值类型.
b.1. PROTOBUF_C_TYPE_SINT32
首先将序号序列化首字节低三位设置为000.这表示我们会对此字段数值采用Varints编码来执行序列化.

sint32_pack(*(const int32_t *) member, out + rv)
static inline size_t sint32_pack(int32_t value, uint8_t *out)
{
	return uint32_pack(zigzag32(value), out);
}

其序列化过程是先通过zigzag32int32_t数值变换为等价的uint32_t数值,再对变换后数值执行uint32_pack.这个处理已经分析过了.
b.2.PROTOBUF_C_TYPE_ENUM
b.3.PROTOBUF_C_TYPE_INT32
首先将序号序列化首字节低三位设置为000.这表示我们会对此字段数值采用Varints编码来执行序列化.

int32_pack(*(const int32_t *) member, out + rv);
static inline size_t int32_pack(uint32_t value, uint8_t *out) {
	if ((int32_t)value < 0) {
		out[0] = value | 0x80;
		out[1] = (value >> 7) | 0x80;
		out[2] = (value >> 14) | 0x80;
		out[3] = (value >> 21) | 0x80;
		out[4] = (value >> 28) | 0xf0;
		out[5] = out[6] = out[7] = out[8] = 0xff;
		out[9] = 0x01;
		return 10;
	} else {
		return uint32_pack(value, out);
	}
}

上述的处理中当要编码的数值大于0时,我们按uint32_pack对其执行Varints编码即可.但在其数值为负数时,上述首先将一个32比特位的负数的补码扩展到64比特位下此负数的补码,然后按Varints编码规则,依次取低7个比特位构成一个字节,作为序列化结果.直到处理完所有有效位.负数补码下,最高位必然是1,所以需10个字节完成序列化,然后非最后一个字节需将最高比特位设置为1
b.4.PROTOBUF_C_TYPE_UINT32
首先将序号序列化首字节低三位设置为000.这表示我们会对此字段数值采用Varints编码来执行序列化.

uint32_pack(*(const uint32_t *) member, out + rv);

b.5.PROTOBUF_C_TYPE_SINT64
首先将序号序列化首字节低三位设置为000.这表示我们会对此字段数值采用Varints编码来执行序列化.

sint64_pack(*(const int64_t *) member, out + rv);
static inline size_t sint64_pack(int64_t value, uint8_t *out)
{
	return uint64_pack(zigzag64(value), out);
}

数值编码时,先按zigzag将有符号有符号数值转化为一个无符号64位数值,再对其执行Varints编码.
b.6.PROTOBUF_C_TYPE_INT64
b.7.PROTOBUF_C_TYPE_UINT64
首先将序号序列化首字节低三位设置为000.这表示我们会对此字段数值采用Varints编码来执行序列化.

uint64_pack(*(const uint64_t *) member, out + rv);
static size_t uint64_pack(uint64_t value, uint8_t *out)
{
	uint32_t hi = (uint32_t) (value >> 32);
	uint32_t lo = (uint32_t) value;
	unsigned rv;
	if (hi == 0)
		return uint32_pack((uint32_t) lo, out);
	out[0] = (lo) | 0x80;
	out[1] = (lo >> 7) | 0x80;
	out[2] = (lo >> 14) | 0x80;
	out[3] = (lo >> 21) | 0x80;
	if (hi < 8) {
		out[4] = (hi << 4) | (lo >> 28);
		return 5;
	} else {
		out[4] = ((hi & 7) << 4) | (lo >> 28) | 0x80;
		hi >>= 3;
	}
	rv = 5;
	while (hi >= 128) {
		out[rv++] = hi | 0x80;
		hi >>= 7;
	}
	out[rv++] = hi;
	return rv;
}

上述过程依然是对数值按二进制展开后,逐个取低7个比特位构成一个字节,直到处理完毕所有有效比特位.且设置除最后一个字节外的其他字节最高位为1Varints编码过程.采用上述过程处理64位负数时,由于未采用zigzag,故编码会消耗较多字节(10字节).
b.8. PROTOBUF_C_TYPE_SFIXED32
b.9. PROTOBUF_C_TYPE_FIXED32
b.10. PROTOBUF_C_TYPE_FLOAT
首先将序号序列化首字节低三位设置为101.这表示我们会对此字段数值采用32BIT编码来执行序列化.

fixed32_pack(*(const uint32_t *) member, out + rv);
static inline size_t fixed32_pack(uint32_t value, void *out)
{
#if !defined(WORDS_BIGENDIAN)
	memcpy(out, &value, 4);
#else
	uint8_t *buf = out;
	buf[0] = value;// 低8比特位
	buf[1] = value >> 8;// 次低8比特位
	buf[2] = value >> 16;// 次次低8比特位
	buf[3] = value >> 24;// 最高8比特位
#endif
	return 4;
}

即对一个32比特位数值,依次提取低8比特位构成一个输出字节的方式进行序列化.
b.11. PROTOBUF_C_TYPE_SFIXED64
b.12. PROTOBUF_C_TYPE_FIXED64
b.13. PROTOBUF_C_TYPE_DOUBLE
首先将序号序列化首字节低三位设置为001.这表示我们会对此字段数值采用64BIT编码来执行序列化.

fixed64_pack(*(const uint64_t *) member, out + rv);
static inline size_t fixed64_pack(uint64_t value, void *out)
{
#if !defined(WORDS_BIGENDIAN)
	memcpy(out, &value, 8);
#else
	fixed32_pack(value, out);
	fixed32_pack(value >> 32, ((char *) out) + 4);
#endif
	return 8;
}

即对一个64比特位数值,依次提取低8比特位构成一个输出字节的方式进行序列化.
b.14. PROTOBUF_C_TYPE_BOOL
首先将序号序列化首字节低三位设置为000.这表示我们会对此字段数值采用Varints编码来执行序列化.

boolean_pack(*(const protobuf_c_boolean *) member, out + rv);
static inline size_t boolean_pack(protobuf_c_boolean value, uint8_t *out)
{
	*out = value ? TRUE : FALSE;
	return 1;
}

由于bool作为数值只有0,1两种可能.所以上述符合Varints编码对数值的处理.
b.15. PROTOBUF_C_TYPE_STRING
首先将序号序列化首字节低三位设置为010.这表示我们会对此字段数值采用LENGTH_PREFIXED编码来执行序列化.

string_pack(*(char *const *) member, out + rv);
static inline size_t string_pack(const char *str, uint8_t *out)
{
	if (str == NULL) {
		out[0] = 0;
		return 1;
	} else {
		size_t len = strlen(str);
		size_t rv = uint32_pack(len, out);
		memcpy(out + rv, str, len);
		return rv + len;
	}
}

即数值为空指针时,固定占一个字节.指向有效字符串时,先按uint32_pack(len, out)序列化字符串长度,在序列化存储字符串内容.
b.16. PROTOBUF_C_TYPE_BYTES
首先将序号序列化首字节低三位设置为010.这表示我们会对此字段数值采用LENGTH_PREFIXED编码来执行序列化.

binary_data_pack((const ProtobufCBinaryData *) member, out + rv);
static inline size_t binary_data_pack(const ProtobufCBinaryData *bd, uint8_t *out)
{
	size_t len = bd->len;
	size_t rv = uint32_pack(len, out);
	memcpy(out + rv, bd->data, len);
	return rv + len;
}

即先通过uint32_pack(len, out);序列化尺寸尺寸信息,再存储比特流内容部分.
b.17. PROTOBUF_C_TYPE_MESSAGE
首先将序号序列化首字节低三位设置为010.这表示我们会对此字段数值采用LENGTH_PREFIXED编码来执行序列化.

prefixed_message_pack(*(ProtobufCMessage * const *) member, out + rv);
static inline size_t prefixed_message_pack(const ProtobufCMessage *message, uint8_t *out)
{
	if (message == NULL) {
		out[0] = 0;
		return 1;
	} else {
		size_t rv = protobuf_c_message_pack(message, out + 1);
		uint32_t rv_packed_size = uint32_size(rv);
		if (rv_packed_size != 1)
			memmove(out + rv_packed_size, out + 1, rv);
		return uint32_pack(rv, out) + rv;
	}
}

上述是一个递归定义,对字段也是自定义类型的情况.先序列化尺寸信息,再序列化字段内容.

3.2. optional类型字段序列化

static size_t optional_field_pack(const ProtobufCFieldDescriptor *field, const protobuf_c_boolean has, const void *member, uint8_t *out)
{
	if (field->type == PROTOBUF_C_TYPE_MESSAGE || field->type == PROTOBUF_C_TYPE_STRING)
	{
		const void *ptr = *(const void * const *) member;
		if (ptr == NULL || ptr == field->default_value)
			return 0;
	} else {
		if (!has)
			return 0;
	}
	return required_field_pack(field, member, out);
}

当字段类型为MESSAGESTRING时,若字段数值部分为空指针或为字段默认值.不占用序列化空间.
其他类型字段,当其关联has字段为false时,也不占用序列化空间.
其他情况,按required类型序列化字段数据部分即可.

3.3.repeated类型字段序列化
我们进一步分别考察packed方式下序列化,unpacked方式下序列化.
(1). packed方式下序列化
a. 元素数量为0时,不占序列化空间.
b. 对字段序号按执行序列化.

tag_pack(field->id, out);

tag_pack之前分析过.是先对数值左移三位,再对新数值执行varint编码.
首先将序号序列化首字节低三位设置为010
在这里插入图片描述
packed方式下,对包含有效数值的repeated字段序列化结构为上述.
分为三个部分,首个部分为序号,第二部分为数据部分尺寸序列化,尺寸序列化采用varint序列化32无符号数值方式进行.至于数据部分序列化,是对字段下数组元素逐个序列化的过程.
不同元素类型,采用方式不同.
c.1. PROTOBUF_C_TYPE_SFIXED32
c.2. PROTOBUF_C_TYPE_FIXED32
c.3. PROTOBUF_C_TYPE_FLOAT

copy_to_little_endian_32(payload_at, array, count);
static void copy_to_little_endian_32(void *out, const void *in, const unsigned n)
{
#if !defined(WORDS_BIGENDIAN)
	memcpy(out, in, n * 4);
#else
	unsigned i;
	const uint32_t *ini = in;
	for (i = 0; i < n; i++)
		fixed32_pack(ini[i], (uint32_t *) out + i);
#endif
}

即对每个元素分别采用前面required部分介绍的方式序列化.
c.4. PROTOBUF_C_TYPE_SFIXED64
c.5. PROTOBUF_C_TYPE_FIXED64
c.6. PROTOBUF_C_TYPE_DOUBLE

copy_to_little_endian_64(payload_at, array, count);
static void copy_to_little_endian_64(void *out, const void *in, const unsigned n)
{
#if !defined(WORDS_BIGENDIAN)
	memcpy(out, in, n * 8);
#else
	unsigned i;
	const uint64_t *ini = in;
	for (i = 0; i < n; i++)
		fixed64_pack(ini[i], (uint64_t *) out + i);
#endif
}

即对每个元素分别采用前面required部分介绍的方式序列化.
c.7. PROTOBUF_C_TYPE_ENUM
c.8. PROTOBUF_C_TYPE_INT32
c.9. PROTOBUF_C_TYPE_SINT32
c.10. PROTOBUF_C_TYPE_SINT64
c.11. PROTOBUF_C_TYPE_UINT32
c.12. PROTOBUF_C_TYPE_INT64
c.13. PROTOBUF_C_TYPE_UINT64
c.14. PROTOBUF_C_TYPE_BOOL
分别对每个元素采用前面required部分介绍的针对此元素类型的方式序列化.

(2). unpacked方式下序列化
在这里插入图片描述
该方式下,采取的方式是对每个数组元素分别按required部分介绍的方式去序列化.每个数组元素的序列化均由包含id信息的tag及数据自身构成.

3.4.未携带修饰符字段序列化
这里我们补充未携带修饰符字段的序列化

static size_t unlabeled_field_pack(const ProtobufCFieldDescriptor *field, const void *member, uint8_t *out)
{
	if (field_is_zeroish(field, member))
		return 0;
	return required_field_pack(field, member, out);
}
static protobuf_c_boolean field_is_zeroish(const ProtobufCFieldDescriptor *field, const void *member)
{
	protobuf_c_boolean ret = FALSE;
	switch (field->type) {
	case PROTOBUF_C_TYPE_BOOL:
		ret = (0 == *(const protobuf_c_boolean *) member);
		break;
	case PROTOBUF_C_TYPE_ENUM:
	case PROTOBUF_C_TYPE_SINT32:
	case PROTOBUF_C_TYPE_INT32:
	case PROTOBUF_C_TYPE_UINT32:
	case PROTOBUF_C_TYPE_SFIXED32:
	case PROTOBUF_C_TYPE_FIXED32:
		ret = (0 == *(const uint32_t *) member);
		break;
	case PROTOBUF_C_TYPE_SINT64:
	case PROTOBUF_C_TYPE_INT64:
	case PROTOBUF_C_TYPE_UINT64:
	case PROTOBUF_C_TYPE_SFIXED64:
	case PROTOBUF_C_TYPE_FIXED64:
		ret = (0 == *(const uint64_t *) member);
		break;
	case PROTOBUF_C_TYPE_FLOAT:
		ret = (0 == *(const float *) member);
		break;
	case PROTOBUF_C_TYPE_DOUBLE:
		ret = (0 == *(const double *) member);
		break;
	case PROTOBUF_C_TYPE_STRING:
		ret = (NULL == *(const char * const *) member) || ('\0' == **(const char * const *) member);
		break;
	case PROTOBUF_C_TYPE_BYTES:
	case PROTOBUF_C_TYPE_MESSAGE:
		ret = (NULL == *(const void * const *) member);
		break;
	default:
		ret = TRUE;
		break;
	}
	return ret;
}

即先判断是否属于无需序列化场景.否则,按required字段方式执行序列化.

4.从包含序列化内容的缓存区反向序列化并返回对应的类型实例
反序列化是序列化的逆向过程.理解序列化机制下,按相应策略处理即可.不再详细分析.

5.反向序列化返回的类型实例释放
即释放实例对象.释放过程还需将实例对象所关联的相关动态缓存区也一起同步释放才行.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1531491.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【C语言】数组结构体枚举联合详解

主页&#xff1a;醋溜马桶圈-CSDN博客 专栏&#xff1a;C语言_醋溜马桶圈的博客-CSDN博客 gitee&#xff1a;mnxcc (mnxcc) - Gitee.com 目录 1.数据在内存中的存储 1.1 数据类型 1.2 整型在内存中的存储 1.2.1原码、反码、补码 1.2.2 大小端介绍 1.2.2.1 什么是大端小端 …

生骨肉冻干喂养有哪些优点?对猫身体好的生骨肉冻干分享

随着科学养猫知识的普及&#xff0c;生骨肉冻干喂养越来越受到养猫人的青睐。生骨肉冻干不仅符合猫咪的饮食天性&#xff0c;还能提供均衡的营养&#xff0c;有助于维护猫咪的口腔和消化系统健康。很多铲屎官看到了生骨肉冻干喂养的好处&#xff0c;打算开始生骨肉冻干喂养&…

module ‘mpmath‘ has no attribute ‘rational‘ 报错解决

**报错&#xff1a;**AttributeError: module ‘mpmath’ has no attribute ‘rational’ 解决&#xff1a; pip install mpmath1.3.0原因&#xff1a; 最新版本的mpmath有变动&#xff0c;直接使用旧版本即可

【virtio-networking 和 vhost-net 简介】

文章目录 Virtio 基本构建块Virtio spec 和 vhost 协议Vhost-net/virtio-net architectureVirtio-networking and OVS总结参考链接 Virtio 是作为虚拟机 (VM)访问简化device&#xff08;如块设备和网络适配器&#xff09;的 标准化开放接口而开发的。Virtio-net是一种虚拟以太…

some/ip CAN CANFD

关于SOME/IP的理解 在CAN总线的车载网络中&#xff0c;通信过程是面向信号的 当ECU的信号的值发生了改变&#xff0c;或者发送周期到了&#xff0c;就会发送消息&#xff0c;而不考虑接收者是否需要&#xff0c;这样就会造成总线上出现不必要的信息&#xff0c;占用了带宽 …

基于 Vue3打造前台+中台通用提效解决方案(中)

33、实现全屏展示功能 我们知道在原生dom上,提供了一些方法来供我们开启或关闭全屏: Element.requestFullscreen()Document.exitFullscreen()Document.fullscreenDocument.fullscreenElement一般浏览器 使用requestFullscreen()和exitFullscreen()来实现 早期版本Chrome浏…

基于python的4s店客户管理系统

技术&#xff1a;pythonmysqlvue 一、背景 进入21世纪网络和计算机得到了飞速发展&#xff0c;并和生活进行了紧密的结合。目前&#xff0c;网络的运行速度以达到了千兆&#xff0c;覆盖范围更是深入到生活中的角角落落。这就促使管理系统的发展。网上办公可以实现远程处理事务…

NetSuite Saved Search-当前库存快照查询报表

最近&#xff0c;在项目上我们遇到了一个需求是&#xff0c;用户想要在一张报表上&#xff0c;看到某一个仓库中批次物料和非批次物料的库存On Hand信息。 其实&#xff0c;系统也有一张原生的库存当前快照报表&#xff0c;但是由于批次物料会涉及太多的批次信息&#xff0c;因…

力扣---打家劫舍---动态规划

思路 1&#xff1a; 我将res[i]定义为&#xff1a;一定要取第 i 个房子的前提下&#xff0c;能获取的最大金额。那么直接用cnt从头记录到尾&#xff0c;每个房子的res最大值即是答案。那么递推公式是什么&#xff1f;res[i]max(res[i-2],res[i-1],...,res[0])nums[i]。数组初始…

设计模式深度解析:适配器模式与桥接模式-灵活应对变化的两种设计策略大比拼

​&#x1f308; 个人主页&#xff1a;danci_ &#x1f525; 系列专栏&#xff1a;《设计模式》 &#x1f4aa;&#x1f3fb; 制定明确可量化的目标&#xff0c;坚持默默的做事。 适配器模式与桥接模式-灵活应对变化的两种设计策略大比拼 探索设计模式的魅力&#xff1a;深入了…

如何实现在固定位置的鼠标连点

鼠大侠的鼠标连点功能是免费的 浏览器搜索下载鼠大侠&#xff0c;指定连点间隔和启动快捷键 点击设置&#xff0c;指定点击位置

【区间、栈】算法例题

目录 六、区间 48. 汇总区间 ① 49. 合并区间 ② 50. 插入区间 ② 51. 用最少数量的箭引爆气球 ② 七、栈 52. 有效的括号 ① 53. 简化路径 ② 54. 最小栈 ② 55. 逆波兰表达式求值 ② √- 56. 基本计算器 ③ 六、区间 48. 汇总区间 ① 给定一个 无重复元素 的 …

安防监控视频汇聚方案EasyCVR平台调用设备录像不返回视频流的原因排查

国标GB28181协议EasyCVR安防平台可以提供实时远程视频监控、视频录像、录像回放与存储、告警、语音对讲、云台控制、平台级联、磁盘阵列存储、视频集中存储、云存储等丰富的视频能力&#xff0c;平台支持7*24小时实时高清视频监控&#xff0c;能同时播放多路监控视频流&#xf…

使用Pygame做一个乒乓球游戏

项目介绍 使用Pygame做一个乒乓球游戏。左侧为电脑&#xff0c;右侧为玩家。 视频地址-YT 视频搬运-B站 视频教程约90分钟。 代码地址 环境&#xff1a;需要pygame库&#xff0c;可用pip安装&#xff1a;pip install pygame 1. 基础版本 首先进行一些初始化&#xff0c;初始…

MySQL 多表查询与事务的操作

一,多表联查 有些数据我们已经拆分成多个表,他们之间通过外键进行连接.当我们要查询两个表的数据,各取其中的一列或者多列. 这时候就需要使用多表联查. 数据准备: # 创建部门表 create table dept(id int primary key auto_increment,name varchar(20) ) insert into dept (n…

MySQL 多表关系(介绍) 一对多/多对多

一对多 举例介绍 例子: 部门与员工 在常理上来说: 一个部门有多个员工&#xff0c;一个员工只对应一个部门实现方式: 在多的一方建立外键&#xff0c;指向一的一方的主键 多对多 举例介绍 例子: 学生与课程 在常理上来说: 一个学生可以有多个课程,一门课程可以有多个学生实…

热插拔技术(番外)

5、总线热插拔及系统解决方案 在实际运用中&#xff0c;总线上插入板卡时&#xff0c;由于新插入板卡电容的充电以及上电过程中一些低阻抗通道的存在&#xff0c;会产生极大的浪涌电流&#xff0c;拉低总线电平&#xff0c;对总线上其他设备产生干扰&#xff0c;影响总线上其他…

【机器学习】TinyML的介绍以及在运动健康领域的应用

&#x1f9d1; 作者简介&#xff1a;阿里巴巴嵌入式技术专家&#xff0c;深耕嵌入式人工智能领域&#xff0c;具备多年的嵌入式硬件产品研发管理经验。 &#x1f4d2; 博客介绍&#xff1a;分享嵌入式开发领域的相关知识、经验、思考和感悟,欢迎关注。提供嵌入式方向的学习指导…

前端基础篇-深入了解 Ajax 、Axios

&#x1f525;博客主页&#xff1a; 【小扳_-CSDN博客】 ❤感谢大家点赞&#x1f44d;收藏⭐评论✍ 文章目录 1.0 Ajax 概述 2.0 Axios 概述 3.0 综合案例 1.0 Ajax 概述 通过 Ajax 可以给服务器发送请求&#xff0c;并获取服务器响应的数据。异步交互是指&#xff0c;可以在不…

高效编写产品规格书的秘诀与注意事项

高效编写产品规格书的秘诀&#xff1a;学会利用简单的工具&#xff0c;写出效果最佳的产品规格书。比如&#xff0c;你可以使用HelpLook、Markdown编辑器、LaTeX、notion等。 在快节奏的商业环境中&#xff0c;产品规格书是企业向市场展示产品特性和优势的重要工具。一份清晰、…