【操作系统笔记】链接阶段ELF文件

news2024/12/30 0:58:14

链接阶段:符号解析

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

链接阶段主要包含:

  • 符号解析
  • 重定位

一般情况下,每个 C 文件可以看成一个程序模块,比如下边的main.c就是一个程序模块

#include <stdio.h>

extern int shared; 
int sum(int *a, int n); 

int array[2] = {1, 2}; 
static int m = 10;

static int swap(int *a, int *b) 
{
    int tmp = *a;
    *a = *b;
    *b = tmp; 
}

int main() {
    static int b = 4;
    int val = sum(array, 2); 
    swap (&val, &shared);
    printf("%d, %d\n", val, shared); 
    return val;
}

每个程序模块一般会:

  1. 自己定义一些符号,称为符号定义
  2. 引用其他模块的符号,称为符号引用

符号定义:

  • 全局符号:非静态 C 函数和全局变量,比如上面代码中的 arraymain

  • 局部符号static 修饰的 C 函数和全局变量,相当于 Java/C++ 中的 private 比如上面代码中的 mswap

  • 本地符号:函数内部定义的符号
    1)非静态本地变量,比如上面代码中的val
    2)静态本地变量,比如上面代码中的b

  • 外部符号:引用其他模块定义的全局符号,比如上面代码中的 sharedsum以及 printf

说明:除了非 static 局部符号外,其他符号都是在链接器管理范畴。程序在运行时,函数中本地变量,属于函数调用栈管理。每个程序模块,在编译后,都会有一个符号表,用于记录程序模块中的符号。

上面代码中涉及 3 个外部符号:sharedsumprintf,其中 printf 符号是在 printf.o 程序模块中, gcc 工具会帮你自动找到。sharedsum 符号需要在 sum.o 程序模块中找到。这就是符号解析需要做的工作:输入的其他的程序模块中的符号表中,为每个外部符号,寻找确定的符号定义,并且关联它们。

在这里插入图片描述

链接阶段:重定位(Relocation)

在这里插入图片描述
在这里插入图片描述

  • 汇编后的.o文件中每个指令的位置,只是这条指令在文件中的偏移量,不是内存地址,所以此时.o文件还不能直接加载到内存运行。

  • 在链接阶段,合并所有.o文件中的指令,重新定位这些指令的位置,并为每个指令分配唯一内存地址。还需要重新定位外部符号的内存地址。这就是为什么.o文件称为可重定位目标文件!!!

  • 经过链接之后变成可执行目标文件,这时才可以加载到内存运行。

静态链接库

静态链接:将多个可重定位目标文件,合并成一个可执行目标文件。

在这里插入图片描述

静态库很有用,实现了程序代码的复用。但是,因为静态库的链接属于静态链接,会出现浪费内存的现象。比如,程序 A 和程序 B 都静态链接了 libvector.a 静态库,那么当程序 A 和程序 B 同时在运行时,内存中会有两份 libvector.a 的代码指令。

在这里插入图片描述

将静态链接库编译成动态链接库,就可以解决多份.a文件同时使用会重复浪费内存的问题。

ELF - 可重定位目标文件格式

在这里插入图片描述

一个典型的 ELF 目标文件的格式包含:ELF 头若干个节 (section) 以及描述节的头部表 (节头部表),如下图:

在这里插入图片描述

我们边对照着下面的程序,然后边看看以上每个节都存储些啥。

#include <stdio.h>

extern int shared;

int sum(int *a, int n);

int array[2] = {1, 2};
static int m = 10;
int* arr_p = (int*)&array;

int c;

static int swap(int *a, int *b)
{
    int tmp = *a;
    *a = *b;
    *b = tmp;
}

int main()
{
    static int b = 4;
    static int m;
    int val = sum(array, 2);
    swap(&val, &shared);
    printf("%d, %d\n", val, shared);
    return val;
}
  • .text :用于已编译程序的机器代码,通过下面的命令可以看到 .text 中存储的机器代码
objdump -Dj .text main2.o
// 查看二进制存储
objdump -sj .text main2.o
  • .rodata :用于存储只读数据,比如 printf 语句中的格式串等,通过下面的命令可以查看:
objdump -Dj .rodata main2.o
objdump -sj .rodata main2.o
  • .data :存储已初始化的全局和静态 C 变量,比如 arraym 等。非静态的局部 C 变量在运行的时候被保存在栈中,不会出现在 .data 中,
objdump -Dj .data main2.o
objdump -sj .data main2.o
  • .bss :未初始化的全局和静态 C 变量,以及所有被初始化为 0 的全局或静态变量。
objdump -Dj .bss main2.o
objdump -sj .bss main2.o

在上面的程序中,只有静态变量 m.bss 中,未初始化的全局变量 c ,会出现在可执行目标文件中的 .bss 中,在目标文件中,这个 .bss 节不占据实际的空间,它仅仅是一个占位符。

区分初始化和未初始化变量的目的是为了节省空间,未初始化变量不需要占据任何实际的磁盘空间

在运行的时候,给这些变量分配内存,并初始化为 0,所以所有被初始化为 0 的全局或静态变量也放在 .bss 中。

  • .symtab :符号表,存放程序中定义和引用的函数和全局符号的信息
objdump -t main2.o
  • .rel.text :也可以使用 .rela.text 表示,存储 .text 节中需要重定位的条目
objdump -rj .text main2.o

在这里插入图片描述

一般而言,以下两种情况需要重定位:

  1. 引用全局变量 (不管是内部还是外部)
  2. 调用外部函数

可以通过下面的指令来查看哪些指令需要生成重定位条目:

objdump -dx main2.o
  • .rel.data :也可以使用 rela.data 表示,存储 .data 节中需要重定位的条目
objdump -rj .data main2.o

在这里插入图片描述
以上的重定位条目来源于全局变量 arr_p

一般而言,任何已初始化的全局变量,如果它的初始值是一个全局变量地址或者外部定义函数的地址,都需要重定位。

ELF 文件格式详解

对上面的程序编译成可重定位目标文件,我们可以使用 readelf 来查看 ELF 文件的格式

readelf -all main2.o

我们先看看 ELF Headers

ELF Header:
  Magic:   7f 45 4c 46 02 01 01 00 00 00 00 00 00 00 00 00 
  Class:                             ELF64
  Data:                              2's complement, little endian
  Version:                           1 (current)
  OS/ABI:                            UNIX - System V
  ABI Version:                       0
  Type:                              REL (Relocatable file)
  Machine:                           Advanced Micro Devices X86-64
  Version:                           0x1
  Entry point address:               0x0
  Start of program headers:          0 (bytes into file)
  Start of section headers:          1232 (bytes into file)
  Flags:                             0x0
  Size of this header:               64 (bytes)
  Size of program headers:           0 (bytes)
  Number of program headers:         0
  Size of section headers:           64 (bytes)
  Number of section headers:         14
  Section header string table index: 11

ELF Headers 是以一个 16 字节的数字开头,然后是生成该文件的字节顺序 (小端序)

还描述了文件的类型,这里是 REL ,表示的是可重定位目标文件,还有可执行目标文件,比如 prog 文件

还描述了机器类型,这里是 x86-64,还有节头部表的的文件偏移 (也就是节头部表在文件中起始位置),还有节头部表的大小和节的数目

接下来看看节头部表 (section header table)

Section Headers:
  [Nr] Name              Type             Address           Offset
		Size              EntSize          Flags  Link  Info  Align
  [ 0]                   NULL             0000000000000000  00000000
       0000000000000000  0000000000000000           0     0     0
  [ 1] .text             PROGBITS         0000000000000000  00000040
       0000000000000076  0000000000000000  AX       0     0     1
  [ 2] .rela.text        RELA             0000000000000000  000003f8
       0000000000000090  0000000000000018   I      12     1     8
  [ 3] .data             PROGBITS         0000000000000000  000000b8
       000000000000001c  0000000000000000  WA       0     0     8
  [ 4] .rela.data        RELA             0000000000000000  00000488
       0000000000000018  0000000000000018   I      12     3     8
  [ 5] .bss              NOBITS           0000000000000000  000000d4
       0000000000000004  0000000000000000  WA       0     0     4
  [ 6] .rodata           PROGBITS         0000000000000000  000000d4
       0000000000000008  0000000000000000   A       0     0     1
  [ 7] .comment          PROGBITS         0000000000000000  000000dc
       000000000000002e  0000000000000001  MS       0     0     1
  [ 8] .note.GNU-stack   PROGBITS         0000000000000000  0000010a
       0000000000000000  0000000000000000           0     0     1
  [ 9] .eh_frame         PROGBITS         0000000000000000  00000110
       0000000000000058  0000000000000000   A       0     0     8
  [10] .rela.eh_frame    RELA             0000000000000000  000004a0
       0000000000000030  0000000000000018   I      12     9     8
  [11] .shstrtab         STRTAB           0000000000000000  00000168
       0000000000000066  0000000000000000           0     0     1
  [12] .symtab           SYMTAB           0000000000000000  000001d0
       00000000000001e0  0000000000000018          13    13     8
  [13] .strtab           STRTAB           0000000000000000  000003b0
       0000000000000043  0000000000000000           0     0     1
Key to Flags:
  W (write), A (alloc), X (execute), M (merge), S (strings), l (large)
  I (info), L (link order), G (group), T (TLS), E (exclude), x (unknown)
  O (extra OS processing required) o (OS specific), p (processor specific)

节头部表描述了每一个节所在的位置和大小。包含了下面的 10 个字段:

  • Name 表示节的名称
  • Type 表示节的类型,NULL 表示无效的节,PROGBITS 表示包含了程序代码的节,RELA 表示包含重定位条目的节,STRTAB 表示包含了字符串表的节
  • Address 表示节在内存中的其实地址,因为可重定位目标文件是不可执行的,所以还没有内存地址,可执行文件中会记录每个节的其实内存地址
  • Offset 表示节的在文件中的偏移,也就是节在文件中存储的位置
  • Size 表示节中存储数据的大小
  • EntSize 表示节中每个条目的大小,前提是节中的条目大小是固定长度的,比如 symtab 符号表等
  • Flags 表示节的一些属性,比如 .text 的 flags 为 AX,表示可重定位且可执行
  • Link 表示当前节关联的其他节
  • Info 表示当前节的一些额外信息
  • Align 表示节中存储数据大小对应字节大小对齐,比如 4 字节对齐,8 字节对齐等

接下来看看 .symtab 符号表

Symbol table '.symtab' contains 20 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND 
     1: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS main2.c
     2: 0000000000000000     0 SECTION LOCAL  DEFAULT    1 
     3: 0000000000000000     0 SECTION LOCAL  DEFAULT    3 
     4: 0000000000000000     0 SECTION LOCAL  DEFAULT    5 
     5: 0000000000000008     4 OBJECT  LOCAL  DEFAULT    3 m
     6: 0000000000000000    44 FUNC    LOCAL  DEFAULT    1 swap
     7: 0000000000000000     0 SECTION LOCAL  DEFAULT    6 
     8: 0000000000000000     4 OBJECT  LOCAL  DEFAULT    5 m.2192
     9: 0000000000000018     4 OBJECT  LOCAL  DEFAULT    3 b.2191
    10: 0000000000000000     0 SECTION LOCAL  DEFAULT    8 
    11: 0000000000000000     0 SECTION LOCAL  DEFAULT    9 
    12: 0000000000000000     0 SECTION LOCAL  DEFAULT    7 
    13: 0000000000000000     8 OBJECT  GLOBAL DEFAULT    3 array
    14: 0000000000000010     8 OBJECT  GLOBAL DEFAULT    3 arr_p
    15: 0000000000000004     4 OBJECT  GLOBAL DEFAULT  COM c
    16: 000000000000002c    74 FUNC    GLOBAL DEFAULT    1 main
    17: 0000000000000000     0 NOTYPE  GLOBAL DEFAULT  UND sum
    18: 0000000000000000     0 NOTYPE  GLOBAL DEFAULT  UND shared
    19: 0000000000000000     0 NOTYPE  GLOBAL DEFAULT  UND printf

字段解释:

  • Value 表示符号在对应节中的偏移位置
  • Size 表示符号表示的对象的大小
  • Type 表示符号的类型,NOTYPE 表示没有指定类型,FILE 表示文件类型,SECTION 表示一个节类型,FUNC 表示一个函数,OBJECT 表示的是一个变量
  • Bind 表示 LOCAL 和 GLOBAL
  • Vis
  • Ndx 符号所属的节的 index 值,UND 表示未定义的符号,ABS 表示绝对值,不参与重定位,COM 表示属于 COMMON 节,其他数字表示对应的节的 index
  • Name 表示符号的名字

sections 每节在文件中的具体位置

接下来,我们来看看每一节在可重定位目标文件中的具体位置

在文件的开头是 ELF Header:

ELF Header:
  Magic:   7f 45 4c 46 02 01 01 00 00 00 00 00 00 00 00 00 
  Class:                             ELF64
  Data:                              2's complement, little endian
  Version:                           1 (current)
  OS/ABI:                            UNIX - System V
  ABI Version:                       0
  Type:                              REL (Relocatable file)
  Machine:                           Advanced Micro Devices X86-64
  Version:                           0x1
  Entry point address:               0x0
  Start of program headers:          0 (bytes into file)
  Start of section headers:          1232 (bytes into file)
  Flags:                             0x0
  Size of this header:               64 (bytes)
  Size of program headers:           0 (bytes)
  Number of program headers:         0
  Size of section headers:           64 (bytes)
  Number of section headers:         14
  Section header string table index: 11

Entry point address 等于 0,表示的就是 ELF Header 位于文件开头,

Size of this header 等于 64 字节,表示的是 ELF Header 的大小是 64 个字节,那么 ELF Header 是从 0 ~ 63

Start of section headers 等于 1232 字节,表示的是 section headers table 也就是节头部表位于文件中第 1232 字节,根据这个,我们可以得到节头部表的内容:

Section Headers:
  [Nr] Name              Type             Address           Offset
		Size              EntSize          Flags  Link  Info  Align
  [ 0]                   NULL             0000000000000000  00000000
       0000000000000000  0000000000000000           0     0     0
  [ 1] .text             PROGBITS         0000000000000000  00000040
       0000000000000076  0000000000000000  AX       0     0     1
  [ 2] .rela.text        RELA             0000000000000000  000003f8
       0000000000000090  0000000000000018   I      12     1     8
  [ 3] .data             PROGBITS         0000000000000000  000000b8
       000000000000001c  0000000000000000  WA       0     0     8
  [ 4] .rela.data        RELA             0000000000000000  00000488
       0000000000000018  0000000000000018   I      12     3     8
  [ 5] .bss              NOBITS           0000000000000000  000000d4
       0000000000000004  0000000000000000  WA       0     0     4
  [ 6] .rodata           PROGBITS         0000000000000000  000000d4
       0000000000000008  0000000000000000   A       0     0     1
  [ 7] .comment          PROGBITS         0000000000000000  000000dc
       000000000000002e  0000000000000001  MS       0     0     1
  [ 8] .note.GNU-stack   PROGBITS         0000000000000000  0000010a
       0000000000000000  0000000000000000           0     0     1
  [ 9] .eh_frame         PROGBITS         0000000000000000  00000110
       0000000000000058  0000000000000000   A       0     0     8
  [10] .rela.eh_frame    RELA             0000000000000000  000004a0
       0000000000000030  0000000000000018   I      12     9     8
  [11] .shstrtab         STRTAB           0000000000000000  00000168
       0000000000000066  0000000000000000           0     0     1
  [12] .symtab           SYMTAB           0000000000000000  000001d0
       00000000000001e0  0000000000000018          13    13     8
  [13] .strtab           STRTAB           0000000000000000  000003b0
       0000000000000043  0000000000000000           0     0     1

从上面可以看到 .text 节的 Offset 等于 0x00000040,也就说 .text 是从第 64 个字节开始,也就是位于 ELF Header 后面,.text 节的 Size 等于 0x0000000000000076,也就是 118 字节

.text 是从 64 ~ 181 字节段,对于 .text 需要 4 字节对齐,也就是 .text 实际大小为 120,那么 .text 就是从 64 ~ 183 字节段

接下来是 .data 节,起始位置为 184 字节,即 0xb8, .data 的大小是 0x1c

接下来是 .bss 和 .rodata 节,它们俩的起始位置都是:0xb8 + 0x1c = 0xd4,但是 .bss 是不占据磁盘空间的,只是作为标记而已

所以 0xd4 开始存储的实际上是 .rodata 节,大小为 0x8,接下来是 0xd4 + 0d8 = 0xdc,存储的是 .comment

按照上面的逻辑,可以将每一个部分定位在文件的具体位置上:

在这里插入图片描述
以上,我们可以通过偏移定位到每一个节的位置

在节的内部,也可以通过偏移定位节内的数据,比如符号表中:

Symbol table '.symtab' contains 20 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND 
     1: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS main2.c
     2: 0000000000000000     0 SECTION LOCAL  DEFAULT    1 
     3: 0000000000000000     0 SECTION LOCAL  DEFAULT    3 
     4: 0000000000000000     0 SECTION LOCAL  DEFAULT    5 
     5: 0000000000000008     4 OBJECT  LOCAL  DEFAULT    3 m
     6: 0000000000000000    44 FUNC    LOCAL  DEFAULT    1 swap
     7: 0000000000000000     0 SECTION LOCAL  DEFAULT    6 
     8: 0000000000000000     4 OBJECT  LOCAL  DEFAULT    5 m.2192
     9: 0000000000000018     4 OBJECT  LOCAL  DEFAULT    3 b.2191
    10: 0000000000000000     0 SECTION LOCAL  DEFAULT    8 
    11: 0000000000000000     0 SECTION LOCAL  DEFAULT    9 
    12: 0000000000000000     0 SECTION LOCAL  DEFAULT    7 
    13: 0000000000000000     8 OBJECT  GLOBAL DEFAULT    3 array
    14: 0000000000000010     8 OBJECT  GLOBAL DEFAULT    3 arr_p
    15: 0000000000000004     4 OBJECT  GLOBAL DEFAULT  COM c
    16: 000000000000002c    74 FUNC    GLOBAL DEFAULT    1 main
    17: 0000000000000000     0 NOTYPE  GLOBAL DEFAULT  UND sum
    18: 0000000000000000     0 NOTYPE  GLOBAL DEFAULT  UND shared
    19: 0000000000000000     0 NOTYPE  GLOBAL DEFAULT  UND printf

符号 b 的值位于第 3 节,也就是 .data 节,它在 .data 节的 0x18 这个位置上,也就是第 24 个字节,值为 0x04000000,注意二进制是小端序存储的,所以 0x04000000 实际上是等于 0x00000004

objdump -sj .data main2.o

总结

接下来,我们来总结下 ELF 中所有的表,如下图:
在这里插入图片描述

  • 通过 ELF Header 中的信息,可以知道 ELF Header 的大小,以及节索引表的位置
  • 根据节索引表,就可以找到所有的节
  • 根据符号表,我们就可以知道所有的符号在每一个节中的偏移位置
  • 符号表用于链接阶段中符号解析
  • 链接阶段中的重定位需要用到 .rela.text 和 rela.data 等表

ELF - 可执行目标文件格式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

ELF - 可执行目标文件也是由ELF头节头部表以及若干个节组成。

  • .text.rodata.data.bss这 些节已经被重定位到它们最终的运行时内存地址

  • init 节定义了一个小函数,叫做_init,程序的初始化代码会调用它

  • 因为文件是完全链接的(已被重定位),所以它不再需要 .rela 节了

为了使得 ELF 可执行目标文件更加容易加载到内存,根据指令和数据的特点,将可执行文件连续的节映射到连续的内存段中。

段头部表维护了这层映射关系:

在这里插入图片描述

总结

在这里插入图片描述
在这里插入图片描述

ELF 可执行目标文件格式跟 ELF 可重定位目标文件格式其实是差不多类似的,只不过多了一个 段头部表,另外每个部分的偏移地址被映射成了真实的内存地址。

也就是说,可重定位目标文件(.o文件)中每条指令和数据只有在文件中的相对偏移位置,到了链接阶段,才会真正的为每条指令和数据分配内存地址,因此才能加载到内存中执行,所以此时叫可执行目标文件。

一个程序的内存布局

一个程序需要的内存:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1024359.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

关于RISC-V安全性的全面综述

目录 摘要引言RISC-V安全综述通用平台的安全要求信任的根源与硬件安全模块OTP管理模块安全内存对称加密&#xff08;如AES&#xff09;引擎不对称加密[131]&#xff08;例如&#xff0c;公钥RSA&#xff09;引擎HASH/HAMC引擎随机数/位生成&#xff08;例如TRNG[136]&#xff0…

滴滴 OrangeFS 数据湖存储关键技术揭秘!

2015年&#xff0c;滴滴为解决小文件和图片的存储&#xff0c;成立 GIFT 小对象存储项目。伴随着业务不断成长&#xff0c;我们面临的挑战也越来越多&#xff0c;经历多次非结构化存储架构演进&#xff0c;具体如下图所示&#xff1a; 随着公司不断发展&#xff0c;滴滴的业务有…

基于Java+SpringBoot+Vue的即可运动健身器材网站设计与实现

前言 &#x1f497;博主介绍&#xff1a;✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计划导师、全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌&#x1f497; &#x1f447;&#x1f3fb;…

Spring Boot常见面试题

Spring Boot简介 Spring Boot 是由 Pivotal 团队提供&#xff0c;用来简化 Spring 应用创建、开发、部署的框架。它提供了丰富的Spring模块化支持&#xff0c;可以帮助开发者更轻松快捷地构建出企业级应用。Spring Boot通过自动配置功能&#xff0c;降低了复杂性&#xff0c;同…

ClickHouse进阶(十九):clickhouse管理与运维-权限管理

进入正文前&#xff0c;感谢宝子们订阅专题、点赞、评论、收藏&#xff01;关注IT贫道&#xff0c;获取高质量博客内容&#xff01; &#x1f3e1;个人主页&#xff1a;IT贫道_大数据OLAP体系技术栈,Apache Doris,Kerberos安全认证-CSDN博客 &#x1f4cc;订阅&#xff1a;拥抱…

MySQL数据库——索引(1)-概述以及B-Tree结构

目录 索引概述 介绍 优缺点 索引结构&#xff08;1&#xff09; 介绍 二叉树 B-Tree 索引这一个章节将分为以下几个部分来学习&#xff1a; 索引概述索引结构索引分类索引语法SQL性能分析索引使用索引设计原则 索引概述 介绍 索引&#xff08;index&#xff09;是帮助M…

基于SSM的星空游戏购买下载平台

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;采用JSP技术开发 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#x…

RocketMq(四)消息分类

一、普通消息 1、同步发送消息&#xff1a;指的是Producer发出⼀条消息后&#xff0c;会在收到MQ返回的ACK之后才发下⼀条消息。该方式的消息可靠性最高&#xff0c;但消息发送效率低。 二、顺序消息 三、延时消息

JAVAAndroid实现MQTT上位机软件功能-订阅主题与发布主题

一、前言 本文我们将介绍Android或JAVA程序作为MQTT客户端连接MQTT服务器并订阅主题报文并发布主题报文&#xff0c;由于我的Android使用的也是JAVA语言&#xff0c;因此下面我们将使用IDEA完成JAVA程序&#xff0c;以实现订阅主题和发布主题的功能&#xff0c;该程序也可在后期…

MQ - 08 基础篇_消费者客户端SDK设计(下)

文章目录 导图Pre概述消费分组协调者消费分区分配策略轮询粘性自定义消费确认确认后删除数据确认后保存消费进度数据消费失败处理从服务端拉取数据失败本地业务数据处理失败提交位点信息失败总结导图 Pre

Linux系统编程(会话和进程)

文章目录 前言一、会话的概念二、会话和终端的区别三、终端进程组标识四、创建会话总结 前言 本篇文章我们来讲解会话和进程的概念&#xff0c;会话大家可能比较少见&#xff0c;他的英文名称叫session。 一、会话的概念 在Linux中&#xff0c;会话&#xff08;Session&…

9月15日上课内容 Zookeeper集群 + Kafka集群

Zookeeper 本章结构 Zookeeper 概述 Zookeeper 定义 *&#xff08;了解&#xff09; Zookeeper是一个开源的分布式的&#xff0c;为分布式框架提供协调服务的Apache项目。 Zookeeper 工作机制 *****&#xff08;非常重要&#xff0c;需要掌握&#xff09; Zookeeper从设计模式…

diffusers中DDPMScheduler/AutoencoderKL/UNet2DConditionModel/CLIPTextModel代码详解

扩散模型的训练时比较简单的 上图可见&#xff0c;unet是epsθ是unet。noise和预测出来的noise做个mse loss。 训练的常规过程&#xff1a; latents vae.encode(batch["pixel_values"].to(weight_dtype)).latent_dist_sample() latents latents*vae.config.scali…

QT连接Sqlite

使用QTCreator&#xff1b; 根据资料&#xff0c;Qt自带SQLite数据库&#xff0c;不需要再单独安装&#xff0c;默认情况下&#xff0c;使用SQLite版本3&#xff0c;驱动程序为***QSQLITE***&#xff1b; 首先创建项目&#xff1b;在 Build system 中应选中qmake&#xff0c;…

前端自定义导出PPT

1、背景 前端导出PPT&#xff0c;刚接触这个需求&#xff0c;还是比较懵逼&#xff0c;然后就在网上查找资料&#xff0c;最终确认是可行的&#xff1b;这个需求也是合理的&#xff0c;我们做了一个可视化数据报表&#xff0c;报表导出成PPT&#xff0c;将在线报表转成文档类型…

【数据库系统概论】关系数据库中的关系数据结构

前言关系关系模式关系数据库关系模型的存储结构感谢 &#x1f496; 前言 上一篇文章【数据库系统概论】数据模型介绍了数据库系统中的数据模型的基本概念。其中提到了关系模型是最重要的一种数据模型。下面将介绍支持关系模型的数据库系统——关系数据库。 按照数据模型的三大…

蓝牙核心规范(V5.4)10.5-BLE 入门笔记之HCI

HCI全称:HOST Constroller Interface 主机控制器接口(HCI)定义了一个标准化的接口,通过该接口,主机可以向控制器发出命令,并且控制器可以与主机进行通信。规范被分成几个部分,第一部分仅从功能的角度定义接口,不考虑具体的实现机制,而其他部分定义了在使用四种可能的…

Mac 上如何安装Mysql? 如何配置 Mysql?以及如何开启并使用MySQL

前言&#xff1a; 有许多开发的小伙伴&#xff0c;使用的是mac&#xff0c;那么在mac上如何安装&#xff0c;配置Mysql&#xff0c;以及使用Mysql了&#xff0c;今天来一个系统的教程。 安装Mysql 使用mysql前&#xff0c;我们需要先下载mysql&#xff0c;并按照以下几个步骤…

【Oracle】Oracle系列之四--用户管理

文章目录 往期回顾前言1. 创建/删除用户&#xff08;1&#xff09;创建用户&#xff08;2&#xff09;修改口令&#xff08;3&#xff09;删除用户 2. 用户授权管理&#xff08;1&#xff09;对用户直接授权&#xff08;2&#xff09;通过角色对用户授权 往期回顾 【Oracle】O…

Nodejs 相关知识

Nodejs是一个js运行环境&#xff0c;可以让js开发后端程序&#xff0c;实现几乎其他后端语言实现的所有功能&#xff0c;能够让js与其他后端语言平起平坐。 nodejs是基于v8引擎&#xff0c;v8是Google发布的开源js引擎&#xff0c;本身就是用于chrome浏览器的js解释部分&#…