LLVM 后端执行流程

异构计算程序工作流程

在这里插入图片描述

图4-1中的LLVM后端的主要功能是代码生成，其中包括若干指令生成分析转换pass，将LLVM IR 转换为特定目标架构的机器代码

LLVM 流水线结构

在这里插入图片描述

输入指令经过图4-2中的各个阶段，从最初的LLVM IR，逐步演化为SelectionDAG、MachineDAG、MachineInstr，最后由MCInst 输出可执行的二进制代码或汇编代码

这其中经过的各个阶段是不同的分析转换pass，主要包括指令选择(Instrunction Selection)、指令调度(Instrunction Scheduling), 寄存器分配(Register Allocation)、以及代码发射(Code Emission)

不同目标后端应根据实际需要，对不同pass做定制化。指令选择、指令调度和寄存器分配是后端流程中最重要的3个组成部分

LLVM 后端执行流程

SelectionDAG 的创建

首先，SelectionDAGBuilder 模块遍历LLVM IR中每一函数，以及函数中的每一个基本块，并将其中的指令转换成SDNode对象，整个基本块相应地转换为Selection DAG 对象。SelectDAG 对象的创建过程采用窥孔优化算法，DAG中每个节点的内容仍是LLVM IR指令

在这里插入图片描述

图4-3以一个C/C++语言实现的函数为例，显示了LLVM IR 与 SelectionDAG的对应关系

图4-3的LLVM IR 中只有一个基本块。当SelectionDAGBuilder模块检测到IR指令时，调用相应的visit()函数

例如，如果IR指令为sdiv操作，则调用visitSDIV() 函数，将两个操作数保存为SD-Vaule对象，并从DAG中获取SDNode节点，以ISD::SDIV作为操作符

在图4-3所示的sdiv节点中，操作数0为%add，操作数1为%c

用类似的方法处理完所有IR指令后，IR被转换为如图4-3所示的SelectionDAG。每个DAG表示一个基本块中的计算，不同的基本块与不同的DAG关联

DAG中的节点表示计算，节点之间的边可以有不同的含义。DAG中的每个SDNode节点会维护一个记录，其中保存了本节点对其他节点的各种依赖关系

这些依赖关系可能是数据依赖(本节点使用了其他节点定义的值)，也可能是控制流依赖(本节点的指令必须在其他节点的指令执行后才能执行)

这种依赖关系通过SDValue对象表示，SDValue对象中封装了指向关联节点的指针和被影响结果的的序列号。也可以说，DAG中的操作顺序通过DAG边的使用-定值关系确定

例如，图4-3中的sdiv节点中有一条输出边连接到add节点，这意味着add节点定义了一个会被sdive中使用的值

因此，add操作必须在sdiv节点之前执行。SelectionDAG中的节点依赖关系可总结为如下三类

黑色箭头表述数据流依赖。数据流依赖表示当前节点依赖前一节点的结果。DAG中大部分节点依赖关系是数据流依赖
虚线彩色箭头表示非数据流链依赖。链依赖可以防止副作用节点，确定两个不相关指令的顺序。例如，如果加载和保存指令访问的是相同的内存位置，就必须确保它们的执行顺序与其在原程序中的顺序一致。图中的CopyToReg节点操作必须在RET_FLAG节点之前发生，因为它们之间是链依赖
彩色箭头表示粘合(glue)依赖。粘合依赖是用来防止两个指令调度后被分开，即它们中间不能插入其他指令

将IR转换为DAG很重要，因为可以让代码生成器使用基于树的模式匹配指令选择算法。此时的SelectionDAG与目标设备无关，但对于具体目标设备而言，DAG中有些指令可能不合法。因为不同目标设备支持的指令集不同，指令集中的指令IR指令可能没有对应关系

例如，x86不支持sdiv而是支持sdivrem

合法化

由SelectionDAGBuilder 模块输出的SelectionDAG 不是机器指令，不能做指令选择。在生成机器指令之前，DAG节点还要经过几个转换阶段，其中合法化(legalization)是最重要的阶段

执行合法化的原因是SelectionDAGBuilder 模块构造SDNode节点中的指令操作数类型和操作不一定能被目标平台支持。因此，SDNode节点的合法化及操作数类型的合法化和操作的合法化

目标平台一般不可能为IR中的所有操作提供指令支持。因此，操作合法化的目的是将这些平台不支持的操作三种方式转换成平台支持的操作

1. 扩展(Expansion): 即用一组操作来模拟一个操作
1. 提升(Promotion): 即将数据转换成更大的类型来支持操作
1. 定制(Custom): 即通过目标平台相关的钩子程序(hook) 实现合法化

例如，LLVM IR 的sdiv只计算商，而x86除法指令计算得到商和余数，并分别保存在两个寄存器中。因为指令选择可区分sdivrem和sdiv，因此，当目标平台不支持sdiv时，需要在合法化阶段将sdiv扩展到sdivrem指令

在这里插入图片描述

目标平台相关信息可通过TargetLowering接口传递给SelectionDAG，如图4-4所示

LLVM后端会实现该接口，并描述如何将LLVM IR指令用合法的SelectionDAG操作实现。例如，x86的TargetLowering构造合法函数通过Expand标志来标识需要扩展的节点

当SelectionDAGLegalize::LegalizeOp()方法检测到sdiv节点的Expand标志时，便可用sdivrem替换sdiv节点

与此类似，与目标平台相关的合并方法可识别节点组合模式，并决定是否合并某些节点组合以提高指令选择质量

类型合法化的目的是保证后续的指令选择处理的数据类型都合法。合法数据是目标平台原生支持的数据类型，目标平台的td文件中会为每一种数据类型定义关联的寄存器类如：

def FPRegs : RegisterClass<"SP", [f32], 32, (sequence "F%u", 0, 31)>
def DFPRegs : RegisterClass<"SP", [f64], 64, (add D0, D1, D2, D3, D4, D5, D6, D7, D8, D9)>

FPRegs 寄存器类定义了一组32个从F0～F31单精度浮点类型的寄存器，DFPRegs 寄存器类定义了一组16个从D0～D15双精度浮点类型的寄存器

如果平台的td文件的寄存器类没有定义相应的数据类型，则对平台来说，该数据类型就是非法数据类型。非法数据类型必须被删除，或者视非法数据类型不同，做相应处理

如果非法数据类型为标量，则可以将较小的非法类型转换为较大的合法类型。例如，平台只支持i32，那么i1/i8/i16都要提升到i32，使其合法化

或者将较大的非法类型拆分成多个小的合法类型。例如，如果目标平台只支持i32，那么加法的i64操作数就是非法类型。在这种情况下，可通过整数扩展(integer expansion)，将i64操作数分解成两个i32操作数，并产生相应的节点，使其合法化

如果非法数据类型为矢量，则可以将大的非法矢量操作拆分成多个，可以被平台支持的，小的矢量。或者将非法矢量操作数标量化(scalarizing),即在不支持SIMD的平台上，将矢量拆分为多个标量进行运算

指令选择

SelectionDAG 对象经过合法化和其他优化处理，DAG中的节点被映射为目标指令，这个映射过程称为指令选择

指令选择是LLVM后端中的一个重要阶段。这个阶段的输入是经过合法化的SelectionDAG。从耗时方面来说，指令选择占用了后端编译总耗时的一半。指令选择通过节点模式匹配完成DAG到DAG的转换，将SelectionDAG 节点转换为目标指令节点，也就是将LLVM IR指令转换为机器指令，所以转换后的DAG又称为machineDAG，可以用来执行基本块中的运算

LLVM的指令是一种在TableGen辅助下实现的基于表的指令选择机制。目标平台的后端可以在SelectionDAGISel::Select()函数中通过定制代码处理某些指令

其他指令通过TableGen生成的匹配表(MatcherTable)和SelectCode()函数，由LLVM默认的指令选择过程完成ISD和平台ISD到机器指令节点的映射

例如，在x86后端中，经过合法化的sdivrem操作就是由定制代码做指令选择
Select()函数的输入SDNode节点如果是sdivrem，会选择对应的x86指令IDIV32r，并生成一个MachineSD节点

MachineSD 节点是SDNOde的子集，其内容是平台机器指令，但仍然以DAG节点的是形式表手。以下三种类型指令表达可在同一个DAG中共存：一般LLVM ISD节点(如ISD::ADD)、平台相关ISD节点(如X86ISD::RET_FLAG)和平台指令(如X86::ADD32ri8)

指令调度

指令选择完成后得到以machineDAG格式表示的基本块，其内容虽然是机器指令，但仍然是以DAG形式存在

而CPU/GPU 不能执行DAG，只能执行指令的线性序列。因此，需要在machineDAG上进行指令调度，确定基本块中指令的执行顺序，将DAG节点线性化

指令调度分为寄存器分配前(pre-RA) 指令调度和寄存器分配后(post-RA) 指令调度。最简单的寄存器分配前指令调度是指将DAG中的节点按拓扑结构排序，在考虑指令级的并行性的同时，生成线性发射指令序列。经过该阶段后的指令转换为MachineInstr格式的3地址。此后，DAG表示形式不再使用，可以销毁

寄存器分配后指令调度处理MachineInstr格式的机器指令，并可以利用物理寄存器信息和硬件架构特性，根据性能指标需要，对指令顺序做调整