Postgresql源码（115）LLVM JIT运行逻辑分析（上）

news2024/9/19 16:34:42

1 JIT入口开关

  1. 总入口：jit_enabled打开 且 生成计划成本超过jit_above_cost启动JIT。
    • 计划成本超过jit_optimize_above_cost，执行PGJIT_OPT3使用O3对IR进行优化。
    • 计划成本超过jit_inline_above_cost，执行PGJIT_INLINE。
    • jit_expressions开关如果打开，执行PGJIT_EXPR表达式优化。
    • jit_tuple_deforming开关如果打开，执行PGJIT_DEFORM优化拆解元组流程。
standard_planner
	...
	...
	result->jitFlags = PGJIT_NONE;
	
	if (jit_enabled && jit_above_cost >= 0 &&
		top_plan->total_cost > jit_above_cost)
	{
		result->jitFlags |= PGJIT_PERFORM;

		/*
		 * Decide how much effort should be put into generating better code.
		 */
		if (jit_optimize_above_cost >= 0 &&
			top_plan->total_cost > jit_optimize_above_cost)
			result->jitFlags |= PGJIT_OPT3;
		if (jit_inline_above_cost >= 0 &&
			top_plan->total_cost > jit_inline_above_cost)
			result->jitFlags |= PGJIT_INLINE;

		/*
		 * Decide which operations should be JITed.
		 */
		if (jit_expressions)
			result->jitFlags |= PGJIT_EXPR;
		if (jit_tuple_deforming)
			result->jitFlags |= PGJIT_DEFORM;
	}

2 从表达式堆栈进入JIT逻辑jit_compile_expr

《Postgresql源码（113）表达式JIT计算简单分析》

#0  jit_compile_expr (state=0x1deae18) at jit.c:180
#1  0x000000000071fa6b in ExecReadyExpr (state=0x1deae18) at execExpr.c:874
#2  0x000000000071e60b in ExecInitExpr (node=0x1dfabb8, parent=0x0) at execExpr.c:152
#3  0x00000000008b3395 in evaluate_expr (expr=0x1dfabb8, result_type=23, result_typmod=-1, result_collation=0) at clauses.c:4892
#4  0x00000000008b26f8 in evaluate_function (funcid=1397, result_type=23, result_typmod=-1, result_collid=0, input_collid=0, args=0x1dfab68, funcvariadic=false, func_tuple=0x7fd9588871a8, context=0x7ffdd8867f20) at clauses.c:4409

...

3 jit_compile_expr初始化加载llvmjit.so

jit_compile_expr
	provider_init
		load_external_function(path, "_PG_jit_provider_init", true, NULL)

dlopen动态加载llvmjit.so，并调用so中的_PG_jit_provider_init初始化：

void
_PG_jit_provider_init(JitProviderCallbacks *cb)
{
	cb->reset_after_error = llvm_reset_after_error;
	cb->release_context = llvm_release_context;
	cb->compile_expr = llvm_compile_expr;
}

为provider配置入口函数：

typedef struct JitProviderCallbacks JitProviderCallbacks;

struct JitProviderCallbacks
{
	JitProviderResetAfterErrorCB reset_after_error;
	JitProviderReleaseContextCB release_context;
	JitProviderCompileExprCB compile_expr;
};

static JitProviderCallbacks provider;

jit_compile_expr继续调用hook：provider.compile_expr进入llvm逻辑：

jit_compile_expr
	provider_init
	provider.compile_expr(state)  -> llvm_compile_expr

4 llvm_compile_expr执行初始化llvm_create_context

llvm_create_context初始化生成LLVMJitContext结构：

typedef struct JitContext
{
	/* see PGJIT_* above */
	int			flags;

	ResourceOwner resowner;

	JitInstrumentation instr;
} JitContext;

typedef struct LLVMJitContext
{
	JitContext	base;               // 上面的JIT FLAG、ResourceOwner
	size_t		module_generation;  // 当前context存了几个Module？
	LLVMModuleRef module;           // 当前正在使用的module
	bool		compiled;           // 已经编译过了？
	List	   *handles;            // 所有挂在当前context下的module
} LLVMJitContext;

llvm_create_context初始化流程

llvm_create_context
	llvm_session_initialize
		【库函数】LLVMInitializeNativeTarget
		【库函数】LLVMInitializeNativeAsmPrinter
		【库函数】LLVMInitializeNativeAsmParser
		【库函数】LLVMContextSetOpaquePointers
		
		读取llvmjit_types.bc中需要的类型、函数签名：llvm_create_types
			LLVMCreateMemoryBufferWithContentsOfFile
			LLVMParseBitcode2
			LLVMDisposeMemoryBuffer
			
		【库函数】LLVMGetTargetFromTriple
		...
		【库函数】LLVMLoadLibraryPermanently
		
		llvm_ts_context = LLVMOrcCreateNewThreadSafeContext
		llvm_opt0_orc = llvm_create_jit_instance
			【库函数】若干
			传入机器信息，构造LLVMJIT环境
			【库函数】若干
			LLVMOrcJITTargetMachineBuilderCreateFromTargetMachine
			【库函数】若干
			LLVMOrcCreateLLJIT
			
		llvm_opt3_orc = llvm_create_jit_instance
			【库函数】若干
			传入机器信息，构造LLVMJIT环境
			【库函数】若干
			LLVMOrcJITTargetMachineBuilderCreateFromTargetMachine
			【库函数】若干
			LLVMOrcCreateLLJIT
			
	ResourceOwnerEnlargeJIT

从llvmjit_types.bc读取的类型、函数

	/*
	 * Load triple & layout from clang emitted file so we're guaranteed to be
	 * compatible.
	 */
	llvm_triple = pstrdup(LLVMGetTarget(llvm_types_module));
	llvm_layout = pstrdup(LLVMGetDataLayoutStr(llvm_types_module));

	TypeSizeT = llvm_pg_var_type("TypeSizeT");
	TypeParamBool = load_return_type(llvm_types_module, "FunctionReturningBool");
	TypeStorageBool = llvm_pg_var_type("TypeStorageBool");
	TypePGFunction = llvm_pg_var_type("TypePGFunction");
	StructNullableDatum = llvm_pg_var_type("StructNullableDatum");
	StructExprContext = llvm_pg_var_type("StructExprContext");
	StructExprEvalStep = llvm_pg_var_type("StructExprEvalStep");
	StructExprState = llvm_pg_var_type("StructExprState");
	StructFunctionCallInfoData = llvm_pg_var_type("StructFunctionCallInfoData");
	StructMemoryContextData = llvm_pg_var_type("StructMemoryContextData");
	StructTupleTableSlot = llvm_pg_var_type("StructTupleTableSlot");
	StructHeapTupleTableSlot = llvm_pg_var_type("StructHeapTupleTableSlot");
	StructMinimalTupleTableSlot = llvm_pg_var_type("StructMinimalTupleTableSlot");
	StructHeapTupleData = llvm_pg_var_type("StructHeapTupleData");
	StructTupleDescData = llvm_pg_var_type("StructTupleDescData");
	StructAggState = llvm_pg_var_type("StructAggState");
	StructAggStatePerGroupData = llvm_pg_var_type("StructAggStatePerGroupData");
	StructAggStatePerTransData = llvm_pg_var_type("StructAggStatePerTransData");

	AttributeTemplate = LLVMGetNamedFunction(llvm_types_module, "AttributeTemplate");

在这里插入图片描述
读取到的所有类型、函数指针等记录在全局变量llvm_types_module中，用llvm_pg_var_type等函数调用LLVM库函数转换为LLVM能识别的类型、函数。

5 llvm_compile_expr创建module

创建Module需要的llvm_triple、llvm_layout都来自llvm_create_types函数，读取llvmjit_types.bc拿到的信息。

LLVMModuleRef
llvm_mutable_module(LLVMJitContext *context)
{
	llvm_assert_in_fatal_section();

	/*
	 * If there's no in-progress module, create a new one.
	 */
	if (!context->module)
	{
		context->compiled = false;
		context->module_generation = llvm_generation++;
		context->module = LLVMModuleCreateWithName("pg");
		LLVMSetTarget(context->module, llvm_triple);
		LLVMSetDataLayout(context->module, llvm_layout);
	}

	return context->module;
}

在这里插入图片描述

6 llvm_compile_expr新增函数到module中

llvm_compile_expr

新增函数到module

	eval_fn = LLVMAddFunction(mod, funcname,
							  llvm_pg_var_func_type("TypeExprStateEvalFunc"));

函数中加BB

	entry = LLVMAppendBasicBlock(eval_fn, "entry");

按表达式分支逻辑为BB添加代码

			case EEOP_FUNCEXPR_STRICT:
				{
					FunctionCallInfo fcinfo = op->d.func.fcinfo_data;
					LLVMValueRef v_fcinfo_isnull;
					LLVMValueRef v_retval;

					if (opcode == EEOP_FUNCEXPR_STRICT)
					{
						LLVMBasicBlockRef b_nonull;
						LLVMBasicBlockRef *b_checkargnulls;
						LLVMValueRef v_fcinfo;

						/*
						 * Block for the actual function call, if args are
						 * non-NULL.
						 */
						b_nonull = l_bb_before_v(opblocks[opno + 1],
												 "b.%d.no-null-args", opno);

						/* should make sure they're optimized beforehand */
						if (op->d.func.nargs == 0)
							elog(ERROR, "argumentless strict functions are pointless");

						v_fcinfo =
							l_ptr_const(fcinfo, l_ptr(StructFunctionCallInfoData));

						/*
						 * set resnull to true, if the function is actually
						 * called, it'll be reset
						 */
						LLVMBuildStore(b, l_sbool_const(1), v_resnullp);

						/* create blocks for checking args, one for each */
						b_checkargnulls =
							palloc(sizeof(LLVMBasicBlockRef *) * op->d.func.nargs);
						for (int argno = 0; argno < op->d.func.nargs; argno++)
							b_checkargnulls[argno] =
								l_bb_before_v(b_nonull, "b.%d.isnull.%d", opno,
											  argno);

						/* jump to check of first argument */
						LLVMBuildBr(b, b_checkargnulls[0]);

						/* check each arg for NULLness */
						for (int argno = 0; argno < op->d.func.nargs; argno++)
						{
							LLVMValueRef v_argisnull;
							LLVMBasicBlockRef b_argnotnull;

							LLVMPositionBuilderAtEnd(b, b_checkargnulls[argno]);

							/*
							 * Compute block to jump to if argument is not
							 * null.
							 */
							if (argno + 1 == op->d.func.nargs)
								b_argnotnull = b_nonull;
							else
								b_argnotnull = b_checkargnulls[argno + 1];

							/* and finally load & check NULLness of arg */
							v_argisnull = l_funcnull(b, v_fcinfo, argno);
							LLVMBuildCondBr(b,
											LLVMBuildICmp(b, LLVMIntEQ,
														  v_argisnull,
														  l_sbool_const(1),
														  ""),
											opblocks[opno + 1],
											b_argnotnull);
						}

						LLVMPositionBuilderAtEnd(b, b_nonull);
					}

					v_retval = BuildV1Call(context, b, mod, fcinfo,
										   &v_fcinfo_isnull);
					LLVMBuildStore(b, v_retval, v_resvaluep);
					LLVMBuildStore(b, v_fcinfo_isnull, v_resnullp);

					LLVMBuildBr(b, opblocks[opno + 1]);
					break;
				}

7 （核心步骤）ExecRunCompiledExpr对module进行编译、优化、执行

ExecRunCompiledExpr找到jit函数并执行，惰性编译、优化。

ExecRunCompiledExpr
	llvm_get_function
		重要：llvm_compile_module
		LLVMOrcLLJITLookup

在找函数执行时，编译这一步是核心逻辑，编译会对上面逻辑进行优化处理：

llvm_compile_module
	llvm_inline
	llvm_optimize_module

优化一：llvm_inline

、llvm_build_inline_plan会查询module里面的function，到函数目录查找对应的bc文件，并加载bc文件中函数的逻辑（增加LLVM编译后，所有源码文件都会用clang额外生成一个bc文件，提供给inline使用）。function_inlinable函数会检查当前函数引用的其他函数时候能inline。

优化二：llvm_optimize_module

将IR过一遍PASS，下一篇继续分析后面的流程。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1080894.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

MES生产管理系统 MES系统

MES生产管理系统 MES系统

MES生产管理系统 MES系统 MES包括ERP及生产管理&#xff0c;主要有销售&#xff0c;采购&#xff0c;仓库&#xff0c;财务&#xff0c;设备管理&#xff0c;生产&#xff0c;报工&#xff0c;质量管理模块。适用于各行各业的生产情况。 1.销售模块&#xff08;销售订单&…
阅读更多...
证件照如何自己换底色？快速证件照换底色方法

证件照如何自己换底色？快速证件照换底色方法

提交证件照信息的时候&#xff0c;通常需要满足一些规定&#xff0c;比如某一种背景底色&#xff0c;当不符合要求的时候&#xff0c;我们该怎么更换证件照底色呢&#xff1f;其实可以使用证件照换背景&#xff08;证件照换背景 证件照换颜色 照片换背景-压缩图&#xff09;工具…
阅读更多...
Android Studio git 取消本地 commit(未Push)

Android Studio git 取消本地 commit(未Push)

操作比较简单 1.选中项目然后依次选择&#xff1a;Git->Repository->Reset HEAD 2.然后再to Commit中输入HEAD^&#xff0c;表示退回到上一个版本。
阅读更多...
c++中什么时候用double?

c++中什么时候用double?

c中什么时候用double? 在C中&#xff0c;通常使用double数据类型来表示浮点数&#xff0c;特别是当需要更高的精度时。以下是一些情况下可以考虑使用double的示例&#xff1a; 1. **需要高精度的计算**&#xff1a;当您需要进行精确的浮点数计算时&#xff0c;double通常比flo…
阅读更多...
CANoe从零学习第2期课程，全新上线！

CANoe从零学习第2期课程，全新上线！

课程内容的视频解读 CANoe编程宝典课程内容介绍 课程内容的视频解读&#xff0c;复制链接&#xff0c;打开抖音查看 &#xff1a;CANoe编程宝典课程内容介绍 - 抖音
阅读更多...
2023年中国划船机产量、销量及市场规模分析[图]

2023年中国划船机产量、销量及市场规模分析[图]

划船机是一种健身器材&#xff0c;它模拟了划船的运动&#xff0c;可以锻炼身体的肌肉力量和协调性。划船机通常由座椅、把手、脚踏板和传动装置组成&#xff0c;使用者可以通过拉动把手来模拟划船的动作&#xff0c;从而达到锻炼身体的目的。 划船机产业链 资料来源&#xff…
阅读更多...
4+1视图与UML

4+1视图与UML

目录 逻辑视图过程视图开发视图物理视图&#xff08;部署视图&#xff09;用例视图 41视图&#xff0c;即逻辑视图&#xff0c;过程视图&#xff0c;实现视图&#xff0c;部署视图&#xff0c;用例视图。 为什么不用一个视图&#xff1f; 针对多个用户&#xff0c;即终端用户&a…
阅读更多...
史上最强，Jmeter接口测试-dubbo接口实战（超级详细）

史上最强，Jmeter接口测试-dubbo接口实战（超级详细）

目录&#xff1a;导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结&#xff08;尾部小惊喜&#xff09; 前言 1、dubbo插件准备…
阅读更多...
微信开发工具构建npm and git切换分支

微信开发工具构建npm and git切换分支

目录 git切换分支NPM构建 git切换分支 案例&#xff1a; 再次查看分支就会发现自己的分支已切换&#xff0c;然后需要重新构建NPM一次 NPM构建 记得安装一下这个&#xff0c;然后在构建 如果未安装NPM&#xff0c;这时候需要打开命令端&#xff0c;安装操作&#xff0c;操作…
阅读更多...
Logseq插件市场打不开问题处理

Logseq插件市场打不开问题处理

我的处理步骤: 1. 切换代理模式: 默认的system-> sockets: 按照下图所示 2. 再次切换, socks->system, 搞定
阅读更多...
【计算机网络】-基础知识

【计算机网络】-基础知识

1.计算机网络&#xff08;计算机技术通信技术&#xff09;的结合 ICTITCT 2.计算机分类1&#xff1a;通信子网&#xff08;通信节点、通信链路&#xff09;&#xff0c;资源子网&#xff08;PC、服务器&#xff0c;类似终端节点&#xff09; 分类2&#xff1a;网络的结构,例如…
阅读更多...
typora、picgo与gitee配置

typora、picgo与gitee配置

typora、picgo与gitee配置 typoragitee注册新建仓库配置仓库私人令牌右上角选择“设置”选择私人令牌后生成新令牌设置私人令牌描述与权限帐号安全验证 初始化readme picgo国内可下载链接插件设置图床设置picgo设置 typora偏好设置图库接入 处理以前笔记中的图片 一直以来用的w…
阅读更多...
java线程池超详细解析

java线程池超详细解析

java线程池超详细解析 一、线程池主要核心原理二、线程池代码实现三、自定义线程池1、自定义线程池原理2、自定义线程池参数3、自定义线程池任务拒绝策略3、代码实现 四、线程池多大合适呢&#xff1f; 一、线程池主要核心原理 创建一个池子&#xff0c;池子中是空的提交任务时…
阅读更多...
SAP/BW 开发人员安装Eclipse详细过程和踩的坑

SAP/BW 开发人员安装Eclipse详细过程和踩的坑

之前一直用的HANA STUDIO做BW开发&#xff0c;但是一直各种BUG,就想换成Eclipse&#xff0c;CSDN有几篇写的安装过程&#xff0c;但还是踩了点小坑&#xff0c;记下来当自己笔记&#xff0c;以后再按得时候看一眼。 1.安装的思路 其实没什么思路&#xff0c;就很简单&#xf…
阅读更多...
【java学习】包package和引用import（22）

【java学习】包package和引用import（22）

文章目录 1. 为什么需要package包2. JDK中主要的包介绍 1. 为什么需要package包 在java中包的概念就是和文件夹的概念类似&#xff0c;同样&#xff0c;包的存在也是为了解决以上的问题&#xff08;文件太乱不好管理和同名文件冲突&#xff09;          package语句作…
阅读更多...
多线程代码中，如何查看各个线程的状态（JAVA）

多线程代码中，如何查看各个线程的状态（JAVA）

首先我们先编写一个简单的多线程代码&#xff1a; class MyThread extends Thread{Overridepublic void run() {while (true) {System.out.println("创建的一个新线程");//让循环慢一点try {Thread.sleep(1000);} catch (InterruptedException e) {throw new Runtim…
阅读更多...
萝卜刀玩具上架亚马逊CPC认证测试标准

萝卜刀玩具上架亚马逊CPC认证测试标准

含铅或含铅涂料儿童产品的要求 分阶段限制儿童产品所有部件的铅含量&#xff0c;要求在3年内将产品任何可接触部件的铅含量限制从不超过重量的600ppm&#xff08;0.06%&#xff09;降至不超过重量的100ppm&#xff08;0.01%&#xff09;。 铅含量限值&#xff08;总铅含量占重…
阅读更多...
基于DeOldify的给黑白照片、视频上色

基于DeOldify的给黑白照片、视频上色

老照片常常因为当时的技术限制而只有黑白版本。然而现代的 AI 技术&#xff0c;如 DeOldify&#xff0c;可以让这些照片重现色彩。 本教程将详细介绍如何使用 DeOldify 来给老照片上色。 文章目录 准备工作执行代码图片上色视频上色 总结 准备工作 这里用 git clone 命令克隆…
阅读更多...
opencv python 深度学习垃圾图像分类系统 计算机竞赛

opencv python 深度学习垃圾图像分类系统 计算机竞赛

0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; opencv python 深度学习垃圾分类系统 &#x1f947;学长这里给一个题目综合评分(每项满分5分) 难度系数&#xff1a;3分工作量&#xff1a;3分创新点&#xff1a;4分 这是一个较为新颖的竞…
阅读更多...
17、vivado打开保存的仿真文件

17、vivado打开保存的仿真文件

1、保存 仿真完成后直接点击保存&#xff0c;输入wcfg文件名称即可。 2、打开 打开原来保存的波形文件&#xff0c;需分两步走。 首先打开wdb文件&#xff0c;Flow&#xff0c;Open Static simulation&#xff1b; 之后再打开原来保存的wcfg文件&#xff0c; File -> Si…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023