Core模块
Core模块是整个引擎中最核心的模块。几乎UE4中的每个其他模块都导入Core。Engine\Source\Runtime\Core\Private下有很多文件夹,下面罗列一部分:
G:\St\EngineSource\Engine\Source\Runtime\Core\Private 的目录
2024/07/18 12:02 <DIR> .
2024/07/18 12:02 <DIR> ..
2024/08/01 11:29 <DIR> Android
2024/08/01 11:29 <DIR> Apple
2024/08/01 11:29 <DIR> HAL
2024/08/01 11:29 <DIR> IOS
2024/07/18 12:02 <DIR> Linux
2024/07/18 12:02 <DIR> Mac
2024/07/18 12:02 <DIR> Math
2024/07/18 12:02 <DIR> Memory
2024/07/18 12:02 <DIR> Unix
2024/08/01 11:29 <DIR> Windows
本文的目的
首先,标题的这个说法是不完全正确的。正确的说法是:“Core模块的 Core\Private 是被包含的文件夹,但其中的无关的平台的源文件被排除了”。简称为 “ 在编安卓时只会include其中的Engine\Source\Runtime\Core\Private\Android 文件夹 ”。
在编译安卓时,只会include其中的Android,以及和平台无关的文件夹例如Math,而Mac、Unix等其它平台的文件夹,就不会包含在内。本文的目的是为了找到“在编译安卓时只会include其中的Android”的引擎代码逻辑。
以这篇文章介绍的方法( http://t.csdnimg.cn/Rd6am )调试安卓构建。具体的命令如下图:
堆栈
UEBuildModuleCPP.FindInputFilesFromDirectoryRecursive() at G:/St/EngineSource/Engine/Source/Programs/UnrealBuildTool/Configuration/UEBuildModuleCPP.cs:line 1,458
UEBuildModuleCPP.FindInputFiles() at G:/St/EngineSource/Engine/Source/Programs/UnrealBuildTool/Configuration/UEBuildModuleCPP.cs:line 1,403
UEBuildModuleCPP.Compile()
UEBuildBinary.SetupBinaryLinkEnvironment()
UEBuildBinary.Build()
UEBuildTarget.Build()
BuildMode.CreateMakefile()
BuildMode.Build()
BuildMode.Execute()
UnrealBuildTool.Main()
其中的ExcludeNames是
[0] = {string} "Win32"
[1] = {string} "Win64"
[2] = {string} "HoloLens"
[3] = {string} "Mac"
[4] = {string} "XboxOne"
[5] = {string} "PS4"
[6] = {string} "IOS"
[7] = {string} "Linux"
[8] = {string} "LinuxAArch64"
[9] = {string} "AllDesktop"
[10] = {string} "TVOS"
[11] = {string} "Switch"
[12] = {string} "Quail"
[13] = {string} "Lumin"
[14] = {string} "XXX"
[15] = {string} "Windows"
[16] = {string} "Microsoft"
[17] = {string} "Apple"
[18] = {string} "Unix"
[19] = {string} "Sony"
[20] = {string} "Fake"
整个堆栈的解释:
1、本函数(UnrealBuildTool.UEBuildModuleCPP.FindInputFilesFromDirectoryRecursive):如果路径名称字符串包含了上面罗列了字符串之一,那就会被Exclude(剔除)掉;
2、父方法(UnrealBuildTool.UEBuildModuleCPP.FindInputFiles):排除掉其它平台的文件夹后,得到InputFiles,后面会说所谓Input是什么意思;
(图:函数Watch实况)
3、祖先方法(UnrealBuildTool.UEBuildModuleCPP.Compile):这个方法实际上是具体某个Module执行的,作用是编译这个模块(编译这个模块内的所有有必要编译的代码)。但是,不是实际上交给CPU运行底层编译器(cl.exe)的效果,而是做好任务规划,就好像是老师给学生们布置作业一样,这里的作用是把作业清单给布置好。所以前面说的InputFiles就是这样的一份将要交给后续编译器实际编译的“作业清单”了。该方法的签名是:
public override List<FileItem> Compile(ReadOnlyTargetRules Target 目标包含平台信息, UEToolChain ToolChain 值是AndroidToolChai这篇文档不细究其含义, CppCompileEnvironment BinaryCompileEnvironment, FileReference SingleFileToCompile, ISourceFileWorkingSet WorkingSet, TargetMakefile Makefile)
(图:Target的Watch实况,其中我们关注到Platform信息是Android)
TargetMakefile文件是指编译Target时的makefile。Makefile的含义见 http://t.csdnimg.cn/Rd6am 。
4、祖先方法(UnrealBuildTool.UEBuildBinary.SetupBinaryLinkEnvironment):这个方法主要是将所有Modules的所有需要编译的代码文件(InputFiles)都汇总在一起。
每一个模块的InputFiles都会汇聚在 BinaryLinkEnvironment.InputFiles 中:
foreach (UEBuildModule Module in Modules) {
//省略若干代码
LinkInputFiles = Module.Compile(Target, ToolChain, BinaryCompileEnvironment, SingleFileToCompile, WorkingSet, Makefile);
//省略若干代码
foreach (FileItem LinkInputFile in LinkInputFiles)
{
BinaryLinkEnvironment.InputFiles.Add(LinkInputFile);
}
}
5、祖先方法(UnrealBuildTool.UEBuildBinary.Build):这个方法的作用主要是封装了两个函数
SetupBinaryLinkEnvironment 汇聚需要编译的代码文件
ToolChain.LinkAllFiles 编译后的中间文件需要链接(Link),汇聚链接的任务,同样地,它也不是立即调用底层链接器(link-filter.exe)。
即UnrealBuildTool.UEBuildBinary.Build的作用是汇总了所有的编译任务与链接任务。
6、祖先方法(UnrealBuildTool.UEBuildTarget.Build):这个方法的目的是为了构建出单个binary文件,在本案例中是 Binaries/Android/项目名Client-arm64.so 文件;
7、祖先方法(UnrealBuildTool.BuildMode.CreateMakefile):这个方法的目的是准备好Makefile.bin,下面是伪代码
if 存在Makefile,本例子中是 G:\St\我的项目名\Intermediate\Build\Android\我的项目名Client\Development\Makefile.bin :
{
Makefile = 加载该Makefile,见“图:Makefile的加载”;
}
if (Makefile == null)
{
走上面提到的所有方法,获取任务列表;
创建Makefile,并填充任务列表;
}
else
{
针对Makefile中的任务进行再次确认,对于新增的、更新了的代码再次编译与链接;
}
8、祖先方法(UnrealBuildTool.BuildMode.Build):所谓的Mode,主要是指TargetDescriptors中描述的 Target(安卓)和Configuration(Development)。它主要做两件事情:
确认Makefile也就是确认所有的编译、链接任务(UnrealBuildTool.BuildMode.CreateMakefile)
实际让CPU执行这些任务(ActionGraph.ExecuteActions)
9、祖先方法(UnrealBuildTool.BuildMode.Execute)。
10、总入口(UnrealBuildTool.UnrealBuildTool.Main):UBT的总入口。
ExcludeNames
前文提到的ExcludeNames的原理很简单,不细说,代码如下:
调试注意事项
1、每次断点前,都删除掉 G:\St\我的项目名\Intermediate\Build\Android\我的项目名Client\Development\Makefile.bin,目的是可以触发与InputFiles有关的逻辑,也就是分析编译任务、链接任务的逻辑;
2、先断点在 "Core" 这个module上,前提是按照下面方法添加C#代码,断点成功后,再下断点在 UnrealBuildTool.UEBuildModuleCPP.FindInputFilesFromDirectoryRecursive 上
运行数据截图留念
(图:经过过滤后的需要编译的部分文件)
(图:Makefile的加载)
UEBuildTarget.{MyProjectName}Client.json
起初研究这个问题的时候,以为Core模块只include了Engine\Source\Runtime\Core\Private\Android文件夹,但只是说include文件夹中的部分文件被加入到了InputFiles中, Engine\UE4\Source\Runtime\Core\Core.Build.cs 中PrivateIncludePaths包含的是整个 Runtime/Core/Private:
public class Core : ModuleRules
{
public Core(ReadOnlyTargetRules Target) : base(Target)
{
……
PrivateIncludePaths.AddRange(
new string[] {
"Developer/DerivedDataCache/Public",
"Runtime/SynthBenchmark/Public",
"Runtime/Core/Private",
……
在上面打包的过程中,产出了UEBuildTarget.项目名Client.json,里面包含了所有模块的实际 include 的列表。
ModuleRules
ModuleRules是指编译某模块的规则,例如说PrivateIncludePaths需要包含什么路径。它的触发路径是 UEBuildTarget.Create → CreateAllDependentModules → CreateModules → CreateModuleRules() → new 模块类。详见 http://t.csdnimg.cn/Rd6am 。在Core.build.cs中断点可以发现其调用堆栈:
零碎
1、 识别出Action过期的代码是: UnrealBuildTool.ActionGraph.IsActionOutdated
2、 【问AI】在UE4中,.uhtmanifest的作用是什么?下面是它的相关代码,供你参考
FileReference ModuleInfoFileName = FileReference.Combine(Makefile.ProjectIntermediateDirectory, TargetDescriptor.Name + ".uhtmanifest");
ExternalExecution.ExecuteHeaderToolIfNecessary(BuildConfiguration, TargetDescriptor.ProjectFile, TargetDescriptor.Name, Makefile.TargetType, Makefile.bHasProjectScriptPlugin, UObjectModules: Makefile.UObjectModules, ModuleInfoFileName: ModuleInfoFileName, bIsGatheringBuild: bIsGatheringBuild, bIsAssemblingBuild: bIsAssemblingBuild, WorkingSet: WorkingSet);
【AI答】在UE4中,`.uhtmanifest`文件是用于存储模块信息的清单文件。它记录了模块的依赖关系、编译选项和其他相关信息,以便在构建过程中进行模块的编译和链接。
根据提供的代码片段,可以看出它的作用是调用头文件工具(Header Tool)来生成或更新`.uhtmanifest`文件。具体来说,代码中的`ExternalExecution.ExecuteHeaderToolIfNecessary()`函数用于执行头文件工具,并传递相关参数,包括构建配置、项目文件、模块名称、目标类型等。
通过执行头文件工具,UE4可以分析项目的代码和模块依赖关系,并生成或更新`.uhtmanifest`文件。这个清单文件在后续的构建过程中被引擎和编辑器使用,以确保正确的模块编译和链接。
总结起来,`.uhtmanifest`文件在UE4中的作用是记录模块信息,用于构建过程中的模块编译和链接。
3、在找代码的过程中,看到有
Engine\UE4\Source\Developer\Android\AndroidTargetPlatform\AndroidTargetPlatform.Build.cs:4
PublicIncludePaths.AddRange(
new string[]
{
"Runtime/Core/Public/Android"
}
);
它也提到了安卓目录 Runtime/Core/Public/Android,但它位于 AndroidTargetPlatform 模块,一个模块的Rule是不会影响到另一个模块的,所以不用关注它。
Makefile的有效性
在 UnrealBuildTool.TargetMakefile.IsValidForSourceFiles 中看到有很近似的代码,但通过阅读理解可以看出来,它是针对部分源代码文件的增删改情况,令TargetMakefile失效的。当我添加了一个代码cpp文件后,代码见“图:IsValidForSourceFiles ”,就会进入到return false的情况,从而导致重新创建Makefile。下面三件事情有关联:
1、当翻译单元,即cpp文件,不是h文件,有增删改 →
2、需要产生新的Makefile,见“代码块:Makefile赋值为空,并再次创建” →
3、由于Makefile等价于编译、链接的任务清单,所以传给底层编译器的任务就不一样了。
(图:IsValidForSourceFiles )
// UnrealBuildTool.BuildMode.CreateMakefile
string Reason;
if(!TargetMakefile.IsValidForSourceFiles(Makefile, TargetDescriptor.ProjectFile, TargetDescriptor.Platform, WorkingSet, out Reason))
{
Log.TraceInformation("Invalidating makefile for {0} ({1})", TargetDescriptor.Name, Reason);
Makefile = null;
}
……
Makefile = Target.Build(BuildConfiguration, WorkingSet, bIsAssemblingBuild, TargetDescriptor.SingleFileToCompile);
(代码块:Makefile赋值为空,并再次创建)
(图:UEBuildModuleCPP.GetSourceFiles(InputDirectory)方法返回的是翻译单元,即cpp文件,SourceFiles 中包含了 G:\St\EngineSource\Engine\Source\Runtime\Core\Private\Android)
(图:当新增h文件时,Makefile不会失效)
(图:判定文件夹的write时间,从而判断有效性,注意北京时间 = utc + 8)
本文总结
本文找到了“Core模块在编译Android时,实际上只编译Core/Private/Android目录下的文件,而没有编译其它平台的文件”的引擎源码,并进一步地理解“Makefile”“Module”等概念。