【学习笔记】虚幻SkeletalMesh学习（一）基础介绍

文章目录

- 零、前言
- 一、资源介绍
- - 1.1 骨架资源
  - 1.2 骨架网格体资源
- 二、UE4中的定义
- - 2.1 骨骼数据
  - 2.2 模型网格数据
- 三、渲染
- - 3.1 RenderData的初始化
  - 3.2 渲染对象的创建
  - 3.3 渲染对象的更新
  - - 3.3.1 游戏线程的更新（*FSkeletalMeshObjectGPUSkin::Update*）
    - 3.3.2 渲染线程的更新（*FSkeletalMeshObjectGPUSkin::UpdateDynamicData_RenderThread*）
  - 3.4 Shader浅析
- 四、类图
- 参考文章

零、前言

本文大量内容来自网络文章，整理作为笔记。

感谢各位原作者！

一、资源介绍

1.1 骨架资源

骨架资源，是整个动画系统的基础。

其主要作用是记录了骨架以下信息：

骨骼层级信息
参考姿势信息
骨骼名称插槽（Socket）信息
曲线（Curve）信息
动画通知（Animation Notify）信息
插槽数据（插槽名称、所属骨骼、Transform等）
虚拟骨骼信息
骨骼名称Index映射表
其他骨骼设置信息：包括位移重定向（Translation Retarget）设置，LOD设置等信息

请添加图片描述

1.2 骨架网格体资源

骨骼模型是在骨骼基础之上的模型，通俗来说就是绑定骨骼后的网格体。

其主要包含以下信息：

模型的顶、线、面信息
顶点的骨骼蒙皮权重
模型的材质信息
模型LOD信息
Morph Target信息
Physics Asset（物理）设置信息
布料系统相关设置

在这里插入图片描述

二、UE4中的定义

2.1 骨骼数据

骨骼相关的数据都封装在USkeleton类，其中包括了骨架数据、插槽、重定向等逻辑。

USkeleton并不会直接使用自身的数据，而是会生成一个FReferenceSkeleton，存储骨骼姿势数据，来提供给Mesh来使用。

在这里插入图片描述

FReferenceSkeleton中，将所有的原始Bone数据分成两份：

一份存储Bone的名字和父节点的索引，一份是Bone的Transform。

请添加图片描述

其中，FMeshBoneInfo的数据结构保存BoneName和父节点的索引。

在这里插入图片描述

还包含了其他的数据信息，例如Name和Index的关系。

在这里插入图片描述

2.2 模型网格数据

FFbxImporter::ImportSkeletalMesh，负责将导入的模型生成FSkeletalMeshModel对象（USkeletalMesh的一个编辑器成员变量）。

该对象存储着模型网格的几何数据。

在这里插入图片描述

SkeletalMesh存在多个LOD，每个LOD等级下的三角形面数，顶点数是不同的。
FSkeletalMeshModel中存储了各个LOD等级的模型信息（FSkeletalMeshLODModel）。

在这里插入图片描述

在FSkeletalMeshLODModel中，主要包含了如下的数据：
在这里插入图片描述

FSkelMeshSection，表示一组使用相同材质的三角形网格数据。

存储了FSoftSkinVertex的数组。
FSoftSkinVertex，表示一个顶点，包含了Position、UV、Normal等，以及每个顶点受影响的骨骼索引和权重。

在这里插入图片描述

经Debug可以得知：

骨骼权重用uint8整数表示，最大骨骼权重值为255, 所有骨骼的权重加起来等于255，真正的骨骼权重只需要除以255。

在这里插入图片描述

Section中的BoneMap，存储的是这个Section使用到的Bone在骨骼树上的真正索引。

在这里插入图片描述

FSoftSkinVertex存储的骨骼索引InfluenceBones是“虚拟骨骼索引”，而非真正的骨骼索引。想要获得真正的骨骼索引，需要进行一次转换。即经历Section的BoneMap的映射才得到真正的骨骼索引。

代码如下：

在这里插入图片描述

如图所示，LOD0中有两个Section，Section0使用了60个骨骼，而Section1仅有4个骨骼。

在这里插入图片描述

可以通过**骨骼树信息（FReferenceSkeleton）**看出Section1使用的是哪些骨骼：
在这里插入图片描述

三、渲染

3.1 RenderData的初始化

FSkeletalMeshModel数据不会在运行时使用，运行时使用的是由该几何数据初始化的FSkeletalMeshRenderData（渲染数据）对象。

在RunTime中，Mesh相关的几何数据实际存储FSkeletalMeshRenderData渲染数据中。

在这里插入图片描述

在导入模型的过程中，会调用FSkeletalMeshRenderData::Cache对RenderData进行初始化。

逐级遍历ImportedModel的的LOD，调用FSkeletalMeshLODRenderData::BuildFromLODModel，来实现数据的初始化。

代码分析如下：

1）用ImportedModel中的Sections数据，来初始化LODRenderData的Section信息。

在这里插入图片描述

2）获取顶点数据等，来初始化Mesh的各种VertexBuffer。

在这里插入图片描述

Buffer的Layout：

Position [Section0] [Section1]…
Tangent和UV同上

3）初始化蒙皮权重缓冲等

在这里插入图片描述

如有颜色，初始化颜色缓冲
在这里插入图片描述
如ClothData的初始化

…

4）拷贝ActiveBoneIndices和RequiredBones数据

在这里插入图片描述

上述介绍了编辑器下导入模型创建RenderData的过程。

而运行时，RenderData是创建是来自于USkeletalMesh::Serialize序列化。

在这里插入图片描述

3.2 渲染对象的创建

USkinnedMeshComponent::CreateRenderState_Concurrent，在该函数中会进行一些渲染相关数据的创建。

其中，会由SkeletalMesh的SkelMeshRenderData（FSkeletalMeshRenderData）创建出MeshObject（FSkeletalMeshObject）。

创建之后，MeshObject将常驻内存，轻易不会销毁。

FSkeletalMeshObject：渲染对象的基类，通过该对象从Game线程往渲染线程传递数据。

会根据选项创建其子类。子类如有：

FSkeletalMeshObjectCPUSkin
FSkeletalMeshObjectGPUSkin
FSkeletalMeshObjectStatic

在这里插入图片描述

UE4默认是GPU蒙皮，以FSkeletalMeshObjectGPUSkin为例：

在其构造函数里，调用了FSkeletalMeshObjectGPUSkin::InitResources。

在该方法主要是遍历LODs（FSkeletalMeshObjectLOD的数组），调用FSkeletalMeshObjectGPUSkin::FSkeletalMeshObjectLOD::InitResources。

初始化顶点蒙皮权重缓存：MeshObjectWeightBuffer
初始化颜色缓存，MeshObjectColorBuffer
获取RenderLODData中的顶点数据，存到中间变量FVertexFactoryBuffers
用Buffers初始化MeshObjectLOD成员变量GPUSkinVertexFactories（FVertexFactoryData对象），初始化GPUSkin顶点工厂
如果有布料数据，则拿FVertexFactoryBuffers也初始化ClothVertexFactories

3.3 渲染对象的更新

FSkeletalMeshObject::Update，该函数实现了将GameThread更新后的DynamicData发送至渲染线程。

调用堆栈如下：

在这里插入图片描述
在UActorComponent::DoDeferredRenderUpdates_Concurrent中会检查组件当前帧bRenderTransformDirty与bRenderDynamicDataDirty是否为真。

bRenderTransformDirty为真表示Transform发生了变化，调用SendRenderTransform_Concurrent用于更新渲染线程的Transform数据。
bRenderDynamicDataDirty为真表示DynamicData的数据发生变化，调用SendRenderDynamicData_Concurrent更新DynamicData。

调用MarkRenderDynamicDataDirty会将bRenderDynamicDataDirty标记为真。

其调用堆栈如下：

在动画更新完成后，会进行调用，从而触发渲染数据的更新。

在这里插入图片描述

FSkeletalMeshObject::Update，不同的MeshObject，更新的数据不同。

下面以FSkeletalMeshObjectGPUSkin为例，进行介绍。

3.3.1 游戏线程的更新（FSkeletalMeshObjectGPUSkin::Update）

其更新的数据是：FDynamicSkelMeshObjectDataGPUSkin。

存储用来更新蒙皮顶点的矩阵，在GameThread被创建，当更新时会发送到渲染线程。

其部分数据结构如下：

// 蒙皮矩阵相关
TArray<FMatrix> ReferenceToLocal;
TArray<FMatrix> PreviousReferenceToLocal;
TArray<FTransform> MeshComponentSpaceTransforms;

流程如下：

1、InitMorphResources

更新激活的MorphTarget和对应的权重，并会筛选出影响Mesh的曲线，剔除不需要的。

2、InitDynamicSkelMeshObjectDataGPUSkin

初始化GPU蒙皮数据，使用新的动态数据更新 ReferenceToLocal 矩阵。

该函数的主要逻辑：

（1）调用UpdateRefToLocalMatrices，更新ReferenceToLocal

（2）调用UpdatePreviousRefToLocalMatrices，更新PreviousReferenceToLocal

（3）调用UpdateClothSimulationData，更新布料模拟Mesh的顶点位置和法线

UpdateRefToLocalMatrices和UpdatePreviousRefToLocalMatrices，二者的差别在于ComponentTransform。

前者是GetComponentSpaceTransforms，后者是GetPreviousComponentTransformsArray。

二者核心都是调用UpdateRefToLocalMatricesInner，计算蒙皮矩阵。

蒙皮矩阵的作用：将顶点从模型空间下的绑定姿势，变换到模型空间下的当前动画姿势。

蒙皮矩阵计算前后都是Local Space。

所以需要先将顶点变换到骨骼空间，再应用骨骼全局姿势矩阵。

绑定姿势矩阵：每骨骼的全局绑定姿势矩阵，用于将顶点从某骨骼空间变换到模型空间。

绑定姿势逆矩阵：用于将顶点从模型空间变换到骨骼空间。

在该函数中，先遍历所有会对蒙皮产生影响的骨骼，获取其 Component Space Bone Transform 对应的矩阵（即从Bone Space 变到当前的 Local Space），对于不对蒙皮产生影响的骨骼，这里会保持为 Identity 矩阵。

然后，遍历所有骨骼，乘上 Ref-Pose ，Bone Space 到 Local space 的变化矩阵的逆矩阵（即从 Local Space 变回 Bone Space）。

在这里插入图片描述

3、将动态数据更新命令发送到渲染线程

在这里插入图片描述

3.3.2 渲染线程的更新（FSkeletalMeshObjectGPUSkin::UpdateDynamicData_RenderThread）

1、调用FreeDynamicSkelMeshObjectDataGPUSkin，释放上一帧的DynamicData。

2、调用ProcessUpdatedDynamicData，具体处理传输的数据。

ProcessUpdatedDynamicData的主要逻辑如下：

遍历当前LOD的Section，获得每个Section的顶点工厂VertexFactory。
更新顶点工厂的ShaderData，FGPUBaseSkinVertexFactory::FShaderDataType::UpdateBoneData。

在 UpdateBoneData 中，UE 并不会将蒙皮矩阵全部传到 GPU。对于任意一个 section，UE 只会传递这个 section 用到的骨骼。

在这里插入图片描述

将蒙皮矩阵写入VertexBuffer（BoneBuffer）中。

3.4 Shader浅析

SKeletalMesh使用的顶点工厂是：FGPUBaseSkinVertexFactory

通过IMPLEMENT_GPUSKINNING_VERTEX_FACTORY_TYPE宏，将GPU蒙皮的VertexFactory与对应的Shader（GpuSkinVertexFactory.ush）进行了绑定。

在这里插入图片描述

打开GpuSkinVertexFactory.ush，可以看到包含一大堆宏定义代码。

最好的方式是用RenderDoc截帧一下，获取一份不带宏的示例代码。

XXVertexFactory.ush 使用了模板函数，需要定义接口的函数和结构。后续会整理一个文档。

输入布局FVertexFactoryInput的定义：

Position，模型顶点位置
BlendIndices，影响顶点的骨骼Index列表
BlendWeights，影响顶点的骨骼权重列表

struct FVertexFactoryInput
{
	float4 Position : ATTRIBUTE0;
	float3  TangentX : ATTRIBUTE1;
	float4  TangentZ : ATTRIBUTE2;
	uint4 BlendIndices : ATTRIBUTE3;
	uint4 BlendIndicesExtra : ATTRIBUTE14;
	float4 BlendWeights : ATTRIBUTE4;
	float4 BlendWeightsExtra : ATTRIBUTE15;
	float2 TexCoords[ 1 ] : ATTRIBUTE5;
	float3 PreSkinOffset : ATTRIBUTE11;
	float3 PostSkinOffset : ATTRIBUTE12;
	float4 Color : ATTRIBUTE13;
};

FVertexFactoryIntermediates的定义

struct FVertexFactoryIntermediates
{
	float3x4  BlendMatrix;
	float3 UnpackedPosition;
	float3x3 TangentToLocal;
	float4 Color;
};

这是一个Caching机制（只计算一次）的结构。

主要是获取了位置、BlendMatrix、TangentToLocal矩阵、颜色。

FVertexFactoryIntermediates GetVertexFactoryIntermediates(FVertexFactoryInput Input)
{
	FVertexFactoryIntermediates Intermediates;
	Intermediates.UnpackedPosition = UnpackedPosition(Input);
	Intermediates.BlendMatrix = CalcBoneMatrix( Input );
	Intermediates.TangentToLocal = SkinTangents(Input, Intermediates);
	Intermediates.Color = Input.Color.rgba ;
	return Intermediates;
}

其中，CalcBoneMatrix为计算加权后的蒙皮矩阵，具体的逻辑如下：

线性蒙皮，将所有对该顶点有影响的骨骼变换矩阵，乘上权重再累加起来，得到一个完整的蒙皮矩阵。
支持4骨骼或8骨骼蒙皮

float3x4  GetBoneMatrix(int Index)
{
	float4 A = BoneMatrices[Index * 3];
	float4 B = BoneMatrices[Index * 3 + 1];
	float4 C = BoneMatrices[Index * 3 + 2];
	return  float3x4 (A,B,C);
}

float3x4  CalcBoneMatrix( FVertexFactoryInput Input )
{
	float3x4  BoneMatrix = Input.BlendWeights.x * GetBoneMatrix(Input.BlendIndices.x);
	BoneMatrix += Input.BlendWeights.y * GetBoneMatrix(Input.BlendIndices.y);
	BoneMatrix += Input.BlendWeights.z * GetBoneMatrix(Input.BlendIndices.z);
	BoneMatrix += Input.BlendWeights.w * GetBoneMatrix(Input.BlendIndices.w);
	if (NumBoneInfluencesParam >  4 )
	{
		BoneMatrix += Input.BlendWeightsExtra.x * GetBoneMatrix(Input.BlendIndicesExtra.x);
		BoneMatrix += Input.BlendWeightsExtra.y * GetBoneMatrix(Input.BlendIndicesExtra.y);
		BoneMatrix += Input.BlendWeightsExtra.z * GetBoneMatrix(Input.BlendIndicesExtra.z);
		BoneMatrix += Input.BlendWeightsExtra.w * GetBoneMatrix(Input.BlendIndicesExtra.w);
	}

	return BoneMatrix;
}

对于VS而言，是计算顶点的世界位置，具体的计算如下：

顶点乘上混合后的蒙皮矩阵，再乘以Local到世界的变换矩阵。

float3 SkinPosition( FVertexFactoryInput Input, FVertexFactoryIntermediates Intermediates )
{
	float3 Position = Intermediates.UnpackedPosition;
	Position += Input.PreSkinOffset;
	Position = mul(Intermediates.BlendMatrix, float4(Position, 1));
	Position += Input.PostSkinOffset;
	return Position;
}

float4 CalcWorldPosition(FVertexFactoryInput Input, FVertexFactoryIntermediates Intermediates)
{
	return TransformLocalToTranslatedWorld(SkinPosition(Input, Intermediates));
}
float4 VertexFactoryGetWorldPosition(FVertexFactoryInput Input, FVertexFactoryIntermediates Intermediates)
{
	return CalcWorldPosition(Input, Intermediates);
}