在本文中，我们将尝试通过跟踪 2D 视频中的动作来渲染人物的 3D 动画。
在 3D 图形中制作人物动画需要大量的运动跟踪器来跟踪人物的动作，并且还需要时间手动制作每个肢体的动画。 我们的目标是提供一种节省时间的方法来完成同样的任务。
我们对这个问题的解决方案包括以下步骤：
- 2D 姿态估计：人体至少需要 17 个标志点才能完整描述其姿态。
- DeepSORT+FaceReID：跟踪姿势的运动。
- 将 2D 提升到 3D：我们从上一步获得的坐标是 2D 的。 为了以 3D 方式制作它们的动画，我们需要将这些 2 维坐标映射到 3 维空间。
- 渲染为 3D：上一步中检测到的这 17 个标志点的坐标现在将是需要动画处理的 3D 角色的四肢关节的位置。
让我们在本文的其余部分详细讨论这些步骤。
1、2D 姿态估计
如上所述，只需指定 17 个关键点（在深度学习社区中称为landmark points）即可完整描述人体姿势。 你可能已经猜到，我们正在使用深度学习来估计人类的姿势（即跨视频帧跟踪人类的姿势）。 有很多最先进的框架（例如 PoseFlow 和 AlphaPose）可以在github上找到，它们已经实现了相当准确的姿势估计。
第一个框架是由 Yuliang Xiu 等人开发的 PoseFlow。 PoseFlow 算法的基本概述是，该框架首先通过最大化视频所有帧的整体置信度来构建姿势。 下一步是使用称为非极大值抑制（通常缩写为 NMS）的技术删除检测到的冗余姿势。
可以在下面附加的 GIF 中看到，使用 PoseFlow（左侧）估计的姿势在某些帧中存在轻微故障。 这给我们带来了下一个框架：AlphaPose。 AlphaPose由Hao-Shu Fang等人开发。 该框架在帧中检测到的人周围绘制边界框，并估计他们在每个帧中的姿势。 即使一个人被另一个人部分遮挡，它也可以检测姿势。
左：PoseFlow 右：AlphaPose
AlphaPose 框架的代码可以在这里找到。
2、DeepSORT + FaceReID
我们使用 Alpha Pose 来检测视频中人类的姿势。 下一步是跟踪他们的动作，以便能够构建平滑的移动动画。 DeepSORT 框架的研究论文可以在这里找到。
使用 DeepSORT 和 FaceReid 边界框的输出，我们通过以下方式分离不同人的姿势。
在每一帧中绘制人体周围的边界框
检查姿势关键点是否在边界框内的函数
分离不同人的姿势的循环
3、令人振奋的 2D 到 3D
如上所述，我们在姿态估计步骤中获得的坐标是二维的（即它们位于二维空间中）。 但为了实现 3D 动画的主要项目目标，这些坐标必须映射到 3 维空间。 这也是使用......你猜对了！......深度学习！ Github 上有一个存储库以及 ICCV ’17 接受的一篇研究论文。 可以在此处找到存储库的链接。
3d-pose-baseline 存储库在 Human3.6M 数据集上训练了他们的模型。 该数据集包含约 360 万人在 17 种不同场景下的 3D 姿势及其相应图像。 简而言之，模型的输入是 360 万人类的图像，所需的输出是数据集中存在的 3D 姿势。 现在，可以构建和调整深度学习模型，直到达到相当的准确度：
4、3D 动画
一旦我们从姿势估计框架中获得了关键点的坐标，就可以将这些坐标提供给 3D 角色身体的每个肢体。 在这里，我们使用Unity作为3D动画环境来完成任务。
每帧的 17 个关键点的坐标存储在一个文本文件中，该文本文件是在 Unity 中使用 C# 读取的。 从文件中读取的坐标现在重新定位到 3D 人形模型中。 这17个关键点与Unity内置的人形头像的身体关键点进行映射。
现在，动画是使用 Unity 的逆运动学（inverse kinematics）、骨骼旋转和四元数完成的。首先看 charanim.cs 的渲染更新函数 update()：
void Update()
{
if (pos == null) {
return;
}
play_time += Time.deltaTime;
int frame = s_frame + (int)(play_time * 24.057f);
if (frame > e_frame) {
play_time = 0;
frame = s_frame;
}
if (debug_cube) {
UpdateCube(frame);
}
Vector3[] now_pos = pos[frame];
Vector3 pos_forward = TriangleNormal(now_pos[7], now_pos[4], now_pos[1]);
bone_t[0].position = now_pos[0] * scale_ratio + new Vector3(init_position.x, heal_position, init_position.z);
bone_t[0].rotation = Quaternion.LookRotation(pos_forward) * init_inv[0] * init_rot[0];
for (int i = 0; i < bones.Length; i++) {
int b = bones[i];
int cb = child_bones[i];
bone_t[b].rotation = Quaternion.LookRotation(now_pos[b] - now_pos[cb], pos_forward) * init_inv[b] * init_rot[b];
}
bone_t[8].rotation = Quaternion.AngleAxis(head_angle, bone_t[11].position - bone_t[14].position) * bone_t[8].rotation;
}其中的 updateCube() 定义如下：
void UpdateCube(int frame)
{
if (cube_t == null) {
cube_t = new Transform[bone_num];
for (int i = 0; i < bone_num; i++) {
Transform t = GameObject.CreatePrimitive(PrimitiveType.Cube).transform;
t.transform.parent = this.transform;
t.localPosition = pos[frame][i] * scale_ratio;
t.name = i.ToString();
t.localScale = new Vector3(0.05f, 0.05f, 0.05f);
cube_t[i] = t;
Destroy(t.GetComponent<BoxCollider>());
}
}
else {
Vector3 offset = new Vector3(1.2f, 0, 0);
for (int i = 0; i < bone_num; i++) {
cube_t[i].localPosition = pos[frame][i] * scale_ratio + new Vector3(0, heal_position, 0) + offset;
}
}
}最终我们得到的结果如下，视频点击这里：
还不错！
5、结束语
总而言之，我们能够实现视频中多个人的姿势估计，并使用 Unity 等 3D 环境制作运动动画，同时还保持视频中两个不同人之间的相对位置。我们项目的 Github 存储库链接可以在这里找到。
