动作捕捉技术之人体动捕的简单介绍

#动作捕捉#人体动作捕捉技术（以下简称人体动作捕捉技术）是影视游戏行业常用的技术。它可以实现准确的人体姿势和运动捕捉，但设备昂贵，难以广泛应用于日常生活中。视频人体动作捕捉技术是指输入视频片段捕捉场景中的人体运动信息。基于此技术，人体运动姿势数据可以从互联网上的大量视频中提取，具有广泛的应用场景。

人体动作捕捉技术

人体动作捕捉技术，简称人体动作捕捉技术，是将这些动作姿势数据作为驱动数据驱动虚拟图像模型或行为分析，通过某些传感器捕捉场景中人体运动的姿势或运动数据。这里的传感器可以是惯性传感器IMU，红外光信标(或红外光摄像头)或RGB或者摄像头RGBD摄像头等。可大致分为：

被动人体动捕技术主动人体动捕技术被动人体动捕技术

被动人体动态捕获：此时，人体佩戴反射特定红外激光的光标，并在场景周围部署多个红外激光摄像头。该激光摄像头将主动向人体发射特定的红外激光。当激光击中光标时，它会反射。摄像头通过接受这些反射光来计算每个光标的空间位置。

当然，基于现在RGB据估计，图片的人体姿势技术已经成熟。目前[4、5]相关工作很多，我们有2。D以人体姿势估计为例。通过部署多个相机校准的摄像头，我们可以通过多视角几何在每个摄像头上制作2个D，计算关节点的空间位置。通过这种技术，人体可以实现相对容易的动作采集，而无需佩戴传感器或光标。我们称之为这种技术 视频人体动捕技术 ，我们称之为多个摄像头 如果只有一个摄像头，我们称之为多目视频人体动态捕捉技术 本文主要介绍单目视频人体动捕技术。

主动人体动态捕捉技术

主动人体动态捕获技术需要人体佩戴特定的传感器，可以将特定的激光信息发送到周围部署的摄像头，实现多目定位，或通过牛顿机械原理计算初始位置记住的空间位置状态（我们称之为惯性导航）Fig 如3所示，这类方案通常比较 但是，人体需要佩戴更昂贵的特殊设备，因此，场景仍然受到大规模影视游戏制作的限制。（虽然基于IMU设备通常比红外激光设备便宜，但精度不如光学定位，容易受到环境磁场的干扰)

单目RGB视频占据了互联网的大部分流量，是真正的流量之王。以人为本的视频占这些视频的很大一部分。如果我们能更好地提取人体的动作和姿势信息，它将在很大程度上帮助我们更好地分析和生成虚拟动作，甚至在一定程度上取代依赖专业设备的人体动态捕捉技术，帮助我们制作电影和电视游戏。当然，基于单目视频，有一些信息、投影歧义等信息损失。为了解决这些问题，我们应该或多或少地引入一些先验知识。

动作信息

在影视游戏领域，我们经常要求动画师设计虚拟图像模型，比如Fig 2.1所示。为了设计一些特定的动作，我们通常基于初始状态(通常人体是T形，称为T形)Tpose）修正以获得最终所需的动作。为了实现这一修正，我们需要用关节点来描述模型的每个关键部分，例如Fig 2.1所示，其中pelvis如果将其他连接节点视为多叉树，则将节点视为整个骨架的根节点。这种树状结构，我们称之为 关节点树。

除根节点外，所有其他节点只有旋转信息(通常用欧拉角描述[6])，例如Fig 2.2.分别围绕三元组的欧拉角(即XYZ轴旋转的特定角度)旋转可以实现大部分空间的旋转操作，从而修改模型的动作。注意到我们旋转关节点，关节树下的其他子关节点也会一起移动，这与我们的常识是一致的。回到根关节点，旋转信息表示整个骨架的方向，根节点也有偏移信息，可以表示世界坐标下骨架的空间位置。

Fig 2.2 欧拉角对欧拉角XYZ轴旋转的特定角度可以实现大多数空间的旋转(有时万向节)。

因此，我们可以通过一系列的旋转信息和偏移信息来描述骨架的一系列动作。