干货一文详解三维运动捕捉技术

Xsens动作捕捉 2022-11-10 11087

《阿凡达》、《复仇者联盟》、《指环王》……一大批优秀的动画电影令动作捕捉技术得以被大众了解。

干货一文详解三维运动捕捉技术  第1张
《阿丽塔:战斗天使》

为了捕捉动作,动作捕捉专家在演员身上安装了各种传感器。这些追踪和记录他们的动作,使他们能够在电脑屏幕上被实时映射成一个虚拟的“骨架”。然后动画师使用计算机程序覆盖骨架上的信息,创建一个虚拟的动作事件。

干货一文详解三维运动捕捉技术  第2张
运动员全身装上Marker球

什么是动作捕捉?

动作捕捉(Motion Capture)又称动态捕捉,是指动作捕捉是指记录并处理人或其它物体动作的技术。它广泛应用于军事、娱乐、体育、医疗、机器人技术等诸多领域,是人体工效学和生物力学相关研究中的重要研究方法。

干货一文详解三维运动捕捉技术  第3张

动作捕捉的历史

动作捕捉技术的源起普遍被认为是费舍尔(Fleischer)在1915年发明的影像描摹(rotoscope)。这是一个通过追踪真人动作片段来制作动画电影的过程。在动画的早期,这是创造逼真的人形角色的首选方法。最著名的是,它被用来创建白雪公主在迪斯尼的白雪公主和七个小矮人,第一个动画戏剧电影。有些电影甚至完全通过影像描摹技术制作动画!

干货一文详解三维运动捕捉技术  第4张
影像描摹(rotoscope)

动作捕捉技术结合了影像描摹技术和新的计算机技术,使得人们不必经过绘制过程就可以使用现场连续镜头作为动画的基础。然而,直到近年动作捕捉才开始在真人电影中有重要的应用。真正的突破是在《魔戒三部曲》通过动作捕捉完全创造了咕噜姆这个角色,彻底改变了人们对这项技术的看法。

干货一文详解三维运动捕捉技术  第5张
《魔戒三部曲》安迪·瑟金斯出演咕噜姆

从那时起,以动作捕捉技术创造主要人物的电影变得越来越普遍,技术也越来越先进。现在,演员穿上覆盖着追踪点的全身服装,这对应着计算机生成图像(CGI)模型中的关键位置。摄像机记录点的位置和它们之间不断变化的距离,建立一个框架,以此为基础制作动画。这种服装可以让电影制作者记录下他们的整个身体动作。另外,还有其他的方法可以用来追踪身体的特定部位。例如,面部动作捕捉帽被用来创建逼真的面部动画。

干货一文详解三维运动捕捉技术  第6张
《霍比特人》中的史矛革

什么是三维动作捕捉系统

三维动作捕捉系统是在三维空间中全面记录物体运动的设备,根据原理不同分为机械式运动捕捉、声学式运动捕捉、电磁式运动捕捉、光学式运动捕捉和惯性式运动捕捉。当前市面上主流的三维动作捕捉设备主要是后两种技术。

干货一文详解三维运动捕捉技术  第7张
Qualisys光学运动捕捉摄像头


干货一文详解三维运动捕捉技术  第8张
Xsens惯性运动捕捉传感器

光学式运动捕捉

常见的光学式运动捕捉大多基于计算机视觉原理,它又可以分为基于Marker点和非Marker点的动作捕捉。

基于Marker点的动作捕捉需要在目标物体的关键位置贴上反光点,俗称Marker点,利用高速红外摄像机捕捉目标物体上反光点的运动轨迹,从而反映目标物体在空间中的运动情况。从理论上说,对于空间中的一个点,只要它能同时为两部相机所见,则根据同一时刻两部相机所拍摄的图像和相机参数,可以确定这一时刻该点在空间中的位置。

例如,对于人体进行运动捕捉时,经常需要在人体的各个关节和骨性标志处贴上反光球,通过红外高速摄像机拍摄反光点的运动轨迹,随后进行分析和处理,还原人体在空间的运动。


干货一文详解三维运动捕捉技术  第9张
光学式运动捕捉Marker点

近些年来,随着计算机科学的发展,另一种非Marker点的技术正在迅速发展,该方法主要利用图像识别和分析技术,直接对计算机拍摄的图像进行分析。该技术是受到环境干扰最厉害的一种,光线、背景、遮挡等变量都可能对捕捉效果产生较大的影响。

干货一文详解三维运动捕捉技术  第10张
图像识别技术对人体姿态的自动识别

惯性式运动捕捉

另外一种较为常见的动作捕捉系统是基于惯性传感器(Inertial Measurement Unit, IMU)的动作捕捉,实际上就是将芯片集成封装成小的模块绑定在身体的各个环节,通过芯片记录的人体环节的空间运动,后期通过计算机进行算法分析从而转化为人体的运动数据。由于惯性捕捉主要是在环节点固定惯性传感器(IMU),通过传感器的运动进行计算位置变化,因此惯性捕捉不容易受到外界环境的影响。但是从效果来进行对照的话,惯性捕捉的精度不如光学捕捉的效果。

干货一文详解三维运动捕捉技术  第11张
惯性三维运动捕捉

三维动作捕捉系统的应用

三维动作捕捉系统应用广泛,除了前文提到的在影视动画以及游戏方面的应用外,还应用于虚拟现实、人机功效、康复医学、船舶姿态检测等等,且随着科技的不断发展,未来必定还有更多的可拓展的发展方向。

干货一文详解三维运动捕捉技术  第12张
三维捕捉应用案例

在军事、体育、医疗等领域,它主要用来记录人体在不同运动情况下的动作信息,为军事装备设计、运动技术分析、损伤预防和术后康复等提供科学指导。

干货一文详解三维运动捕捉技术  第13张
三维运动捕捉数字模型

在工业领域,它也应用于船舶、无人机等姿态追踪,通过反映真实情况下的运动学参数,帮助设计者调整设计方案。

干货一文详解三维运动捕捉技术  第14张
三维运动捕捉应用案例(水下机器人)

如何选择三维动作捕捉系统?

一般来说,三维动作捕捉系统的选择主要考虑以下两个方面:

根据捕捉场景

光学式和惯性式动作捕捉适用于不同的动作捕捉场景。光学式动作捕捉设备的捕捉的范围受摄像头数量的限制,易受环境影响。由于需要捕捉场景中的标记点,标记点的遮盖和环境中的反光体(玻璃、镜面)都会干扰摄像头数据的采集。因此,光学式动作捕捉适用于运动范围固定且环境中无噪点的区域。相比光学式动作捕捉系统,惯性式动作捕捉对于大范围的运动更加方面易行,且不受光线、环境等因素的影响,适用于环境复杂且运动区域较大的数据采集。

干货一文详解三维运动捕捉技术  第15张

根据精度需求

现有市面上的光学式动作捕捉的设备已经可以达到毫米级别的精度,而惯性式动作捕捉的精度与光学式目前仍存在差距。通常科学研究中的动作捕捉都会优先选取动作光学式动作设备。同样,电影中的面部表情等的拍摄,通常使用光学捕捉来完成,如果是简单的关节或者动作捕捉,则通常采用惯性捕捉方案。

三维动作捕捉系统介绍

Qualisys

瑞典Qualisys运动捕捉系统可适应潮湿、水下等极端环境条件,在运动科学、生物力学、工业检测等科研领域有较好的应用。

干货一文详解三维运动捕捉技术  第16张
Qualisys三维捕捉系统适应极端环境(水下)


干货一文详解三维运动捕捉技术  第17张
△Qualisys三维捕捉系统适应极端环境(雪地)

Xsens

目前惯性动作捕捉成熟度较高是荷兰的一家动作捕捉公司Xsens,他们从20世纪初就开始进行该领域的探索。最近又开发出一款可穿戴惯性传感器开发套装Xsens DOT,集传统惯性传感器以及便携式传感器优点于一体,通过手机app完成数据的采集,不仅可以采集运动中的相邻两个关节的角度和加速度等参数外,还可以对数据采集软件的代码进行查看编辑,以求共同开发发展,价格也比较理想。

干货一文详解三维运动捕捉技术  第18张
Xsens DOT惯性动作捕捉传感器开发套装
干货一文详解三维运动捕捉技术  第19张
扫描上方二维码关注官方公众号(INFO_instruments)获取更多运动捕捉信息

The End