打造虚拟人？且看动作捕捉如何撞破虚拟和现实之间的次元壁

作为2021年至今的热度关键词，虚拟人所收到的关注至今居高不下，尤其是其作为元宇宙的“原住民”和“敲门砖”的身份，在过去、当下及未来很长一段时间，都将是行业关注、探索、尝试的核心。

虽然，虚拟人产业尚未形成成熟的生态体系，但已经发展出了由技术层、平台层、应用层组成的产业链结构，将技术层中各独立技术进行串联、应用在具体的项目设计的平台层目前正在高速发展中。

BBC节目中，虚拟机器人与真人共舞，动作流畅毫无违和感。

虚拟人的制作流程涵盖了诸多技术，制作方式仍在逐步进化中，存在某些步骤互相融合的趋势，但尚没有完全定型的整套解决流程，其中最为核心的三大流程分别为建模、驱动、渲染。如果说建模决定了虚拟人的外在形象，渲染决定了最终呈现在观众面前的虚拟人质量，那么基于动作捕捉技术的驱动则决定了虚拟人的灵活性。

那么，动作捕捉技术是如何撞破虚拟和现实之间的次元壁的？本期行业观察，江苏文创将深度八一八虚拟人背后相关的动捕技术及其相关企业。

动作捕捉技术并非近年来的新技术，最早可追溯至1914年，并且早已广泛应用在影视动画、游戏、体育分析、医疗康复等多个领域。

而伴随着虚拟人的出现与火热，，更多的交互需求促进了虚拟现实、虚拟直播与动捕方案的结合，在这样的环境下，对应的市场需求也在逐渐增加，尤其是仿真虚拟人、实时直播互动、大空间定位和多人协同虚拟现实技术等方面。

一般来说，想让虚拟人动起来，根据身体控制部位的不同，主要涉及以下四种技术：

• 动作捕捉

• 手势控制

• 表情控制

• 口型同步

除此之外，也还会用到眼动捕捉、变声软件之类。整体来说，各部分常用的控制手段如下：

不同的技术方案，即为以上这些手段的组合。

根据实现的原理，目前最常用的动作捕捉方案分为光学和惯性两类。光学动捕需要在场地安置多台摄像机，这些摄像机同时对演员身上佩戴的光学标记进行识别，从而得到演员的位置以及动作信息。惯性方案则是通过演员各关节佩戴的惯性传感器得到骨骼的旋转信息。

光学动捕又细分为激光、红外、可见光、机器视觉等，其优势在于精确度高，同时支持的人数多，而且可以取得绝对位置，便于真人演员之间、或者演员与物体之间的交互。

然而相对的，由于需要大量摄像机和软硬件支持，所以光学方案的初期成本、运营成本较高，对使用人员的要求也更专业。

而惯性方案的优势在于设备成本低，使用方便，对场地也没特别要求，光学方案中可能出现的遮挡问题也能从原理上避免。另一方面，惯性方案由于无法取得各传感器的绝对位置，要实现诸如握手这样的多演员交互比较麻烦，且因为惯性传感器会累计误差，随着使用时间增长，可能逐渐产生位置偏移，需要经常校准。

鉴于两种方式明显的优劣势，所以现在也出现了兼具光学和惯性优点的混合型动捕方案，比如诺亦腾推出的 Perception Neuron Studio。其在惯性动捕的基础上增加摄像头进行绝对位置定位，帮助减少因为误差积累形成的偏移，效果可期。

除了对全身进行动作捕捉外，针对身体动作的细节，例如口型、表情、手指部位等也需要开展针对性的“驱动采集”。其中，手势控制主要包括了动捕方案自带的手势捕捉和独立的手势捕捉方案，例如XSens MVN、国内诺亦腾的Perception Neuron 等惯性方案现在都可增配手势捕捉，原主打独立手势捕捉方案的Manus在去年也推出了“Manus Polygon”生态系统，捕捉全身动作的同时，可以记录用户的身体动作和表情。

表情控制和口型同步则主要通过图像识别或者iPhoneX 深度摄像头识别等实现，经过软件解析相关信息后，应用到虚拟形象上。

元宇宙概念之下，虚拟人在应用层的发展还处于起步阶段，不管是技术支持还是形象运营、场景拓展都还有极大的空间等待挖掘，这也成为许多行业试水的领域。

去年9月，Fox电视台推出歌唱选秀节目《Alter Ego》，投射到台上的是 AR 虚拟形象，而真正的表演者则穿着动作捕捉服装藏在后台后进行表演。节目中的每场表演会被14台摄像机实时捕捉，瞳色、身高和特效等虚拟形象数据会与动作捕捉数据、光照数据和摄像机数据一起，被送往主舞台幕后的虚幻引擎中心。

像《舞动奇迹》这类通过动作捕捉、实时虚拟现实制作和虚幻引擎等技术，实现多维感知的异空间场景共存，创造出令人难忘的混合现实类节目近年来国内也出现了不少尝试，并且贴合了未来元宇宙、沉浸式等发展理念，势必会成为一种火热趋势。

而动捕技术经过数十年的发展，不管是国外还是国内，均已逐步成熟，尤其是近年国内也出现了不少高质量、有名气的企业和产品，本着本地化、售后服务等高性价比，在国内、国际上逐步打开市场——

美国魔神是国际顶尖动捕企业，拥有三维运动及动作捕捉分析系统Motion Analysis，旗下的数字动作捕捉及分析系统据称是世界上唯一一款可以实现室外日光直射条件下使用的动作捕捉系统，也是世界上唯一一款可以实现5000个标志点捕捉的数字动作捕捉系统，全球80％的动画、游戏制作工作室都选用Motion Analysis系统。

英国的Vicon光学动作捕捉系统与魔神一样都是电影级设备，精度高的同时价格也高达百万。2019年GDC会场上，Vicon曾演示了利用光学捕捉手指的效果，其摄像头达到了1600万像素，对获取手指上更小的标记点打下了很好的硬件基础，在世界范围内领先。

OptiTrack 相比 VICON 价格稍低，也更为普及，是老牌光学动捕供应商。2017年，利亚德以1.25亿美元（约合人民币8.44亿）全资收购Optitrack母公司NATURALPOINT,INC.(简称NP公司，中文名虚拟动点），也是当下大多数影视动捕棚标配；Optitrack产品在2021年升级为3.0版本，性能指标的提升也催生了更多的应用。

在国内，利亚德成立了北京虚拟动点以推广VR业务，包括Optitrack产品的销售，以及基于该光学动作捕捉技术和产品形成的行业解决方案，包括虚拟拍摄、虚拟主播、虚拟培训、游戏动漫制作等，并且利用公司的动作捕捉产技术全程参与制作湖南卫视《你好星期六》节目录制。

Xsens原是荷兰运动追踪技术供应商，采用惯性捕捉系统，专注于人体运动和工业传感器模块市场，在户外和运动技巧拍摄上处于国际领先，也是美国艺电、NBC环球集团、戴勒姆、西门子、育碧、20世纪福克斯、索尼等国际头部企业的合作对象。2017年被上海mCube（矽立科技，现更名为Movella?）收购成为全资子公司，而mCube主打产品为惯性传感器，并于2020年收购了运动员和健康数据管理领域的市场领导者Kinduct，未来将更多在娱乐、体育、健康和工业市场发力。

2021年国际消费类电子产品展览会（即CES展）期间，Xsens为MVN用户推出了Motion Cloud服务，意味着Xsens MVN将添加基于云端的存储、处理和报告功能，极大提升团队协作和运动数据处理能力。