建议收藏 一文详解游戏动捕流程细节

Xsens动作捕捉 2022-11-11 9595

建议收藏  一文详解游戏动捕流程细节  第1张

文丨Phil
腾讯互动娱乐 技术美术

| 导语

动作捕捉对于传统动画来讲,是一个革命性的革新。最开始是应用在影视领域,但近些年,越来越多的游戏企业用到动作捕捉,动作捕捉的核心亮点无疑是它能大幅度提高游戏制作的效能。怎样更好地把动作捕捉的优势充分发挥出来,游戏动作捕捉环节的上下游工作无论是流程执行还是技术标准上,都能够快速对齐,是笔者写这篇文章的目的。


建议收藏  一文详解游戏动捕流程细节  第2张


首先,提到动作捕捉,一般会有朋友问到我,它与传统手K动画比较起来,提升的效率大概有多少?这里我列了一个大概的表格。假设一个资深动画师手K动画,一天能K10秒的话,我们设定一千秒的动画量,来加以比较。


优势很明显,纯手K与动作捕捉系统的效率成百倍的提升。而且,动作越复杂,这个效率提升体现的越明显。


从表上可以看到,手K的优势就是,它的制作流程要比动作捕捉简单,我只需要投入一个人力、一台电脑就可以,但动作捕捉是需要配备一套过硬的设备和一支优良的团队来支撑的。


另外,动作捕捉虽然快,但它的艺术感觉是由演员的表演决定的,而手K则是由动画师来决定。一个好的动画师,很明显在艺术感觉上是要高过纯动作捕捉出来的数据的。


那这就产生了我们目前的流程:动作捕捉完成之后,还需要动画师参与,对动捕数据进行精修,所谓精修就包括对动作的艺术化处理这一块。


那么正式开始之前,我先跟大家介绍一下动作捕捉的分类:


(1)光学式动作捕捉


为目前应用较为广泛的方案,其实现主要原理是用分布在空间中固定位置的多台摄像机发射出来的光线,把贴在演员身体的关节部位,具有特殊反光材质的marker点,反射到动捕软件里面,形成数据并记录的一个过程。


建议收藏  一文详解游戏动捕流程细节  第3张


(2)机械式动作捕捉


借助机械装置完成运动信息的采集。它由多个关节和刚性连杆组成,借助安装在各个关节处的角度传感器完成各时刻的关节形态的采集,以此可重绘出该时刻被捕捉对象的形态。


建议收藏  一文详解游戏动捕流程细节  第4张
建议收藏  一文详解游戏动捕流程细节  第5张


(3)电磁式动作捕捉


系统主要由电磁发射源接收传感器数据处理单元所组成。由电磁发射源产生一个低频空间稳定分布的电磁场,被捕捉对象身上佩戴着一些接受传感器在电磁场中运动接收传感器切割磁感线完成模拟信号到电信号的转换,再将信号传送给数据处理单元,数据处理单元则可根据接收到的信号推算出每个传感器所处的空间方位。我们常听说的诺伊藤和x-sens就是这一类。


建议收藏  一文详解游戏动捕流程细节  第6张


(4)声学式动作捕捉


主要由超声波产生器接收器处理单元组成。超声波产生器不间断的向外发射超声波,接收器内部有3到4个超声波探头组成,通过超声波到达不同探头的时间差以计算出对应接收器的空间位置和运动方向。这个引用领域比较窄,因为对声音环境要求极高,因此很少商用。


(5)视频捕捉式捕捉


主要模仿人眼的原理,利用空间两个摄像头在某一时刻的所拍摄的两帧影像之间的对比识别出捕捉对象和完成对捕捉对象的定位。这个很可能是以后动作捕捉的黑马。


当今动作捕捉按照捕捉形式,可以分为游戏动捕剧情动画动捕影视预演动捕沉浸式AR/VR动捕这四类。但其流程跟绝大多数工作的流程差不多,都分前中后期。但不同的动作捕捉类别,他们在前中后期所做的事情,是不太一样的。我就分享一下游戏动捕和剧情动画动捕这两个大类别吧。


建议收藏  一文详解游戏动捕流程细节  第7张


动作捕捉,前期环节所投入的时间比例还是挺多的,我们项目组这边虽然也是前期准备挺多,但有时准备的不够精致,也有时准备的不够充分,这样的准备同样会为动作捕捉最终效果打折扣的。


建议收藏  一文详解游戏动捕流程细节  第8张
建议收藏  一文详解游戏动捕流程细节  第9张
建议收藏  一文详解游戏动捕流程细节  第10张


游戏动作一般会分为这几个类型,像大厅展示动作,我们一般会有明确的想法或参考的,可以提前给演员,让他在正式捕捉之前把动作熟悉完成,尽量挑一个上午时间集中捕捉,因为大厅内展示动作表现形式比较分散,我们对展示pose的要求又高,演员来回切换动作方法也不太能快速进入状态。我们建议集中一起进行捕捉。


剧情动作,所要考虑的事情远比其他动作类型复杂的多,所以也是前期准备工作做的最多的一个类型。如果涉及到强交互,我们要不停的换道具,这可能导致捕捉效率的拖延,所以在拍剧情动画的时候,要给自己留够拖延的空间,另外如果不是强交互的道具,我们没必要准备道具,因为准备道具也是需要花费现场时间的。


建议收藏  一文详解游戏动捕流程细节  第11张
建议收藏  一文详解游戏动捕流程细节  第12张


游戏内动作,都是一些机制性的动作,因为演员表现方式单一,在前期工作准备充分的情况下,反而是最出效率的一个捕捉类型,动作捕捉安排的时候,我们尽量安排在一个集中的相对较长的时间段。


着手准备工作时,游戏内动作因为要考虑到动作融合/切换的问题,却是动作捕捉环节里最容易出错的地方,因为它需要在我们动作设计之初,找到符合逻辑的融合点。为了避免错误的发生,我们可以用惯性捕捉设备,把程序拆解好的逻辑动作点,提前进行一遍动作预演,不用精修,直接把导出来的数据往引擎里面放,进行一遍验证。这样做的好处是:①一旦发现错了,我们直接改了逻辑错误;②虽然美术由于表演功底或者身体原因演不出自己想要的效果,但这些视频数据可以给演员,在现场讲戏,作为一个实体性的参考,让演员好快速适应。


建议收藏  一文详解游戏动捕流程细节  第13张


另外,动作拆分该怎么拆合适,是不是必须拆成像开发逻辑这样详细?显然不是,其实动作捕捉拆分动作的原则是尽量方便现场捕捉同时又能完全包含程序给到的动作逻辑表


这张是引擎里体现出来的引擎思路,那么具体在场地捕捉的时候,我们应该捕成几条呢?其实最好的答案就是拍成一条,我们在后期精修动画的时候,再把程序所需要的逻辑动作拆开,这样动作能够无缝衔接。但演员可能一次演不完,或者场地不够长,等因素的影响,我们有拆成两条,再多就显得散了。拆得越散,越会影响现场捕捉的效率。


这只是举个例子,实际情况可能比例子更复杂,但请记住原则:尽量方便现场捕捉,同时又能完全包含程序给到的动作逻辑表


如果我们流程上,先用惯捕粗略捕捉完,对逻辑进行一个快速的验证后,程序还能根据你导进去的动作进行深入开发,我们美术这边,着手现场捕捉,然后对动作进行艺术化处理等工作,会更好。这个流程在EA育碧索尼等一线游戏大厂已经开始使用了,这也是3A游戏的一个标准流程。


另外,我们还可以根据这个视频,告知演员我们想要的节奏和幅度,以及表演风格。有了这个对比视频,对于演员来说会更直观。


建议收藏  一文详解游戏动捕流程细节  第14张


验证的另外一个好处就是,辅助统一系统内的参数标准,比如我们捕捉一个标准的八方向,走路的速度是一秒几米,小跑的速度是一秒几米,快跑的速度是一秒几米,向左向右跑的速度该怎么控制,这些统统都能在引擎里快速验证,而且进行统一,这些工作在正式捕捉之前很有必要去做。


我们动捕之前,往往会容易把这个忽略了,这就导致我们当时花人力捕捉完了,后期往引擎里放,却发现NPC的小跑只是主角的快走,这速度差别我们在现场是看不到的,因为我们可能是在不同时间段用不同演员进行捕捉的。


那么接下来问题来了,数据已经捕捉完成了,我们应该怎么处理这批数据,要么就是花人力,调节奏;要么就是重新规划速度,重新捕捉。但无论哪种操作,都是浪费资源的。我们是最不愿意看到这样的事情发生的。


而且一旦标准统一下来,接下来我们就会复用给游戏内所所有角色。


这是动作设计的预演程序逻辑验证:


建议收藏  一文详解游戏动捕流程细节  第15张


为什么非要强调表格的制作呢?接下来我给大家看一下影视拍摄中的表格制作,影视拍摄动不动就五十上百人,期间各个组各个角色要想保证工作的同时性,完全是按照这张表格来的。而且影响影视通告的因素有很多,比如特约演员的档期,拍摄的场地等等。而动作捕捉拍摄只是影视拍摄里面的一个拍摄场地,所以影视拍摄不一定能考虑到动捕拍摄的所有case。 


建议收藏  一文详解游戏动捕流程细节  第16张
建议收藏  一文详解游戏动捕流程细节  第17张
建议收藏  一文详解游戏动捕流程细节  第18张
建议收藏  一文详解游戏动捕流程细节  第19张
建议收藏  一文详解游戏动捕流程细节  第20张


相比于影视拍摄通告,动捕拍摄表的功能就显得简单多了,它只是为了方便大家现场沟通,且有个参考依据。那么我们在现场捕捉的时候,到底哪些信息需要沟通呢?这几张表格,都是现场要沟通的内容。


但每个项目组的表格,那真是八仙过海各显神通,我们不奢望所有表格都是统一的,但是红框里框到的基本事项是一定要有的。因为这些是现场项目组跟我们最便捷最高效的沟通方式之一了。


建议收藏  一文详解游戏动捕流程细节  第21张


主要包含:


1.序号,为了方便我们现场沟通;(举个例子,我说两个case。就这张表格来讲,如果动作指导,要告知动捕师,接下来我要捕捉:攻击动画、移动攻击,这样方便;还是我直接说我要捕捉第二条方便?)


2.文件名称,这是动作捕捉必须要给到的;大家一定要看制表说明。需要提醒大家的是,因为大多数国外软件,是不能识别中文字符的,我们会把大家起的文件名称录入到我们动捕软件里,所以我们给文件起名的时候,一定要注意不要用数字开头,不要用空格断词,不要包含除了下划线以外的特殊字符。


3.帧率这个事情,一般影视人,或者我们做gameplay的时候,需要提示给我们。默认情况下我们会把软件捕捉帧率设置成60FPS,这是保证游戏帧率的一种默认设置。


建议收藏  一文详解游戏动捕流程细节  第22张


剧情表格的制作要比游戏内动作表格的制作要复杂很多,我们不仅要考虑镜头的归类,还要考虑现场捕捉的时候,演员一旦穿上动作捕捉服装,再换别的演员,也是要时间成本的,所以表格制作这一步,我们要分时间段,以哪个演员的动作优先捕捉为准。


另外推荐的是,尽量用最少的演员来捕捉最多的角色,这样既省了演员成本,也省掉了现场的时间成本。


过场动画中,如果有部分镜头是手持移动镜头,动捕基地可以提供镜头运动的运动轨迹,这种方式要比K的更为真实。


除此之外,我们还要考虑的是,现场交互所使用的道具以及道具数量,动捕基地一般看不到游戏内的场景,但我们可以用动捕基地提供的道具进行替代。动捕基地文件夹内,建立了一个虚拟场地,大家可以用这个来衡量演员的大概走位,我们好提前准备道具并进行布场。 


建议收藏  一文详解游戏动捕流程细节  第23张
建议收藏  一文详解游戏动捕流程细节  第24张


最好的道具捕捉就是,虚拟比例跟真实比例一比一的还原。这张图,是我们根据我们引擎里的车的模型,抽象出来的龙骨骨架模型。其实我们在动捕的时候,要的很简单,


一个是车门,车的高度,方向盘。这三处是我们跟车有强交互的地方。所以被抽象了了出来。


有人会问,这个道具我们该怎么用?


我们会捕捉到骨骼的运动轨迹,然后项目组把骨骼动画给到引擎。比如转动方向盘,比如开车门,这些轨迹动画都可以被捕捉到的。


跟朋友一起玩游戏,他们往往会吐槽,游戏动作风格过于统一。这跟大家简单分享一下演员甄选的一般流程,供大家参考。


建议收藏  一文详解游戏动捕流程细节  第25张


前两个步骤大家一般都能想到,但在测试这一步,我们往往会忽略,测试小样是判断演员演技是否符合项目预期的重要标准。文字脚本测试,是测试演员的创造力和反应程度,专业的演员和不是很专业的演员在这一步就体现出来了,专业的会根据动作指导抛出来的点进行二次创造,属于效果的加分项,一般的演员则会根据动作指导的表演按部就班的演。测试结果越好,现场的沟通成本就会越少,我们出来的表演效果也就越好;视频模仿是针对特定的IP,需要塑造跟视频里的角色一样,或这相似的游戏角色的情况下,而发的测试,这个测试主要考验演员的模仿功底。

建议收藏  一文详解游戏动捕流程细节  第26张

建议收藏  一文详解游戏动捕流程细节  第27张


表演过关后,我们才会考虑比例和体重的问题。如果两个人的表演都符合项目预期,那加分项就是形体比例和体重的事情了。测量虚拟角色的方法,maya和motionbuilder里都有。越接近虚拟角色,演员的表演效果就越符合我们的期望。这跟retargeting有关,角色比例越接近,还原度越高,retargeting阶段需要调整的越少。


我们理想的演员选择是:演员的表演方式符合我们对角色性格的塑造,且身高比例相差不大。


但我们一定把表演效果放在最前面的位置。举个例子,一个懂得动捕表演,又知道游戏机制的动捕演员,他一天的工作量可能要比一个对动捕和游戏不了解的演员出来的有效数据质量好的很多,且数据总量也会大很多。


建议收藏  一文详解游戏动捕流程细节  第28张


这是面部捕捉的工作流程。接触到面部捕捉,我们提的最多的一个词就是facs系统,即面部动作编码系统(Facial Action Coding System


建议收藏  一文详解游戏动捕流程细节  第29张


随着游戏品质要求的提高,表情捕捉的需求也越来越多,这里跟大家分享一下一般表情捕捉的工作流程。在此之前,我先罗列一下大家经常问到我的一些问题,供大家参考一下:


面捕效果

……取决于美术素养

· 前期绑定蒙皮、中期手Key、后期精修都极大的影响最终动画效果

……取决于机能限制

· PS4战神奎爷脸上有225根骨骼


面捕效率

……取决于演员

· 缺乏预演导致的NG是最浪费时间的

……取决于面捕软件能力

· 更强的识别精度、协作能力

……取决于美术工具

· 绑定蒙皮、格式转化、文件流转插件

……取决于面捕TA的专业程度


重点来了,面捕绑定应该注意哪些问题:


1. 大纲视图里所有内容的,所有层级的,名称都不能重名。重名会导致这跟骨骼加载不到面捕软件里,从而影响最终效果的表现。


建议收藏  一文详解游戏动捕流程细节  第30张
建议收藏  一文详解游戏动捕流程细节  第31张


2. 骨骼轴向要统一。这是绑定的统一标准。


3. 不要有复制的节点信息。特别是max里面的镜像功能,会导致整个一边的骨骼轴向相反于另一边。


4. 

建议收藏  一文详解游戏动捕流程细节  第32张
建议收藏  一文详解游戏动捕流程细节  第33张


5. 如果有Blendshape,拆分时要注意尽量拆细,然后Blendshape之间的通道组合,尽可能用最少的morpher组合成尽可能多的我们所需要的表情。这时,你会发现facs真香。



建议收藏  一文详解游戏动捕流程细节  第34张
[ 以上图为界限,morpher的upper部分和lower部分要分开 ]
建议收藏  一文详解游戏动捕流程细节  第35张[ 骨骼Joint Orient位置处要归零,否则到引擎里面部信息会乱掉 ]
建议收藏  一文详解游戏动捕流程细节  第36张

如果有控制器驱动,一个bone或morpher不要被多个控制器控制,但一个控制器可以驱动多个bone和morpher ]


技术性对接:


项目前期,我们会给到vicon模板的绑定。为什么模板是T-pose、因为无论是rig数据还是现场实时预演的调试,都是基于humanIK的调试来的。


所以我期望项目组给到的fbx文件是一个做好角色化的T-pose文件。这样会节省我们现场的时间成本。


建议收藏  一文详解游戏动捕流程细节  第37张
建议收藏  一文详解游戏动捕流程细节  第38张


有关骨骼轴向,这是一般maya绑定的普通标准,在这里稍微跟大家提一下。


建议收藏  一文详解游戏动捕流程细节  第39张


敲一下黑板,注意这个问题,max绑定有的项目组会把胸部骨骼P到脖子上,这不符合动捕的驱动,这也是max绑定里最常见的不符合动作捕捉的绑定方式。它应该挂在脊柱上才对。


建议收藏  一文详解游戏动捕流程细节  第40张


道具的捕捉,是基于我们的角色,并且跟动捕演员有极其接近的比例的基础上制作的,它的好处是,能自然地捕捉出武器的运动轨迹与质感。最好的道具捕捉就是,我们根据虚拟道具的尺寸大小,模拟出跟虚拟道具一样大小的实体道具来。它需要有确的骨骼绑定,且有确切的骨骼朝向。上图是虚拟道具,以及骨骼绑定位置,下图是调整好的在动捕软件里的道具呈现

建议收藏  一文详解游戏动捕流程细节  第41张
建议收藏  一文详解游戏动捕流程细节  第42张


动作预演


观看更多
正在加载
    正在加载

    视频加载失败,请刷新页面再试

    建议收藏  一文详解游戏动捕流程细节  第44张 刷新
    建议收藏  一文详解游戏动捕流程细节  第45张