虚拟动点CEO贾哲:动捕技术推动游戏制作工业化流程

Xsens动作捕捉 2023-04-04 5650

虚拟动点CEO贾哲:动捕技术推动游戏制作工业化流程  第1张

文 | 竞核

虚拟动点CEO贾哲:动捕技术推动游戏制作工业化流程  第2张

游戏制作流程逐渐趋向工业化,这是近两年游戏研发市场的大趋势。

由于引擎技术趋于成熟,动捕技术受到积极影响,数据收集更为便利,对于游戏开发的辅助作用愈发明显,进一步缩减了整体的开发周期。

实际上,早在2012年,动捕技术就已经传到中国,后来慢慢应用到动画行业。而近两年,动捕技术也开始进入到游戏行业。

例如前段时间,引爆了整个游戏圈的由杭州游戏科学发布的3A游戏《黑神话:悟空》DEMO,当中很多动作场景都是通过动作捕捉技术实现的。

“通过动捕技术实时捕捉演员动作,然后将这些动作数据导入游戏开发引擎中,这才有了《黑神话:悟空》超写实的游戏风格。”虚拟动点CEO贾哲在竞核承办的T-EDGE游戏峰会上表示。

谈及动捕技术,其主要分了电磁类、光学类、惯性类,现在全球主流市场采用的是光学类。实际上,国内腾讯网易等网易游戏厂商,都有自己的动捕实验室。

“动捕降低的不仅是人力成本,还包括时间和费用的成本。”贾哲表示,“通过动捕技术可实现一键式完成,减少了很多人力的投入,另外是一次性拍摄可以呈现多个镜头语言。”

谈及动捕在游戏研发层面的应用,他认为,由于引擎技术逐渐成熟,动捕数据能够更加流畅的导入到引擎里面,大大节省了游戏后期制作的成本。

谈及未来,贾哲提出了“动作版权”这一前沿概念。

例如NBA2K当中,你需要花钱解锁某些球员的经典动作,这意味着“动作”已经成为了一种资产。

“未来动作有没有版权,我们可以打一个问号,但我相信这个时代很快就会到来。”贾哲如是说到。

以下是虚拟动点CEO演讲实录,略经编辑:

请问在座的各位,有多少人知道Motion Capture或者动捕技术,在这里我先简单的说一下什么是Motion Capture。

例如好莱坞拍的《白雪公主》,其实最早的时候就是用Motion Capture来制作的,最早是通过毛玻璃去做我们叫复刻的技术,来实现人的动作,把他数据采集下来,传导到我们的数字形象里面。

动作捕捉技术实际上最初是在军工上的应用,比如说雷达、潜艇等,通过声纳的反馈摄像机可以实时采集海底的三维图像。

此外,动捕技术也经常被应用到影视动画领域,帮助导演实现科幻或者科技主题的影视作品。比如《阿凡达》、《复仇者联盟》等,其实多多少少都用了动作捕捉技术。

2012年的时候,动捕技术已经传到中国,慢慢都是在动画企业里面应用,比如说我们拍的一些番剧、动画片都是动作捕捉技术。

这两年也开始进入到游戏行业,大家可以看一下,前一阵游戏科学在网上发布的一个相当于3A级游戏Demo。

他们都是通过动作捕捉技术对演员的动作技术实时捕捉,并且前两天我们也做了一些交流,未来它可能会捕捉除了人之外,像马、四足动物等,把所有物体的数据还原到游戏的世界里,这样会使得我们超写实的游戏风格更为逼真。

另外,现在很多PC游戏、手游都是用虚幻引擎或者Unity引擎去主导开发,尤其是从去年开始,由于引擎技术的成熟,动捕的数据会更加流畅的导入到引擎里面,大大节省了游戏后期制作的成本。

游戏制作无非两种,一种是过场动画的制作,还有一种是当引擎游戏制作的管线打通以后,动捕的数据会实时传到引擎上,并且实时进行浏览。由于技术的不断迭代,以及国内人工成本的提高,动捕现在基本上可以取代人工进行所有动作的复刻和抓取。

动捕的这种技术分了几种,像电磁类、光学类、惯性类,现在全球主流市场主要是光学类,我相信无论是网易还是腾讯,以及我们看到的一些大的游戏公司,它们也都有自己的动捕实验室。

前两天我刚从腾讯回来,我问了一下,腾讯制作游戏的动捕实验室档期几乎排到明年3-4月份,所以现在基本上每一个大的游戏工作室都会采取用光学动作捕捉技术去制作游戏,并且能实现高效制作、一键完成等。

由于引擎的发展,现在所有的动捕数据和技术慢慢开始进入到游戏的制作工业流程中,就像影视一样。应该在今年初一的时候大家会看到一部电影,叫做《刺杀小说家》,也是由动捕技术完成的。

以及前几年看的《疯狂外星人》,当时由徐峥做面捕,还有话剧演员做整个动作捕捉,基本上通过影视的工业化制作流程,通过游戏的制作化工作流程,慢慢动捕会越来越被大家接受,并贯穿到整个制作流程过程中。

动捕降低的不仅是人力成本,还包括时间和费用的成本。我们可以看到制作一款游戏更多的是用了大量人力和物力,尤其后期工程师花很多时间做动作的手K。现在通过动捕技术可实现一键式完成,减少了很多人力的投入,另外是一次性拍摄可以呈现多个镜头语言。

大家知道有一个游戏叫《使命召唤》,我们今年年初的时候去了一趟美国,并拜访了《使命召唤》游戏制作工作室,基本上在整个实验室里面,已经开始完全采用演员表演动作,并且这个动作的精细化程度非常高。

我们也看到一些影视的明星,开始慢慢扮演起游戏的角色,像一些大的明星去扮演一条蛇,扮演一个动作,让人深感演员表演力和科技的相互结合可以表演万物。

有一个动捕里比较出名的演员,叫安迪·瑟金斯,我不知道大家有没有看过《魔戒》,里面有一个小的精灵就是他扮演的。他去年在好莱坞开了一个专门培养动捕演员的学校,现在将近招了五六百人。

但是中国现在反而动捕演员比较少,我们也在致力于签约一些比较好的动捕演员,帮助我们的游戏公司和影视公司第一时间找到这些演员的资源,去进行表演。

这个就是《使命召唤》里面拍摄的一个情景,基本都是一站式的完成,通过这个引擎去做实时的渲染。

另外动捕的部署也比较简单,只要有一个好一点的空间,比如说层高在五米以上,部署一圈光学动作捕捉摄像机,并且我们的演员穿上Motion Capture Suit,通过Mark点来去捕抓演员实时动作,再加上我们面部捕捉的产品Faceware,来去相互结合,把他实时的数据导入到我们的引擎里面,最终制作团队可以使用数据来驱动整个人物形象。

这个是我们在亦庄的一个数字化影棚,当时也拍了,这应该是腾讯的《秦时明月》动捕的拍摄。

我们合作伙伴在上海也做了一个比较大的数字化影视棚,他服务的订单排期排到明年6月份了,所以现在实际上是产能不够。由于引擎的发展,很多人开始用动捕这项技术,比如说我们硬件的基础设施还不够,满足不了现在更多的需求。

就比如说,最新跑出来的,我们叫虚拟偶像这个赛道。我们也看到,很多虚拟偶像的实时直播也都是用动作捕捉技术来实时驱动的。就像我们看到线下的演唱会或者线上实时的表演,也都是通过动捕来进行制作的。

另外像美国NBA2K,他已经开始把“动作”变成一种数字资产来进行销售了,典型的就是他会捕捉NBA联盟的一些明星级的球员的动作,形成一整套的动作数据,然后在网上进行售卖。

打一个比方,像乔丹的扣篮动作,你要解锁他,可能需要花2、3美金,实际上动作已经变成一种资产。甚至说,我们现在都知道,声音和音乐是有版权的,未来动作有没有版权,我们可以打一个问号,但是我相信这个时代会很快的来临。

光学动作捕捉技术实际上分很多种,像整个空间定位,通过AI算法来避遮挡,还有自动校准功能,自由度追踪等等。

虚拟动点旗下有一款产品叫做OptiTrack,这个品牌已经在全球范围内销售了将近20多年了,去年我们大概也做了将近4个亿的订单,这是我们整体的产品一种形态。今年也做了全系列的升级。

这是我们整个的运动捕捉核心算法,大家可以看到,人体穿上动捕服装形成不同的光点,最终形成骨骼,实时形成这种3D。那么这些数据可以实时传递到数字偶像也好,还有数字人也好,然后进行实时的驱动。整个数据标准,我们通过SDK也兼容了数面上大部分主流的引擎,比如Unity、Maya、3ds Max等等。

另外,Motive:Body这个软件通过我们20多年的积累,在算法上以及整个应用性上已经达到了一定的突破,也就是说现在它的成本已经和我们的效率产生了一种匹配,所以也使整个动捕的产品进入到整个游戏和影视领域,并且可以实现一键完成骨骼的设定。

大家知道在人体里面最复杂的动作,其实是手指。明年要上市3.0版本,会把整个的手指捕捉更加完善,并且可以实时的把这些数据传导到我们的数字人形象之中,可以跟踪多个目标,在我们的亦庄棚里面做了一个极限的测试,300平米我们大概追踪了将近有42个人,也就是说42组不同人体的数据可以实时的导入到我们的虚幻引擎里面。

可以做到64位多线程的结构,并且把我们的一举一动实时的还原出来。今年我们还发布了一款超远距离的产品,大家有没有看过张艺谋导演在冬奥会当时有一个北京8分钟的视频,通过在体育场滑冰运动员运动的轨迹,通过光影来去实时追踪,然后在体育场里形成一个非常漂亮的冰花或投影的轨迹。

我们后来问了一下张艺谋导演,他实际上排练了3个月才做到。通过我们的远距离追踪产品,可能就不需要排练了,我们可以把人体相对空间位置和投影以及灯光实时的追踪起来,这样就可以把光影秀做的更完美一些。

另外,我们今年也升级了骨骼结算器,可以实时一键进行骨骼的精度确算,并且把我们人体的身高还有骨骼的大小完全一键锁定。另外这个Motive3.0版本通过了AI的智能算法,进行了一些必遮挡的尝试。

因为大家都知道光学动作捕捉最大的问题,就是有遮挡性,通过AI的算法,通过数据的积累,我们现在已经可以让这些遮挡的捕捉不到的,实时进行结算,并且还可以实行连续的校准。

另外,我们今年也支持了动物骨骼的追踪,我们在实验室里做马的追踪,还有狗、羊、猪之类的。当然这些可能在未来通过数据的积累,会做成一个动作的数据包,可以实时的给我们中小游戏公司,甚至我们影视公司来去使用,把它做成标准化的数据进行分类、标注、实施。

未来中小游戏工作室,可以不用动捕这一套产品,仅用我们的数据就可以来去实时完成整个游戏动作的制作。

这些都是为了帮助开发者在去实现动捕过程中和引擎相互结合,使大家更加便利的使用动捕产品和技术。

The End