这个超逼真的虚拟小姐姐,可能是腾讯游戏未来的样子

Xsens动作捕捉 2023-05-11 2729

“This breaks my brain.”

目睹了GDC大会期间的一幕时,有人发出上面这句感叹。如果翻译成中文,应该就是两个字:“炸裂”。

让人惊叹的,是一个名为Siren的数字人类。

这个基于计算机视觉等技术构建的虚拟小姐姐,拥有逼真的眼睛、皮肤和头发……细节方面达到了前所未有的程度。

这个超逼真的虚拟小姐姐,可能是腾讯游戏未来的样子  第1张这个超逼真的虚拟小姐姐,可能是腾讯游戏未来的样子  第2张

但绝不仅是细节让人惊叹这么简单。

Siren背后的系统,还具备强大的人类表情动作实时捕捉以及合成技术。

干讲没意思,一起感受下GDC现场:

这个超逼真的虚拟小姐姐,可能是腾讯游戏未来的样子  第3张

没错,就是你看到的这样。

一个真实的女性人类在现场侃侃而谈,她的表情、动作、声音,被实时的赋予身后大屏幕上的女性数字人类Siren。

这就是开头提及的炸裂一幕。

实际上,Siren这位小姐姐的容貌身形,也不是凭空虚构出来。而是一位来自中国的演员:姜冰洁。

而负责现场演示的是英国演员Alexa Lee,她的表情和声音,被头戴设备捕捉之后,与姜冰洁的外貌进行合成,最后就成了Siren。

这个过程,是这个样子:

简而言之,就是这样一个“换脸”过程。

这个超逼真的虚拟小姐姐,可能是腾讯游戏未来的样子  第4张

说个花絮,其实Alexa Lee说她体验到Siren后,自己也吓了一跳。Siren的声音表情跟她一样,但是脸却是姜冰洁的样子。

整个合成的动作在15毫秒内完成。

这个项目是Epic Games聚光灯计划(Project Spotlight)的一部分,这个计划意在虚拟环境中构建一个真实世界。

所有Siren的演示,都是以每秒60帧的速度运行在虚幻引擎中。“创建一个可以实时互动、让人信任的数字角色,是近年来计算机图形行业最激动人心的事情之一,”Epic Games首席技术官表示。

这里解释一下Siren这个名字。

其实,塞壬(Siren)是希腊神话中的海妖,惯以美妙的歌声引诱水手,使他们的船只或触礁或驶入危险水域。这个词也有汽笛、妖冶而危险的女人等意思。

幕后公司

但Siren并不是某一个公司的功劳。

除了上面提到的Epic Games,参与这个项目的还包括拥有最先进面部扫描技术的3Lateral,提供了实时面部解算;Vicon提供人体动作捕捉系统;以及腾讯旗下游戏工作室Next Studio等。

这个超逼真的虚拟小姐姐,可能是腾讯游戏未来的样子  第5张

这是一个通力合作的项目,不过Epic Games特别强调,在GDC 2018大会上,他们最想测试Cubic Motion脸部捕捉系统的潜力。

“Cubic Motion突破性的计算机视觉和面部动画技术是我们取得成功的关键之一,”还是Epic Games首席技术官说。

这家被重点提及的公司,创立于2009年。现任CEO为Gareth Edwards,他是一位计算机视觉和AI技术专家。

Cubic Motion的计算机视觉技术,能以每秒90帧的速度跟踪200多种面部特征,并将这些数据实时映射到高分辨率的数字角色身上。

Alexa Lee戴的头盔,就是来自Cubic Motion。

这个超逼真的虚拟小姐姐,可能是腾讯游戏未来的样子  第6张这个超逼真的虚拟小姐姐,可能是腾讯游戏未来的样子  第7张

另外,Vicon提供的是全新的Shōgun 1.2软件、Vantage光学动作捕捉系统、VUE视频摄像头。所有这些将Alexa Lee的肢体动作,直接解析到Siren的身上,手指的部分还用了一种更逼真还原的算法。

当然,虚幻引擎的光效也功不可没。

至于腾讯。

实际上,Siren项目始于Epic Games和腾讯之间的合作,目的是通过一个概念验证演示,以展示虚幻引擎4的实力,以及下一代数字角色长什么样。

也就是说,今天Siren上的相关技术,未来可能会应用到腾讯的游戏中。

如果你不熟悉这个领域,那么需要说一下,Siren并不是凭空出现,只是这类技术的一个最新进展。同样的原理,这种技术可以帮助电影、动画、游戏等行业降低生产成本,提高虚拟人物的亲和力。

最后,来看一段Siren的自我介绍吧。

本文来自量子位,创业家系授权发布,略经编辑修改,版权归作者所有,内容仅代表作者独立观点。[ 下载创业家APP,读懂中国最赚钱的7000种生意 ]

The End