英伟达炫技,老黄14秒是假的,登峰造极的数字人多“可怕”

Xsens动作捕捉 2023-05-11 2387

在脑洞神剧《瑞克和莫蒂》第一季中曾有这样一幕,C-137瑞克曾陷入外星人制造的微型世界,周遭一切看似真实的人与事物都是由电脑合成、难辨真假。这幅场景,几乎等同于我们今天要提到的“数字人(MetaHuman)”概念。

更有意思的是,剧集最后还出现了个始料未及的反转,一直待在姥爷身边的莫蒂其实是个数字人。无独有偶,在近日ACM SIGGRAPH举办的SIGGRAPH 2021上,英伟达通过一部纪录片自曝了类似的“大反转”。

还记得,今年4月的2021 GTC大会上,英伟达CEO黄仁勋现身介绍了对标Metaverse的平台级产品–Omniverse。当时老黄还提到,Metaverse不仅仅是游戏,而是模拟未来的地方。此外,这场发布会上英伟达还把多款中国产游戏当做了标杆游戏进行展示,GameLook还做过报道。

模拟未来?这可不是空话,英伟达其实从这场发布会就已经开始践行,只不过是在三个月后的纪录片中才真正向全世界公开:几乎没有人发现,这场发布会第62分钟,有一个14秒画面中的场景布局,老黄标志性的皮衣,甚至他本人全都是利用Omniverse合成渲染出来的“假人”。

英伟达炫技,老黄14秒是假的,登峰造极的数字人多“可怕”  第1张

这个14秒顶级数字人“炫技骗局”,足足震撼吃瓜群众一整年。

打造数字人老黄,英伟达如何偷天换日?

在这14秒钟,不光有这个骗了全世界目光的“黄仁勋”,整个画面布景也都是“造假”。大到厨房的烤箱、桌面抽屉;小到摆放的刀叉餐具、瓶瓶罐罐,以及隐藏在老黄身后的乐高,甚至是插座螺丝等全都是3D渲染的成果。

英伟达炫技,老黄14秒是假的,登峰造极的数字人多“可怕”  第2张

英伟达炫技,老黄14秒是假的,登峰造极的数字人多“可怕”  第3张

这场虚拟发布会细节之丰富的确令人意外,而为了实现这样逼真的效果,英伟达动用了34个3D美术师和15个软件研究人员参与。

首先需要在多台照相机搭建的3D扫描摄影棚中为老黄拍摄几千张各角度的照片,并将其采集的数据生成非常精密3D模型,再通过后期对头型、脸型、手指等细节的再次精密加工,最终模型对头发、皱纹等细节也都做到了完美再现。

英伟达炫技,老黄14秒是假的,登峰造极的数字人多“可怕”  第4张

英伟达炫技,老黄14秒是假的,登峰造极的数字人多“可怕”  第5张

为了达到最理想的发布会效果,英伟达甚至直接做了21个版本挑选,还对老黄的皮衣进行单独的拍摄处理。

英伟达炫技,老黄14秒是假的,登峰造极的数字人多“可怕”  第6张

不过建模还只是第一步,接下来就需要借助AI工具让模型“动”起来。

利用最新的Audio2Face模型,AI可以随着语音自动调整模型的面部表情细节。不过这依旧不够“真实”,模型皮肤材质还是与真人有着很大差距。这时借助另一个AI工具的帮助,让老黄的照片自动匹配合成至模型动画后,已经无限接近于现实。

英伟达炫技,老黄14秒是假的,登峰造极的数字人多“可怕”  第7张

除此之外,还有专业动捕演员加入为老黄的模型采集身体动作数据。并借助自研的Omniverse RTX渲染器进行实时光线追踪,一场偷天换日的世界级骗局就此诞生。

英伟达炫技,老黄14秒是假的,登峰造极的数字人多“可怕”  第8张

而事实上,这场发布会CG、优化技术、引擎等“黑科技”,全都来自英伟达那个对标元宇宙的平台Omniverse。

数字人背后的黑科技——Omniverse

作为全球首个为元宇宙建立的基础模拟平台,Omniverse与Metaverse目标都是构建数字化的虚拟空间。不过号称“永远实时在线”的Omniverse更专注于实时仿真、数字协作,也更偏向于“数字孪生”概念(Digital Twin),即用数据1:1创造一个贴合现实的虚拟世界。

此前GTC大会上黄仁勋曾介绍,Omniverse是基于USD(通用场景描述)的一款云平台,拥有高度逼真的物理模拟引擎以及高性能渲染能力。

而据英伟达表示,平台现在可以实时实现电影级别的画质渲染。传统的计算机渲染,至少需要将光源迭代30+次才能达到逼真到毛发的效果,即使用最先进的机器渲染,每一帧也需要几十秒。

而利用Neural Radiance Cache等技术,结合RTX GPU硬件和Omniverse平台,光源渲染就能直接实时进行,此次的数字人正是使用了这项技术。

英伟达炫技,老黄14秒是假的,登峰造极的数字人多“可怕”  第9张

当然,Omniverse平台的应用场景不仅限于游戏,建筑、工程与施工,制造业,超级计算等行业都将一一受惠。例如,自驾车仿真等一系列技术也会用到Omniverse。

不仅如此,英伟达也在Omniverse上更新了另一项数字孪生技术。即将机器人AI放到虚拟环境中训练完成后,可以直接部署到真实环境中。目前宝马利用这项技术优化了工厂生产线、效率提升了30%。

英伟达炫技,老黄14秒是假的,登峰造极的数字人多“可怕”  第10张

除了宝马工厂外,去年12月测试版本上线后,平台已经获得了爱立信、福斯特建筑、WPP等众多大型企业的支持,如今已有超过5万名个人创作者下载了Omniverse。而Omniverse的生态系统也在持续壮大,Adobe、Autodesk、Bentley Systems等多家软件公司都已加入Omniverse的生态圈。

MetaHuman Creator,人人都可创作的数字人

事实上,Epic也在今年年初推出过基于虚幻引擎驱动的MetaHuman Creator工具。与英伟达需要大量昂贵扫描设备和复杂技术算法的制作流程相比,MetaHuman Creator可以更轻松、便捷地创作出高保真的数字人。

由于MetaHuman Creator部署于云端,通过Pixel Streaming技术做到可以在网页端交互使用。扫描真实人类并提取面部特征后,会将其记录在后台数据库中,并以此帮助之后Creator创建真实可信的角色。

同时MetaHuman Creator还提供多种预设体型、服饰、皮肤和毛发,目前已有超过50个预设角色可以直接下载。用户也可对其进行高度自定义的细节雕刻,甚至连模型的牙齿、骨骼等均可进行修改,有助于提高数字人的真实感。

也就意味着,MetaHuman Creator大大简化了整个3D模型创作过程,创作者可以先跳过数据采集这一繁琐且昂贵的步骤,只需几分钟就可以捏出差异性很大的数字人模型。

英伟达炫技,老黄14秒是假的,登峰造极的数字人多“可怕”  第11张

而对于“让数字人动起来”的难题,Epic则表示可以结合动捕技术和动画技术使用。例如,基于虚幻引擎的iOS手机应用Live Link Face,以创建逼真的动作。

不过从英伟达与Epic的演示视频对比来看,MetaHuman Creator数字人虽然头发、眼睛、皮肤、皱纹等质量并不低。不过相比足以欺骗世界的英伟达数字人,保真度上还是稍显逊色。

毕竟有些部分是MetaHuman Creator很难实现的,比如衣服和毛发、以及独特的胡须和面部纹理等细节,这些往往需要更多的处理过程。不过Epic的数字人技术,定位更像是帮助中小创作者减负的工具,适用范围更大。

曾参与《魔法门之英雄无敌》和《幽灵行动:断点》的前育碧制作人和创意总监Broche就提到过,这项技术最适合像他工作室一样的开发商使用:“对于小团队而言,能够用MetaHuman得到高于大多数角色美术师所创造的角色,是一个非常不错的机会”。

超写实的MetaHuman,虚拟偶像的又一未来?

事实上,面对高保真的虚拟数字人,很难不将之与火热的虚拟偶像联想到一块。

自字节投资A-SOUL后,前不久GameLook也报道了腾讯正在虚拟偶像赛道“招兵买马”。多家大厂关注下,当前该领域的技术标准同样在不断被拔高。长此以往,虚拟偶像发的未来展会是什么形态,目前暂不知晓。不过当下英伟达数字人的出现,似乎给出了令一种可能性:

之后,虚拟偶像很可能会同以假乱真的数字人逐步结合。但相关技术的普及,显然才是决定二者合作的关键。

技术发展的终点,始终是让创造变得更加简单、便捷。相比于复杂的Omniverse技术,Epic的MetaHuman Creator适用范围更广、且还在继续扩大。此前Epic数字人类技术副总裁Vladimir Mastilovic表示:“目前该工具无法使孩子,青少年或年纪大的人受益。因此,扩大这种多样性将是我们下一步的工作之一。”

可以预见,随着之后UE5的普及,Epic数字人也将在真实感上更进一步,带来一种人人都可以创作的数字人技术,并推动虚拟偶像行业实现大跨步,让“永不塌房”的虚拟偶像真正意义上代替现实世界的偶像明星。

The End