爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场

Xsens动作捕捉 2023-05-10 3686

wuhu专访

爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第1张


什么!!

爱搞“黑科技”的原力又放大招啦?!


爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第2张


近日

原力数字科技宣布自研出了

全新重光照4D扫描技术


能使每一帧都是一个扫描出来的高精度几何模型

扫描精度可达皮肤毛孔级别;

能有更多的过度POSE选择

让后期呈现的虚拟效果更贴近原本的演员表演


爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第3张


这也是

行业内第一家自主全流程的

重光照4D扫描系统


可能小伙伴们还不太清楚其中的意义


下面我们先来简单介绍一下


早在2019年,原力已经自主研发出重光照扫描系统,能够以超高的帧速率,采集高精度面部动态几何模型并生成Normal贴图、Specular贴图、Diffuse贴图;


它能够捕捉演员表演时细微的表情、肌肉和褶皱、血管显现等真实的物理变化,让模型扫描能够得到直接可用的高质量素材,大大降低了相关制作难度和复杂度,极大地缓解了国内动漫行业精英人才匮乏和制作成本过高的难题。


爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第4张


现在依托于多年沉淀的动画模型制作技术和传统单反矩阵扫描,在重光照系统的基础上,原力尝试创新在原本的基础上加入时间轴的概念,最终得到了这套能使每一帧都是一个扫描出来的高精度几何模型的,这也是行业内第一家自主全流程的重光照4D扫描系统。


以传统扫描、重光照扫描、全新重光照4D扫描的优势对比来看:


传统扫描VS重光照扫描


爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第5张


传统扫描:只能得到一张混合着高光和阴影的颜色图,贴图需要手动擦除高光和阴影,且无法彻底去除。


重光照扫描优势:可以同时采集颜色图、高光图、法线图、次表面散射图(针对半透明物体)等材质信息,并将计算出的模型依次贴图、加上纹理、去高光、加上法线以及最终合成为整体模型一键化完成,模型质量更高,工作效率也大大提升。



重光照扫描VS重光照4D扫描



重光照扫描:只能捕捉单帧内容。


重光照4D扫描优势:加入时间轴概念,使每一帧都是高精度几何模型,扫描精度可达皮肤毛孔级别;能有更多的过度POSE选择,让后期呈现的虚拟效果更贴近原本的演员表演。


我们还了解到,要实现这样的4D扫描,需要高帧速率、高分辨率的视频采集系统。


为此,原力自主研发设计了一套直径3.5米的球形矩阵光照空间,用331块编程Light Force照明灯板来保证照明的绝对均匀和同步。同时采用了3台高速工业相机、52台单反相机进行视频采集,高亮度快闪灯头进行同步照明。随着技术的一次次的迭代和更新,目前可以做到以25,30,60,fps来进行数据采集,最高分辨率可以达到3840×2160


爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第6张


此外,原力的这套重光照4D扫描系统能够输出4D高精度几何模型和8k贴图,扫描精度能够达到皮肤毛孔级别,最高可以输出一千万面精度的几何模型,也可以根据项目的需求生成低面模型和normal贴图、specular贴图、diffuse贴图。


爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第7张


这套扫描系统

制作流程是怎样呢?


重光照4D扫描系统,首先采集4D扫描的原始数据,然后经过传输、输出序列帧、对齐帧、分别计算点云、生成高精度几何模型、生成高精度贴图、拓扑模型等一系列的流程。最终就可以输出高精度面部几何、normal贴图、diffuse贴图、specular信息等素材。


爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第8张

爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第9张


这套扫描系统

能为我们带到哪些便利呢?


在动画领域,它能有更加真实的模型blends制作;在如今大热的数字人领域,它缩短了制作高精度写实数字人的周期,简化了制作流程,增加数字人表情的精度和细节,最大限度还原演员真实的细节;而在游戏领域,重光照4D扫描系统可以让美术资产的制作流程更加简便,提升制作的效率,提升角色的细节,增加游戏的真实性


说了这么多

是不是还想了解


这套扫描系统的优势在哪里?

使用成本如何?

如何把控采集数据?

如何匹配pbr规范?


本期wuhu专访我们邀请了原力数字科技重光照4D扫描技术开发团队,以及在VR领域研究超过七年的中国传媒大学教师高尔东老师,一起聊一聊这套扫描系统幕后的开发以及如何运用等问题。



WUHU Exclusive Interview

wuhu专访第356期


嘉宾 | 原力数字科技

采访 | 高尔东

编辑 | 新桥别亦




Q:请问怎么看待动态所谓“体视频”的发展?如类似谷歌的relightables 等对比,咱们的优势在哪?


原力:动态体视频是在传统的3D扫描基础上添加了时间线,使每一帧都是扫描出来的高精度几何模型,生成几何模型序列的技术,这些几何模型连续播放起来就能够让我们任意角度观看模型。


基于多机位相机拍摄的动态体视频在精度上可以到达影视级别,记录演员的动作神情也更加自然流畅,能够达到百分百还原。体视频技术相当于是集雕刻建模+贴图绘制+表情捕捉于一身,而所花费的制作时间大大减少。体视频在电影制作、虚拟现实、数字媒体、影视表演都有非常丰富的应用场景。


原力的重光照4D扫描技术起步相对relightables较晚,relightables使用的采集设备是多组1200万像素的双目结构光相机,而我们使用了52台3250万像素单反相机和3台高速工业相机结合。这样的组合使得我们能够采集到更多细节,在采集到高清的4D元数据的同时又能采集用于重光照计算的环境光照图片,用于生成高精度面部几何、normal贴图、diffuse 贴图、specular信息等素材。


爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第10张


依托于原力在3D动画相关领域的多年深耕,我们拥有从扫描到拓扑再编辑,到绑定动画材质渲染的全流程制作经验。支持市面上常见的 3D 软件(Maya、Unity 3D、UE)表情驱动应用。



Q:原力在现阶段是如何改变内容生产与开发的行业流程和模式?


原力:经过我们的多次流程测试,现阶段我们的开发流程需要经过:采集4D扫描原始数据、传输、输出序列帧、对齐帧、分别计算点云,生成高精度几何模型,生成高精度贴图、拓扑模型等一系列的流程


传统行业流程是拍摄多个单帧pose来制作blendshape表情模型库,用来驱动虚拟角色的表情。而重光照4D扫描系统计算出的模型,可以直接生成带有表情动画的模型,既可以在此基础上进行再编辑和修改,也可以根据需要将关键帧提取出来制作blendshape。


这样制作出来的blendshape有更自然的过渡和更真实的皮肤褶皱。能够捕捉真人说话及日常表情面部细微变化,使虚拟角色的表情神态更加真实还原。


爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第11张


这样的流程在制作写实数字人、虚拟角色时非常方便。以传统流程制作虚拟角色,需要从雕刻建模到贴图绘制,再到绑定动画和渲染,至少需要一个月的时间,并且效果远不如扫描来得真实,容易产生恐怖谷效应,无法还原真实演员的动作和表情细节,很难做到真实,永远无法做到相同。


4D扫描技术缩短了制作高精度写实数字人的周期,简化了制作的流程,增加数字人表情的精度和细节,最大限度还原演员真实的细节,捕捉演员表演时细微的表情、肌肉和褶皱、血管显现等真实的物理变化。



Q:该项技术可以让模型扫描能够得到直接可用的高质量素材,能解决很多技术、人才和成本的问题,我们想了解一下成本。一方面是整套系统的运行与开发成本,是否已经大幅度下降呢?对于开发者来说,具体要多大体量项目是符合其所能承担的成本。另一方面是数据量级,关于扫描精度与数据量二者的关系是如何?


原力:因为整套流程都是自主研发的,所以研发的成本还是相对较高的,例如编程Light Force照明灯板,定制的高速工业相机,定做的球形矩阵光照空间,用于同步的触发装置。随着重光照研发的逐步完善,开发成本较研发开始时有小幅下降。


爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第12张


主要用于高精度写实数字人、动画番剧、影视项目,随着技术的不断迭代更新,未来虚拟现实、服装设计、体育赛事、医疗等领域都能够通过重光照4D扫描技术来实现预期效果。


扫描精度和前期拍摄的数据量成正相关:相机的数量越多,则同时能够获取的元数据就越多,扫描的精度和细节就越高。拍摄的元数据时长越长,我们能够从中获取的关键pose就越多,但随着元数据的增加,解算的时长也会随之增加。


经过我们的测试,现使用66台单反相机和5台高速工业相机来进行拍摄,做到以25,30,60,fps来进行数据采集,最高分辨率可以达到3840×2160,能够达到精度与数据量之间较好的平衡。



Q:这项技术与传统动捕采集的数据体量相比,显然大得多,对于开发者是需要如何把控的呢?针对扫描出来的数据微调和修改的手段和能力多大?


原力:重光照4D扫描的数据量大概是传统3D扫描数据量的1000倍,目前采集数据体量无法缩小,我们的TD部门开发的一系列针对元数据的编辑,对齐,排序的插件,解算出的动态几何模型,可以通过重拓扑来进行修改和微调,可以在原始数据的基础上任意修改和调整。



Q:目前pbr流程还是很热门的,请问这套设备输出的内容如何与pbr规范相匹配呢?


原力:重光照4D扫描系统通过331块编程Light Force照明灯板可以模拟各种不同的光照环境,经过软件处理直接生成模型贴图,在各种渲染引擎也都能够兼容,能够更精确地描绘光和表面之间的作用。和传统pbr制作流程相比,不需要去反复调整贴图,不需要再用高模去烘焙贴图,或是手绘贴图,让次世代角色的制作流程事半功倍。



Q:对于VR,AR交互与社交方式的迭代,动态体积扫描在其中的价值不言而喻。对大众来说,如何判断在未来数年内,类似微软“Holoportation”概念的扫描设备的便携性、普及化的设备是否在我们企业的发展考虑范围内,我们需要做什么样的准备,大致迭代周期是怎样的情况?针对原力在后续黑科技的研究上还会有哪些探索呢?


原力:简单来说,Holoportation技术更像是3维版本的facetime。它能够把身处在不同地方的两个人,通过多视角相机取景拍摄,3维建模,然后把模型压缩,实时传输给对方。重光照4D扫描系统的基本实现原理和Holoportation类似,目前我们的重光照4D扫描系统主要着重点在3D影视、动画和虚拟数字人角色制作等领域。


我们未来目标主要是提升扫描模型的精度,制作流程智能化,提升设备的便携性和一体性。原力还在不断地进行技术的迭代和更新,随着技术的不断成熟应用,要想使这项技术普及,我们需要在拍摄制作的流程上再继续做优化,进一步的降低成本,让这项技术能够被更多行业人群使用。


如今,动画的发展已经离不开科技的助力。


近几年,我们也观察到原力作为一家以科技研发、高质量动画制作著称的公司,在行业内已经有着雄厚的实力基础,并以《凡人修仙传》《故宫里的大怪兽》《驯龙记》等作品为观众熟知。在游戏领域更是与育碧、暴雪、EA、网易、腾讯等众多一线公司合作,如《最后生还者1/2》《英雄联盟》《王者荣耀》《战神》《FIFA》《神秘海域》等游戏大作幕后都有原力的参与!


爱搞“黑科技”的原力又放大招!全新重光照4D扫描技术重磅登场  第13张


这次原力推出的全新重光照4D扫描技术,在动画领域又是一项提高动画制作的高效率工具,并且还有望在虚拟现实、服装设计、体育赛事、医疗等领域发挥作用。


未来,也许这项技术将会以更精准、更便携、更智能的面貌出现,且被更多类型的团队运用在不同领域,由此对动画制作工业化的推动力量将会有多少?就看后面的优化更新了。


原力,用动画检验科技、用科技助力动画,这群“爱搞黑科技”的动画人,不停地尝试开发出新技术,也持续地将动画制作提升到新的高度。我们见证并期待着原力在动画技术领域的又又又一次新突破!



—END—

The End