中之人和皮套不能同台,但真人和虚拟人可以呀!

Xsens动作捕捉 2023-04-29 4737

?

中之人和皮套不能同台,但真人和虚拟人可以呀!  第1张


B站up主SwP_Forever一条“开盒”视频,终于让自己拥有了第一条上万播放的视频。中之人开盒通常是虚拟主播大忌,SwP_Forever也强调过不会再让真人混淆虚拟皮套的人设,纯净的虚拟主播才是vup们受到喜爱的原因。


中之人和皮套不能同台,但真人和虚拟人可以呀!  第2张
关注指路——B站id:SwP_Forever


虽然在v圈的直播中看不到中之人出镜,但是真人与虚拟人同台互动的直播却是越来越多。这样的直播方式也让更多的虚拟偶像、虚拟up主们实现了圈层突破。


专业级的虚实同步直播有着一套完整的直播流程和专业设备,往往一场直播所需要的人力、物力、财力合计需要小百万,这还不包括制作模型的费用。


中之人和皮套不能同台,但真人和虚拟人可以呀!  第3张
青瞳视觉虚拟直播动捕棚


中之人和皮套不能同台,但真人和虚拟人可以呀!  第4张


虚拟人设和皮套的模型设计是首要之事,二次元类型与超写实高精数字人是时下最普遍的两种类型的数字人,价格也参差不齐,几百至几十万都有,而导致模型售价区间如此巨大的根本原因无非就是所需要的数字人到底要有多真?真到连皮肤的毛孔和绒毛都可以看得一清二楚,服装、头饰每一处细节都各具质感,那么价格自然不菲。

中之人和皮套不能同台,但真人和虚拟人可以呀!  第5张
二次元风格虚拟女团:四禧丸子


中之人和皮套不能同台,但真人和虚拟人可以呀!  第6张
杜蕾斯&沃尔沃 情人节广告超写实数字人


如果看得仔细,也不难发现,一些超高精度的数字人直播画面与视频、海报相比,写实程度有所降低,这是受限于现在的渲染技术与设备,一个百万面数的数字人直播时加上虚拟场景的渲染驱动是十分考验服务器性能的,所以现在通用的数字人直播大多使用的是30万面-50万面的数字模型。


中之人和皮套不能同台,但真人和虚拟人可以呀!  第7张


数字人建模完成后需要经过骨骼绑定、解算、动捕系统,一个数字人才算可以活动起来。骨骼绑定决定的了数字人的动作是否容易穿模。头发和服装面料的解算决定了数字人活动起来时服装与头发有没有随之摆动。而动作捕捉是数字人活动起来的灵魂基础。


中之人和皮套不能同台,但真人和虚拟人可以呀!  第8张
Maya骨骼绑定

数字“人”的“人”不仅仅是拥有人类的皮囊,也需要中之人赋予TA声音、语气、动作、人设等,才能成为一个真实的虚拟人,动捕设备就是联通中之人与数字人必不可少的介质。


光学动捕的设备是直接架设在直播棚中的,在青瞳视觉自有的专业虚拟直播棚中,架设了30台MC1300光学动捕相机,支持多人同场直播。动捕设备需要单独的动捕电脑进行数据处理,一般i7处理器的电脑配置即可。

中之人和皮套不能同台,但真人和虚拟人可以呀!  第9张
青瞳视觉虚拟直播动捕棚——MC1300光学动捕相机


除了动捕电脑,还需要准备一台渲染机,面捕、手捕、身体动捕数据通过交换机连接到渲染引擎,进行人物、场景的渲染,通常使用到的软件是UE、Unity,渲染机的配置建议i9以上,3080ti显卡。


中之人和皮套不能同台,但真人和虚拟人可以呀!  第10张


在虚拟场景中叠入真人,实现真人与虚拟人同屏需要使用到实时抠像技术。从硬件上需要在直播棚内配备绿幕、灯光、真人拍摄使用的摄像机。灯光除了为真人打光外,也让整个绿幕背景光线更加均匀,更加便于抠像。绿幕抠像可以使用软件如UE进行抠像,再通过调节虚拟镜头和实拍相机的焦距与角度,让真人和虚拟人前后位置相对一致,营造同一空间的场景感。

虚拟直播原来是这样实现的!

此时真人+虚拟人直播的内容场景基本已经搭建完成,加上声卡采集设备,就可以直接推流直播。专业的直播间,需要切换不同景别和场景,往往使用导播台更加方便操作。导播台连接渲染机、声卡、实拍相机、推流机,可以直接在导播台内进行绿幕抠像,推流信号也可以分成几路,同时推送不同的直播平台。


中之人和皮套不能同台,但真人和虚拟人可以呀!  第11张
虚拟直播流程图


整套虚拟人+真人的直播涉及的环节与设备众多,能够整合行业资源的服务商屈指可数,青瞳视觉作为虚拟直播领域的开荒者,提供全栈式虚拟直播方案,加入青瞳官方社群可以了解更多虚拟直播详情!


中之人和皮套不能同台,但真人和虚拟人可以呀!  第12张


The End