虚拟主播怎么做?

Xsens动作捕捉 2022-11-30 8634

随着元宇宙概念的火热,以及我国经济向全面数字化发展转型,作为元宇宙入口的虚拟数字人是目前相关产业中最接地气、最先落地的产业。如果说虚拟人是一座冰山,那么我们看到的部分就是冰山水面以上的部分,而看不到的水面以下则是支撑虚拟人的底层技术。

近日,一则“虚拟主播B站直播2小时收入超百万,付费率达到了惊人的73.3%”话题引发广泛讨论,很多网友惊呼刷新认知,直言钱太好赚。也有网友表示愿意花钱买开心。

据了解,这个2小时收入超百万的虚拟主播名为Shoto,是一名二次元、面容精致、紫发紫瞳、时不时会露出小虎牙的著名虚拟主播。Shoto身在美国东部,在进驻B站前一直活跃在国外的社交和直播平台。

虚拟主播怎么做?  第1张

Shoto 在B站第一个视频投稿就成为全站排行榜第一。而这个视频时长仅 48 秒,内容是模仿 " 小狗叫 ",目前该视频已经有279万播放量。除此之外,凭借奶凶的形象和温柔的嗓音,Shoto也收获了92.3万的粉丝

那么对于最近爆火的元宇宙以及频频上热搜的虚拟主播等虚拟人的出现,相信很多小伙伴们都好奇虚拟人到底是什么,是如何实现的呢?

虚拟数字人是什么?

虚拟人是指利用AI技术驱动的数字虚拟人物,具备拟人化的交互能力,能完成部分工作与任务。在CG技术、图形渲染技术成熟的条件下可以构建超写实逼真的人物形象。其分类方法也因呈现方式(如2D \3D)、风格(如卡通、二次元、写实、超写实)、制作主题、应用场景、驱动方式等而异。

虚拟主播怎么做?  第2张

虚拟数字人制作技术的三大模块

模块一:建模。通过静态重建、高视觉保真度的动态光场三位重建技术,进行虚拟人形象的基础构建,重点在于形象的细节制作或是还原。

模块二:驱动。通过将捕捉采集到的动作驱动虚拟人模型是目前3D虚拟人动作生成的主要方式,核心技术是动作捕捉;主要是驱动人物的动作和表情捕捉。

模块三:渲染。通过PBR渲染技术、重光照等新型渲染技术将虚拟人的外观进行精度的调整,以及虚拟人所处环境表现和效果的打造。

虚拟主播怎么做?  第3张

数字虚拟人制作的全过程:真人动作采集、动画处理、表情捕捉、骨骼绑定、动作合成、面部表情、服装道具、配音、渲染输出、成品展示。

以上就是虚拟数字人制作的大致过程,一个虚拟形象的诞生,不仅需要创作团队拥有最前沿的虚拟技术,还需要品牌方明确给出自己需求及确定虚拟形象的设计方向。

制作虚拟数字人的主要软件技术:

建模软件能够对虚拟数字人的人体、衣物进行三维建模。渲染引擎能够对灯光、毛发、衣物等进行渲染,主流引擎包括Unity Technologies公司的Unity 3D、Epic Games公司的Unreal Engine等。总体来看,处于基础层的厂商已经深耕行业多年,已经形成了较为深厚的技术壁垒。

虚幻引擎官方发布视频展示了它最新的次世代数字人类创作工具MetaHuman Creator,使用这一工具创作出来的数字人类拥有超高品质的真实感,以下视频可以感受一下:

虚拟主播怎么做?  第4张

虚拟数字人主打Unreal和Unity渲染引擎,真实性和实时性均大幅提升

在技术领域方面,有一部分海外厂商如Intel、Microsoft、Google以及Meta(Facebook)这类综合型厂商提供全栈式的技术服务。也有一部分海外厂商从不同的技术细分上发力,其中包括人工智能,渲染建模,动作捕捉以及VRAR的应用等。在AI虚拟形象生成技术厂商中,主要有Soul-Machine、Oben以及Loom.ai等厂商提供个性化的人机交互系统来强调拟人化的情绪带来的商业价值的提升。

在渲染建模方面,主要海外厂商有Epic Games、Unity以及NVIDIA等。其开发的引擎Unrealengine、Unity以及NVIDIA Omniverse提供了3D实时模拟和协作的工具和平台。

虚拟主播怎么做?  第5张

关于动态捕捉的海外厂商有关注光学动态捕捉技术的VICON、Motion Analysis、Opti Track,以及关注惯性动作捕捉技术的Xsens等。在VRAR方面,主要有Wave和Stageverse这样的海外厂商使用VRAR技术向用户提供虚拟服务的平台以及应用程序。

呆猫云桌面助力虚拟数字人制作,高性能云端制作

但是想要实现虚拟数字人的制作,首先就要有个强大的电脑来完成这些软件的运行,不过一般普通电脑还是没办法流畅完成,这里推荐使用呆猫云桌面来高效完成虚拟制作人的建模渲染以及到完成的全程一体化制作服务。

呆猫云桌面的行业领先配置、多规格高性能GPU机型,可秒级启动百万核算力资源,万核渲一图。极致稳定的计算性能,满足单集群上万台机器并发渲染。完美解决了制作虚拟人过程中需要的超多渲染需求。

虚拟主播怎么做?  第6张

呆猫云桌面中提供软件中心,涵盖了cg行业的软件插件全覆盖,虚拟人制作软件无需下载,云桌面中即可轻松一键安装,轻松高效云端制作。

虚拟主播怎么做?  第7张

对于制作虚拟人来说,数字资产安全很重要,呆猫云桌面中的云盘可分钟级随需扩容,具备百万IOPS,支持高并发场景或大数据读写。安全策略强管控,免受病毒攻击,储备份机制保护数据不丢失。共享网盘还可支持多人同时使用,提升异地协同效率。

而且呆猫云桌面还可以满足制作虚拟人过程中的Omniverse的高性能电脑的需求。

XDEMO呆猫云桌面Omniverse部署流程

Step1:如下图所示,在呆猫云桌面上申请创作成员所需要的高配机器数量,在云桌面内部署Omniverse软件服务,安装创作成员需使用到的应用软件(Maya、Unreal、Revit等),可将资产存放至呆猫云盘。

虚拟主播怎么做?  第8张

Step2:部署完成后,团队成员可异地使用不同的软件来实时交互制作同一个三维场景。

总结

随着深度学习的发展,目前AI技术已经举具备语义理解、自主学习、语音交互等能力,根据不同的互动场景产生对应的内容交互输出,目前已经在一些领域实现了工作型机器人,如某科房地产产生的最佳新员工数字人、部分电视台的虚拟数字主持人等多个领域中,并且还出现了同时覆盖多模态的虚拟人技术。

过去,AI在视觉领域的内容生成主要集中在2D领域。制作难度根据图像录音-直播增加。随着沉浸式体验成为越来越明显的趋势,包括VR/AR行业在内的AI + 3D虚拟内容将成为虚拟内容生成的新力量。

The End