为什么说元宇宙会是下一个技术风口?实现需要哪些技术突破?

Xsens动作捕捉 2023-04-30 4025

聊一个元宇宙背景下可能成为风口的东西:民用化的动作捕捉系统

一提到元宇宙和个人的关系,可能大家会很直接的想到VR眼镜之类的装备。使用这些装备的用户,我们可以叫他们元宇宙的『观察者』—— 带上眼镜,『进入』元宇宙,到处乱逛,买东西或者玩游戏。不过,只有『观察者』的元宇宙,只相当于互联网Web 1.0时代(甚至是传统媒体时代):用户只能使用系统提供的、中心化的设施获取内容和与之互动。但元宇宙作为现实世界的数字孪生,肯定不止于此。除了『观察者』,还要有去中心化的内容产生者产生多样化的内容。因此,有相当一部分用户,会在元宇宙中做一个『Up主』。而他们,需要什么样的个人设备?

当今的移动互联网时代,『Up主』们筹划好内容之后,会使用摄像机和视频剪辑软件进行采编创作并发布,或者直接使用手机等进行直播。而用户则通过大小不一的屏幕进行内容消费或者互动。但在元宇宙时代,你并不想在沉浸于虚拟世界中的时候,却发现在这个虚拟世界里观看别人的媒体产品还要找一个虚拟的屏幕——这就没有意义了。因此,元宇宙的『Up主』必然要具备栩栩如生的数字形象,方才适应元宇宙的世界。老网民都知道『在互联网上,没人知道你是一条狗』,但『在元宇宙里,大家都需要变成一条狗』。

为什么说元宇宙会是下一个技术风口?实现需要哪些技术突破?  第1张
著名漫画:在互联网上,没人知道你是一条狗,Peter Steiner,1993

为了实现个人化的数字形象创作,就需要有相关技术的突破。我们都知道如今数字电影工业普遍使用动作捕捉系统提取演员的表情和姿态,然后将捕捉到的数据作为动画渲染管线的输入从而呈现为数字形象。 如果站在增量改进的角度而言,将工业用的动作捕捉系统进行民用化会是个很不错的路线。

为什么说元宇宙会是下一个技术风口?实现需要哪些技术突破?  第2张
电影《阿凡达》拍摄过程中使用的先进面部捕捉系统 Duncan, Jody. Avatar. Cinefex magazine (Riverside, CA: Cinefex). January 2010 issue (Cinefex Issue #120), cover story: p. 86.

在今天,动作捕捉主要有基于视觉系统的光学动作捕捉和基于传感器的非光学动作捕捉。这两种系统有望在不同的领域进行民用化

光学动作捕捉,演员需要穿戴带有识别标记的服装(紧身+LED),在专用的捕捉工作室中完成。无论是面部标记还是身体标记,相关的算法都已经相对成熟。在元宇宙的高帧率交互场合,光学动作捕捉的关键要素为高速拍摄和实时表情、姿态提取。在图像技术日新月异、算力公司如火如荼的今天,以半导体器件为核心的设备成本可进一步降低。相关的商业生态很可能是部署了边缘计算服务器并提供布景等演艺服务的『元宇宙入口工作室』,『Up主』们可以根据自己的体型定制服装,然后租用工作室进行『直播』。基于运营成本考虑,这种工作室也可以做成『离线版』,只进行布景和拍摄,而动作提取和渲染一并提交到云端完成,供只进行『录播』的内容产生者使用。或者推出『低像素直播版』,提供给『惠民元宇宙桌游店』等对视觉效果要求不太高的互动场合。

为什么说元宇宙会是下一个技术风口?实现需要哪些技术突破?  第3张
动作捕捉+人物建模 = 永远的冻龄女神?

如果你想到户外做个直播(例如增强现实场景),或者就想在家里玩不想再搭一个工作室,那么可以考虑基于传感器的非光学动作捕捉。

最便宜的非光学动作捕捉就是基于加速度传感器的动作捕捉(比如任天堂switch的手柄)。考虑到传感器本身并不贵(在不出现芯片短缺的情况下),完全可以缝在紧身服的各个关节处,再用树莓派级别的应用处理器收集所有传感器的信号进行整合后,发送到云端。面部表情的处理稍显复杂,如果图便宜的话,可以用头戴式摄像机,只拍摄眼睛,并同时录音,以这两部分信息重建数字孪生的眼神和面部肌肉动作。如果可穿戴的显卡足够强,当然可以做『实时AI换脸』。如果设备不强但网速足够,也可以上传到云端再处理。

为什么说元宇宙会是下一个技术风口?实现需要哪些技术突破?  第4张
MPU 6050 三轴加速度传感器模组,网购价格10元左右

为什么说提供给『Up主』的动作捕捉系统,比提供给『观察者』的VR眼镜之类更有『价值』?

首先,一个东西最终是否吸引人,还是要看这里面内容的质量。想想当初你们是怎么进知乎的,正是因为首先有一批社会名流,发表了一批优秀的文字,才形成知乎最早的吸引力从而形成社区的。元宇宙也是这样,首先需要有优秀的内容提供者,以及他们提供的优秀内容,元宇宙才能吸引更多人进来使用。因此一定要给这些内容提供者一个高效的『呈现工具』,而价格适中、高低搭配的动作捕捉系统正是优选。

其次,动作捕捉系统的『向下兼容性』很好,即便不在元宇宙里,动作捕捉系统以及它产生的数字形象依然能够很好的『下沉』到基于屏幕呈现的传统数字媒体——比如想象一下有一只栩栩如生的海豹在套头晃脑的为我们播报《睡前消息》。这将是元宇宙『反哺』现实世界很好的案例。

最后,其实也是不得不考虑的,动作捕捉设备,都是『生理友好』型的东西,最多最多是因为衣服紧你穿得有点难受。而VR眼镜这些,如果不配上运动平台,一般人撑不过多久就会吐得一塌糊涂。

The End