为什么我觉得元宇宙是个骗局?

Xsens动作捕捉 2023-04-30 4541

对于“元宇宙”这个火爆的新兴概念,可以说是1000个人眼里有1000个“元宇宙”,不同的媒体、公司、个人都有着自己的理解,其未来的发现趋势到底如何,还需要靠时间进一步的沉淀。今天就和大家一起探讨元宇宙中的技术技术。

元宇宙的技术基础

我们来一起看一看元宇宙是如何构建的,也就是元宇宙的技术基础。

元宇宙的构成技术是非常的多,包括虚拟现实、区块链、AI+人工智能等等.

为什么我觉得元宇宙是个骗局?  第1张

我们本次重点从虚拟现实和大家分享一下。AR/VR技术的科技树,也就是五大核心技术:近眼显示技术、内容创建技术、网络传输技术、渲染技术、感知和自然交互技术。

为什么我觉得元宇宙是个骗局?  第2张

1.Near-eye display(近眼显示技术)

包括传统的屏幕显示技术(LCOS/OLED/可折叠的AMOLED/Micro LED)和光学技术(光场显示/波导技术等等

2.Content creation(内容创作技术)

包括虚拟角色和场景构建、动作捕捉、全景视频拍摄与编辑等等

3.Network communication(网络传输技术)

这方面最受人关注的当然就是即将商用的5G技术,以及传说中传输速率可达每秒1T的下二代6G技术了。当然还有一系列的其它技术有待发展。

4.Rendering Processing(渲染技术)

包括本地渲染、云渲染、光场渲染、多重视角渲染,以及硬件渲染加速等等技术。

5.Perception&interaction(感知和自然交互)

包括跟踪定位技术、多感官自然交互技术(脑波、语音交互、触感交互等等)、机器视觉技术(SLAM/场景分离与识别等)

AR/VR技术有一个非常著名的科技树(如下图),我们可以看到刚才提到的五大技术都有一个科技树展开,然后每个树也有自己的树干,每个树干上也有非常多的分支和树叶。毫不夸张的说,在其中的任何一个树干,甚至任何一个树叶之上,如果去做深入的研究,都可以在这个领域成为一个非常资深的专家。

为什么我觉得元宇宙是个骗局?  第3张

下图是AR/VR技术成熟度曲线,可以看到类似跟踪定位、液晶屏显示、云渲染以及OS相关等技术基本上都是属于两年之内可以商用的。

类似另外一些,比如说自由曲面、虚拟化身、混合云渲染等这些可能要2~5年。

为什么我觉得元宇宙是个骗局?  第4张

接下来我们快速的带大家来一起过一下5大核心技术。

近眼显示技术

首先是近眼显示技术。近眼显示技术分两个部分,分别是显示技术以及光学技术。

显示技术其实就指的各种各样的显示屏,比如LED、MicroLED等等。

为什么我觉得元宇宙是个骗局?  第5张

而对于光学技术,我们可能首先想到就是双眼视差原理。人眼是如何实现立体视觉呢?其实最简单就是因为每个人都有两只眼睛,每个眼睛之间都有一定的间隔,通过间隔每个眼睛看到的图像有所差别,再通过我们的大脑的这种判断,最终都形成了一个立体视觉。

为什么我觉得元宇宙是个骗局?  第6张

同时,AR/VR的光学系统,包括 Pancake,折返式、自由曲面以及光波导

然后我们再来看一下还有全息投影技术,3D全息投影技术可以分为投射全息投影和反射全息投影两种,是全息摄影技术的逆向展示。

目前我们经常看到的各类表演中所使用的全息投影技术都需要用到全息膜这种特殊的介质,而且需要提前在舞台上做各种精密的光学布置。虽然看起来效果绚丽无比,但成本高昂,操作复杂,需要专业训练,并非每个普通人都可以轻松享受到的。从某种程度上来说,目前的主流商用全息投影技术只能被称作“伪全息投影”。

内容创建技术

内容创建技术分成360全景拍摄、传统3D建模和3D重建。

全景拍摄,其实也就是全景相机还有全景摄像机。

优点:百分百真实

缺点:无法切换焦点,无法和场景及人物互动

3D建模就是大家熟悉的3D MAX、玛雅等。

优点:精度高,流程成熟

缺点:耗费大量人力、时间、精力

3D重建主要是针对于小物体以及人物角色。它本身就分成基于2D图像、基于3D扫描、基于红外TOF。

惯性动作捕捉技术也是比较主流的动作捕捉技术之一。其基本原理是通过惯性导航传感器和IMU(惯性测量单元)来测量演员动作的加速度、方位、倾斜角等特性。惯性动作捕捉技术的特点是不受环境干扰,不怕遮挡,采样速度高,精度高。2015年10月由奥飞动漫参与B轮投资的诺亦腾就是一家提供惯性动作捕捉技术的国内科技创业公司,其动作捕捉设备曾用在2015年最热门的美剧《冰与火之歌:权力的游戏》中,并帮助该剧勇夺第67届艾美奖的“最佳特效奖”。

我们以英伟达的“虚拟发布会”为例,来讲一下怎么搭建一个虚拟场景。

详细的步骤可以参考下图:

为什么我觉得元宇宙是个骗局?  第7张

第一步:使用3D扫描构建虚拟场景

第二步:使用体积摄影进行全身3D建模

第三步:使用AI Audio2Face让口型和面部肌肉变化随语音变动

第四步:使用动作捕捉获取身体姿态动画

第五步:使用RTX渲染器进行实时光线追踪

在了解前述知识点之后,我们再来看看3D引擎和SDK技术。当然在这个领域AR/VR里面最常用的3D引擎无非也就是虚幻和Unity。

在此,推荐一本非常经典的书叫《游戏引擎架构》。书里对游戏引擎,从低阶到图形动画,再到高阶的构成做了非常详细的描述和解释说明,目前已经是出到第三版了。

为什么我觉得元宇宙是个骗局?  第8张

AR/VR相关的SDK比如说Vuforia、APPLE ARKit,GOOGLE ARCORE等等。

网络传输技术

我们再来看一下网络传输技术。网络传输技术是虚拟现实的支撑技术。

渲染技术

渲染技术包括本地渲染、云渲染、光场渲染、多重视角渲染,以及硬件渲染加速等等技术。

本地的VR渲染流程如下:

为什么我觉得元宇宙是个骗局?  第9张

云VR渲染流程:

在本地VR渲染的基础上额外增加三个环节(比本地渲染增加20ms左右的延迟):

1.图像压缩编码

2.网络传输

3.图像解压缩

云VR渲染的利弊:

好处:

1.降低对本地硬件处理能力的要求

包括存储空间、性能、散热等,从而让设备增加轻便

缺点:

1.额外增加延迟,影响实际体验

2.清晰度经压缩和传输后无法保证

端云渲染的配合使用

1.对于不追求及时响应的应用

如3dof游戏、VR看房、旅游景点观赏、全景视频播放等,通过ATW+云渲染+本地观看的方式可以获得比较好的效果

2.对于追求及时响应的6dof游戏和社交互动应用

渲染处理更多还是需要在本地进行,云端用于处理指令型数据(参考大型多人在线游戏MMORPG)

3.当前的5G网络和设备硬件性能无法支撑强互动型的云VR渲染和数据传输,未来的6G可以完全实现

感知和自然交互技术

Inside-out技术

基于单目/双目/多目视觉+IMU的inside-out技术取代早期的Outside-in技术开始产品化,特别是在VR一体机设备,如Oculus Quest /Oculus Quest 2,HTC Vive Focus等

可以实现:

1.追踪定位

2.手势动作识别

FOV眼动追踪技术

眼动追踪的原理其实很简单,就是使用红外摄像头和LED捕捉人眼或脸部的图像,然后用算法实现人脸和人眼的检测、定位和跟踪,从而估算用户的视线变化。目前主要使用光谱成像和红外光谱成像两种图像处理方法,前一种需要捕捉虹膜和巩膜之间的轮廓,而后一种则跟踪瞳孔轮廓。

SLAM

基于RGBD相机和红外TOF、激光雷达和AI算法等实现实时场景3D重建,在机器人、无人机和AR/VR设备如HoloLens中得到普遍应用,

除此之外,还有语音交互和语义理解、触觉反馈,嗅觉及其它感觉及模拟器。

另外还有一个非常亮的亮点——脑机接口(大脑和计算机直接进行交互,有时候又被称为意识-机器交互,神经直连。脑机接口是人或者动物大脑和外部设备间建立的直接连接通道,又分为单向脑机接口和双向脑机接口)。

单向脑机接口只允许单向的信息通讯,比如只允许计算机接受大脑传来的命令,或者只允许计算机向大脑发送信号(比如重建影像)。而双向脑机接口则允许大脑和外部计算机设备间实现双向的信息交换。

为什么我觉得元宇宙是个骗局?  第10张

如何参与元宇宙

作为开发者也好,作为兴趣者也好,我们如何来参与元宇宙呢?

未来5年产业发展预测

首先看一下产业链的构成,它包括硬件、平台、工具、内容、行业应用,还有服务。

硬件有分很多分支,比如终端设备,还有其中的零部件等等,其中:

1.2022年将是AR/VR行业真正爆发的元年,特别是VR;

2.VR设备从2021年OCQ2代单款突破千万销量后,将开始爆发式增长;

3.苹果新品将让AR/VR从小众精英人群的玩具走向大众,其行业影响力不容小觑

4.终端设备从2022年开始将成为巨头逐鹿的市场,小型创业团队的窗口期接近关闭,从2021年下半年开始会看到更为密集的战略型投融资或并购事件发生。

5.AR设备在接近诸多技术问题之前,主要仍将面向2B市场,在2025年可能迎来爆发

6.核心器件方面(芯片、显示屏、光学器件、声光电传感器等模组)投入巨大,不适合初创型团队,目前仍然是巨头以及上市公司体量团队的天下。但该部分也是构成终端设备比例最大的部分

7.感知交互方面,目前并没有统一的行业标准,空间定位、手势交互、眼动追踪、全身动捕、语音交互、脑机交互都处于发展的早期阶段,该领域有众多的初创企业。而Facebook、苹果等公司收购的重点也在该领域的领先技术团队

8.其它配套外设,目前全景相机领域已有脱颖而出的领先者,如Insta360,其它领域因生态系统尚未标准化,有较大的空间。

工具平台

1.工具平台中的系统级平台(操作系统/UI)仍将由巨头把控,特别是苹果、Facebook,国内厂商如能接受移动互联网时代的教训,应在第一时间切入底层系统平台的打造,否则仍将受制于人

2.AR/VR内容创建工具目前虽然已经有Unity/UE4等市场领先产品,但是因为设备平台的独特性,仍然有巨大的潜力空间,包括SDK、3D开发引擎、基于AI技术的自动化3D场景和角色建模工具、基于AI技术的高效渲染软件等,都有足够的空间。该部分也给初创型团队留下了足够的机会。

内容-内容创作

随着三大核心产品的爆发,以及C端的量级突破,内容创作方面将迎来全面繁荣,包括影视、游戏、直播、社交、3D/全景等。

而内容创作因为其创意和开放性属性,一向是初创团队的首选,在硬件和工具平台领域形成各自王者之后,将有越来越多的团队加入该领域。

内容创作和工具平台的交集是类似Roblox的“元宇宙”大型多人在线社交类产品。

内容-内容分发

1.系统级别的内容分发和流量入口仍将占据首要地位,特别是后续的苹果生态,

2.类似移动互联网的安卓商城生态,将有众多的第三方内容分发平台涌现,比如专门针对Oculus Quest的SideQuest平台。

3.类似于移动互联网时代的微信,后续也将有类似微信的超级APP出现,同样可以扮演内容分发的角色。

行业应用

1.在国内市场,行业应用领域短期内仍将是VR的主要商业变现应用场景,如面向职业教育的教育培训、医疗健康、军事训练等。

2.在可预见的5年周期内,AR的主要应用场景仍然集中在行业领域,特别是智能制造、数字孪生等。

服务

随着行业的爆发式增长,相关的媒体、协会、线下活动等也会更加活跃起来,并逐渐形成集媒体、投融资服务、产品推介等为一体的综合服务,类似移动互联网时代的36kr等。

部分媒体也会朝内容分发的方向去尝试。

总结

我们见证了历史,也步入了未来。人人皆可改变世界。


点击关注,第一时间了解华为云新鲜技术~

The End