论全身追踪与VR社交

Xsens动作捕捉 2023-05-11 2848

在《头号玩家》等科幻作品对VR描绘中,人们通常是以第一人称扮演虚拟化身来互动和社交,支持全身操控的虚拟化身可以让VR更加身临其境,让使用者在虚拟空间中也有足够存在感。然而目前,由于成本高、使用复杂等因素,全身追踪技术依然未在VR用户中普及。

论全身追踪与VR社交  第1张

据统计,仅在美国就有超过5000万VR用户,大约是5年前的两倍以上。随着VR用户规模增长,虚拟社交场景也逐渐成为可能,人们开始在VR中寻求更多表达自己的方式,比如更丰富的肢体表达能力等等。但VR头显和手柄所能提供的追踪效果有限,尽管你可以使用虚拟化身来代表自己,但却无法直接操控其全身动作。正因如此,Meta官方Avatar系统只有上半身形象,干脆省去了腿和脚,但这种设计并不自然,看起来就像是漂浮在空中的半截身子,常常被用户吐槽。

VR社交带动全身追踪

近年来,人们对于VR社交和互动的需求越来越强烈。多人VR游戏《Gorilla Tag》只能追踪上半身,但通过巧妙的虚拟化身设计和沉浸的游戏体验,该作在上线半年多就收获了150万用户。而在VRChat等应用中,全身追踪似乎是更理想的选择。从YouTube等平台的体验视频来看,用全身追踪来控制虚拟形象,可带来更不一样的玩法。

论全身追踪与VR社交  第2张

全身追踪对于虚拟化身玩法很重要,也是未来VR社交必然的趋势。现阶段,全身追踪距离在VR中普及还有一段距离,由于技术的成本和使用门槛对新手并不算友好,因此大概只有硬核VR玩家在VRChat中使用全身追踪。在PC VR端,即使搭配市面有售的Vive Tracker,也需要一定的设置过程,如果在腰部、膝盖、脚部等位置固定追踪模块,不仅用额外的重量影响了VR体验的灵活性,还大幅增加成本。而在VR一体机端,由于光学追踪范围局限等因素,市面上可供选择的优质第三方追踪方案不多。

为了更好的满足普通VR用户的社交需求,降低全身追踪成本将成为必然趋势,当成本降下来,VR全身追踪才更可能普及。那么,未来哪种低成本方案更有望推动全身追踪普及呢?从一些公布的研究来看,我们可以推测出未来可能出现的方案,比如用手机实现全身动捕,或是将光学动捕技术集成在VR头显中。

移动摄像头追踪方案

尽管目前Meta Avatar VR头像只有上半身,但其科研人员在Codec Avatar项目上却探索了全身形象方案,毫无疑问未来也将通过某种方式在VR中追踪用户全身动作。只是由于在Quest 2上用摄像头来追踪全身还很难,短期内Meta可能会为Avatar配备虚拟腿,动作主要靠合成,不原生支持动捕。

论全身追踪与VR社交  第3张

尽管如此,Meta这些年来也一直在尝试全身追踪技术研发。比如在2019年F8大会上,就经展示过基于弹幕摄像头的无标记体感追踪方案,特点是可识别骨骼姿态和人体肌肉活动。

近年来随着移动摄像头和计算机视觉技术发展,用手机追踪全身姿态的效果越来越好,即使是单目摄像头取代深度相机,也能追踪人体姿态。比如在Snapchat等平台的AR滤镜已经展现出足够成熟的实时追踪效果,尤其是在AR试穿场景,即使你快速移动四肢,虚拟服装也能实时跟随你移动,边界分割、延迟等方面足够优秀。

就像是目前VR一体机开始支持用手机录制实时MR视频,未来也可以用手机摄像头和算法来实现全身动捕,为用户提供一种追踪模块之外的低成本方案。

除了手机摄像头外,YouTube博主Mysticle利用开源动捕算法和Webcam网络摄像头,也实现了全身定位。

VR头显追踪全身

此前,卡内基梅隆大学的科研人员在Quest 2上也进行了一项尝试,即在手柄上集成广角摄像头来追踪四肢和下半身。这项方案只有32%的时间能良好运行。不过,这依然让我们看到更多可能性,比如未来或许可以通过在VR头显或手柄上配备传感器,来实现更完整的追踪体验。

论全身追踪与VR社交  第4张

这种方案可能会依赖复杂的算法,需要从扭曲的摄像头数据中提取用户的骨骼节点,同时还要识别姿态遮挡,并避免因超出追踪范围而丢失信号。此外,需要额外的传感器,增加硬件的重量和成本。

从此前曝光的疑似Quest Pro手柄图来看,Meta似乎在研发内置摄像头的手柄设计,或替代现在的手柄追踪环。假如未来VR手柄上真的配备摄像头,也许可以进一步追踪用户下半身。

参考Switch上大火的《健身环大冒险》游戏,你会发现两个手柄足够追踪全身,一个手柄放在Ring-Con健身环上,另一个固定在大腿上,结合IK算法,可推算下半身和上半身的动作。这种方案也有一定缺点,就是难以独立追踪四肢,只能将上半身、下半身同时定位。

论全身追踪与VR社交  第5张

它的巧妙之处是,在健身环中内置简单的柔性传感器,可预测双手之间的距离和移动速度/力度。未来,也许VR头显可以随游戏发售额外的配件,补充VR手柄的定位系统,将额外的手柄用来追踪下半身。这种方案的好处不只是使用方便,也可以利用现有的手柄,成本相对较低。

还有哪些趋势

VR头显本身已经有一定价格门槛,为了让更多人用上全身追踪功能,未来VR厂商可能更倾向于采用与VR头显集成,或是基于手机摄像头的方案。目前,Meta Avatar还未支持全身追踪,一方面考虑到相关硬件成本,另一方面是缺少一种成熟可靠的替代方案。上个月Meta CTO Andrew Bosworth表示:正在为Avatar系统添加无物理追踪的虚拟双腿,让我们看到了简易化全身追踪的可能性。

与此同时,苹果、微软等产品生态相对具有优势,比如微软Kinect就是一款不错的C端体感游戏追踪设备,如果与VR结合,也可以很好的实现全身追踪。而苹果,则可以通过iPhone、iPad的LiDAR传感器和相机模组,以及全身追踪算法来实现简易、优质的全身动态追踪,苹果在专利中就曾描述过类似的方案。除此之外,Apple Watch也可以提供额外的手部追踪功能。

The End