动作捕捉技术如何帮助实现元宇宙中的虚拟演唱会?

Xsens动作捕捉 2022-10-31 9367

美国知名摇滚乐队21 Pilots曾在格莱美、温布利球场、雷丁音乐节等大型场合为成千上万的乐迷表演过,但在多人在线3D创意社区Roblox的虚拟舞台为3500万平台用户表演,这还是第一次。

动作捕捉技术如何帮助实现元宇宙中的虚拟演唱会?  第1张

虚拟演唱会已不再是新鲜事物,过往的表演中也面临着些许挑战,但最大的障碍是如何在虚拟世界中传递出现场表演的活力与气氛。尽管如此,让演出的激情能够超越虚拟时空对于21 Pilots来说至关重要。因此Actor Capture工作室和美国佐治亚州立大学的CMII工作室找到了荷兰的惯性动作捕捉设备生产商Xsens,通过运用Xsens基于惯性传感器的技术,将虚拟演唱会体验带给用户。

Xsens的长期合作对象,来自Actor Capture的技术总监James Martin表示:“在音乐表演中,利用惯性传感技术的手部解决方案对于乐手来说是必不可少的,它可以捕捉到演出过程中手部的细节,例如手指在琴弦和键盘上的动作。”

Xsens动作捕捉系统的实际应用

说唱歌手Lil Nas X在Roblox上的成功演出让Symbol Zero非常振奋,他们希望在下一场虚拟演唱会中能提升到新的高度,以前所未有的水平吸引线上观众。通过在电影《 X特遣队2》和真人秀《Cardi Tries》这两个项目中的合作,James对Xsens有了深入的了解。他知道在举行21 Pilots虚拟演唱会上将面临的挑战,Xsens的技术会是理想的解决方案。

“我们清楚这场表演会有超过15分钟的动画,并且乐队对面部和手部的动捕非常感兴趣,因为演出会涉及到乐器。Symbol Zero不只是在寻找精通动捕和使用Xsens产品的人,他们还寻找可以使用像Manus手套这类带有时间码功能产品的人,这对于手部动捕的清晰度非常重要。当然,他们还需要一个优秀的面部捕捉解决方案来捕捉演唱时的嘴型。”

动作捕捉技术如何帮助实现元宇宙中的虚拟演唱会?  第2张

乐队表演动捕的清晰度对于Roblox和21 Pilots来说是一个重要因素,乐队希望将音乐会的情感传递到虚拟空间,因此选择正确的工具和方法至关重要。乐队在表演时身穿MVN Link套装,并佩戴Manus的Xsens手套来确保手部动作的精准捕捉。此外,James还利用iPhone的ARkit来捕捉面部表情。

元宇宙体验

动作捕捉技术如何帮助实现元宇宙中的虚拟演唱会?  第3张

随着用户群的增长,对元宇宙中模拟现实方面的需求日益增加。21 Pilots Roblox音乐会是一个很好的例子,展示了Xsens在元宇宙中所能发挥的作用。在演出捕捉过程中,21 Pilots乐队成员们的动作非常具有价值。用户在观看虚拟演唱会时,动作的真实度非常重要,例如乐手们使用鼓和乐器的姿势。毫无疑问,在元宇宙中对逼真且独特的虚拟形象的要求会越来越多,像Manus手套这类的技术将发挥其作用。

演出的录制

如今通过动捕来进行虚拟表演已不再成为技术问题,如何将现场表演中的情感与气氛传递出去才是人们关注的重点。得力于Xsens的惯性传感器解决方案,James解决了这些问题并创造出一个能让21 Pilots表演的环境,正如他们在世界各地的舞台表演一样。

幕后花絮

“在幕后花絮中,你会看到我们在CMII工作室的录制间准备了21 Pilots所有的乐器,乐队没有受到技术原因的限制从而能尽情地表演。得益于惯性传感器技术,我们能为表演者提供解决方案,并让他们在熟悉的环境中进行演出。”

元宇宙的成功将取决于采用和使用的难易程度,其中的关键在于技术。正如Xsens的产品在虚拟演唱会中发挥的作用一样,它使得James和Actor Capture能够捕捉到表演中重要且复杂的细节,这是在元宇宙中得到身临其境的感受所必需的。

The End