异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑

Xsens动作捕捉 2022-11-11 7940

文 | 陈奕 朱骥明

2020年,“虚拟拍摄”这个词一下子火了起来,在动作捕捉(Motion Capture)、实时引擎(Realtime Engine)、摄影机追踪(Camera Tracking)等一系列技术的加持下,似乎“一切皆可虚拟”。

其实,虚拟的终极目标恰恰是真实,早期的电影拍摄,都是在“实景”中完成的,只不过在蓝绿幕技术盛行了20余年后,新的技术升级在现代电影拍摄流程上划了一条美妙的弧线,用数字模拟的方式再一次将导演和主创们带入到了全新的“异世界”,在这个世界里,既有光怪陆离、天马行空的无尽想象力,又有“真实”的角色、场景、道具和光影,将文学剧本虚拟的无尽想象和现实影像的纤毫毕现巧妙地融为一体,正如《刺杀小说家》(下文简称《刺杀》)中关宁所经历的冒险一样,为电影人开启了新的创作之旅。

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第1张

蓝绿幕拍摄和实景拍摄的最大问题在于——拍摄现场面对蓝绿幕“背后”(抠像后)的影像统一性,虽然有了概念设计(Concept Art Design)前期预示(Previz)等手段,但与实景拍摄相比,蓝绿幕拍摄任然无法让所有主创们“身临其境”,实现多部门高效、精准的协同。

“现场虚拟拍摄”(On-set Virtual Camera)就是在这样的要求下诞生并发展的。通过实时追踪、实时抠像、实时渲染技术,将摄像机拍摄与CG元素实时合成,将数字化的空间、透视、运动、光影带到拍摄现场,为导演提供实时的画面预览,这种实时预览作为前期动画预览(Previz)的延展,结合现场实拍画面继续传递叙事与视效相结合的创作意图,从而使整个团队的创作更加顺畅。它可以看做是蓝绿幕拍摄技术的“现场升级版”。为影视工业化全流程的贯通提供了保障。

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第2张

虚拟摄影系统的“三重异能之一”——实时摄影机运动追踪(Realtime Camera Tracking)

电影诞生百年来,运动(Motion)方式的始终只有两种——摄影机的运动和被摄体的运动,通过这两种运动的结合,创作出了千变万化的叙事方式。因此,虚拟拍摄系统首先必须具备实时摄影机运动轨迹追踪能力(Realtime Camera Tracking)。在《刺杀》的拍摄现场,每台摄影机都会有一套Ncam跟踪系统进行实时的摄影机跟踪,通过安装在摄影机上的两个鱼眼镜头,可以实时计算摄影机的位置和旋转,不管是手持还是电子伸缩炮,各种复杂的运动都会被实时的记录和解算,并传递到数字三维场景中,将CG制作的虚拟场景的空间透视无缝地与现场摄影机轨迹匹配。

每一台摄影机和镜头都有自己的物理光学属性,在使用虚拟摄影前,虚拟摄影系统也需要将所有的摄影机和镜头都进行详细的标定,获取每一个镜头精确的数据。在《刺杀》中,时光坐标虚拟摄影团队标定了3套摄影机,建立了近50支镜头的光学参数数据库。

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第3张异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第4张

现场实时双眼相机和实时显示引擎

虚拟摄影系统的“三重异能之二”——实时抠像(Realtime keying)

虚拟摄影系统具备实时抠像能力,就像传统的CG制作一样,虚拟系统需要通过抠像、模型、动画、渲染、合成这些复杂的步骤才能最终将复杂的现场画面和CG渲染结果合成到一起,不同的是这些步骤在现场实时的产生。在现场不管是复杂的CG场景 还是角色动画都可以被抠像和合成,实时看到最终的合成效果,从而协助导演和主创人员更好的把握“实”与“虚”的关系,将现实与虚拟的场景和角色真正融入到创作的“异世界”中。

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第5张

实时抠像和实时合成系统画面

虚拟摄影系统的“三重异能之三”——实时渲染输出(Realtime rendering)

虚拟摄影系统具备实时合成渲染输出的能力,最终在监视器上实现可视化,同时还可以保留元数据进行画面录制,这样剪辑可以使用现场合成画面进行剪辑,同时也可以很轻松的在后期进行素材回套。

现场虚拟摄影系统会记录每个镜头摄影机数据和现场点云数据,实时生成精确的虚拟摄像机路径文件、包含摄像机焦距等重要参数,以及追踪稳定的点云,提高后期制作中摄影机跟踪精度和质量,实现前期数据到后期的无缝对接,用科学化的生产方式为后期制作节省大量成本。

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第6张

虚拟拍摄技术现场(截自《刺杀小说家》预告片)

作为科学的数字化现场流程,虚拟拍摄系统用可视化方式帮助剧组更好地理解拍摄目标,确定机位、虚拟物体的位置,以及帮助各部门严格执行导演及视效总监的创作意图。正如导演路阳说的:“拿出中国的办法和流程来,拍一部非常新鲜感,视效非常好的讲中国故事的电影。”时光坐标虚拟拍摄团队凭借多年积累的数字虚拟拍摄经验,有幸在2017年协助主创将全流程工业化拍摄流程运用到拍摄现场,从空间、虚拟角色、互动等多个维度为《刺杀》提供专业的虚拟拍摄技术服务。

一、空间——场景的延伸

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第7张

虚拟拍摄的场景延伸(截自《刺杀小说家》预告片)

《刺杀》的场景在拍摄过程中,虚拟摄制团队在现场置景的基础上,实时合成并反馈蓝绿布上的画面,根据拍摄场景进行延伸。

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第8张

场景延伸左右对比(左:实拍画面/右:虚拟合成画面)

除了实时跟踪本身,真实场景和虚拟场景的一致性也至关重要。每个场景拍摄前都需要预制现场扫描文件、最终虚拟场景和虚拟角色,开拍前每个虚拟物体都需要和现场进行快速对位,现场会产生点云,这些点云和已经完成的模型进行准确的对位,这样可以确保虚拟物体在画面中的位置和构图的准确性。

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第9张

虚拟拍摄赤发鬼数字化宫殿

《刺杀》中场景宏大,摄影棚的现场的制景对应巨大的场景来说也只是冰山一角,在大量蓝绿布的环境下现场灯光和画面风格是一个巨大的挑战,很多虚拟场景现场烘焙了灯光,实时显示了整体画面的环境和气氛。

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第10张

赤发鬼宫殿现场虚拟光影

而当虚拟场景被完整的显示在画面中时,相机的透视情况、场景完整度、画面构图,以及特效最后会呈现的大致效果都会清晰化,导演、摄影、视效很容易判断该画面是不是想要的,从而加快整体效率。

二、位置——虚拟角色的呈现

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第11张

赤发鬼拍摄现场(截自《刺杀小说家》预告片)

《刺杀》中的赤发鬼体型巨大,高达15米。处理这种巨大的虚拟角色,对于前期拍摄而言是很大的挑战。

在传统拍摄现场,一般会采用等高的杆子等作为参照物,或者标定一个点作为虚拟角色的位置,当面对动态的虚拟角色时,这种方法完全无法满足赤发鬼的拍摄呈现,也无法满足精准镜头运动和演员调度的需求。

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第12张

赤发鬼虚拟拍摄对比

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第13张

赤发鬼虚拟拍摄对比

而在《刺杀》的拍摄中,虚拟拍摄团队将事先动作捕捉完成的虚拟角色预合成到现场画面中,主创人员可以实时看到虚拟角色的大小、位置和运动。画面越接近电影完成效果,越有助于导演对演员、摄影机以及虚拟角色进行调度,尤其当遇到复杂的拍摄角度和空间位置关系。

另一位值得一提的就是《刺杀》中的另一重要角色——红甲,当“红甲”高速运动、跳跃时,通过虚拟拍摄,我们可以轻松实现摄影机对虚拟角色的跟随。 这种对虚拟角色的精准拍摄,使现场工作目标一致,不用去猜需要给后期预留多少时长。

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第14张

红甲虚拟拍摄对比

三、互动——虚实的结合

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第15张

截自《刺杀小说家》预告片

正如导演在幕后视频中说的,对演员来说凭借想象力表演绝对是一大挑战,通过虚拟拍摄技术实现演员和虚拟角色互动,实时把控演员和虚拟角色互动的速度、节奏及位置,根据现场预演实时调整位置构图,使演员与虚拟角色置身其中,实时可视化帮助演员找到更好的表演状态。基于稳定的摄影机追踪技术,主创团队在设计镜头时,也可以更精准把控虚拟角色资产的比例、运动,从而实现良好的表现效果。

异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑  第16张

数字虚拟拍摄与动捕技术结合

《刺杀小说家》向中国视效新高度发起挑战,国内电影制作的发展轨迹也映射了当下技术革新的过程。剧情里平行的现实与虚拟时空,在虚拟拍摄技术的帮助下在摄影棚内合二为一,谁能说这不是一个电影创作的异世界呢?

我想,每一个中国的视效人进入这个充满挑战的行业的初心,无不因为我们可以在虚拟与现实之间穿梭,在想象力的异世界中成为那一个无所不能的英雄。时光坐标虚拟摄制团队作为《刺杀》影视科技全流程创作的重要一环,很高兴能在一个充满信念和力量的异世界冒险历程中,与同行们一起畅快淋漓地向顶峰冲了一回,虽艰险,而满足!感谢所有的帮助、信任与期待!

虚拟的终极目的就是真实,只要相信,就能实现,一起去电影无尽的空间冒险吧!

本文为作者 时光坐标影视传媒 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接
https://107cine.com/stream/134337

The End