(图文+视频)AE+C4D野教程:实景视频合成动画制作案例

Xsens动作捕捉 2022-12-10 17727

2019年的第一篇文章,我写的是一篇实景照片合成三维动画的制作案例:

其实苦七不仅一次给我提议多弄点实景三维合成的内容,虽然网上相关的教程很多,但是还是很好玩。


我其实之前也尝试过好几次使用C4D来制作实景视频合成,但是感觉C4D的运动跟踪功能真的很容易不准,所以也就一直没有写出来。


大家知道我最近不是在学习AE么,然后我用AE尝试了一下,感觉摄像机反求出来的效果会比C4D要好。


所以,今天我们来看看如何用AE结合C4D做一个实景视频三维合成的内容吧。

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第2张


首先给大家简单说明一下我对实景三维合成浅显的理解吧!


实景三维合成大体可以分为静态素材三维合成和动态三维素材合成,根据素材的情况不同,我们会采用不同的方法来制作。


1、静态素材三维合成

静态素材三维合成可以采用C4D的摄像机校准功能来制作,详细方法请看今年的第一篇文章。


2、动态素材三维合成

动态素材三维合成其实就是我们常说的摄像机反求,又可以分为对象静止摄像机运动或者对象运动(摄像机运动与否均可)。


对象静止摄像机运动这种是最容易跟踪的,我们可以采用C4D或者AE的运动跟踪来制作,对于平面的跟踪我们还可以使用Mocha。


对象运动我们可以使用C4D的对象跟踪或者一些专门的摄像机反求软件,这些专业的软件我就没有太了解了。


并且这里说的对象运动,仅仅指的是对象做移动旋转的运动。


如果是复杂的变形运动,这个需要前期的硬件支持,也就是运动捕捉,这类复杂的摄像机反求仅仅靠后期软件是达不到的。


由于摄像机反求原理其实还是软件对于素材画面的特点进行计算,所以前期拍摄的要求还是有一定要求的,画面颜色、运动程度、镜头畸变等都会影响到摄像机反求的结果。

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第3张

大概简述这么多吧,进入今天的正题之前,我们先要在C4D官网下载这么一个免费的C4D和AE互导的插件。


当然我这里也已经下载好了,文后会分享给大家,虽然官网上写的C4D版本是R17,不过经测试我用的R18也是可以使用的:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第4张


win版和mac版都有,win版只需要把它们放进AE的插件目录里就可以了,mac版的童鞋请自行测试哦:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第5张


然后下面是我自己随意的在家附近空地拍了很短的一段视频素材:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第6张


可以看到我拍摄的时候有点抖动,这样可能会对我们进行摄像机反求的操作有干扰,所以我这里先导入AE使用变形稳定器对素材进行了简单的处理:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第7张


再将稳定后的视频导出png序列:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第8张


稳定以后的素材会损失掉一些画面,但是整体画面就会比较平稳:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第9张


接下来就是进行摄像机反求了,导入稳定后的素材,选中以后鼠标右键选择跟踪摄像机:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第10张


跟踪完毕以后,画面中就会出现很多跟踪点,有时候你可能会看到当你要选择跟踪点的时候。


它会提示你没有来自三脚架全景解析的深度,具体原因我不太确定,可能是素材的原因吧:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第11张


没关系,我们打开3d相机跟踪器的高级,将解决方案选择为"经典"就可以了:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第12张


接下来这一步很重要,按住康秋键,尽量的选择三个在同一平面上的点,通过目标圆盘我们可以来判断它们是否在一个平面上。


然后鼠标右键选择设置地平面和原点,因为我们后面需要导入C4D去添加三维元素,这一步是为了确定世界坐标原点:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第13张


设置地平面和原点以后,再次鼠标右键创建实底和摄像机:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第14张


这个时候画面中就会出现一个跟踪实底:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第15张


这个时候我们可以通过对跟踪实底进行旋转,放大以及降低不透明度,然后点击播放键看一下平面是否有滑动,如果没有滑动的话就表示跟踪是准确的:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第16张


感觉没有问题了,就需要把AE里计算出来的摄像机等信息导进C4D里操作了,执行文件-导出-CINEMA 4D Exporter:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第17张


接下来就是在C4D里操作了,打开从AE导出来的C4D文件,你可能会觉得尺寸太大了,所以我这里整体把尺寸缩小了10倍:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第18张


可以再新建一个人偶测试一下,感觉把人偶的尺寸再放大12倍就差不多了:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第19张


接下来就是场景的重建,添加灯光然后进行分层渲染了,由于鹿友们总是说我用OC渲染器,mac版的童鞋们用不了。


所以我今天打算先用默认渲染器简单的演示一遍,没有OC的鹿友们可以知道用默认渲染器的大概流程,然后最终的成品,我还是选择用OC,毕竟会快很多。


假设我们要在场景中添加的就是这个人偶,首先新建一个背景,同时新建一个材质球赋予背景:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第20张


双击材质球,只勾选颜色通道,然后加载我们稳定后的动画序列:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第21张


进入贴图的二级页面,在动画面板点击一下计算:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第22张


点击编辑,勾选动画预览,预览的尺寸可以改大一点:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第23张


我们这个场景其实是很简单的,场景重建的话只需要一个平面就可以了,新建一个平面用于接收投影面,可以对比着跟踪实底调整它的位置和大小。


把加载了动画序列的材质球拖给平面,投射方式为摄像机贴图,把解析好的3D跟踪器摄像机拖到摄像机栏位,点击一下计算:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第24张


这个时候康秋R渲染一下,你会发现地面黑黑的一片:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第25张


没关系,给平面添加一个合成标签,勾选合成背景就可以了:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第26张


接下来就是添加灯光,开启衰减和投影了,由于我们这里的对象没有上材质。


如果是有反射一类的材质的话,你还可以考虑新建天空贴发光材质加载HDR贴图来添加环境光,我们这里只是说明流程,就不细化了:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第27张


另外投影的位置这里再啰嗦一句,尽量的参考场景中已有的投影的位置和长度来弄灯光,这样会比较真实一点:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第28张


当我们场景、材质、灯光都搞好了以后,就可以给对象添加合成标签勾选对象缓存,进行分层渲染后期到AE或者PS里去进行合成,例如我这里人偶的对象缓存是2,地面的对象缓存是1:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第29张


渲染设置中,多通道渲染就根据你实际的场景以及材质选择就好,例如我们需要投影就勾选投影,分层渲染以后的操作请看我们OC部分后面的合成部分:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第30张


好了,终于到了OC部分了,我这里删掉了材质灯光等,只留下了一个平面,然后导入了一个跳舞的动画模型,当然大家也可以自己去做一些有趣的动画:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第31张


新建一个环境光用于照明,由于OC不支持C4D自带的背景,所以新建一个平面放到地面的后面:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第32张


因为OC的摄像机其实就是C4D自带的摄像机上多了个OC的摄像机标签而已,所以添加个标签吧:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第33张


同样新建OC的漫射材质球,漫射通道加载动画序列,二级页面点击动画面板点击计算:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第34张


点击编辑,勾选动画预览,预览的尺寸可以改大一点:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第35张


把材质球赋予地面和背面,将投射方式改为摄像机贴图,把摄像机拖进去,由于我们素材的宽高比是16:9,所以影片比例选在为16:9:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第36张


新建太阳光,然后通过调整强度,旋转以及颜色等,让对象的投影看起来整体和谐:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第37张


对于跳舞对象的处理大家凭自己喜好吧,之前正好有一位鹿友问了一个人物线条的问题:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第38张


做法可能不一样,我这里就借用这个效果啦,首先给人物模型添加追踪对象。


追踪模式为连接所有对象,样条类型为B样条,点差值方式为自然:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第39张


新建立方体,克隆对象克隆立方体,克隆模式为对象,以跳舞人物为对象进行克隆,分布为表面,数量大家看着办就好:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第40张


再次给克隆对象添加追踪对象,追踪模式为追踪路径,限制改为从结束,总计的数字用于控制舞动出来的样条持续时间,样条类型为B样条,点差值方式为自然:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第41张


给两个追踪对象添加OC的对象标签,勾选渲染毛发,并且毛发栏位可以控制毛发的粗细:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第42张


这里补充一个之前那位鹿友遇到的问题,你可能在渲染预览窗口是可以看见克隆在人物身上的立方体追踪出来的样条,但是渲染单帧到图片查看器的时候却没有。


这个是由于立方体追踪出来的样条是一个运动的状态,所以渲染单帧到图片查看器是看不到的,当你渲染全部帧就有了:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第43张


人物的材质方面我这里就是很简单的弄了两个反射材质,然后用混合材质进行混合,通过一个Dirt节点来控制颜色的范围:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第44张


差不多就可以进行分层渲染的设置了,两个追踪对象的对象标签对象缓存ID填为2:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第45张


给地面添加对象标签,对象缓存ID填为3:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第46张


渲染设置里将多通道渲染启用,选择一个保存的位置以及格式,然后根据自己的材质情况勾选需要分层渲染的通道,例如我这里勾选了漫射,反射以及投影,同时勾选对象缓存2和3:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第47张


保存面板也需要设置一个保存的地址,别忘记在输出面板选择渲染全部帧,这样就可以渲染出图了:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第48张


接下来就是把渲染出来的主图以及分层全部导入AE里去合成了。


最下方放我们最初稳定后的素材,上方放C4D渲染出来的主图,可以明显看到地面违和的地方:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第49张


没关系,由于我们渲染的人物对象缓存,所以把人物对象缓存放到主图的上方,然后让主图以对象缓存的亮度作为蒙板,这样违和的地方就被搞掉了:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第50张


我觉得人物颜色太浅了,所以把渲染出来的漫射层放下来,同样通过对象缓存把漫射层的人物抠出来,漫射层的混合模式为叠加,适当的降低不透明度:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第51张


当然如果你的材质是有反射材质的,也可以把反射层弄下来,不过我这里的反射效果就不太明显了,混合模式大家看着办吧:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第52张


最后是把投影层放在原始素材层的上方,混合模式为相乘,降低一点不透明度,这样基本就搞定了。


如果你使用的是默认渲染器,导入AE里的操作原理是一样的哦,大家可以动手去试试:

(图文+视频)AE+C4D野教程:实景视频合成动画制作案例  第53张


最后我又剪了几个舞蹈进去渲染出图看看效果吧:


又是一篇篇幅很长的文章,其实摄像机反求虽然很多时候可能会跟踪不准,但是操作上并没有什么难点,并且很容易做出一些有趣的效果。


再来梳理一下今天的步骤流程吧:


1、使用AE对拍摄的视频素材进行稳定处理以后,对素材进行摄像机跟踪,设置好要作为C4D的世界坐标原点以及地面,创建地面实底和摄像机,然后导出C4D文件。


2、C4D中进行场景重建,场景重建并不是所有的场景都需要重建,只需要重建会与加入的三维对象发生交互的部分,如本文中只需要重建地面。


3、上材质,补光,这里用默认渲染器或者OC渲染器都可以,补光尽量的参考素材本身的光源情况来进行补光,然后添加合成标签(OC的对象标签),设置对象缓存,漫射层以及投影层等做分层渲染。


4、最后再次导入AE,利用蒙板来进行最终的合成。


希望各位鹿友能够通过今天的分享对于动态素材三维合成(摄像机反求)的整体流程有个了解,下来以后可以自己多做尝试,下面是今天的视频版:

好啦,今天的分享就到这里,想要插件,源文件以及原视频的童鞋后台撩我获取吧!


更多内容欢迎关注公众号

公众号:野鹿志

老鹿微信:maluyelang6666

苦七微信:766057766

本文由“野鹿志”发布

转载前请联系马鹿野郎

私转必究

The End