如果不了解“虚拟制片”,你就掉队了

极客公园 · 2020-09-04
一场由实时引擎引发的影视技术革命

编者按:本文来自微信公众号“极客电影”(ID:geekimovie),作者:复制人写手,36氪经授权发布。

超级英雄电影最高光的时刻,莫过于《复联》里英雄们与灭霸的“终局之战”。

可惜的是,在拍摄现场,明星们在一堆绿幕中蹦来跳去,导演和其他主创也只能在脑子里想象最终画面会是什么样。

但拍摄《曼达洛人》时,主创们不仅能在拍摄现场实时看到最终的特效画面,随时更换背景,还能与场景特效互动。

在一个由LED组成的虚拟拍摄场地里,真实人物与虚构场景完全融为一体,所拍即所得。

不用忍受绿幕、也无需等待几周甚至几个月的后期,所有关键决策人现场协作,实时生成最终画面,立等可取,随时可改。

这不是奇迹,而是影视行业越来越火爆的“虚拟制片”(Virtual Production)。

Epic Games出品的实时3D创作引擎——虚幻引擎(Unreal Engine,下文也称UE),是虚拟制片的核心驱动力。

好莱坞如今有个流行的说法——“Gamily Film”(游戏化电影),字面意思是“用游戏引擎来拍电影”;

其实它想表达的是,在影视制作的各个环节运用数字技术,用最新的娱乐交互方法提高效率。

今天我们就来看一看,实时3D引擎是如何在今天改写传统影视制作流程的。

虚拟制片:给影视创作自由

在好莱坞,如果一个影视制作公司想在五年内保持竞争力,那它必须得跟上“虚拟制片”这股潮流。

到底什么是”虚拟制片“呢?

虚拟制片是把虚拟计算机图像与真实演员的表演融合在一起,而且在拍摄现场就能把加特效的画面实时做可视化呈现的制片方法。

维塔数码(Weta Digital)的定义来简单总结——虚拟制片就是现实与数字交汇的区域。

△ 图源:unrealengine.com

詹姆斯·卡梅隆拍摄《阿凡达》时,就曾用虚拟摄像机在现场预览包含了特效的最终画面。

△ 卡梅隆在《阿凡达》拍摄时查看实时拍摄效果图源:cgchannel.com

从卡梅隆开始,虚拟制片逐步在好莱坞走向主流。

虚拟制片包括,用CG或VR技术在拍摄前把场景做可视化(Previs)、搭建虚拟拍摄片场(Virtual Sets)、实时特效(Real-time In-camera VFX)、表演捕捉(Performance Capture),虚拟后期制作(Virtual Post-prodcution)等环节。

强大的实时引擎、特别是虚幻引擎,在整个过程中起到了关键性作用。

△ 虚幻引擎在特效拍摄现场实时3D渲染

比如前期场景设计,可以用VR工具把创意和各种元素都导入虚幻引擎,渲染出一个沉浸感极强的VR场景;

△ 用VR工具制作3D场景

所有创作者都可以进入那个场景,预览甚至做深度探索,决定故事可以在哪些地方、以哪些角度展开。

全球知名的特效公司The Third Floor就是用UE4做初始场景开发,并打造出《权力的游戏》第八季中庞大对战场面的。

△ 在《权游》中应用虚幻引擎虚拟制片 图源:unrealengine.com

曾在《黑镜》中尝试过虚幻引擎实时渲染的制作公司Painting Practice在接手巨制奇幻剧《黑暗物质三部曲》之后,在场景角色设计和拍摄时都使用了UE4。

他们先做出“概念模型”,然后把UE4中的材质贴到模型上给导演看效果;

△ 《黑暗物质三部曲》中用虚幻引擎模拟出的采石场 图源:unrealengine.com

在拍摄剧中“披甲白熊大战”的虚拟场面时,他们引入了“虚拟摄影机”,通过虚幻引擎的实时渲染特点,360度无死角地现场查看画面效果。

△ 最终画面(上)和虚拟摄像机实时场景模拟

虚拟制片解放了影视创作者:

导演不再因为“角色和场景不是实体”而感到局限,他们真正获得了创作自由。

影视作品回归了本质:作品的难度就不该是“如何实现”,而该是“什么样的故事才动人”。

《曼达洛人》:用实时引擎引领时代

今年,在迪士尼流媒体上线的星球大战衍生剧《曼达洛人》制作幕后公开,震惊了全球影视行业。

它在虚拟制片上再次做出突破性创新,这次,实时3D引擎真正颠覆了传统影视制作流程。

长久以来,绿幕都是好莱坞实现“虚拟与现实结合、创造视觉奇观”最主要的方法。

虽然结果显著,但绿幕确实存在缺陷:

首先,现场布光非常麻烦。

室内绿幕拍摄,光影必须得符合现实,画面才可信。

所以在绿幕中经常需要逐个场景更换打光设备和角度,绿幕画面中也免不了出现“穿帮”的打光设备。

其次,绿幕会在演员身上留下绿色反光,我们称之为“溢色”(Spill),需要在后期去除掉。

△ 绿幕造成的溢色现象

最后,绿幕画面需要后期以完美的抠图和修图技术,才能让真人表演与计算机背景天衣无缝地融合在一起。

最后结果就是,创作者无法在绿幕拍摄现场看到效果,必须通过影视后期“二创”,才能得到成品;

如果后期时发现拍的感觉不对,就已经太晚了,只能靠“补救”的方式做后期。

过去特效影视流程中最大的问题就是——有太多重大决定都是在后期做的,主创无法在拍摄现场以协作的方式做创意决定。

这些问题,数字虚拟片场(Virtual Sets)就能解决。

《曼达洛人》以教科书级别的虚拟制片案例让我看到,影视制作的“实时引擎时代”可能不远了。

《曼达洛人》的制片人乔恩·费儒(Jon Favreau)曾在此前两部自己导演的作品《奇幻森林》和《狮子王》中,严重依赖蓝绿幕和后期制作。

△ 乔恩·费儒和他的CG电影

“《奇幻森林》到处都是绿幕,其实很影响创作和表演,我就想,什么时候能不用绿幕?” 乔恩说。

他的新作《曼达洛人》不是大银幕电影,而是迪士尼流媒体剧。

△ 极客导演乔恩·费儒接手了“星战”世界观下的流媒体衍生剧《曼达洛人》

在拍摄进度赶、预算紧的情况下,乔恩找到工业光魔和Epic Games,大家想出一个办法:

以LED墙作为背景,用实时3D引擎渲染,创造出星战主题场景,然后直接用它拍摄,创作者在实时制片过程中对数字化内容作出实时反应和处理。

△ 《曼达洛人》的虚拟片场

“乔恩·费儒是个远远走在时代前面的人......我们第一次和乔恩会面时,他就对让制片过程重获实时交互和协作的想法兴奋不已。”

Epic Games的首席技术官、《曼达洛人》项目技术负责人Kim Libreri说:

“他愿意试验新的工作流程,并承担实现该目标的风险……

由此产生了一个雄心勃勃的新系统和一套技术,它们将以前人从未尝试过的规模实现部署,以适应电视连续剧制作的快节奏。”

《曼达洛人》第一季拍摄前,剧组建起一个直径为75英尺(约22.86米)、高21英尺(约6.4米)的虚拟片场;

△ The Volume建筑工程

内部除了地面,其余都被巨型LED屏幕包围,甚至还有个可以模拟天空的LED天花板。

片场门一关,这里就成了一个全LED的封闭空间——大家称它为“The Volume”。

△ The Volume

“The Volume”里有七部跑着虚幻引擎和StageCraft软件(工业光魔在虚幻引擎技术基础上打造的虚拟制片工具)的机器,实时驱动LED背景墙上的CG场景;

三位虚幻引擎操控者同时控制虚拟场景的切换、光照和背景效果。

工作人员拿着iPad就可以实时调整场景的曝光、色彩、动画回放、补光等。

虚幻引擎让主创们可以快速在拍摄过程中做出修改:

光照效果、背景中的元素、甚至是完全改变场景设计——如果想把一片山脉从场景的一端整体移到另一端,在现场就能实时完成。

△ 现场用虚幻引擎实时修改拍摄背景

《曼达洛人》动画指导HAL Hickel说:

“它(The Volume)完全包围着你,非常震撼!很快你就会忘记自己是在室内,而不是到了另一个星球。”

LED墙上的3D背景场面不仅逼真,而且还能通过计算机图像仿真技术和实时运算,根据摄像机移动而变化——镜头角度变化,背景也会以精准的比例移动和改变。

△ 图源:unrealengine.com虚拟制片案例

背景和前景表演和谐共生,和实景拍摄一模一样;导演能以传统影视拍摄的方式在虚拟场景下实时产出最终画面。

△ 能够随镜头移动的虚拟背景,拍完就能用,无须后期合成

这对演员也很有帮助。他们不用再在一片绿幕中想象场景,甚至还能在与场景的互动中获得难能可贵的“即兴表演瞬间”。

《曼达洛人》的联合制片人Janet Lewin说:

“所有关键的创意部门同时协作、现场做重大的创意决定;而且实时能看到渲染出的画面,表演也变得更好了。”

《曼达洛人》的R&D指导 Rachel Rose说:

“所见即所得,这对于习惯了传统影视拍摄方法的创作者来说,意义重大。”

针对绿幕拍摄的缺陷,工业光魔负责《曼达洛人》项目的特效指导Richard Bluff认为,“光影”是LED墙最大的优势:

“LED光线提供真实的色彩和光影,打在演员和道具上面,不仅实现了绿幕无法企及的效果,更完全解决了绿幕的溢色问题。”

LED屏幕发出充足的漫反射光,足够形成犹如真实场景中的光照感觉,多数时候不再需要其他光源。

△ 无额外打光情况下的实拍画面

在后期衔接“虚拟场景”和“实拍场景”时,特效团队只需轻微调整两者之间的色差、让场景间的切换变得更自然即可。

而且曼达洛人战衣的金属质地很容易反光,所以“溢色”问题可能会被无限放大,LED照明让角色效果看起来更好。

△ 曼达洛人闪亮的战衣上也不会出现“溢色”

Epic Games的Kim Libreri认为,用巨型LED墙做背景,角色与场景融为一体,画面无比真实可信。

如果需要,LED墙还能有更多可能性——可以把其中一块限定尺寸的屏幕变成绿幕,就能在演员和虚拟背景中间再加一些CG元素,或者在后期用更高清背景画面替换这块绿幕。

这块“绿幕”也绝对不会出现此前的灯光问题。

虚拟片场另一个明显优势就是“省钱”。

同一个LED墙可以用来创建完全不同的场景,只需更换简单的道具,就就一个全新的场景。

电影人们不需要再去外景地拍摄,直接利用虚拟片场中的准确光影就能拍出大量复杂的特效镜头,而且现场实时渲染就能看到最终画面,场景也可以在现场随时切换。

工业光魔的特效人员Marissa Gomes说:

“冰原和沙漠两个不同场景,你可以在同一天里拍摄。”

△ 同一面LED墙,随时能“切换世界”

《曼达洛人》摄影总监Barry Baz Idoine感叹:

“能用一整天时间来拍摄黄昏镜头,这简直太令人惊叹了。

而且在拍摄过程中能说出‘这个好像不太对,我们再把背景移动一下’,这个工具只能用震撼来形容。”

凭心而论,最初搭建这么一个LED墙虚拟片场不便宜,但与“满世界找拍摄场地、整个剧组的差旅费用、在场地里做实景搭建和昂贵的后期费用”相比,这个投资就显得很值了。

虚幻引擎的实时能力与沉浸式LED屏幕相结合,实现了以前无法想象的创作灵活性。

工业光魔的执行创意总监Rob Bredow说:

我们搭建了The Volume,不但有充足的光照,而且实时背景可以直接拍摄,实时预览最终画面……

星球大战系列一直保持着技术创新的传统,我们能把像乔恩·费儒这样电影人的创想变成现实,这就是一场行业革命。”

虚幻引擎对影视制作流程具颠覆性的改变就在两个字——“实时”。

因为“实时”,创作者不仅能在拍摄现场看到最终画面、还是随时做重大修改和调整;

因为“实时”,所有主创能在同一时间多人在线协作,像联机打游戏一样完成影视拍摄制作。

在效率提升之下,是更大创造力的解放。

在国内,原力动画刚刚发布了用虚幻引擎实时渲染制作的高分动画剧《凡人修仙传》,未来还将推出使用同样技术的动画电影。

△ 使用虚幻引擎实时渲染的中国动画《凡人修仙传》

由于ACG二次元影视需求的爆发,以原力为代表的中国影视制作公司已经迎来了虚幻引擎应用的暴涨。

今年Epic Games刚刚公布虚幻引擎5,Nanite虚拟几何体和Lumen全动态全局光照可能意味着更精细的预览画面,很有可能未来借助实时3D引擎,影视后期可以前置,进一步颠覆制作流程。

△ UE5演示画面

就像Epic Games CTO Kim Libreri说的,《曼达洛人》开发的技巧和技术还只是冰山一角,我们已经迫不及待地想看到它所预示的未来。

+1
14

好文章,需要你的鼓励

参与评论
登录后才能参与讨论哦...
后参与讨论
提交评论0/1000

请回复有价值的信息,无意义的评论将很快被删除,账号将被禁止发言。

文章提及的项目

下一篇

拼多多旗下社区团购项目“多多买菜”正式在武汉、南昌上线。

2020-09-04

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

为你推送和解读最前沿、最有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚集全球最优秀的创业者,项目融资率接近97%,领跑行业