LED虚拟拍摄系统中的照明控制和照明匹配方法研究

方捷新 李 娜

中国电影科学技术研究所(中央宣传部电影技术质量检测所),北京 100086

1 前言

近年来LED 虚拟拍摄技术已成为电影、电视和娱乐内容制作领域的热门前沿技术。由于全球正持续遭遇新冠肺炎疫情影响,外景地拍摄日程无法掌控,该技术也成为了制片团队用棚拍替代外景的最佳选择方案之一,并已在 《曼达洛人》《新蝙蝠侠》等影视作品中得到应用,美国、欧洲等地已有大量LED 虚拟摄影棚建设和改造案例,我国的影视领域科研机构、技术公司和制作基地也已开展了大量研究测试和试验试用工作。

LED 虚拟拍摄从通俗角度理解,就是以LED显示屏打造的沉浸式背景来代替传统虚拟棚拍中的绿幕,具体而言,是指在拍摄现场借助摄影机实时定位追踪技术、GPU 实时合成渲染技术和LED 显示技术等,将事先利用游戏引擎生成的虚拟背景显示在摄影棚中的LED 背景墙上,并随着摄影机位变化不断更新 “内视锥” (摄影机拍摄到的镜头内部分)画面,实现现场实拍、实时监看的技术。其主要优势有:无需抠像步骤,避免绿幕制作的“溢色”问题(指从绿幕反射到拍摄对象上的有色光),当道具为透明材质时,透射的颜色和光效更为自然逼真;将部分后期工作前置到与拍摄工作同期进行,通盘考虑最终成片效果,避免拍摄与后期制作时空不同步造成的配合不善,节省部分后期制作成本;营造沉浸式表演氛围,使演员更快融入情境、快速进入情绪,节约实拍时间等。

电影是光影的艺术。LED 虚拟拍摄本质上是虚拟的(LED 屏上的虚拟资产)和现实的 (表演舞台上的演员、照明和置景)光线和影像在摄影机前的实时组合;虚拟空间和现实空间虽然在物理上互相独立,但在光影上互相影响并融为一体。为使最终画面真实可信,LED 背景墙上虚拟资产的光线气氛需要和棚内实体照明气氛成为统一的整体。LED 屏幕发光的特性,一方面造就了LED 虚拟拍摄系统营造真实感光氛围的优势特点,一方面也加强了摄影照明布光的复杂程度。因此,LED 虚拟摄影棚内照明与传统棚拍有一定差异,对照明控制和照明匹配有着独特的需求,除摄影师、灯光师等专业人士现场主观评价之外,还需要额外的、科学合理的评价方法。

2 LED虚拟拍摄中的特殊照明需求和照明方式

2.1 LED屏幕可提供背景光,需影视灯具完成主光

在LED 虚拟摄影棚中,LED 背景墙作为背景使用,部分LED 虚拟拍摄系统不仅设有背景屏,还设有顶屏,如《曼达洛人2》拍摄 (图1)。LED 背景屏和顶屏可为被摄主体和现场环境提供背景光。在LED 摄影棚的舞台体积内需构建立体化、艺术化的照明,包括合理利用屏幕照明、额外部署环境照明,以便照亮表演区域,并适当为演员提供 “好莱坞”照明效果,美化明星、渲染情绪、营造气氛。

图1 《曼达洛人2》拍摄时LED摄影棚舞台体积

在实际使用中,可以利用游戏引擎在虚拟世界中的非 “内视锥”部分添加 “数字光卡 (Digital Light Card)”,这一过程类似在真实世界中添加反光板。LED 屏幕很少以最大亮度拍摄,一般情况下屏幕留有的亮度余量可以打出比周围环境更亮的“数字光卡”,只是光卡位置仅限于LED 屏幕上,无法靠近拍摄对象。LED 屏幕主要在背景范围内发光,光源不具备方向性,拍摄时需要电影灯具打正面主光,避免人物面部过暗。在需要大功率、高亮度天光的时候,可能还需要拆掉部分LED 屏幕以架设高亮度影视灯具(图2)。

图2 《曼达洛人2》中使用的光卡和拆掉部分LED屏幕架设影视灯

2.2 LED屏幕光谱连续性差,需高显色性电影灯具补足光谱

由于LED 屏幕主要为了实现观看效果而非照明效果,其设计时注重显示画面的亮度和色彩还原性,且LED 屏幕光谱较窄,光谱连续性较差,造成显色指数(Color Rendering Index)较低(40左右),其光照无法很好地还原物体的颜色,尤其是黄种人肤色,因此仅依靠屏幕光照拍摄,会产生偏色现象。根据《电影摄影棚建筑设计规范》(征求意见稿)和GY 5066-2000《电影摄影棚灯光系统设计规范》,电影摄影棚拍摄用灯光显色指数应不小于85,而目前的LED 顶屏和侧屏无法达到这一数值。

目前国产和进口电影灯具中,白光LED 灯具可通过加入缺少颜色的荧光粉使光谱平坦,彩色LED灯具则通过光谱拟合计算优化选择多色光源的波段成分,并通过优化算法对灯具逐一校正,锁定灯具输出每个色点中各种光源颜色灯珠的工作功率混合占比,从而实现高显色指数 (Ra 90以上)。图3-图5分别是日光、典型LED 屏幕、某国产品牌电影灯在双色温状态的光谱和显色指数。

图3 日光光谱

图4 典型LED屏幕光谱

图5 某国产品牌LED电影灯产品在双色温下的光谱和显色指数

由此对比可见,在LED 虚拟摄影棚中,高显色指数LED 灯具作为主光必不可少,有不少LED 虚拟摄影棚采取了在顶棚架设LED 摄影灯光阵列的方式提供主光,如阿莱 (ARRI)为奈飞/网飞 (Netflix)剧集《1899》搭建的MRPS制作系统(图6),顶部仅1/3部分使用LED 屏幕,用于辅助光源和视效,另外2/3 部分采用了ARRI的Sky Panel LED柔光灯,作为拍摄现场准确还原真实光效的光源;也有一些影棚采取了 《曼达洛人》的方案选用了可拆卸式顶屏。

图6 阿莱 (ARRI)为奈飞/网飞 (Netflix)《1899》剧集搭建的MRPS制作系统

2.3 LED屏幕表面反射布光不可避免,需处理好拍摄现场杂散光

在LED 虚拟摄影棚主舞台体积内拍摄时,作为主光源的现场布光投射到屏幕上造成反射不可避免,尤其是强光源照射对LED 屏幕的画面显示会造成较大影响,使暗部背景无法暗下来,我们使用不同亮度的D65光源照射在放映Finalcolor 16bit无压缩测试图(图7)的某厂家LED 屏幕上,产生的干扰程度如表1所示。

表1 LED 屏幕受光照影响情况

图7 Finalcolor 16bit无压缩测试图

反光也会影响屏幕可视角度,需注意拍摄角度。早期演播室使用LED 屏幕时,点阵间隙反光造成若干光斑的情况尤为明显,当前电影虚拟拍摄用LED屏幕已通过表面哑光处理减小反光,但仍需尽量避免高亮度主光源聚光照射在屏幕 “内视锥”区域。主屏和侧屏、顶屏之间会产生光的反射作用,从而造成一些光干扰。我们使用D65光源2°观察者测试了3款不同LED 屏幕的表面反射率,在光源不同波长位置,LED 屏幕的反射率不同,如图8所示。表面反射率越低,反光越小,观感越好。3款LED 屏幕都有不错表现,但依然不能完全避免反光问题。

图8 样品LED屏幕反射率

为避免反光和光干扰,在布光时可以注意以下几点:

(1)改变光源硬度,利用蝴蝶布、米波罗等进行遮挡、反射,让点光源变成面光源,使光线柔和。(2)改变光源高度,从上方照射前景,避免照射到显示“内视锥”部分的屏幕,尽量做到 “人亮屏不亮”。(3)在搭建顶屏的拍摄场景,以及上方布置灯光矩阵并撑上蝴蝶布的拍摄现场,要适当留出垂直空间,避免在顶棚较低的狭小空间内拍摄,防止现场反射的杂散光过多影响布光效果。

2.4 LED 虚拟拍摄使用的灯具类型和灯具控制方式

LED 虚拟棚拍使用灯具,考虑到实际拍摄情况,如散热、电压、功率、安全架设等因素,应用最多的还是LED 电影灯具,LED 灯已可满足绝大部分场景的拍摄照明要求,在高亮度大功率照明时,可应用HMI灯作为补充。

由于LED 背景由虚幻引擎驱动,内容则由虚拟资产提供,较传统实景和棚拍场景变换速度更快,对现场灯光置景效率需求也更高,尤其对于棚顶LED 灯光阵列而言,传统的手工调整方式无法满足现场工作的要求,而近年来基于DMX512协议的数控灯光已成熟应用,因此LED 虚拟拍摄中的灯光、尤其是棚顶的照明,一般采用数控灯光,从而方便控制和切换。对于通道总数量较少的灯光控制,可使用电脑软件或iPad应用进行有线或无线控制。对于通道数量较多的大型灯光阵列,可在使用软件的同时,使用专业调光台进行灯光控制,以实现更多通道的稳定控制,并可实现丰富预设编程效果。虚幻引擎 (UE)的像素映射、Mad Mapper等软件,可输入图片并计算打出气氛图,如图9所示。

图9 UE像素映射功能和Mad Mapper的光映射工具

另外,UE还可提供灯光模拟功能,图10左是现场活动灯光模拟(UE DMX 插件),图10右则是LED 虚拟拍摄灯光模拟(后文实验用工程)。

图10 UE DMX 自带的蓝图模板工程和本文实验自建的虚拟拍摄灯光模拟工程

3 LED虚拟拍摄的照明匹配原理和方法探讨

3.1 LED虚拟拍摄灯光测试中照明匹配的必要性

电影照明是摄影造型中不可替代、最直接的参与者,在电影创作中的地位举足轻重[1]。当前电影拍摄所使用的电影照明器材种类繁多,在拍摄前都需要做好试光工作。对于虚拟拍摄而言,照明匹配是试光过程中的重要步骤。绿幕虚拟拍摄的前期布光和后期特效打光分离,可能存在效果不一致的情况,导致画面观感怪异不真实。LED 虚拟拍摄从一定意义上而言起到了后期前置作用,虚拟背景打光需要契合现场灯具布光,倘若在现场拍摄时妥善完成了照明匹配工作,就可省去部分后期工作;换言之现场拍摄无法做好照明匹配,后期特效打光、调色都需要花费额外的人力物力,而且和绿幕拍摄后期特效制作的影片一样,前期出现的问题并非都可以通过后期来解决,可能在艺术上留下永远的遗憾。因此LED 虚拟拍摄照明匹配工作十分必要。

3.2 LED虚拟拍摄照明匹配的基本原理

人工照明是光源系统、被照物体和观察者三者之间联动的综合效应。由于电影观众只是通过画面观看场景中的光照和物体,而画面由摄影机 (这里暂不考虑后期调色)决定,因此电影灯光照明的效果本质上是光源、拍摄物体和摄影机感光器件联动的综合效应。而在现场拍摄情况下,灯光效果的判断则主要凭借摄影师、摄影助理、灯光师等人观察监视器效果的主观评价,因此观察者环节存在着监视器差异和人的主观因素差异等因素。

照明匹配指的是实拍和虚拟合成内容的照明光线匹配,包括氛围匹配、方向匹配、强度匹配等,从而使实拍和虚拟部分的光照气氛一致,空间统一没有割裂感,以实现真实感场景的营造。具体而言,即实体空间中的色彩还原情况和虚拟空间中的色彩还原情况接近,二者环境下同一颜色的色差可控,这样在后期调色才可能将所拍摄的画面作为一致的空间进行调色。要验证是否实现照明匹配,可以在虚拟环境和实体环境中设置虚拟色卡和实体色卡,通过主观评价完成匹配,拍摄图像并计算色差进行验证。

3.3 色差计算方法和照明匹配实验中色差衡量方案

色差计算原理在影视行业、摄影行业被广泛用于检查相机、摄影机、镜头等光学系统以及显示终端、监视器的色彩还原情况,用于相机拍摄图像、摄影机拍摄视频的色彩校正,并可用于测试灯光系统的显色性和色彩还原情况。其中,摄影系统的色彩还原性能测试,与照明匹配过程有类似之处。该过程采用成像色差分析方法,拍摄在给定色温的光源下(D65光源或者按需选择)的24色标准色卡,并将拍摄的结果图像通过软件等进行分析,从而评价摄影系统产生的色彩还原(色差)、白平衡和噪声表现。在这一过程中,光照和色卡是给定的常量,测量的是摄影系统的情况。相关工具有Imatest、iQstest、iSeetest等,可测量各色块的L*、a*、b*三分量,并和标准值进行对比,如图11所示。

图11 Imatest的24色色卡模式被广泛用于镜头测试

根据LED 虚拟拍摄的照明匹配需求,可在虚拟空间和实体空间分别设置虚拟色卡和实体色卡,并使两种色卡的24色色差处于可控范围。在这一过程中,色卡和摄影机的特性作为常量,考量的是光照的情况。

4 LED虚拟拍摄的照明匹配方法验证

4.1 照明匹配需满足的基础条件

要做到实体环境光照下的色卡和虚拟环境中的色卡的色彩还原度一致或相近,使色差处于可控的范围内,照明环境需要满足以下要求:

(1) 实体环境中照明灯具具备必要的色彩还原水平

实体环境中照明灯具的色彩还原水平是摄影棚环境得以模拟真实环境的重要前提。色彩还原水平由显色性指数决定,根据GY 5066-2000 《电影摄影棚灯光系统设计规范》,电影摄影棚拍摄用灯光显色指数(Ra)应不小于85。一般灯具都会在指标中标记显色指数,也可通过仪器仪表测量,或者通过色卡在自然光照下实拍、灯具照明下实拍的色差来验证。

本文实验中使用的灯具Ra标称值为95,实际利用仪器测试,不同输出亮度和不同色温的显色指数数值见表2。

表2 实验中灯具显色指数实测数据

图12左、右分别为自然光、电影照明灯具下利用Red摄影机实拍,经达芬奇套摄影机LUT 后输出的图像,可以看到图像在波形上差异明显。说明电影照明灯具与自然光终究存在差异。

图12 自然光、电影照明灯具下实拍和校正后输出的图像

将图片导出后,分别输入Imatest软件,利用软件24色色卡功能,测量并分别导出两个图像的L*、a*、b*三分量,并计算色差如图13所示。本文色差均以ΔE*00公式计算,下同。经计算,平均色差为1.86,最大色差为4,说明色差已控制得很好,即使并排对比,也很难分辨出差异,照明灯具已具备必要的色彩还原水平。

图13 自然光、电影照明灯具下实拍图像的24色色差和平均色差

(2)LED 屏幕与标准值的色差在可控范围之内

在使用LED 屏幕时,需要确保LED 屏幕与标准值的色差在可控范围之内,可以采用校色仪和校色软件进行色彩校准,并可在校准后用色度计测量色差。在校准和测量时,需要确定LED 屏幕的实际亮度,该值有时和标称的输出亮度有一定偏差。

在没有色度计的情况下,采用拍摄图像并利用软件测量评价的方式也可了解屏幕的色差情况,这一方式类似于成像式色度计,且与拍摄设备紧密相关,因此需要采用未来拍摄中实际使用的摄影系统进行测试。在同一画面中拍摄照明灯具下的实体色卡和LED 屏幕上显示的电子色卡,且照明灯具的色温需和LED 屏幕的色温一致,如图14所示。实际上调节一致较为不易,可以参考设备的显示值,多试几组相近色温,并利用主观观感进行评价,尤其是24色色卡第四行的灰阶图像,对于光线偏色有很好的鉴别作用。注意拍摄时把焦点对在实体色卡上,并且调整光圈,避免LED 屏幕实焦造成摩尔纹,影响匹配和软件取色。

图14 照明灯具下的实体色卡和LED屏幕上打出的电子色卡

虽然经过一系列调整,且在人眼视觉上已经比较相近,但拍摄的图像依然有一些色差,尤其是从最后一行灰阶可看出,相比而言虚拟色卡颜色偏红,实体色卡颜色偏蓝。将图片导出后,分别输入Imatest软件,利用软件24色色卡功能,测量图像并分别导出两个图像L*、a*、b*三分量,计算色差(图15)。经过计算,平均色差=4.89,最大色差Δ=9.02,目前从图像上来看,最后一行图像明显偏红,但现场人眼观看时并不能发现色差。

图15 实体色卡和电子色卡24色色差和平均色差

用于图像处理、影视制作等对色彩有非常高要求工作的LED 显示设备,一般要求Δ＜3,而这整个系统目前包括了灯具、摄影机等因素,4.89这一数值已较为理想。除最后一行的深色灰阶外,另外两个肤色色块是色差最明显的。目前色差的来源主要还是LED 屏幕的因素。如果进一步使用屏幕校正技术,可以降低这一数值,也可以更进一步精细化调整灯光,使这一数值进一步缩小。

我们使用同一光源不同色温直接照射24 色色卡,在2°观察者和10°观察者测量各色块的L*、a*、b*三分量,测量结果如表3 所示。可以看出,观察角度对于L*、a*、b*三分量会造成一定影响。拍摄时摄影机应尽量平视,同时虚拟色卡和实体色卡与摄影机的水平夹角应相近,减小角度带来的色差影响。

表3 24色色卡经光照后不同观察者角度的L*、a*、b*三分量数值

另外,色温的改变较角度变化而言,更容易造成L*、a*、b*三分量的明显变化。因此可以参考不同色温下色卡L*、a*、b*三分量的变化趋势进行照明灯光色温的调整,从而完成照明匹配工作。

4.2 照明匹配验证过程和色差计算

LED 虚拟拍摄使用UE 生成虚拟场景显示在LED 屏上,作为背景和舞台上的人物和物体一起被拍摄。本实验为了模拟这一过程,在一小块LED 显示屏上显示UE 中的虚拟色卡,实体灯光下演员手持实体色卡,如图16所示。

图16 虚拟色卡和实体色卡的照明匹配

虚拟场景中的虚拟灯光由UE 虚拟场景的天光(HDRI图自带)和UE像素映射光线提供;实体照明由手动控制调整的LED 灯具,以及顶部由UE 像素映射功能控制的LED 灯具提供。利用主观评价调整虚拟灯光和实体灯光,充分利用UE 自带虚拟色卡组件的反射球功能调整光照方向,并尽量依靠最后一行色卡的灰阶来判断一致性。

由于亮度后期很容易调整,比如更改LED 屏幕的输出功率,或者更改LED 照明灯的输出功率,因此可以试着计算饱和度差ΔC*00,即不考虑L*分量,衡量一下a*、b*两个分量的差。

图17 虚拟色卡和实体色卡的24色差和色饱和度差

在包含了UE、屏幕、灯具等因素产生的色差的情况下,这样的数值整体可控,可实现虚拟空间和实体空间近似,为后期调色打下了一致性基础,但仍有进一步调整的空间。

5 结论

LED 虚拟拍摄的布光工作需要快速高效,且需要做好照明匹配工作,做到虚拟空间和实体空间的光线气氛匹配和一致,从而为LED 虚拟拍摄提供良好的基础。如果无法做到照明匹配,会造成虚拟空间和实体空间气氛的割裂,由此造成的技术瑕疵无法通过后期调色解决,需增加后期特效打光环节,造成大量人力物力的浪费,LED 虚拟拍摄 “轻后期、轻特效”的优势也因此无法体现。要实现照明匹配,需要保证两个基础条件:一是实体环境中照明灯具具备必要的色彩还原水平,或曰灯具的显色性达到电影级拍摄要求;二是LED 屏幕颜色还原与标准值的色差在可控范围之内,尽量将色差ΔE 控制在5以内,如数值过高,在屏幕具备一定颜色还原能力的情况下,可使用校色仪和校色软件进行校准优化。两个基础条件对LED 虚拟拍摄提出了硬件要求门槛,同时也提示了行业,布置LED 虚拟拍摄影棚时,需对设备的相关性能做性能指标测量或测试,因为电视演播厅、舞台演艺、XR 等领域使用的LED 屏幕和灯具,可能不足以用于电影级LED虚拟拍摄;在达不到门槛要求的设备设施上进行操作,是无法达到预期效果的。

LED 虚拟拍摄场景搭建表面上是一个艺术过程,其背后需要扎实的技术支撑,尤其在照明匹配方面,传统测光表作为布光参考的手工调光对于LED 虚拟拍摄的照明矩阵而言,无法满足效率需求。为此,本研究使用虚幻引擎和其他专业灯光编程控制类软件,结合灯光控制台可以实现基于DMX512协议的矩阵灯光控制和调整, 并结合电影特效领域照明匹配经验,通过色卡和反射球完成照明匹配工作,同时基于电影行业色彩还原测试经验,通过拍摄虚拟色卡和实体色卡并分析二者色差,实现照明匹配验证。本研究虽然已实现了照明匹配和验证流程,但目前验证环节还需将画面导出、后期软件处理成图像、加载到Imatest软件读值,并利用开源程序算出色差,全程所需的时间在20分钟左右。未来将工具和方法集成,有望实现图片拍摄、图传导出和一键上传、分析,将对LED 虚拟拍摄的布光过程的数值化、科学化大有裨益。

当前,我国LED 虚拟拍摄发展迅速,电影检测技术的应用和相关测量方法的发展,对于科学解决生产实践中的问题提供了数据支持和方法论,对提升虚拟摄制技术应用水平有很大助推作用。相关测试经验和方法可在行业中进一步推广,从而实现技术与艺术的深度融合,为制作领域技术进步和效率提升贡献力量。❖