本文刊發于《現代電影技術》2021年第8期

專家點評

近年來，高新技術格式電影和視覺特效影片持續推出，4K、8K、3D、4D、巨幕（Giant Screen）、高幀率（HFR）、高動態范圍（HDR）、廣色域（WCG）等新興視聽技術廣泛應用，電影的制作水平與質量要求不斷提升。虛擬制作技術是當今電影制作環節最為重要的技術領域之一，對其關鍵技術的研究將有效推動電影制作端技術應用水平的不斷提升，為增強電影拍攝制作水平和服務能力提供科技支撐。此外，由于該技術涉及領域廣，構成子系統多，發展又處在起步階段，及時對其國內外應用發展趨勢和關鍵技術深入研究非常必要。

《基于LED背景墻的電影虛擬化制作關鍵技術研究》一文正是針對上述問題，同時結合北京電影學院LED 虛擬攝影棚的建設及應用,對使用基于LED背景墻的虛擬化制作技術進行了歸納和總結，對LED顯示、渲染、跟蹤、交互、照明等關鍵技術進行了分析與研究,對測試和應用過程中遇到的問題進行了梳理，提出了切實可行的解決方案。文章結構清晰，內容詳實，能夠為影視從業人員全面了解基于 LED 背景墻的電影虛擬化制作技術提供非常好的參考，同時為該技術在行業內的應用提供有益的指導。

——張偉，教授級高工，

中國電影科學技術研究所

（中央宣傳部電影技術質量檢測所）

黨委書記、所長

作者簡介

陳軍，北京電影學院影視技術系研究員，主要研究方向：數字電影技術；

趙建軍，北京電影學院影視技術系副教授，主要研究方向：數字電影技術；

盧柏宏，北京電影學院中國電影高新技術研究院碩士研究生在讀，主要研究方向：數字電影技術。

摘 要

近兩年，基于LED背景墻虛擬化制作技術成為了影視制作領域的研究和應用熱點，這種新型技術給影視制作帶來了新的可能性，然而目前該技術研究層面仍缺乏整體性的技術總結和問題梳理。本文結合北京電影學院影視技術系LED攝影棚的搭建及測試應用，對使用基于LED背景墻的虛擬化制作技術來制作高質量內容背后的關鍵技術進行總結歸納，尤其是在顯示、渲染、跟蹤、交互、照明等方面進行了深入分析與研究，探索高效獲取高質量影像、優化電影制作流程的可能性。

電影虛擬化制作 LED背景墻 數字電影制作 數字特效

1前言

近年來，隨著科學技術的發展，影視行業產生了巨大的變革。目前，影視制作的熱點之一就是基于LED背景墻的電影虛擬化制作技術。這種新型的制作技術能夠給現場拍攝帶來“所見即所得”的自由創作環境、真實的環境光照以及更大程度上的“后期前置”，在解決了傳統虛擬化制作中的藍綠幕溢色等問題的同時，減少外出取景拍攝的風險，受到電影制作研究領域和應用領域工作者的關注。特別地，在疫情期間及后疫情時代全世界多地開始進行基于LED背景墻虛擬化制作攝影棚的搭建，這在方便影視制作創作的同時，進一步推動了影視工業化的進展。本文在大量實測基礎上對基于LED背景墻虛擬化制作系統背后的關鍵技術進行了總結，在LED顯示、實時渲染、攝影機跟蹤、燈光匹配及人機交互方面，針對發展路線、技術原理、目前存在的局限性作了深入分析與探討。

圖1 基于LED背景墻的電影虛擬化制作系統框架

基于LED背景墻的電影虛擬化制作系統，整體制作框架如圖1所示，其關鍵技術可以大致分為LED背景墻的顯示技術、虛擬場景的渲染技術、攝影機內外參跟蹤技術、燈光照明、人機交互技術等，本文分別就上述關鍵技術進行闡述介紹。

2LED顯示技術

隨著制造和封裝技術的發展，小間距LED顯示屏產品逐漸開始應用于影視行業前、中、后期的各個環節。其高亮度、高動態范圍、壽命長、功耗低、工作穩定可靠等特點，使得其能夠滿足高質量影像顯示的需求。隨著LED顯示技術的發展，像素間距越來越小、像素排列愈加緊密、燈珠各項參數不斷提高，能夠在大屏上顯示高分辨率、高動態范圍、廣色域的畫面，一定程度上可與真實世界的光環境進行匹配。因此，基于LED背景墻的顯示技術成為電影虛擬化制作得以快速發展的硬件基礎。

2.1LED顯示原理及優勢

相較于傳統的投影等大屏顯示方式，LED顯示原理的核心區別在于面板上的每顆燈珠主動獨立發光，基于空間混色效應實現顏色顯示。

在亮度、對比度、黑位水平方面，LED屏幕有明顯優勢。投影式放映機采用氙燈、激光光源或LED，將影像放大投射至幕布上，經過漫反射進入觀眾眼中。由于放映機工作溫度限制、光源壽命下降導致衰減、透鏡易落灰、銀幕反射率有限等因素的影響，光路在多個環節易出現衰減，使得放映畫面難以達到較高的銀幕亮度；在顯示純黑信號時光源依然開啟，黑位水平難以降低，因此幀內、幀間對比度有限。相比之下，LED屏幕的每個像素點均可通過驅動達到較高亮度，其自發光特性消除了光路衰減的干擾，最終呈現的亮度可達投影式放映機的10倍以上。同時，在顯示純黑信號時，像素點可完全關閉，將黑位水平降至最低。因此，LED屏幕的幀內、幀間對比度均有大幅提升，可服務于高動態范圍影像的呈現。

均勻度指影像在屏幕上亮度和顏色的一致性，LED顯示屏在該方面優勢更為明顯。投影式放映機以銀幕中心為基準校正顏色和亮度，校準空間有限，從中心到角落可能出現25%以上的亮度衰減，同時顏色也容易出現偏移。此外，由于放映機光源從球面鏡頭發射，經一定距離投射至銀幕平面，光路上經過的光學表面較多，這些表面的光學特性導致畫面容易出現畸變。LED屏幕在投入使用前，會針對全部模組進行校正，最大程度地保證屏幕各個區域亮度和顏色的均勻度。同時，因 LED為點對點映射驅動，像素點位置排布均勻且固定，像素直接發光，不存在光路上的干擾，因此解決了畫面畸變的問題。

2.2 大型LED背景墻顯示及其控制方式

像素（Pixel）是LED顯示屏上的最小可控成像單位，LED顯示屏上的每個像素由封裝在燈座上的RGB三色發光二極管燈珠構成。通過樹脂或者塑料面板將LED像素封裝為像素陣列，若干像素陣列與驅動芯片、PCB電路板構成一個顯示模塊（display module），若干個顯示模塊連同控制電路及相應結構件構成一個顯示模組（display panel）。LED背景墻由多個顯示模組拼接而成，可按需求組合為不同規格和分辨率，形成CAVE式四面環繞或180°以上環形排列的大型背景墻結構，服務于電影虛擬化制作。

由多塊顯示模組構成的LED背景墻，需采用配套LED控制器和拼接器實現同步顯示。LED控制器可將HDMI、SDI等不同格式的輸入視頻信號，通過網線或光纖輸出給LED屏幕模組序列，模組間以網線連接傳遞信號，從而實現驅動上屏。同時，控制器具備本地及遠程控制接口，可通過軟件對屏幕顯示特性進行控制和校正。此外，控制器還提供Gen-Lock接口，以滿足信號同步需求。LED拼接器可將完整的圖像輸入信號劃分為多塊后分配給多個視頻顯示單元，常與控制器配合使用，其功能也可集成在控制器內。

在LED背景墻虛擬化制作中，多臺計算機實時渲染輸出的虛擬場景視頻信號，通過視頻接口輸入給對應LED控制器，控制器驅動信號實現上屏。根據控制器帶載限制，可按需求分配計算機與對應LED屏幕區域的映射關系。

在能耗方面，大面積自發光LED顯示屏每平米峰值功耗可達700~800W，以一個25米長、4米高的LED顯示屏為例，峰值功耗可達70~80kW。接線時，需要對電源線進行分組，以免輸出過載。高功耗也伴隨著較高的發熱量，對現場的通風散熱也有一定的要求。

2.3 LED屏應用中存在的問題與解決思路

在基于LED背景墻的電影虛擬化制作中，像素間距（Pixel Pitch）是影響成像質量的核心因素。像素間距指LED顯示屏相鄰兩個像素點中心的距離，記作P，單位為毫米。像素間距決定了LED顯示屏的像素密度，直接影響人眼觀看距離及攝影機內拍攝畫面摩爾紋等屬性。在其他拍攝條件相似的情況下，應盡量選取像素間距較小的LED屏產品，實現高質量的畫面拍攝。

白場峰值亮度、色域范圍、色彩準確性、亮度和色度均勻性，是評價LED屏幕性能的主要指標。在實際使用中發現，隨著點亮時間和溫度增加，LED模塊存在白場亮度衰減、色度坐標偏移的現象。解決該問題需要確保LED在拍攝前預熱至穩定狀態，并在控制器內開啟白點色溫動態校正功能。此外，在考察LED亮度和色度均勻性時，由于RGB燈珠排列和封裝方式影響，相對于屏幕法線方向而言，在水平和垂直離軸方向常出現亮度衰減及色度坐標偏移問題，這使得傾斜拍攝屏幕時會發生一定程度的偏色現象。解決該問題首先需要盡量避免極端的拍攝角度，其次是更多地采用弧形背景墻結構，增加可用的拍攝角度。

LED屏幕及控制器支持的電光轉換函數（EOTF）、位深、最小有效黑電平等指標，決定了屏幕成像的層次細膩度和非線性特征。當前LED模塊及控制器的處理位深通常可達16bit，也能支持10bit、12bit輸入視頻信號顯示及不同的SDR/HDR EOTF標準，但在暗部常因位深不足而出現斷層（Banding）現象。對控制器而言，可采取時間抖動（Temporal Dithering）和空間抖動（Spatial Dithering）方式，間接提升低灰部分的顯示位深，以實現暗部平滑顯示。

摩爾紋（Moiré Pattern）是攝影機直接拍攝LED背景墻面臨的最大干擾，其成因是屏幕像素密度與攝影機CMOS像素點采樣密度不匹配。在實際測試中，鏡頭光心到屏幕距離、鏡頭焦段、光圈大小、對焦距離、拍攝方向與法線的垂直和水平夾角等因素，都會對摩爾紋的多少產生影響。此外，LED背景墻虛擬化制作還面臨LED面板的反光問題、使用LED屏構建的環境光照因為燈珠光譜窄而導致的顯色性差等問題。在基于LED屏的虛擬化制作中，我們通過將LED屏顯示的背景置于焦外、補充數字燈光矩陣照明等方式來一定程度地規避這些問題。

3渲染技術

3.1 實時渲染技術

實時渲染較離線渲染速度要求高、質量要求低，較多應用于游戲等對畫面要求相對低的領域，而動畫與影視特效則往往使用渲染速度慢、質量高的離線渲染方式。隨著計算機硬件與渲染技術的發展，實時渲染的質量不斷提升，尤其是基于物理的渲染（PBR, Physical based Rendering）與實時光線追蹤技術（Real-Time Ray Tracing）的引入，為實時渲染在影視制作中的應用帶來了可能性。

基于LED背景墻的電影虛擬化制作技術建立在實時渲染的基礎上，它要求虛擬場景隨著真實攝影機的運動、用戶的交互控制實時地渲染畫面。多年前，基于綠幕的電影虛擬化制作已經將實時渲染畫面用于現場預演，隨著渲染技術的進步和渲染效果的提升，實時渲染技術能夠保證電影虛擬化制作現場LED背景墻畫面和光照效果更加真實。

實時渲染技術在傳統離線渲染技術的基礎上，使用了降低精度、提高計算速度的加速算法與數學近似技巧、大量離線計算的預計算數據。例如基于LED背景墻的電影虛擬化制作中使用的實時渲染引擎，采用了光線追蹤與光柵化混合的渲染管線，結合預計算處理和針對采樣的多種后處理技巧，如屏幕空間采樣、深度學習超采樣（DLSS）、低采樣次數光追渲染的降噪技術等，帶來了更加精細的實時渲染畫面與更加真實的光照。

3.2 多機同步渲染

基于LED背景墻的電影虛擬化制作使用小間距LED屏組成的高分辨率屏幕作為背景進行拍攝制作，如果采用單臺計算機進行渲染，當前的計算機渲染能力有限，無法滿足需求。故須引入多機同步渲染技術，即利用多臺計算機同時進行渲染，每臺計算機配備較強的計算硬件，配置完全一樣的渲染引擎與資產，連接在同一局域網下，基于網絡協議發送啟用同步渲染指令，實時傳遞外部輸入數據如攝影機位姿、交互控制數據、同步信號等信息，來執行對應的渲染任務。多臺計算機間的渲染畫面的同步控制則由基于網絡的軟同步或者基于支持Gen-Lock信號的顯卡硬件同步，使用同步卡輸出脈沖信號給GPU來實現，以解決多機不同渲染區域有快速變化的內容時可能產生的畫面撕裂問題。

圖2 渲染節點結構

與傳統的實時渲染不同，渲染畫面的顯示介質LED屏很多時候并不是一個矩形、平直的屏幕，而是環繞拍攝現場的多塊屏幕或者曲面屏。這是因為影視拍攝中，LED屏幕的可視角度大約在140度左右，攝影機垂直拍攝屏幕效果最佳，從斜側方拍攝LED屏幕會產生偏色和摩爾紋現象。使用弧形屏可以使攝影機的拍攝角度盡可能接近垂直屏幕。

渲染的觀察視點也并不在屏幕的中心垂線上，根據內外視錐的不同，外視錐的視點相對LED屏不會移動，因此觀察視點大約在攝影機、演員活動的中心位置，內視錐的觀察視點則是攝影機鏡頭的主節點位置。因此需要將攝影機拍攝到的虛擬場景投影到LED背景墻上，再根據投影關系進行逐像素的渲染。

由于上述特點，基于LED背景墻電影虛擬化制作中，實時渲染必須根據渲染任務情況，將任務盡量平均地分配到多臺渲染主機進行渲染。

3.3 內外視錐渲染技術

基于LED背景墻的電影虛擬化制作技術的核心概念是攝影機內視效，即攝影機直接拍攝得到真實畫面與虛擬背景的合成結果。在LED屏上，我們使用相對固定的外視錐形成的光照環境來模擬真實的光照與色彩匹配，使用內視錐作為攝影機直接拍攝的背景，內外視錐的渲染要分別單獨進行。

外視錐是各屏幕上渲染的主要視口，主要起到照明作用。對每一塊獨立渲染的屏幕，都有一個外視錐視口；但所有外視錐僅有一個視點，該視點一般為固定視點，在整個場景中很少移動，或是在交通工具內的視角等特殊鏡頭中相對穩定地移動。外視錐會渲染在環繞拍攝環境的所有LED屏上甚至應用于燈光矩陣，從而再現視點處“真實”的照明效果，以模擬角色、道具身處環境之中的觀看效果和光照效果。這也避免了傳統制作流程中綠幕拍攝時“泛綠”難以處理、燈光匹配需要大量重復機械式調參、高反射材質的不易進行光照匹配等問題。

圖3 內外視錐

內視錐是疊加在外視錐上層的獨立視口，與攝影機內外參數強關聯，主要覆蓋攝影機取景范圍，作為拍攝畫面的合成背景使用。內視錐主要用來做攝影機直接拍攝的背景畫面，這種攝影機內拍攝合成的方式替代了后期摳像合成，簡化了制作流程的同時減少了摳像、擦除等人力勞動。內視錐的渲染畫面，由于攝影機位置更新、渲染帶來的延遲，以及LED屏像素密度帶來的摩爾紋等干擾，所以往往采取提高計算設備性能、減緩攝影機移動速度、將LED屏上背景內容進行小景深虛化處理等方法來規避。

圖4 內視錐顯示為綠幕時的拍攝畫面

此外，內視錐還可以根據需要設定為綠幕，來進行傳統摳綠合成。由于此時外視錐仍渲染虛擬場景內容，拍攝主體的光照情況仍然是與虛擬場景匹配的，不需要在合成時再次進行復雜的溢綠、重打光等匹配工作。內視錐設定為綠幕的原理是將一塊材質為自發光綠色的平面置于內視錐虛擬攝影機前，并與虛擬攝影機位置關系綁定。綠色平面的形狀、大小均可自由地自定義。同時，可以添加基于LED屏形狀與位置的跟蹤點在內視錐中，跟蹤點位置與大小相對于LED背景墻靜止，內視錐在LED背景墻上運動時將會顯示這些跟蹤點，這對后期獲取攝影機軌跡提供了便捷的備用方案。

4跟蹤技術

攝影機跟蹤技術被大家廣泛關注與研究已久，其通常通過計算機視覺、光學等方法進行攝影機跟蹤，然而以LED屏為背景顯示設備時，場景光線復雜多變，給攝影機跟蹤與注冊環節帶來了極大影響。新型應用場景對跟蹤設備在跟蹤范圍、系統靈活性、魯棒性及延時性方面提出了更高的要求。

4.1 標定與匹配

在基于LED背景墻電影虛擬化制作的過程中，我們通過攝影機跟蹤設備得到真實世界中攝影機的運動，通過各種空間轉換，得到變換矩陣，計算得到位置與姿態，最終驅動三維場景中虛擬攝影機運動。引擎根據攝影機靶面、焦距、焦點等內參計算攝影機取景范圍，將虛擬攝影機渲染的畫面映射到LED背景墻上。為避免穿幫，真實攝影機的視野在LED墻的投影范圍要被LED背景墻上渲染出的內視錐完全覆蓋。

攝影機跟蹤的前提是攝影機的標定，通過計算機視覺技術計算得出變焦鏡頭不同焦段下的內參，這些光學特性由矩陣形式表示，該數值信息可由引擎實時讀取，使虛擬攝影機與真實攝影機畫面更加匹配。由于LED背景墻是對“真實”環境與光照的還原，攝影機位置和LED背景墻的距離與虛擬攝影機位置和虛擬場景中LED背景墻的距離需要完全相等，因此跟蹤系統的坐標系需要與虛擬場景中的坐標系完全一致。攝影機跟蹤系統工作時，首先在引擎中需要對 LED屏幕按照真實尺寸進行建模，在使用不同的跟蹤系統時，需將跟蹤系統世界坐標系原點定位至屏幕區域中間位置，利用全站儀等設備測量該坐標原點到屏幕的距離，在引擎中將LED背景墻模型的原點位置與跟蹤原點重合。這樣，攝影機在真實空間中相對于LED背景墻的距離將與虛擬攝影機相對于虛擬 LED 背景墻的距離完全相同，能夠得到一致的對應效果。

圖5 跟蹤設備在LED背景墻中

4.2 攝影機跟蹤技術

攝像機追蹤的本質是估計每一幀的攝像機位姿矩陣，目前現有的對攝影機進行姿態估計的方法側重于提升觀測設備的刷新率以捕捉物體更加快速的變化；提升觀測設備的分辨率，以捕捉更加細節的變化和更加精準的3D特征點。

攝影機跟蹤技術從實現原理上可分為由內向外跟蹤和由外向內跟蹤。由外向內的跟蹤通過分析外部設備所接收到的機械或光學系統在空間中的變化信息，計算出物體在空間中的運動。由外向內跟蹤廣泛應用于基于LED背景墻的電影虛擬化制作，其方式有基于多個紅外攝像頭環繞捕捉的Optitrack、基于紅外Lighthouse基站的小成本定位方式HTC VIVE等。

由內向外的跟蹤技術，其跟蹤設備通常固定于被跟蹤物體上，方便攜帶安裝，空間限制較小，更符合技術現代化發展的需求。該技術主要通過視覺、慣性或視覺與慣性混合的 SLAM 技術進行自身的位置檢測和姿態估計。目前大部分的由內向外跟蹤設備都基于混合傳感器技術，尤其是以視覺為主，慣性進行輔助。這種利用協作傳感器融合進行攝影機姿態估計的方法，往往受場地限制較小，為創作帶來了更大的自由，但對于環境要求較高，要求視場內光線適中，場景中有足夠的明顯特征可供識別等。這類設備包括NCAM、RedSpy、MoSys StarTrack等。

4.3 實時跟蹤與數據后處理

實際的拍攝制作流程中，我們往往對攝影機軌跡進行兩部分操作：

（1）對攝影機的位置及姿態進行實時的估計，將該數據實時地傳輸到三維軟件或游戲引擎中，驅動虛擬攝影機獲取相應的虛擬畫面；

（2）在需要內視錐進行色鍵摳綠或對拍攝到的畫面進行后期處理情況下，此時需要將現場拍攝時跟蹤軟件捕捉到的軌跡進行數據清洗、濾波優化等操作，將處理后的攝影機運動軌跡數據賦值給虛擬攝影機。

其中，因各類數字內容生產工具、實時渲染引擎之間的坐標系統不盡相同，數據傳輸或進行后處理時往往首先要進行坐標系的轉換，例如：Unity為Y-Up左手坐標系；Unreal Engine 4則為Z-Up左手坐標系；MAYA、Houdini為Y-Up的右手坐標系；3ds Max為Z-Up右手坐標系等。針對剛體的跟蹤數據用3軸位置（Location）及3軸旋轉（Rotation）進行表示。大多動作捕捉或攝影機跟蹤軟件均支持數據直接傳輸至三維軟件3ds Max、Maya與實時渲染引擎，同時支持利用軟件SDK進行深度開發或通過VRPN（Virtual-Reality Peripheral Network）接口對跟蹤數據進行接受與處理。例如，在由外向內跟蹤系統Optitrack面向Unreal Engine的插件中，軟件端Motive就開放了Natnet SDK從Mocap服務端以傳輸的形式可以向本地或同一子網下的多個主機客戶端廣播數據。同時，跟蹤設備均接受多種形式的時間碼（Timecode）、相位同步（Gen-Lock）信號輸入，允許外部輸入信號同步觸發錄制功能，并且能將時間碼信息與對應的跟蹤數據以FBX、BVH或CSV的數據格式進行存儲。錄制的攝影機軌跡經過數據清洗、平滑處理等操作之后進入后期軟件進行下一步視效階段的處理。

5照明技術

在當前的電影制作中，照明逐漸智能化、自動化。LED屏幕自身不僅可以實現攝影機機內合成，還可以提供基礎的環境照明，同時能為畫面中透射和反射的區域還原豐富的環境細節。除此之外，LED屏幕可以通過接收不同的視頻信號實時地任意改變每一個像素的亮度與色彩，極大提高了影片制作的效率，為創作者提供了自由的創作環境，同時也在影響著傳統影視照明技術不斷發生變化。

5.1 不同的照明技術

（1）LED屏幕

在基于LED背景墻的電影虛擬化制作中，LED屏幕承擔作為背景的顯示工作時，其照明的作用也不容小覷，LED屏幕的每一個像素點都是一個獨立可控的光源，基于現今強大的三維實時引擎，創作者可以實時、便捷、精細地調節光照，無需手動調節照明燈光設備，只需通過電腦、平板即可完成照明的創作。

LED屏幕作為照明光源而言具有分辨率高、無縫拼接、面積大等特點，能夠提供不同角度的照明，以還原更真實的環境光照。但因為LED屏幕初始設計的用途在于顯示，因此LED屏幕作為照明光源存在許多問題：首先本身亮度不高，小間距LED面板最大亮度一般不超過2000nits，較影視照明面光燈（換算單位面積下的亮度能達到100000nits）照明功率較低，因此在實際的影視制作中仍需要其他燈光設備進行輔助；其次，LED屏幕的照明顯色性較差，如圖6所示LED屏幕的發光光譜較為單一，會導致色彩還原不準確的問題。并且由于三基色RGB燈珠排布具有規律性，在不同角度下對LED屏進行觀測會有相應不同的偏色。LED屏幕中LED燈珠的可視角度大，光照方向難以控制，當屏幕間夾角較小時會對其他屏幕產生影響，導致畫面對比度降低；在價格方面，目前LED屏幕作為照明光源價格比較昂貴，小成本制作難以承擔如此高昂的費用。

圖6 某款LED屏幕顯示滿碼值白的光譜

（2）燈光陣列

燈光陣列是指由數量眾多帶有通信控制功能的數控燈光設備所組成的大面積燈光陣列，每一個燈光設備均能獨立控制，但相較于LED屏幕的每一個像素而言更為分散且數量更少，相比之下對燈光調整的精細度有所降低，但依然能滿足大部分影視制作的需求。

為避免離散的照明設備可能導致照明的不連續、不柔和，可以在燈光矩陣前安裝大面積的柔光布使得光線產生散射，變得柔和。但無論是否添加柔光布，被攝對象上的透射與反射區域均無法與LED屏幕一樣還原真實而細膩的環境細節。

燈光矩陣具有更強的照明功率和更好的照明顯色性，同時其相對低廉的價格及能在拍攝中獲得更好的照明效果而成為一種廣受歡迎的新型照明解決方案。

圖7 燈光矩陣

（3）其他數控影視燈光設備

帶有DMX、Art-net、sACN等控制功能的燈光設備被稱為數控影視燈光設備，能夠實現LED屏幕與燈光陣列都難以實現的大功率強光、聚光、點光、局部柔光等照明效果。在基于LED背景墻的電影虛擬化制作中，數控影視燈光設備能與三維實時引擎進行通信，以達到虛實聯動的效果。三維實時引擎可以實時監測捕捉虛擬環境中的光照效果，并映射相應的參數到真實世界中的數控影視燈光設備。為了匹配虛擬世界與真實世界中燈光設備的位置，可以在真實燈光設備上安裝跟蹤設備，實時獲取燈光設備的位置。

5.2 照明匹配技術

在基于LED背景墻的電影虛擬化制作中，由于同時使用LED屏顯示與照明，并且在系統中存在其他照明設備，需要匹配校正的內容較多，并且由于LED屏幕的發光特性導致色彩偏差，要讓電影虛擬化制作系統準確地還原色彩，需要進行色彩校正與照明匹配。LED燈珠光譜較窄，在不同的攝影機CMOS的不同CFA（Color Filter Array，濾色器陣列）下顏色會產生不同的偏移，因此內視錐的畫面需要根據不同的攝影機進行色彩校準。而外視錐的校準則需要一定程度考慮被攝物體的反射特性，外視錐的色彩校準的參考依據往往是被攝物反射后的色彩，但為了適用于不同被攝物體的拍攝，使用顯色性更高的燈光陣列以及數控影視燈光設備作為主要光源也是一種解決方案。例如：在使用基于LED背景墻的電影虛擬化制作拍攝的劇集《曼達洛人》中更多使用LED屏幕作為照明光源，LED屏幕光源同色異譜的特性導致了“被LED屏幕照射的實物道具”和“LED屏幕所顯示的虛擬道具”在攝影機中看起來顏色并不一致的問題。

因此，在實際拍攝中，我們需要盡可能地將“被拍攝到攝影機內的內視錐畫面”與“作為照明以及反射作用的外視錐”區分開來。因此，需要盡可能減少內視錐對被攝主體的影響，再分別對兩部分進行獨立的色彩校正，如圖8所示。

圖8 照明匹配流程圖

在經過色彩校正后，光源的其他特性也需要進行匹配，比如光源的強度、位置、方向、光質等。由引擎和其他多種手段控制的功能強大的照明系統能讓創作者在實際拍攝中對現場光線進行調整、匹配,并且對照明效果進行自由的藝術創作,最終呈現完美的畫面。

6人機交互技術

6.1 虛擬場景控制

虛擬場景控制指的是創作者在拍攝期間能夠實時編輯虛擬場景，并借助虛擬現實設備進行VR勘景、編輯、確定機位等工作。

圖9 VR勘景

實時編輯虛擬場景時，創作者可以操作渲染節點中的任意一個節點，來修改虛擬場景中的資產，例如場景元素的位置、旋轉、縮放、增減，燈光的方向、照度、顏色等。同時將修改信息通過UDP協議發送至其他渲染節點進行同步，并實時渲染更新在LED背景墻上。這使得虛擬內容創作者能夠實時地編輯、渲染及拍攝。

對渲染節點的虛擬場景控制也可以使用外部設備來實現。例如：通過公開資產屬性的網絡接口，使用移動設備如iPad等直接訪問網頁來控制；使用虛擬現實設備如VR頭盔與手柄來直接進入虛擬場景，進行身臨其境的觀察，判斷場景的完成度、選取鏡頭取景等工作，并可以直接在VR環境中修改場景，從而實現在真正的三維空間中進行創作。這些技術能夠極大提高現場拍攝制作的效率，同時也為創作者提供了更大的創作空間。

6.2 虛實結合交互

虛實結合交互包含兩方面的內容,分別是通過不同的傳感器獲取真實拍攝環境中的場景信息，實時傳遞到虛擬場景中實現虛擬匹配，以及使用虛擬場景中的動態信息驅動現場的裝置來實現虛實結合的效果。

圖10 《曼達洛人》中Motion base的應用

虛實結合的交互設備可以支持拍攝主體的運動數據交互。例如：實時將運動裝置的數據傳遞給實時引擎，來更新虛擬背景，以模擬角色在場景中移動的效果；使用智能數控運動平臺將設定好的運動軌跡在實時渲染引擎和現實中同步復現，來實現諸如騎馬、駕車、飛行等運動效果；使用動作捕捉設備實時捕捉人體動作，在引擎中驅動虛擬角色。

此外，其他影視特殊效果設備的交互控制也是人機交互的重要部分，例如：場景中煙機、鼓風機、造雪機等物理特效設備的虛實同步，拍攝時可以通過實時引擎來控制這些設備的開關、功率、范圍等參數，并通過傳感器監測相關數據，同時將數據返回引擎，實時處理和調節設備運行參數。

這些交互方式大大提高了基于LED背景墻的電影虛擬化制作的虛實結合程度，使得在面積有限的攝影棚中，創作者可以設計并實現更多類型的鏡頭。

7總結與展望

目前，國內外影視制作領域都開始了基于LED背景墻的電影虛擬化制作探索，并且已經初步在影視劇集的拍攝中進行了應用，雖然目前還有些效果并不盡如人意，但是這種“后期前置”給現場拍攝提供真實的環境光照，提供所見即所得的自由創作環境的制作方式,相信在研究人員和從業者共同努力下，能夠進一步完善相關功能，在制作效果上取得更大進展，從而帶動電影智能化制作邁上新的臺階。