虛幻引擎實踐篇：虛擬製片

目  錄

第1部分虛擬製片概述

第1章 虛擬製片簡介

1.1 何為虛擬製片 2

1.1.1 基本概念 2

1.1.2 商業價值 4

1.2 虛擬製片相關技術組成 7

1.2.1 三維製作技術 7

1.2.2 實時渲染技術 10

1.2.3 虛擬攝影技術 11

1.2.4 動作和麵部捕捉技術 14

1.3 虛擬製片特點 16

1.3.1 視效實時化，所見即所得 16

1.3.2 優化製片流程，增效團隊協作 18

1.3.3 最大程度節約成本 20

第2章 虛擬製片發展歷程

2.1 電子佈景概念的提出 22

2.2 動態預演的出現 22

2.3 IBC展覽會上虛擬演播室技術首次亮相 24

2.4 動作捕捉和運動控制的使用：《泰坦尼克號》和《黑客帝國》 25

2.5 表演捕捉、虛擬拍攝：《阿凡達》 28

2.6 LED 虛擬製片時代的到來：《曼達洛人》 30

2.6.1 虛擬背景 31

2.6.2 實時互動 31

2.6.3 虛擬佈景的細節 32

2.6.4 與實體佈景的融合 32

2.6.5 特效和後期製作 33

第3章 虛擬製片類型

3.1 動態預演（可視化） 35

3.2 表演捕捉 38

3.3 混合綠幕式虛擬製片 39

3.3.1 非實時混合 39

3.3.2 實時混合 40

3.4 全實時LED虛擬製片 41

第2部分虛擬製片技術入門之虛擬製片五大系統

第4章 實時圖形渲染引擎系統

4.1 實時渲染引擎系統介紹 44

4.1.1 實時圖形渲染引擎的發展與特點 44

4.1.2 實時圖形渲染引擎在虛擬製片中的運用 46

4.1.3 主流實時渲染引擎介紹 47

4.1.4 實時圖形渲染的工作原理 50

4.2 傳統渲染引擎系統介紹 50

4.2.1 傳統渲染引擎的定義和工作方式 50

4.2.2 主流傳統渲染引擎介紹 51

4.3 實時圖形渲染引擎聯合DCC開發流程與指標 54

4.3.1 原始資產開發 54

4.3.2 UE5利用外部資產搭建場景 57

4.3.3 實時渲染 60

4.4 實時圖形渲染引擎中的動畫系統 64

4.4.1 Sequencer 64

4.4.2 FBX導入並調整模型動畫 64

4.4.3 FBX導入並調整攝影機動畫 66

4.5 實時圖形渲染引擎中的地形編輯工具 67

4.5.1 Landscape 67

4.5.2 使用地形模式編輯 67

4.5.3 地形編輯輔助工具 68

4.6 實時圖形渲染引擎中的地形材質 68

4.6.1 分層材質 68

4.6.2 繪制材質 69

4.7 實時圖形渲染引擎中的流體解決方案 69

4.8 數字資產場景搭建案例實操 73

4.8.1 新建地圖和地形 73

4.8.2 基本天氣系統配置 74

4.8.3 引入資產 78

4.8.4 添加植被 85

4.8.5 配置燈光 87

第5章 LED 顯示屏顯示系統

5.1 LED屏幕方案 93

5.1.1 直面屏（三面屏） 93

5.1.2 弧形屏（異形屏） 95

5.1.3 天幕屏（頂屏） 95

5.2 LED顯示系統 96

5.2.1 像素間距（點間距） 96

5.2.2 可視角度 97

5.2.3 色域覆蓋 98

5.2.4 灰度等級 99

5.2.5 刷新率 99

5.2.6 掃描數 100

5.2.7 發光陣列 100

5.3 視頻信號管理器 101

5.4 LED虛擬拍攝過程中面臨的挑戰  102

5.4.1 摩爾紋 102

5.4.2 掃描線偽影 103

5.4.3 色彩管理 103

5.4.4 色彩還原精準度 104

5.5 工作流程指南 105

5.5.1 規劃與初步框架 106

5.5.2 實拍與提升技巧 110

第6章 攝影機跟蹤系統

6.1 攝影機坐標定位方案 112

6.1.1 主動式紅外光學跟蹤定位方案 112

6.1.2 被動式紅外激光跟蹤定位方案 114

6.1.3 其他跟蹤方案 115

6.2 使用專業攝影機系統結合Live Link與metadata互通的解決方案 115

6.3 攝影機反求 117

6.3.1 Nuke反求攝影機 117

6.3.2 將帶有攝影機動畫的FBX等文件導入UE 120

6.4 攝影機參數數據與UE聯動 121

6.4.1 校準機操作 121

6.4.2 UE主控機操作 125

第7章 虛實場景的匹配系統

7.1 虛擬場景的測量標準（測量單位、測量方法） 129

7.1.1 統一模型尺寸標準 129

7.1.2 UE中Landscape尺寸管理 130

7.2 虛擬場景中的透視匹配（nDisplay） 130

7.2.1 攝影機鏡頭校準 132

7.2.2 通過UE鏡頭文件完成鏡頭校準 134

7.2.3 使用nDisplay創建LED牆 136

7.2.4 使用ArUco對LED牆與攝像機進行匹配 137

7.3 實景輔助搭建 140

7.4 道具資產掃描 140

7.4.1 利用LiDAR或攝影測量建模創建掃描虛擬場景 140

7.4.2 利用在線數字資產庫創建虛擬場景 141

7.5 使用機械裝置作為輔助拍攝 141

7.6 實景與虛擬之間的色彩匹配 143

7.6.1 使用ACES色彩空間管理色彩 143

7.6.2 使用色卡與反射球檢查和匹配色彩 143

第8章 燈光系統

8.1 虛擬拍攝燈光概念 145

8.2 虛擬拍攝常用燈光類型 146

8.2.1 LED屏幕 147

8.2.2 LED燈具 147

8.2.3 傳統影視燈具 148

8.2.4 電腦燈 149

8.3 數字燈光系統介紹 149

8.3.1 DMX調光控制系統 150

8.3.2 網絡控制系統 150

8.3.3 藍牙控制系統 150

8.4 虛擬現實燈光連接流程 150

8.4.1 虛擬燈光與DMX控制 150

8.4.2 物理燈光與DMX控制 153

8.5 虛擬現實燈光案例分析 155

第3部分虛擬製片技術進階

第9章 動態場景觸發

9.1 燈光預設 160

9.2 可控式動態天氣 162

9.3 觸發式場景動態 163

9.3.1 構建場景動畫 164

9.3.2 創建藍圖類 164

9.3.3 使用藍圖編輯器 164

9.3.4 添加鍵盤輸入事件 165

9.3.5 添加場景動畫節點 165

9.3.6 連接節點 165

9.3.7 配置場景動畫節點 165

9.3.8 設置鍵盤輸入事件 166

9.3.9 觸發場景動畫 166

9.3.10 測試場景動畫 166

9.4 自然場景動態轉換 167

9.4.1 時間轉換 167

9.4.2 天氣轉換 172

9.5 場景氛圍感構建 174

9.5.1 後處理材質與後處理體積 174

9.5.2 體積霧 175

9.5.3 體積雲 178

第10章 虛實場景融合

10.1 常用系統簡介 181

10.1.1 disguise 181

10.1.2 Zero Density 182

10.1.3 Aximmetry 184

10.1.4 UE Composure插件 185

10.2 傳統綠幕式場景融合方案 185

10.2.1 實時綠幕摳像合成 185

10.2.2 非實時綠幕摳像合成 189

10.3 LED拍攝方式場景融合方案 194

10.3.1 硬件 195

10.3.2 攝像機追蹤 197

10.3.3 Live Link 197

10.3.4 攝像機校準 200

10.3.5 鏡頭內視效的時間碼和同步鎖定 200

10.3.6 實時合成 201

10.3.7 顏色校正 202

10.3.8 OpenColorIO 203

10.3.9 光影匹配 204

10.3.10 舞臺監視器 205

10.3.11 物體場景設計 205

10.4 場景擴展補充 206

第11章 數字人與虛擬製片的綜合

11.1 數字人創建 207

11.1.1 傳統創建流程 207

11.1.2 高精度點雲掃描 211

11.1.3 MetaHuman 212

11.1.4 MetaHuman及其輔助製作工具 214

11.2 數字人綁定 215

11.3 動作捕捉技術 218

11.3.1 光學捕捉 218

11.3.2 慣性捕捉 219

11.3.3 機械式動作捕捉 219

11.4 視覺動作捕捉技術與數字人運動數據驅動 220

11.4.1 動捕設備數據獲取 220

11.4.2 虛幻引擎與動捕設備的配置 224

第12章 數字資產管理與同步

12.1 數字資產版本管理、同步與協同 233

12.1.1 數字資產元數據管理 233

12.1.2 UE中的元數據 238

12.1.3 UE中利用元數據同步多元資產 240

12.2 UE中數字資產與Live Link metadata延伸 242

12.3 UE中的虛擬資產 243

第13章 虛擬製片的未來應用場景

13.1 影視與廣告製作 244

13.1.1 更加真實的虛擬角色 244

13.1.2 更加自然的角色互動 245

13.1.3 更加真實的虛擬環境渲染 245

13.2 演唱會與直播 246

13.2.1 創新舞臺設計，打造震撼的藝術體驗 246

13.2.2 拓展舞臺空間，打造超越時空的視覺效果 247

13.2.3 創作數字替身，延長藝術家的演出生命 248

13.2.4 提升視效體驗，賦予網絡直播更多可能 248

13.3 電子游戲 249

13.3.1 提供更復雜且逼真的游戲環境 249

13.3.2 提升真人影像互動游戲的製作效率 250

13.3.3 打造逼真的線下游戲空間體驗 251

13.4 文化教育 252

13.4.1 實現難以觸及的教學內容可視化與可操作化 252

13.4.2 推動個性化教學 253

13.4.3 實現跨地域、異步的網絡教學 253

13.5 文化旅游 254

13.5.1 在虛擬現實環境中重現歷史遺跡和場景 254

13.5.2 借助增強現實技術增強游覽體驗 254

13.5.3 借助實時渲染技術打造沉浸式文旅空間 255

13.5.4 利用LED屏技術拓展古建築與歷史場景 255

13.6 商業展示 256

13.6.1 現場呈現互動體驗 256

13.6.2 虛擬服務與社交 257

13.7 訓練與模擬 257

13.7.1 消防演習、飛行訓練和軍事模擬等危險場景的演習與應急處理訓練 258

13.7.2 醫療領域中的醫學教學、醫學診斷和手術模擬等應用 258

後記