虛擬視點圖像/視頻質量度量及應用
王曉川
相關主題
商品描述
隨著網絡傳輸技術以及移動設備的發展與進步，以基於深度圖像的繪制技術為核心的3DTV、立體視頻、自由視點視頻、三維場景遠程繪制等圖形圖像系統逐漸得到廣泛應用。這類系統的特點是服務器端僅傳輸稀疏的參考視點深度圖像，客戶端可以合成任意視點下的圖像，其呈現給用戶的結果稱為虛擬視點圖像。與傳統圖像失真不同，虛擬視點圖像的失真具有非結構性、局部性的特點，因此，需要給出合理的、符合人的主觀認知的質量度量指標，並以此來優化參考視點獲取、深度圖像編碼與傳輸、虛擬視點合成等環境，從而提升系統的服務質量與用戶體驗質量。本書以虛擬視點圖像質量度量方法研究為切入點，介紹了作者在虛擬視點圖像無參考質量度量、基於虛擬視點圖像質量度量的應用等方面的研究成果，並對每一研究內容，盡量給出相關重要、里程碑式的方法，以揭示技術演化的脈絡，便於讀者在瞭解當前研究進展的同時把握未來的發展趨勢。
作者簡介
博士，北京航空航天大学虚拟现实技术与系统国家重点实验室毕业，师从赵沁平院士。现任北京工商大学计算机学院副教授，从事虚拟视点质量评价及合成方向的研究。曾参与国家863课题“面向移动终端的轻量级实时逼真三维图形绘制引擎”，在自由视点视频、多视点视频及交互式远程绘制方向积累了丰富的研究成果和工程经验。
目錄大綱
目錄
第1章 緒論 1
1.1 虛擬視點圖像的產生及應用 1
1.1.1 基於深度圖像的繪制技術 1
1.1.2 虛擬視點圖像的應用 4
1.2 虛擬視點圖像的失真特點 6
1.3 虛擬視點圖像質量度量的意義 10
1.4 本書組織結構 11
參考文獻 12
第2章 虛擬視點圖像質量度量的理論研究現狀 15
2.1 圖像質量度量方法概述 15
2.2 圖像質量主觀度量 18
2.2.1 圖像質量主觀評測方法 18
2.2.2 圖像質量主觀評分數據集 20
2.3 圖像質量客觀度量 23
2.3.1 全參考圖像質量度量 23
2.3.2 部分參考圖像質量度量 28
2.3.3 無參考圖像質量度量 30
2.4 虛擬視點圖像質量度量 37
2.4.1 傳統圖像質量度量方法的遷移 37
2.4.2 基於深度的圖像質量度量 38
參考文獻 39
第3章 無參考虛擬視點圖像/視頻質量度量方法 46
3.1 基於視覺權重圖的無參考圖像質量度量方法 46
3.1.1 概述 46
3.1.2 視覺權重圖的生成方法 49
3.1.3 基於視覺權重圖的無參考圖像質量度量方法的整體流程 58
3.1.4 實驗結果與分析 65
3.2 基於局部顯著度的無參考虛擬視點圖像質量度量方法 71
3.2.1 概述 71
3.2.2 虛擬視點圖像局部顯著度 74
3.2.3 基於CNN的無參考虛擬視點圖像質量度量 79
3.2.4 虛擬視點圖像主觀數據集的構建 82
3.2.5 實驗結果與分析 86
3.3 基於多模態特徵聚合的無參考虛擬視點視頻質量度量方法 96
3.3.1 概述 96
3.3.2 虛擬視點視頻失真分析及特徵表示 97
3.3.3 基於註意力的多模態特徵聚合 107
3.3.4 虛擬視點視頻主觀數據集的構建 109
3.3.5 實驗結果與分析 111
參考文獻 119
第4章 虛擬視點圖像質量度量的應用 123
4.1 基於虛擬視點圖像質量度量的參考視點深度圖像傳輸方法 123
4.1.1 概述 124
4.1.2 基於JND的虛擬視點圖像質量度量 126
4.1.3 基於視覺感知的參考視點深度圖像傳輸 129
4.1.4 實驗結果與分析 138
4.2 基於視覺感知的無監督虛擬視點合成方法 150
4.2.1 概述 150
4.2.2 無監督的虛擬視點合成框架 152
4.2.3 基於視覺感知的損失函數 160
4.2.4 實驗結果與分析 163
參考文獻 175
第5章 總結與展望 179
5.1 總結 179
5.1.1 虛擬視點圖像質量度量總結 179
5.1.2 虛擬視點圖像質量度量的應用總結 180
5.2 展望 182
