信息論與編碼基礎（第3版）

目 錄

第1章 緒論 1
1.1 信息概念 1
1.1.1 信息的概念及其內涵 1
1.1.2 香農信息定義 2
1.2 信息論研究的基本問題和主要內容 3
1.2.1 信息論研究的基本問題 3
1.2.2 信息論研究的主要內容 4
1.3 信息論的發展及其在通信系統中的
作用 6
1.3.1 信息論的形成及與其他學科的
交叉發展 6
1.3.2 編碼技術的發展及其在
通信系統中的作用 8
相關小知識—香農生平 10
第2章 離散信源 11
2.1 離散信源的信息熵 11
2.1.1 信源模型 11
2.1.2 自信息 12
2.1.3 信息熵 13
2.1.4 聯合熵與條件熵 14
2.2 熵的基本性質 15
2.2.1 非負性 15
2.2.2 確定性 15
2.2.3 對稱性 15
2.2.4 熵的鏈式法則 16
2.2.5 極值性 17
2.2.6 熵的獨立界 18
2.3 信源的剩餘度 18
本章小結 20
習題 21
相關小知識—熵的由來 22
第3章 離散通道 24
3.1 平均互信息 24
3.1.1 通道模型 24
3.1.2 通道疑義度 26
3.1.3 平均互信息的定義 27
3.2 平均互信息的性質 27
3.2.1 非負性 27
3.2.2 極值性 28
3.2.3 對稱性 28
3.2.4 與各類熵的關系 28
3.2.5 凸函數特性 29
3.3 通道容量 31
3.3.1 通道容量的定義 31
3.3.2 簡單離散通道的通道容量 32
3.3.3 對稱離散通道的通道容量 33
3.4 組合通道的通道容量 35
3.4.1 離散無記憶N次擴展通道 35
3.4.2 並聯通道 36
本章小結 39
習題 39
第4章 波形信源與波形通道 42
4.1 波形信源的信息測度 42
4.1.1 微分熵 42
4.1.2 微分熵的性質 43
4.2 波形通道的通道容量 46
4.2.1 通道模型 46
4.2.2 高斯通道的容量 47
4.3 香農公式 47
4.3.1 香農公式基本概念 47
4.3.2 香農限 48
4.3.3 案例分析：MIMO通道的容量 49
4.4 保密容量與物理層安全 53
4.4.1 物理層安全的基本概念 53
4.4.2 保密容量的定義 55
4.4.3 物理層安全技術的
主要研究方向 56
本章小結 56
習題 56
相關小知識—Massive MIMO 57
第5章 信源壓縮編碼基礎 59
5.1 無失真可變長信源編碼定理 59
5.1.1 信源編碼器 59
5.1.2 無失真可變長信源編碼定理 61
5.2 保真度準則下的信源編碼定理 63
5.2.1 失真度與信息率失真函數 63
5.2.2 保真度準則下的信源編碼定理 65
5.3 預測編碼 66
5.3.1 預測編碼的基本原理
及預測模型 66
5.3.2 信源的線性預測編碼 67
5.3.3 語音的線性預測編碼 71
5.4 變換編碼 73
5.4.1 變換編碼的基本原理 74
5.4.2 典型的變換編碼方法 76
5.4.3 DCT壓縮的特徵 80
5.5 統計編碼 81
5.5.1 統計編碼的概念 81
5.5.2 統計編碼的常用方法 82
5.5.3 MH編碼 86
5.6 壓縮編碼應用綜述 88
5.6.1 聲音壓縮標準 88
5.6.2 靜止圖像壓縮標準 89
5.6.3 視頻壓縮標準 91
本章小結 94
習題 94
相關小知識—霍夫曼生平 96
第6章 通道編碼基本原理 98
6.1 概述 98
6.1.1 數字通信系統模型 98
6.1.2 差錯控制系統分類 99
6.1.3 糾錯編碼分類 100
6.2 通道編碼的基本概念 101
6.2.1 通道編碼的一般方法 101
6.2.2 通道編碼的基本參數 102
6.2.3 最大似然解碼 105
6.3 有噪通道編碼定理及其指導意義 107
6.3.1 有噪通道編碼定理 107
6.3.2 編碼定理的指導意義 109
6.4 常用檢錯碼 111
6.4.1 奇偶校驗碼 111
6.4.2 水平一致校驗碼 111
6.4.3 水平垂直一致校驗碼 112
6.4.4 群計數碼 112
6.4.5 等比碼 113
本章小結 113
習題 113
相關小知識—中文電報中的編碼 114
第7章 線性分組碼 116
7.1 基本概念 116
7.2 生成矩陣和一致校驗矩陣 117
7.2.1 生成矩陣 118
7.2.2 一致校驗矩陣 119
7.2.3 實例—對偶碼 121
7.3 線性分組碼的解碼及糾錯能力 122
7.3.1 標準陣列解碼 122
7.3.2 伴隨式解碼 124
7.3.3 糾錯能力分析 126
7.4 漢明碼及其派生碼 129
7.4.1 漢明碼簡介 129
7.4.2 派生碼 130
7.4.3 TPC碼 132
7.5 LDPC碼及其應用 135
7.5.1 LDPC碼的概念及圖模型 135
7.5.2 基於消息傳遞機制的LDPC碼
迭代解碼算法 137
7.5.3 5G中的LDPC碼 140
7.5.4 IEEE 802.16e中的LDPC碼 144
7.5.5 DVB-S2中的LDPC碼 146
本章小結 149
習題 149
相關小知識—消息傳遞機制 151
第8章 循環碼基礎 154
8.1 基本概念 154
8.1.1 循環碼的定義 154
8.1.2 循環碼的多項式描述 155
8.1.3 生成多項式 155
8.1.4 循環碼的生成矩陣
和一致校驗矩陣 157
8.2 循環碼的編碼 159
8.2.1 多項式除法運算電路 159
8.2.2 循環碼編碼器 160
8.3 循環碼的一般解碼方法 162
8.3.1 伴隨式計算和錯誤檢測 162
8.3.2 伴隨式計算電路性質
及一般解碼器 163
8.4 循環漢明碼及其派生碼 167
8.4.1 循環漢明碼 167
8.4.2 縮短循環碼 169
8.4.3 刪信循環碼 171
8.5 BCH碼及RS碼 172
8.5.1 BCH碼 172
8.5.2 RS碼 174
本章小結 175
習題 175
相關小知識—漢明生平 177
第9章 糾錯碼應用及分析 178
9.1 捲積碼及其應用 178
9.1.1 捲積碼的概念與描述方法 178
9.1.2 捲積碼在移動通信中的應用 181
9.1.3 級聯捲積編碼系統在
NASA系統中的應用 183
9.1.4 寬帶無線接入中的糾錯編碼 184
9.2 Turbo碼及其應用 185
9.2.1 MAP解碼算法 187
9.2.2 SOVA算法 189
9.2.3 交織技術 190
9.2.4 Turbo碼的性能與應用 191
9.2.5 雙二進制Turbo碼 192
9.3 噴泉碼及其應用 194
9.3.1 LT碼 194
9.3.2 編碼計算中的LT碼 195
9.3.3 Raptor碼 196
9.3.4 標準中的Raptor碼 197
9.4 極化碼及其應用 199
9.4.1 極化碼的提出 199
9.4.2 經典構造法與編碼原理 201
9.4.3 極化碼的解碼算法 203
9.4.4 極化碼在5G系統中的應用 207
9.5 編碼調制技術及其應用 209
9.5.1 TCM技術 210
9.5.2 BCM技術 211
9.5.3 BICM-ID技術 213
本章小結 216
習題 216
相關小知識—維特比簡介 216
第10章 應用案例 218
10.1 香農理論對於隱蔽通信的啟示 218
10.1.1 案例簡介 218
10.1.2 背景與問題 218
10.1.3 研究與分析 218
10.1.4 總結與思考 222
10.2 雷達通信一體化中的信息論體系 223
10.2.1 案例簡介 223
10.2.2 背景與問題 223
10.2.3 研究與分析 223
10.2.4 總結與思考 232
10.3 香農理論指導下的
高效壓縮編碼設計 232
10.3.1 案例簡介 232
10.3.2 背景與問題 232
10.3.3 研究與分析 233
10.3.4 總結與思考 235
10.4 保密語音中的預測編碼技術 235
10.4.1 案例簡介 235
10.4.2 背景與問題 236
10.4.3 解決方案 236
10.4.4 總結與分析 237
10.5 基於Polar碼凍結位的物理層
加密算法 239
10.5.1 案例簡介 239
10.5.2 背景與問題 239
10.5.3 研究與分析 240
10.5.4 總結與思考 243
10.6 Link-16中的通道編碼應用 244
10.6.1 案例簡介 244
10.6.2 背景與問題 244
10.6.3 研究與分析 246
10.6.4 總結與思考 255
10.7 通信信號中的編碼識別 255
10.7.1 案例簡介 255
10.7.2 背景與問題 255
10.7.3 研究與分析 256
10.7.4 總結與思考 260
10.8 基於通道編碼的隱蔽傳輸 260
10.8.1 案例簡介 260
10.8.2 背景與問題 261
10.8.3 研究與分析 261
10.8.4 總結與思考 264
參考文獻 265