人工智能和深度學習導論 Artificial Intelligence, Machine Learning, and Deep Learning

第 1章 人工智能導論 1
1.1 什麼是人工智能 1
1.2 圖靈測試 3
1.2.1 圖靈測試的定義 3
1.2.2 詢問者測試 4
1.3 啟發式方法 4
1.4 知識表示 5
1.4.1 基於邏輯的解決方案 5
1.4.2 語意網絡 6
1.5 人工智能和博弈 6
1.6 專家系統 7
1.7 神經計算 8
1.8 演化計算 8
1.9 自然語言處理 9
1.10 生物資訊學 10
1.11 人工智能的主要部分 11
1.11.1 機器學習 11
1.11.2 深度學習 11
1.11.3 強化學習 12
1.11.4 機器人學 12
1.11.5 自然語言處理 12
1.12 程式碼範例 13
1.13 總結 13
第 2章 機器學習概論 14
2.1 什麼是機器學習 14
2.2 機器學習演算法的類型 16
2.3 特徵工程、特徵選擇和特徵提取 18
2.4 降維 19
2.4.1 PCA 19
2.4.2 協方差矩陣 20
2.5 使用資料集 20
2.5.1 訓練資料與測試資料 20
2.5.2 什麼是交叉驗證 20
2.6 什麼是正規化 21
2.6.1 機器學習與特徵縮放 ​​21
2.6.2 資料歸一化與標準化 21
2.7 偏差-方差權衡 21
2.8 模型的度量指標 22
2.8.1 R2的限制 22
2.8.2 混淆矩陣 22
2.8.3 準確率、精確率、召回率 22
2.8.4 ROC曲線 23
2.9 其他有用的統計學術語 23
2.9.1 F1值是什麼 24
2.9.2 p值是什麼 24
2.10 什麼是線性迴歸 24
2.10.1 線性迴歸與曲線擬合 25
2.10.2 什麼時候解是精確值 25
2.10.3 什麼是多元分析 25
2.11 其他類型的迴歸 26
2.12 使用平面中的線（可選） 26
2.13 用NumPy和matplotlib畫散點圖（1） 28
2.14 用NumPy和matplotlib畫散點圖（2） 30
2.15 用NumPy和matplotlib畫二次散佈圖 30
2.16 MSE公式 31
2.16.1 誤差類型清單 32
2.16.2 非線性最小平方法 32
2.17 手動計算MSE 32
2.18 用np.linspace() API近似線性資料 34
2.19 用np.linspace() API計算MSE 34
2.20 用Keras進行線性迴歸 36
2.21 總結 38
第3章 機器學習分類器 40
3.1 什麼是分類 40
3.1.1 什麼是分類器 40
3.1.2 常見的分類器 41
3.1.3 二元分類與多類別分類 41
3.1.4 多標籤分類 42
3.2 什麼是線性分類器 42
3.3 什麼是kNN 42
3.4 什麼是決策樹 43
3.5 什麼是隨機森林 46
3.6 什麼是SVM 46
3.7 什麼是貝葉斯推理 47
3.7.1 貝葉斯定理 47
3.7.2 一些貝葉斯術語 48
3.7.3 什麼是最大後驗假設 48
3.7.4 為什麼要用貝葉斯定理 48
3.8 什麼是樸素貝葉斯分類器 48
3.9 訓練分類器 49
3.10 評估分類器 49
3.11 什麼是激活函數 50
3.11.1 為什麼需要激活函數 51
3.11.2 激活函數是如何運作的 51
3.12 常見的激活函數 51
3.12.1 Python中的激活函數 52
3.12.2 Keras中的激活函數 53
3.13 ReLU和ELU激活函數 53
3.13.1 ReLU激活函數 53
3.13.2 ELU激活函數 54
3.14 Sigmoid、Softmax、Softplus和tanh激活函數的相似性 54
3.14.1 Sigmoid激活函數 54
3.14.2 Softmax激活函數 54
3.14.3 Softplus激活函數 54
3.14.4 tanh激活函數 54
3.15 Sigmoid、Softmax和Hardmax激活函數之間的差異 55
3.16 什麼是邏輯斯諦回歸 55
3.16.1 設定閾值 55
3.16.2 邏輯斯諦迴歸：重要假設 56
3.16.3 線性可分資料 56
3.17 Keras、邏輯斯諦回歸和Iris資料集 56
3.18 總結 58
第4章 深度學習概論 59
4.1 Keras和異或函數XOR 59
4.2 什麼是深度學習 61
4.2.1 什麼是超參數 62
4.2.2 深度學習體系架構 62
4.2.3 深度學習所能解決的問題 63
4.2.4 未來的挑戰 63
4.3 什麼是感知器 63
4.3.1 感知器函數的定義 64
4.3.2 感知器的詳細視圖 64
4.4 人工神經網絡剖析 65
4.4.1 初始化模型的超參數 66
4.4.2 激活函數 66
4.4.3 損失函數 66
4.4.4 優化器 66
4.4.5 學習率 67
4.4.6 丟棄率 67
4.5 什麼是反向誤差傳播 67
4.6 什麼是多層感知器 67
4.7 資料點是如何被正確分類的 68
4.8 CNN的高階視圖 69
4.8.1 一個極簡的CNN 70
4.8.2 捲積層 70
4.8.3 ReLU激活函數 70
4.8.4 最大池化層 70
4.9 在MNIST資料集上顯示影像 71
4.10 Keras和MNIST資料集 72
4.11 Keras、CNN和MNIST資料集 73
4.12 用CNN分析音頻訊號 75
4.13 總結 76
第5章 深度學習體系架構：RNN和 LSTM 77
5.1 什麼是RNN 77
5.1.1 RNN剖析 78
5.1.2 什麼是BPTT 78
5.2 在Keras中使用RNN 79
5.3 在Keras中使用RNN和MNIST資料集 80
5.4 在TensorFlow中使用RNN（可選） 81
5.5 什麼是LSTM 83
5.5.1 LSTM剖析 83
5.5.2 雙向LSTM 84
5.5.3 LSTM公式 84
5.5.4 LSTM超參數調優 85
5.6 在TensorFlow中使用LSTM（可選） 85
5.7 什麼是GRU 87
5.8 什麼是自動編碼器 87
5.8.1 自動編碼器和主成分分析 88
5.8.2 什麼是可變自動編碼器 89
5.9 什麼是GAN 89
5.10 創建GAN 90
5.11 總結 92
第6章 自然語言處理與強化學習 93
6.1 使用NLP 93
6.1.1 NLP技術 94
6.1.2 Transformer架構和NLP 94
6.1.3 Transformer-XL架構 95
6.1.4 Reformer架構 95
6.1.5 NLP和深度學習 95
6.1.6 NLP中的資料預處理任務 95
6.2 流行的NLP演算法 95
6.2.1 什麼是n-gram 96
6.2.2 什麼是skip-gram 96
6.2.3 什麼是詞袋 96
6.2.4 什麼是詞頻 97
6.2.5 什麼是反文檔頻率 97
6.2.6 什麼是TF-IDF 98
6.3 什麼是詞嵌入 98
6.4 ELMo、ULMFit、OpenAI、BERT和ERNIE 2.0 98
6.5 什麼是Translatotron 99
6.6 深度學習和NLP 100
6.7 NLU與NLG 100
6.8 什麼是強化學習 101
6.8.1 強化學習的應用 101
6.8.2 NLP與強化學習 102
6.8.3 強化學習中的價值、策略與模型 102
6.9 從NFA到MDP 103
6.9.1 什麼是NFA 103
6.9.2 什麼是馬可夫鏈 103
6.9.3 馬可夫決策過程 104
6.10 epsilon貪心演算法 104
6.11 貝爾曼方程式 105
6.12 強化學習工具包與框架 106
6.13 什麼是深度強化學習 107
6.14 總結 108
附錄A Keras簡介 109
A.1 什麼是Keras 109
A.1.1 在TF 2中使用Keras命名空間 109
A.1.2 使用tf.keras.layers命名空間 110
A.1.3 使用tf.keras.activations命名空間 110
A.1.4 使用tf.keras.datasets命名空間 111
A.1.5 使用tf.keras.experimental命名空間 111
A.1.6 使用tf.keras中的其他命名空間 112
A.1.7 TF 2 Keras與「獨立」Keras 112
A.2 建立基於Keras的模型 112
A.3 Keras和線性迴歸 114
A.4 Keras、MLP和MNIST資料集 115
A.5 Keras、CNN和cifar10資料集 117
A.6 在Keras中調整影像大小 119
A.7 Keras與提前停止（1） 120
A.8 Keras與提前停止（2） 121
A.9 Keras模型的量測指標 123
A.10 保存與恢復Keras模型 123
A.11 總結 125
附錄B TF 2簡介 126
B.1 什麼是TF 2 126
B.1.1 TF 2用例 127
B.1.2 TF 2架構 128
B.1.3 TF 2安裝 128
B.1.4 TF 2和Python的REPL 129
B.2 其他基於TF 2的工具包 129
B.3 TF 2即時執行 130
B.4 TF 2張量、資料型別與原始型別 130
B.4.1 TF 2資料型態 130
B.4.2 TF 2原始型 131
B.5 TF 2中的常數 131
B.6 TF 2中的變量 132
B.7 tf.rank() API 133
B.8 tf.shape() API 134
B.9 TF 2中的變量（重新檢視） 135
B.10 TF 2中的@tf.function是什麼 136
B.10.1 @tf.function如何運作 136
B.10.2 TF 2中@tf.function的註意事項 137
B.10.3 tf.print()函數與標準錯誤 138
B.11 在TF 2中使用@tf.function 138
B.11.1 一個未使用@tf.function 的例子 138
B.11.2 一個使用@tf.function 的例子 139
B.11.3 使用@tf.function重載函數的範例 139
B.11.4 TF 2中的AutoGraph是什麼 140
B.12 TF 2中的算術運算 141
B.13 TF 2中算術運算的 註意事項 141
B.14 TF 2的內建函數 142
B.15 計算TF 2中的三角 函數值 143
B.16 計算TF 2中的指數值 144
B.17 在TF 2中使用字串 144
B.18 在TF 2中使用帶有各種張量的運算子 145
B.19 TF 2中的二階張量（1） 146
B.20 TF 2中的二階張量（2） 147
B.21 TF 2中兩個二階張量的 乘法 148
B.22 將Python數組轉換為TF 2 張量 148
B.23 微分與TF 2中的 tf.GradientTape 149
B.24 tf.GradientTape的範例 150
B.24.1 使用tf.GradientTape 的watch()方法 150
B.24.2 將嵌套的循環用於tf.GradientTape 151
B.24.3 其他涉及tf.GradientTape的TF 2張量運算 151
B.24.4 持久的梯度磁帶 152
B.25 谷歌Colaboratory 153
B.26 其他雲端平臺 154
B.27 總結 154
附錄C pandas簡介 155
C.1 什麼是pandas 155
C.1.1 pandas資料幀 155
C.1.2 資料幀與資料清洗任務 156
C.2 帶標籤的pandas資料幀 156
C.3 pandas數值資料幀 157
C.4 pandas布爾資料幀 158
C.5 pandas資料幀和隨機數 159
C.6 組合pandas資料幀（1） 160
C.7 組合pandas資料幀（2） 161
C.8 pandas資料幀的資料處理（1） 161
C.9 pandas資料幀的資料處理（2） 162
C.10 pandas資料幀的資料處理（3） 163
C.11 pandas資料幀和CSV檔案 164
C.12 pandas資料幀和Excel電子表格（1） 167
C.13 pandas資料幀和Excel電子表格（2） 167
C.14 讀取具有不同分隔符號的資料檔 168
C.15 使用sed指令轉換資料（可選） 169
C.16 選擇、新增和刪除資料幀 中的列 171
C.17 pandas資料幀與散點圖 172
C.18 pandas資料幀和直方圖 173
C.19 pandas資料幀和簡單統計 175
C.20 pandas資料幀的標準化 175
C.21 pandas資料幀、NumPy函數 和大型資料集 177
C.22 使用pandas序列 177
C.22.1 數據來自ndarray 178
C.22.2 來自pandas序列的 pandas資料幀 178
C.23 pandas中有用的單行命令 179
C.24 什麼是Jupyter 181
C.24.1 Jupyter特性 181
C.24.2 從命令列啟動Jupyter 181
C.24.3 JupyterLab 182
C.24.4 開發JupyterLab擴充 182
C.25 總結 182