深度學習是機器學習研究中的一個活躍領域，《深度學習入門》的宗旨在于為深度 機器學習的初學者提供一本通俗易懂、內容全面、理論深入的學習教材。 本書的內容大體可以分為機器學習基礎、順序傳播神經網絡的深度學 習、玻爾茲曼機和深度強化學習四個部分，既考慮了通俗性和完整性，又 介紹了深度學習的各個方面。其中機器學習基礎部分介紹了神經網絡、機 器學習與深度學習的數學基礎、典型任務、數據集等;順序傳播神經網絡 的深度學習部分介紹了梯度下降法的機器學習、深度學習的正則化、誤差 反向傳播法、自編碼器、卷積神經網絡以及循環(huán)神經網絡等;玻爾茲曼機 部分對圖模型神經網絡的機器學習進行了深入的介紹;深度強化學習部分 則重點介紹了強化學習中的深度神經網絡學習的理論和方法。 通過本書的學習，讀者可以快速了解機器學習的全貌，同時在理論上 對其模型和方法進行深入分析和理解，從而為實際的開發(fā)打下深厚的理論 基礎，為技術創(chuàng)新提供具有啟發(fā)性的方向和路徑。
目 錄
譯者序
原書序
原書前言
第1章 緒論 1
第2章 機器學習與深度學習 3
2.1 為什么要進行深度學習 3
2.2 什么是機器學習 4
2.2.1 典型任務 4
2.2.2 形式各異的數據集 5
2.3 統(tǒng)計學基礎 6
2.3.1 樣本和估計 7
2.3.2 點估計 8
2.3.3 極大似然估計 11
2.4 機器學習基礎 12
2.4.1 監(jiān)督學習 13
2.4.2 最小二乘法線性回歸 13
2.4.3 基于概率的線性回歸 15
2.4.4 最小二乘法與最優(yōu)法 16
2.4.5 過度擬合與泛化 17
2.4.6 正則化 18
2.4.7 分類 19
2.4.8 分類方法 19
2.4.9 logistic回歸 20
2.4.10 softmax回歸 21
2.5 特征學習與深度學習的進展 23
2.5.1 特征學習 23
2.5.2 深度學習的出現(xiàn) 24
第3章 神經網絡 26
3.1 神經細胞網絡 26
3.2 形式神經元 27
3.3 感知器 29
3.3.1 由形式神經元到感知器 29
3.3.2 感知器與馬文·明斯基 （Marvin Lee Minsky） 30
3.4 順序傳播神經網絡的組成 31
3.4.1 神經元和順序傳播神經網絡 31
3.4.2 輸入層 32
3.4.3 中間層 33
3.4.4 輸出層 34
3.4.5 函數模型 34
3.5 神經網絡的機器學習 35
3.5.1 回歸 35
3.5.2 二元分類 36
3.5.3 多元分類 37
3.6 激活函數 37
3.6.1 sigmoid函數及其變體 38
3.6.2 正則化線性函數 38
3.6.3 maxout 39
3.7 為什么深度學習是重要的 40
第4章 基于梯度下降法的機器學習
41 4.1 梯度下降法 41
4.1.1 梯度下降法尋求最小值 42
4.1.2 局部極小值問題 43
4.1.3 隨機梯度下降法 44
4.1.4 小批量的制作方法 45
4.1.5 收斂和學習率的調度 45
4.2 改進的梯度下降法 46
4.2.1 梯度下降法的問題 46
4.2.2 動量法 47
4.2.3 Nesterov加速梯度下降法 48
4.2.4 AdaGrad 49
4.2.5 RMSprop 50
4.2.6 AdaDelta 50
4.2.7 Adam 51
4.2.8 自然梯度下降法 53
4.3 權重參數初始值的選取方法 53
4.3.1 LeCun初始化 53
4.3.2 Glorot 54
4.3.3 He初始化 54
4.4 訓練預處理 55
4.4.1 數據的規(guī)格化 55
4.4.2 數據的白化 55
4.4.3 圖像數據的局部對比度
第5章 深度學習的正則化 59
5.1 泛化性能與正則化 59
5.1.1 泛化誤差與過度學習 59
5.1.2 正則化 61
5.2 權重衰減 62
5.2.1 權重衰減的效果 62
5.2.2 稀疏正則化和不良條件問題 62 5.3 早期終止 63
5.3.1 什么是早期終止 63
5.3.2 早期終止與權重衰減的關系 64 5.4 權重共享 65 5.5 數據擴增與噪聲注入 65
5.5.1 數據擴增與泛化 65
5.5.2 噪聲注入與懲罰項 66
5.6 bagging算法 66 5.7 dropout 67
5.7.1 dropout學習 67
5.7.2 dropout學習的預測 69
5.7.3 dropout理論的證明 70
5.8 深度表示的稀疏化 72
5.9 批量規(guī)格化 72
5.9.1 內部協(xié)變量移位 72
5.9.2 批量規(guī)格化 73
第6章 誤差反向傳播法 74
6.1 Perceptron（感知器）和delta 學習規(guī)則 74 6.2 誤差反向傳播法 76
6.2.1 參數微分的復雜度和模型 76
6.2.2 誤差函數的梯度 78
6.2.3 反向傳播計算的初始值 81
6.2.4 梯度的計算 81
6.2.5 delta的意義 82
6.3 誤差反向傳播法的梯度快速 計算 82
6.4 梯度消失與參數爆炸及其 對策 84
6.4.1 預學習 85
6.4.2 ReLU函數 85
第7章 自編碼器 87
7.1 數據壓縮與主成分分析 87
7.2 自編碼器基礎及應用 90
7.2.1 計時沙漏型神經網絡 90
7.2.2 由重構誤差進行的學習 91
7.2.3 編碼器的作用 92
7.2.4 基于自編碼器的主成分分析 93 7.3 稀疏自編碼器 93
7.3.1 自編碼器的稀疏化 93
7.3.2 稀疏自編碼器的誤差反向傳播 7.4 堆棧式自編碼器及預學習 97
7.4.1 堆棧式自編碼器 97
7.4.2 預學習 98
7.5 降噪自編碼器 98
7.6 壓縮式自編碼器 99
7.6.1 壓縮式自編碼器流形學習 99
7.6.2 與其他自編碼器的關系 100
第8章 卷積神經網絡 101
8.1 一次視覺功能和卷積 101
8.1.1 黑貝爾和威杰爾的層假說 101
8.1.2 神經網絡與卷積
102 8.2 卷積神經網絡 104
8.2.1 圖像數據的通道 104
8.2.2 卷積層 104
8.2.3 1×1卷積 * 107
8.2.4 因子化卷積 * 107
8.2.5 步幅 108
8.2.6 填充 108
8.2.7 池化層 110
8.2.8 局部對比規(guī)格化層 * 111
8.2.9 局部響應規(guī)格化層 * 111
8.2.10 神經網絡的組成 111
8.3 CNN的誤差反向傳播法 112
8.3.1 卷積層 112
8.3.2 融合層 113
8.4 完成學習的模型和遷移學習 114
8.5 CNN會捕捉到哪些模式 114
8.6 反卷積網絡 * 115
8.7 Inception組件 * 116
第9章 循環(huán)神經網絡 117
9.1 時間序列數據 117
9.2 循環(huán)神經網絡 118
9.2.1 循環(huán)和遞歸 118
9.2.2 實時循環(huán)學習法 119
9.2.3 網絡的展開 121
9.2.4 通時的誤差反向傳播法 121
9.3 機器翻譯的應用 123
9.4 RNN的問題 123
9.5 長短時記憶 124
9.5.1 記憶細胞 124
9.5.2 門 125
9.5.3 LSTM 125
9.5.4 LSTM的正向傳播 126
9.5.5 LSTM的反向傳播 127
9.5.6 門控循環(huán)神經元 * 129
9.6 循環(huán)神經網絡與自然語言的 處理 * 130
9.6.1 Seq2Seq學習 131
9.6.2 神經會話模型 132
第10章 玻爾茲曼機 133
10.1 圖模型與概率推論 133
10.1.1 有向圖模型 * 133
10.1.2 無向圖模型 * 136
10.2 有/無隱性變量的玻爾 茲曼機 139
10.2.1 沒有隱性變量的玻爾茲曼機
10.2.2 具有隱性變量的玻爾茲曼機
10.3 玻爾茲曼機的學習及計算量的 爆發(fā) 142
10.3.1 沒有隱性變量的情況 142
10.3.2 對數似然函數的凸性 144 10.3.3 梯度上升法和計算量 146
10.3.4 通過散度的學習 147
10.3.5 有隱性變量的情況 147
10.4 吉布斯采樣和玻爾茲曼機 150
10.4.1 馬爾可夫鏈 150
10.4.2 Google與馬爾可夫鏈 152
10.4.3 穩(wěn)定分布 153
10.4.4 馬爾可夫鏈蒙特卡洛法 154
10.4.5 吉布斯采樣與玻爾茲曼機 155 10.5 平均場近似 159
10.6 受限玻爾茲曼機 162
10.6.1 受限玻爾茲曼機的學習 164
10.6.2 塊狀化的吉布斯采樣 166 10.7 對比散度法及其理論 167
10.7.1 對比散度法為什么行得通 169
10.7.2 對比散度的最小化 173
10.7.3 持續(xù)對比散度法 （PCD法） 174 10.8 深度信念網絡 175
10.8.1 DBN的預學習 177
10.8.2 DBN的調優(yōu) 179
10.8.3 從DBN的抽樣 180
10.8.4 采用DBN的推論 181
10.9 深度玻爾茲曼機 181
10.9.1 DBM的預學習 182
10.9.2 DBM的調優(yōu) 185
10.9.3 向順序傳播神經網絡的轉換
第11章 深度強化學習 188
11.1 強化學習 188
11.1.1 馬爾可夫決策過程 189
11.1.2 貝爾曼方程式及最佳策略 190
11.1.3 TD誤差學習 194
11.1.4 Q學習 195
11.2 近似函數與深度Q網絡 197
11.2.1 Q學習與近似函數 197
11.2.2 深度Q學習 199
11.3 雅達利游戲和DQN 201
11.4 策略學習 203
11.4.1 基于梯度上升法的策略學習
11.4.2 策略梯度定理的證明
11.5 AlphaGo 205
11.5.1 蒙特卡洛樹搜索（MCTS）的構想
11.5.2 SL策略網絡 206
11.5.3 Roll out策略 207
11.5.4 LR策略網絡 207
11.5.5 價值網絡 208
11.5.6 策略與價值網絡進行的蒙特卡洛樹搜索
附錄 210 附錄A 概率基礎 210
A.1 隨機變量和概率分布 210
A.2 連續(xù)隨機變量和概率密度函數 212
A.3 期望值與方差 214
A.4 信息量與散度 215
附錄B 變分法 217
B.1 泛函數 217
B.2 歐拉·拉格朗日方程式
217 參考文獻 219
書單推薦
