免费人妻中文不卡无码_日本精品爽爽van在线_久久精品国产99久久丝袜蜜桃_女强人被春药精油按摩bd电影

第 1章 復雜卷積神經(jīng)網(wǎng)絡：捕獲精細特征 1

1.1　AlexNet 2

1.1.1　AlexNet簡介 2

1.1.2　代碼實現(xiàn) 3

1.1.3　模型訓練 6

1.1.4　小結(jié) 10

1.2　VGGNet 10

1.2.1　VGGNet簡介 10

1.2.2　代碼實現(xiàn) 13

1.2.3　模型訓練 15

1.2.4　小結(jié) 16

1.3　批歸一化方法 16

1.3.1　批歸一化簡介 16

1.3.2　代碼實現(xiàn) 17

1.3.3　模型訓練 19

1.3.4　小結(jié) 20

1.4　GoogLeNet 20

1.4.1　GoogLeNet簡介 20

1.4.2　Inception結(jié)構(gòu) 20

1.4.3　GoogLeNet的模型結(jié)構(gòu) 21

1.4.4　代碼實現(xiàn) 22

1.4.5　模型訓練 25

1.4.6　小結(jié) 26

1.5　ResNet 26

1.5.1　ResNet簡介 26

1.5.2　殘差結(jié)構(gòu) 27

1.5.3　ResNet模型結(jié)構(gòu) 28

1.5.4　代碼實現(xiàn) 30

1.5.5　模型訓練 35

1.5.6　小結(jié) 36

1.6　DenseNet 36

1.6.1　DenseNet簡介 36

1.6.2　代碼實現(xiàn) 39

1.6.3　模型訓練 44

1.6.4　小結(jié) 44



第 2章 復雜循環(huán)神經(jīng)網(wǎng)絡：為記憶插上翅膀 46

2.1　雙向RNN和深度RNN 47

2.1.1　雙向RNN 47

2.1.2　深度RNN 48

2.1.3　小結(jié) 51

2.2　RNN長期依賴問題 51

2.2.1　什么是長期依賴 52

2.2.2　長期記憶失效原因 52

2.2.3　截斷時間步 53

2.2.4　小結(jié) 54

2.3　長短期記憶網(wǎng)絡及其變體 54

2.3.1　核心思想 54

2.3.2　網(wǎng)絡結(jié)構(gòu) 55

2.3.3　遺忘門 56

2.3.4　輸入門 56

2.3.5　輸出門 57

2.3.6　門控循環(huán)單元 57

2.3.7　小結(jié) 60

2.4　四種RNN代碼實現(xiàn) 60

2.4.1　模型定義 60

2.4.2　模型實驗 63

2.4.3　效果對比 66

2.4.4　小結(jié) 67



第3章 復雜注意力神經(jīng)網(wǎng)絡：大模型的力量 68

3.1　BERT模型 68

3.1.1　3種模型結(jié)構(gòu) 69

3.1.2　詞嵌入 70

3.1.3　預訓練：掩碼語言模型 70

3.1.4　預訓練：下一句預測 71

3.1.5　微調(diào) 72

3.1.6　優(yōu)缺點 73

3.1.7　小結(jié) 74

3.2　GPT系列模型 74

3.2.1　GPT-1模型思想和結(jié)構(gòu) 75

3.2.2　GPT-1無監(jiān)督預訓練和監(jiān)督微調(diào) 76

3.2.3　GPT-1數(shù)據(jù)集和性能特點 77

3.2.4　GPT-2模型思想和結(jié)構(gòu) 78

3.2.5　GPT-2 數(shù)據(jù)集和性能特點 79

3.2.6　GPT-3 模型思想和結(jié)構(gòu) 80

3.2.7　基于情景學習的對話模式 80

3.2.8　GPT-3 數(shù)據(jù)集和性能特點 83

3.2.9　小結(jié) 84

3.3　T5模型 84

3.3.1　基本思想 84

3.3.2　詞表示發(fā)展史 85

3.3.3　模型結(jié)構(gòu) 86

3.3.4　預訓練流程 87

3.3.5　預訓練數(shù)據(jù)集 88

3.3.6　模型版本 89

3.3.7　小結(jié) 89

3.4　ViT模型 90

3.4.1　Transformer的好處 90

3.4.2　模型結(jié)構(gòu) 90

3.4.3　數(shù)據(jù)預處理 91

3.4.4　圖片塊和位置嵌入 91

3.4.5　Transformer編碼器 92

3.4.6　MLP頭 93

3.4.7　性能對比 93

3.4.8　小結(jié) 94

3.5　Swin Transformer模型 94

3.5.1　要解決的問題 95

3.5.2　模型結(jié)構(gòu) 95

3.5.3　輸入預處理 97

3.5.4　四個階段 97

3.5.5　Swin Transformer塊 98

3.5.6　窗口注意力 98

3.5.7　計算復雜度分析 98

3.5.8　移動窗口多頭自注意力機制 99

3.5.9　特征圖循環(huán)移位計算 99

3.5.10　masked MSA操作 100

3.5.11　小結(jié) 101



第4章 深度生成模型：不確定性的妙用 102

4.1　蒙特卡洛方法 103

4.1.1　采樣 104

4.1.2　重要性采樣 105

4.1.3　馬爾可夫鏈蒙特卡洛方法 105

4.1.4　小結(jié) 106

4.2　變分推斷方法 106

4.2.1　參數(shù)估計 107

4.2.2　問題定義 108

4.2.3　算法思路 108

4.2.4　KL散度 109

4.2.5　公式推導 109

4.2.6　高斯混合模型實例 110

4.2.7　與MCMC方法對比 111

4.2.8　小結(jié) 111

4.3　變分自編碼器 112

4.3.1　降維思想 112

4.3.2　自編碼器 112

4.3.3　VAE基本思想 114

4.3.4　隱空間可視化 117

4.3.5　神經(jīng)網(wǎng)絡實現(xiàn) 117

4.3.6　重新參數(shù)化技巧 118

4.3.7　小結(jié) 119

4.4　生成對抗網(wǎng)絡 119

4.4.1　什么是對抗生成思想 119

4.4.2　模型結(jié)構(gòu) 120

4.4.3　判別器 121

4.4.4　生成器 121

4.4.5　訓練流程 121

4.4.6　損失函數(shù) 123

4.4.7　小結(jié) 123

4.5　擴散模型 123

4.5.1　模型對比 124

4.5.2　基本思想 124

4.5.3　前向過程 125

4.5.4　逆向過程 126

4.5.5　損失函數(shù) 128

4.5.6　損失函數(shù)的參數(shù)化 129

4.5.7　訓練流程 130

4.5.8　小結(jié) 130

4.6　深度生成模型項目實戰(zhàn) 131

4.6.1　代碼實現(xiàn) 131

4.6.2　VAE模型 132

4.6.3　GAN模型 136

4.6.4　小結(jié) 140



第5章 計算機視覺：讓智慧可見 141

5.1　自定義數(shù)據(jù)加載 141

5.1.1　數(shù)據(jù)加載 141

5.1.2　數(shù)據(jù)準備 142

5.1.3　ImageFolder方法 142

5.1.4　自定義數(shù)據(jù)集示例1 145

5.1.5　自定義數(shù)據(jù)集示例2 147

5.1.6　小結(jié) 150

5.2　圖像數(shù)據(jù)增強 150

5.2.1　數(shù)據(jù)增強簡介 150

5.2.2　代碼準備 150

5.2.3　常見圖像數(shù)據(jù)增強方法 153

5.2.4　小結(jié) 159

5.3　遷移學習 160

5.3.1　遷移學習簡介 160

5.3.2　ResNet預訓練模型 160

5.3.3　ViT預訓練模型 163

5.3.4　小結(jié) 165

5.4　經(jīng)典計算機視覺數(shù)據(jù)集 165

5.4.1　數(shù)據(jù)集簡介 165

5.4.2　小結(jié) 169

5.5　項目實戰(zhàn)：貓狗大戰(zhàn) 170

5.5.1　項目簡介 170

5.5.2　數(shù)據(jù)準備 170

5.5.3　模型訓練 175

5.5.4　模型預測 178

5.5.5　小結(jié) 180



第6章 自然語言處理：人機交互懂你所說 181

6.1　詞嵌入和Word2Vec 181

6.1.1　獨熱編碼 181

6.1.2　Word2Vec 182

6.1.3　Gensim代碼實現(xiàn) 185

6.1.4　小結(jié) 186

6.2　詞義搜索和句義表示 186

6.2.1　文本搜索方法 186

6.2.2　正則搜索 187

6.2.3　詞義搜索 188

6.2.4　距離計算方法 189

6.2.5　句子向量 189

6.2.6　代碼實現(xiàn) 190

6.2.7　常見應用 192

6.2.8　小結(jié) 192

6.3　預訓練模型 193

6.3.1　預訓練和遷移學習 193

6.3.2　遷移學習族譜 194

6.3.3　大語言模型 194

6.3.4　LLM進化方向 196

6.3.5　BERT系列進化 197

6.3.6　GPT系列進化 197

6.3.7　多模態(tài)模型 199

6.3.8　存在的問題 200

6.3.9　小結(jié) 200

6.4　Hugging Face庫介紹 200

6.4.1　核心庫 200

6.4.2　官網(wǎng)介紹 201

6.4.3　代碼調(diào)用 204

6.4.4　小結(jié) 207

6.5　NLP數(shù)據(jù)集 207

6.5.1　預訓練數(shù)據(jù)集 208

6.5.2　下游任務數(shù)據(jù)集 209

6.5.3　數(shù)據(jù)集使用 211

6.5.4　小結(jié) 213

6.6　項目實戰(zhàn)：電影評論情感分析 213

6.6.1　Pipeline 213

6.6.2　模型實戰(zhàn) 214

6.6.3　直接微調(diào) 219

6.6.4　小結(jié) 221



第7章　多模態(tài)生成式人工智能：引領(lǐng)智能新時代 222

7.1　CLIP模型 222

7.1.1　計算機視覺研究新范式 223

7.1.2　對比學習預訓練 223

7.1.3　圖像編碼器 224

7.1.4　文本編碼器 224

7.1.5　數(shù)據(jù)收集 224

7.1.6　圖像分類 225

7.1.7　模型訓練和優(yōu)缺點分析 226

7.1.8　小結(jié) 227

7.2　DALL·E系列模型 227

7.2.1　初代模型結(jié)構(gòu) 227

7.2.2　dVAE模塊 228

7.2.3　Transformer模塊 229

7.2.4　圖像生成過程 230

7.2.5　DALL·E 2 模型結(jié)構(gòu) 230

7.2.6　CLIP模塊 231

7.2.7　prior模塊 232

7.2.8　decoder模塊 232

7.2.9　DALL·E 2 推理過程 233

7.2.10　模型效果 233

7.2.11　局限分析 233

7.2.12　小結(jié) 234

7.3　InstructGPT模型 235

7.3.1　GPT系列回顧 235

7.3.2　指示學習和提示學習 235

7.3.3　人工反饋強化學習 236

7.3.4　訓練流程 237

7.3.5　數(shù)據(jù)集采集 238

7.3.6　監(jiān)督微調(diào) 239

7.3.7　獎勵模型 239

7.3.8　強化學習 239

7.3.9　優(yōu)缺點分析 240

7.3.10　小結(jié) 240

7.4　深度學習最新發(fā)展趨勢分析 240

7.4.1　趨勢1：多模態(tài)融合 241

7.4.2　趨勢2：AIGC大爆發(fā) 242

7.4.3　趨勢3：大小模型分化 243

7.4.4　趨勢4：概率分布模型的大發(fā)展 244

7.4.5　趨勢5：深度強化學習的春天 244

7.4.6　更多展望 245

7.5　下一步學習的建議 245

7.5.1　動手實踐 245

7.5.2　PyTorch官方文檔和課程 246

7.5.3　推薦網(wǎng)站 246

7.5.4　多讀論文 247

7.5.5　關(guān)于強化學習 247

7.5.6　繼續(xù)加油 248