本書(shū)從技術(shù)角度深度解析大模型的原理，從大模型的基礎(chǔ)概念及領(lǐng)域發(fā)展現(xiàn)狀入手，概述大模型的理論基礎(chǔ)，介紹OpenAI GPT、清華大學(xué)GLM、Meta Llama等主流大模型的技術(shù)原理，并從大模型參數(shù)高效微調(diào)、大模型指令微調(diào)、大模型訓(xùn)練優(yōu)化和大模型推理優(yōu)化等多角度解析大模型背后的技術(shù)，帶領(lǐng)讀者全方位掌握大模型的原理和實(shí)踐方法。本書(shū)最后介紹私有大模型的構(gòu)建，手把手指導(dǎo)讀者做技術(shù)選型并搭建自己的私有大模型。
本書(shū)適合人工智能領(lǐng)域有大模型開(kāi)發(fā)需求或?qū)Υ竽Ｐ图夹g(shù)感興趣的技術(shù)人員閱讀，也適合普通用戶擴(kuò)展了解大模型的前沿應(yīng)用。
·涵蓋AIGC、大模型、擴(kuò)散模型等熱點(diǎn)話題；
·以技術(shù)視角透徹解讀大模型底層技術(shù)；
·系統(tǒng)介紹GPT、LLaMa、GLM等主流大模型的技術(shù)原理；
·給出GPT的基本代碼實(shí)現(xiàn)，幫助讀者深入理解技術(shù)原理；
·介紹如何構(gòu)建私有大模型，帶領(lǐng)讀者動(dòng)手構(gòu)建私有大模型。
文亮 碩士畢業(yè)于電子科技大學(xué)，奇虎360智腦團(tuán)隊(duì)資深算法專家，參與過(guò)千億參數(shù)級(jí)別大模型的訓(xùn)練與優(yōu)化，擁有超過(guò)8年的人工智能模型優(yōu)化經(jīng)驗(yàn)，目前主要負(fù)責(zé)大模型后訓(xùn)練、COT優(yōu)化以及通用技能優(yōu)化等工作，著有《推薦系統(tǒng)技術(shù)原理與實(shí)踐》一書(shū)。 江維 電子科技大學(xué)教授、博士生導(dǎo)師，主要研究可信人工智能、安全關(guān)鍵嵌入式系統(tǒng)、移動(dòng)智能、大數(shù)據(jù)加速等領(lǐng)域，發(fā)表相關(guān)高水平論文100余篇。
第 1章 大模型簡(jiǎn)介 1
11 大模型初探 1
111 OpenAI大模型ChatGPT 1
112 國(guó)內(nèi)大模型360智腦 8
12 大模型的概念 9
13 百花齊放大模型發(fā)展現(xiàn)狀 9
14 壓縮即智能為什么ChatGPT擁有智能 11
141 直觀理解通用人工智能 12
142 如何實(shí)現(xiàn)無(wú)損壓縮 13
143 GPT是對(duì)數(shù)據(jù)的無(wú)損壓縮 16
15 小結(jié) 19
16 參考文獻(xiàn) 19
第 2章 大模型理論基礎(chǔ) 20
21 什么是語(yǔ)言模型 20
22 傳統(tǒng)語(yǔ)言模型 21
221 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN） 21
222 長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò) 22
223 門(mén)控循環(huán)單元（GRU） 24
23 大模型基礎(chǔ)結(jié)構(gòu)Transformer 25
231 Transformer的模型結(jié)構(gòu) 25
232 Transformer輸入表示 29
233 多頭注意力 30
234 編碼器結(jié)構(gòu) 36
235 解碼器結(jié)構(gòu) 40
236 Softmax輸出 44
24 Transformer應(yīng)用實(shí)踐機(jī)器 翻譯 46
241 葡萄牙文翻譯為英文 46
242 英文翻譯為中文 51
25 小結(jié) 52
26 參考文獻(xiàn) 53
第3章 OpenAI GPT系列大模型 54
31 GPT發(fā)展歷史 從GPT-1到GPT-4 54
32 GPT-1技術(shù)原理 55
321 GPT-1的模型結(jié)構(gòu) 56
322 GPT-1應(yīng)用實(shí)踐中文文本 分類 58
33 GPT-2技術(shù)原理 63
331 GPT-2的模型結(jié)構(gòu) 64
332 GPT-2應(yīng)用實(shí)踐文本分類和 文本生成 66
34 GPT-3技術(shù)原理 69
341 GPT-3的模型結(jié)構(gòu) 70
342 GPT-3多項(xiàng)任務(wù)評(píng)估 71
35 橫空出世ChatGPT 74
351 真正的通用人工智能 ChatGPT 74
352 有監(jiān)督微調(diào) 75
353 訓(xùn)練獎(jiǎng)勵(lì)模型 77
354 使用強(qiáng)化學(xué)習(xí)微調(diào)預(yù)訓(xùn)練 模型 78
355 ChatGPT應(yīng)用 79
36 GPT-4 80
361 GPT-4的涌現(xiàn)能力 80
362 大模型預(yù)測(cè)擴(kuò)展 81
363 GPT-4性能分析 82
364 GPT-4應(yīng)用 84
37 小結(jié) 84
38 參考文獻(xiàn) 84
第4章 清華大學(xué)通用預(yù)訓(xùn)練 模型GLM 86
41 GLM簡(jiǎn)介 87
42 GLM技術(shù)原理 89
421 預(yù)訓(xùn)練目標(biāo) 91
422 GLM的模型結(jié)構(gòu) 92
423 微調(diào)GLM 93
424 效果評(píng)估 94
43 ChatGLM-6B全參數(shù)微調(diào)實(shí)踐 94
431 環(huán)境搭建 95
432 全參數(shù)微調(diào) 96
433 效果評(píng)估 101
44 GLM-10B全參數(shù)微調(diào)實(shí)踐 101
441 代碼結(jié)構(gòu) 102
442 全參數(shù)微調(diào) 103
443 效果評(píng)估 108
45 小結(jié) 109
46 參考文獻(xiàn) 109
第5章 Meta開(kāi)源大模型 Llama 110
51 Llama簡(jiǎn)介 110
52 Llama技術(shù)原理 111
521 Llama預(yù)訓(xùn)練數(shù)據(jù) 111
522 Llama的模型結(jié)構(gòu) 113
523 Llama優(yōu)化器 114
53 Llama改進(jìn)版Llama 2 114
531 Llama 2簡(jiǎn)介 115
532 Llama 2預(yù)訓(xùn)練 116
533 Llama 2有監(jiān)督微調(diào) 118
534 基于人類反饋的強(qiáng)化學(xué)習(xí) 119
54 Llama 2應(yīng)用實(shí)踐 121
541 Hugging Face玩轉(zhuǎn)Llama 2 122
542 微調(diào)Llama 2 122
55 小結(jié) 124
56 參考文獻(xiàn) 124
第6章 大模型參數(shù)高效 微調(diào) 125
61 LoRA低秩矩陣分解 125
611 LoRA基本原理 125
612 LoRA低秩矩陣初始化 127
613 LoRA開(kāi)源實(shí)現(xiàn) 127
62 谷歌參數(shù)高效微調(diào) Adapter Tuning 128
63 斯坦福輕量級(jí)微調(diào) Prefix-Tuning 129
64 谷歌微調(diào)方法 Prompt Tuning 130
65 清華大學(xué)參數(shù)微調(diào) P-Tuning 131
66 P-Tuning改進(jìn)版 P-Tuning v2 132
67 大模型參數(shù)高效微調(diào)實(shí)踐 134
671 安裝ChatGLM2-6B環(huán)境依賴 134
672 安裝P-Tuning v2環(huán)境依賴 135
68 小結(jié) 136
69 參考文獻(xiàn) 137
第7章 大模型指令微調(diào) 138
71 指令微調(diào) 138
72 指令微調(diào)和提示的異同 139
73 大模型思維鏈優(yōu)化模型 推理能力 139
731 思維鏈的開(kāi)山之作 思維鏈提示 140
732 零樣本提示思維鏈 142
733 多數(shù)投票自洽性 144
734 最少到最多提示過(guò)程 144
735 大模型微調(diào) 146
736 微調(diào)思維鏈 148
737 思維鏈的局限 149
74 谷歌指令微調(diào)數(shù)據(jù)集Flan 2022 150
75 小結(jié) 152
76 參考文獻(xiàn) 152
第8章 大模型訓(xùn)練優(yōu)化 153
81 稀疏Transformer 153
811 稀疏Transformer提出背景 154
812 稀疏Transformer實(shí)現(xiàn)原理 155
82 旋轉(zhuǎn)位置編碼 159
821 傳統(tǒng)位置編碼絕對(duì)位置 編碼 160
822 二維旋轉(zhuǎn)位置編碼 160
823 多維旋轉(zhuǎn)位置編碼 161
824 旋轉(zhuǎn)位置編碼的高效計(jì)算 161
825 旋轉(zhuǎn)位置編碼的遠(yuǎn)程衰減 162
826 Llama和ChatGLM中的旋轉(zhuǎn)位置編碼實(shí)現(xiàn) 164
827 旋轉(zhuǎn)位置編碼的外推性 167
83 大模型混合精度訓(xùn)練 168
831 浮點(diǎn)數(shù)據(jù)類型 168
832 使用FP16訓(xùn)練神經(jīng)網(wǎng)絡(luò)的 問(wèn)題 169
833 混合精度訓(xùn)練相關(guān)技術(shù) 170
84 樣本拼接 173
85 大模型并行訓(xùn)練 175
86 小結(jié) 175
87 參考文獻(xiàn) 176
第9章 大模型推理優(yōu)化 177
91 大模型量化 177
911 量化的優(yōu)勢(shì) 178
912 對(duì)稱量化和非對(duì)稱量化 178
92 大模型文本生成的解碼策略 180
921 束搜索 182
922 top-k采樣 183
923 top-p采樣 184
924 溫度采樣 186
925 聯(lián)合采樣 187
93 小結(jié) 188
第 10章 AIGC和大模型 結(jié)合 189
101 AIGC引來(lái)新一輪投資熱 189
102 生成對(duì)抗網(wǎng)絡(luò) 191
1021 生成對(duì)抗網(wǎng)絡(luò)的模型結(jié)構(gòu) 191
1022 生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練過(guò)程 193
1023 生成對(duì)抗網(wǎng)絡(luò)實(shí)戰(zhàn)生成 手寫(xiě)體數(shù)字圖像 194
103 AIGC主流模型去噪擴(kuò)散 概率模型 198
1031 去噪擴(kuò)散概率模型的原理 198
1032 去噪擴(kuò)散概率模型的訓(xùn)練 過(guò)程 200
1033 去噪擴(kuò)散概率模型實(shí)戰(zhàn)生成 手寫(xiě)體數(shù)字圖像 201
104 引入文字的去噪擴(kuò)散概率模型 214
1041 去噪擴(kuò)散概率模型的文字生成 圖像過(guò)程 215
1042 利用CLIP模型生成文本 向量 216
1043 在U-Net模型中使用文本 向量 217
1044 引入文字的去噪擴(kuò)散概率模型的 訓(xùn)練過(guò)程 218
105 去噪擴(kuò)散概率模型改進(jìn)版 Stable Diffusion 220
1051 Stable Diffusion的文字生成圖像過(guò)程 221
1052 Stable Diffusion前向擴(kuò)散過(guò)程優(yōu)化 221
1053 Stable Diffusion反向去噪過(guò)程優(yōu)化 222
1054 Stable Diffusion的完整流程 224
1055 Stable Diffusion應(yīng)用場(chǎng)景 224
106 小結(jié) 226
107 參考文獻(xiàn) 226
第 11章 大模型和推薦系統(tǒng)結(jié)合 228
111 大模型和推薦系統(tǒng)的異同 228
112 大模型和推薦系統(tǒng)的3種不同結(jié)合方法 229
1121 基于大模型構(gòu)建特征 229
1122 基于大模型建模行為序列 230
1123 基于行為序列微調(diào)大模型 231
113 大模型和推薦系統(tǒng)的結(jié)合效果 232
1131 兩階段模式 232
1132 端到端模式 233
1133 預(yù)訓(xùn)練 兩階段/端到端模式 233
1134 預(yù)訓(xùn)練 兩階段/端到端 ID特征模式 234
114 小結(jié) 235
115 參考文獻(xiàn) 235
第 12章 構(gòu)建私有大模型 236
121 大模型百花齊放 236
122 選擇基座模型 238
123 環(huán)境安裝 238
124 模型加載 239
1241 代碼調(diào)用 239
1242 網(wǎng)頁(yè)版示例 240
1243 命令行示例 241
125 低成本部署 242
1251 模型量化 242
1252 CPU部署 242
1253 Mac部署 242
1254 多卡部署 242
126 構(gòu)建自己的私有大模型 243
1261 數(shù)據(jù)準(zhǔn)備 244
1262 有監(jiān)督微調(diào) 244
1263 部署私有大模型 248
1264 災(zāi)難性遺忘問(wèn)題 249
1265 程序思維提示解決復(fù)雜數(shù)值推理 252
127 小結(jié) 258
128 參考文獻(xiàn) 258
書(shū)單推薦
