本書是一部系統(tǒng)介紹 AI 數(shù)字人技術(shù)的專業(yè)著作，涵蓋了數(shù)字人的定義、發(fā)展歷程、關(guān)鍵技術(shù)及應(yīng)用實
踐等內(nèi)容，全書共分 3 部分。
在技術(shù)基礎(chǔ)部分，首先介紹了數(shù)字人的定義、發(fā)展歷程、分類和應(yīng)用場景，接著詳細解析了數(shù)字人系統(tǒng)的架構(gòu)設(shè)計、視覺算法和語音合成技術(shù)的原理，以及語義理解和知識表示技術(shù)如何提升數(shù)字人的智能和表現(xiàn)力。
在應(yīng)用實踐部分，帶領(lǐng)讀者深入探索數(shù)字人的創(chuàng)作流程，從內(nèi)容策劃、角色建模到交互設(shè)計，每一步都進行了詳細講解。此外，還討論了數(shù)字人的身份認知和技術(shù)規(guī)范，為數(shù)字人的應(yīng)用實踐提供了必要的知識。
在展望未來部分，探討了數(shù)字人技術(shù)的未來發(fā)展趨勢，為讀者描繪了數(shù)字人與人類和諧共生的美好藍圖。
本書內(nèi)容豐富，結(jié)構(gòu)清晰，適合對數(shù)字人技術(shù)感興趣的讀者，包括數(shù)字人技術(shù)的研究者、開發(fā)者、相關(guān)行業(yè)的從業(yè)人員及愛好者等閱讀。
1.系統(tǒng)性：本書內(nèi)容系統(tǒng)完整，覆蓋數(shù)字人技術(shù)的全面知識，從基礎(chǔ)算法、系統(tǒng)構(gòu)建到產(chǎn)業(yè)應(yīng)用形成完整知識體系，是一本數(shù)字人技術(shù)的百科全書。
2.前沿性：本書匯聚了數(shù)字人領(lǐng)域的前沿研究成果，涵蓋新興的核心技術(shù)如3D人臉重建、神經(jīng)渲染、多模態(tài)融合等，讀者可以通過本書掌握技術(shù)前沿。
3.實戰(zhàn)性：本書案例豐富，每個技術(shù)點都提供代碼級實現(xiàn)細節(jié)，讀者可以快速上手，將書中的方法應(yīng)用于實際場景中。
4.展望性：本書不僅涵蓋了數(shù)字人技術(shù)的過去和現(xiàn)在，還結(jié)合行業(yè)發(fā)展對數(shù)字人技術(shù)的未來進行思考，為讀者描繪數(shù)字人的發(fā)展藍圖。
5.權(quán)威性：本書作者在數(shù)字人相關(guān)領(lǐng)域有過多年的深入研究，曾參與國家級項目研發(fā)，對行業(yè)發(fā)展格局有獨到解析，書寫權(quán)威性強。
方進 資深軟件架構(gòu)師，長期深耕于前沿技術(shù)領(lǐng)域，曾在多家知名企業(yè)成功推動機器學習平臺建設(shè)，領(lǐng)導(dǎo)模型創(chuàng)新工作。在自然語言處理、計算機視覺和語音合成等領(lǐng)域積累了豐富的算法研發(fā)經(jīng)驗，并對生成式AI技術(shù)及預(yù)訓(xùn)練語言模型進行了深入研究。密切關(guān)注數(shù)字人行業(yè)，通過開源項目和學術(shù)研究，不斷提升自己的數(shù)字人系統(tǒng)構(gòu)建技能；精通SD圖生成、VITS語音合成等技術(shù)，實現(xiàn)了數(shù)字人在形象、語音和情感等方面的創(chuàng)新創(chuàng)作。
技術(shù)基礎(chǔ)
第 1 章 數(shù)字人概述 3
1.1 什么是數(shù)字人 3
1.1.1 數(shù)字人的定義 4
1.1.2 數(shù)字人的特征 4
1.2 數(shù)字人的發(fā)展歷史 5
1.2.1 早期虛擬角色 5
1.2.2 人工智能與數(shù)字人的融合 5
1.3 數(shù)字人的分類 5
1.3.1 根據(jù)外觀分類 6
1.3.2 根據(jù)用途分類 6
1.3.3 根據(jù)智能級別分類 7
1.4 數(shù)字人的應(yīng)用場景 7
1.4.1 娛樂場景 7
1.4.2 教育場景 8
1.4.3 客服場景 9
1.5 數(shù)字人技術(shù)的發(fā)展趨勢 9
1.6 數(shù)字人的社會影響 10
1.7 本章小結(jié) 11
第 2 章 數(shù)字人系統(tǒng)的架構(gòu) 12
2.1 系統(tǒng)的組成模塊 12
2.1.1 輸入模塊 13
2.1.2 內(nèi)容生成模塊 16
2.1.3 渲染模塊 19
2.1.4 交互模塊 22
2.2 多模態(tài)信息融合流程 25
2.2.1 文本生成 25
2.2.2 語音合成 26
2.2.3 表情映射 28
2.2.4 唇型同步 29
2.3 數(shù)字人云服務(wù)架構(gòu) 30
2.3.1 云平臺選型 31
2.3.2 模型倉庫 32
2.3.3 多模態(tài)處理 33
2.3.4 在線服務(wù) 34
2.4 數(shù)字人的數(shù)據(jù)表示 35
2.4.1 文本數(shù)據(jù)表示 36
2.4.2 音頻數(shù)據(jù)表示 37
2.4.3 視頻數(shù)據(jù)表示 38
2.4.4 多模態(tài)數(shù)據(jù)表示 38
2.5 本章小結(jié) 39
第 3 章 數(shù)字人視覺算法 41
3.1 3D 人臉建模 42
3.1.1 建模流程 42
3.1.2 參數(shù)調(diào)整 45
3.1.3 3D 人臉重建技術(shù) 47
3.1.4 建模軟件比較 51
3.2 表情分析 54
3.2.1 表情識別 54
3.2.2 表情生成 62
3.2.3 表情跟蹤 69
3.2.4 表情融合 74
3.3 姿態(tài)估計 81
3.3.1 2D 姿態(tài)估計 81
3.3.2 3D 姿態(tài)估計 87
3.3.3 手勢估計 92
3.3.4 手勢生成 96
3.4 唇形檢測和口型匹配 99
3.4.1 2D 唇型檢測 99
3.4.2 2D 口型匹配 105
3.4.3 3D 唇型檢測 109
3.4.4 3D 口型匹配 115
3.4.5 唇型同步評價 119
3.5 本章小結(jié) 125
第 4 章 數(shù)字人語音合成 126
4.1 語音數(shù)字化原理 127
4.1.1 音頻采樣 127
4.1.2 語音編碼 130
4.2 基于拼接的語音合成 137
4.2.1 段音拼接 137
4.2.2 語音跨段平滑 141
4.3 基于深度學習的語音合成 144
4.3.1 LSTM 在語音合成中的應(yīng)用 145
4.3.2 基于注意力機制的 Tacotron 模型 147
4.3.3 Tacotron2 與 WaveNet 集成 151
4.3.4 基于 Transformer 的語音合成 154
4.3.5 基于非自回歸結(jié)構(gòu)的實時語音合成 155
4.4 語音風格遷移 158
4.4.1 聲紋提取 159
4.4.2 風格轉(zhuǎn)換 159
4.5 個性化語音合成 162
4.6 語音風格增強 164
4.7 多語種語音合成 165
4.7.1 多語言模型訓(xùn)練 165
4.7.2 語言嵌入 166
4.7.3 語言自適應(yīng)模型 167
4.7.4 語音后處理 168
4.8 本章小結(jié) 169
第 5 章 數(shù)字人語義理解 171
5.1 語義解析 172
5.1.1 詞法分析 172
5.1.2 句法分析 175
5.1.3 語義分析 179
5.2 情感分析 183
5.2.1 情感識別 184
5.2.2 情感分類 188
5.3 語義編碼器 - 解碼器 191
5.3.1 編碼器架構(gòu) 191
5.3.2 解碼器架構(gòu) 195
5.3.3 注意力機制 197
5.3.4 應(yīng)用場景 200
5.4 本章小結(jié) 203
第 6 章 數(shù)字人知識表示 204
6.1 知識表示基礎(chǔ) 205
6.1.1 符號主義知識表示 205
6.1.2 連接主義知識表示 210
4.4 語音風格遷移 158
4.4.1 聲紋提取 159
4.4.2 風格轉(zhuǎn)換 159
4.5 個性化語音合成 162
4.6 語音風格增強 164
4.7 多語種語音合成 165
4.7.1 多語言模型訓(xùn)練 165
4.7.2 語言嵌入 166
4.7.3 語言自適應(yīng)模型 167
4.7.4 語音后處理 168
4.8 本章小結(jié) 169
第 5 章 數(shù)字人語義理解 171
5.1 語義解析 172
5.1.1 詞法分析 172
5.1.2 句法分析 175
5.1.3 語義分析 179
5.2 情感分析 183
5.2.1 情感識別 184
5.2.2 情感分類 188
5.3 語義編碼器 - 解碼器 191
5.3.1 編碼器架構(gòu) 191
5.3.2 解碼器架構(gòu) 195
5.3.3 注意力機制 197
5.3.4 應(yīng)用場景 200
5.4 本章小結(jié) 203
第 6 章 數(shù)字人知識表示 204
6.1 知識表示基礎(chǔ) 205
6.1.1 符號主義知識表示 205
6.1.2 連接主義知識表示 210
7.4.4 數(shù)字人表情及動作生成實例 265
7.5 語音及視頻合成 266
7.5.1 語音驅(qū)動的唇型動畫 266
7.5.2 體積感渲染 267
7.5.3 數(shù)字人語音及視頻合成實例 268
7.6 內(nèi)容編輯和后期制作 268
7.6.1 視頻編輯 269
7.6.2 后期特效制作 270
7.6.3 渲染與輸出 270
7.6.4 數(shù)字人后期編輯與渲染實例 271
7.7 交互設(shè)計與內(nèi)容運營 272
7.7.1 交互設(shè)計 273
7.7.2 內(nèi)容運營策略 275
7.7.3 數(shù)字人交互設(shè)計與內(nèi)容運營
實例 278
7.8 本章小結(jié) 279
第 8 章 數(shù)字人身份認知 280
8.1 數(shù)字人的身份定位 280
8.1.1 個體或工具 280
8.1.2 數(shù)字人的角色定位 281
8.2 數(shù)字人的權(quán)利保障 283
8.2.1 知識產(chǎn)權(quán) 283
8.2.2 隱私權(quán) 285
8.3 數(shù)字人的成長與沒落 286
8.3.1 持續(xù)學習 287
8.3.2 版本迭代 288
8.4 數(shù)字人的倫理問題 290
8.4.1 摒棄偏見和歧視 290
8.4.2 透明可解釋性 292
8.4.3 尊重多樣性 293
8.5 本章小結(jié) 295
第 9 章 數(shù)字人技術(shù)規(guī)范 296
9.1 數(shù)字人信息安全規(guī)范 296
9.1.1 數(shù)據(jù)隔離規(guī)范 297
9.1.2 訪問控制規(guī)范 298
9.2 數(shù)字人內(nèi)容審核規(guī)范 300
9.2.1 內(nèi)容審核方式 300
9.2.2 違規(guī)處理機制 302
9.3 數(shù)字人應(yīng)用管理規(guī)范 303
9.3.1 應(yīng)用接入管理 303
9.3.2 應(yīng)用監(jiān)測與審計 305
9.4 本章小結(jié) 308
展望未來
第 10 章 人機共生 311
10.1 人機共生的美好時代 311
10.1.1 人機共生的定義與理念 312
10.1.2 人機共生時代的社會生態(tài) 312
10.2 數(shù)字人與人類的深度互動 313
10.2.1 互動模式的多樣性 313
10.2.2 數(shù)字人與人類文化的交融 314
10.3 社區(qū)共建 315
10.3.1 數(shù)字人與人類社區(qū)的融合 315
10.3.2 共同學習的平臺與機制 316
10.3.3 社區(qū)共建與數(shù)字人技術(shù)的創(chuàng)新 316
10.4 本章小結(jié) 317
書單推薦
