本書共12章，圍繞大語言模型基礎(chǔ)理論、預(yù)訓(xùn)練、指令理解、模型增強和模型應(yīng)用五個部分展開：第一部分介紹大語言模型的基礎(chǔ)理論；第二部分介紹大語言模型的預(yù)訓(xùn)練，包括大語言模型預(yù)訓(xùn)練數(shù)據(jù)和分布式訓(xùn)練；第三部分介紹大語言模型如何理解并服從人類指令，包括有監(jiān)督微調(diào)和強化學(xué)習(xí)；第四部分介紹大語言模型增強技術(shù)，包括多模態(tài)語言模型、大模型智能體和檢索增強生成；第五部分介紹大模型應(yīng)用，包括大模型效率優(yōu)化、模型評估和應(yīng)用開發(fā)。
適讀人群 ：AI從業(yè)者、高年級本科生和研究生、對大模型感興趣的讀者
復(fù)旦NLP團隊2025年新作
新增內(nèi)容超過50%
詳解MOE、多模態(tài)、智能體、RAG、大模型效率優(yōu)化、預(yù)訓(xùn)練、指令微調(diào)、強化學(xué)習(xí)、對齊、評估、應(yīng)用開發(fā)
深入探討LLM的實際應(yīng)用場景和評價方法，為讀者提供理論指導(dǎo)與實踐經(jīng)驗
構(gòu)建LLM的每個階段都有算法、數(shù)據(jù)來源、代碼、難點及實踐經(jīng)驗的詳細討論
配代碼
本書封底含有wispaper.ai科研助手智能體（預(yù)計2025年6月上線）邀請碼，憑邀請碼可免費使用。
本書共分為12章，圍繞大語言模型基礎(chǔ)理論、預(yù)訓(xùn)練、指令理解、大模型增強和大模型應(yīng)用五個部分展開：第1部分介紹大語言模型的基礎(chǔ)理論；第2部分介紹大語言模型的預(yù)訓(xùn)練，包括大語言模型預(yù)訓(xùn)練數(shù)據(jù)和分布式訓(xùn)練；第3部分介紹大語言模型如何理解并服從人類指令，包括指令微調(diào)和強化學(xué)習(xí)；第4部分介紹大語言模型增強技術(shù)，包括多模態(tài)大語言模型、大模型智能體和檢索增強生成；第5部分介紹大模型應(yīng)用，包括大語言模型效率優(yōu)化、大語言模型評估和大語言模型應(yīng)用開發(fā)。
第2章介紹大語言模型的基礎(chǔ)理論知識，包括語言模型的定義、Transformer結(jié)構(gòu)、大語言模型框架等內(nèi)容，并以LLaMA使用的模型結(jié)構(gòu)為例介紹代碼實例。
第3章和第4章圍繞大語言模型預(yù)訓(xùn)練階段的主要研究內(nèi)容展開介紹，包括模型分布式訓(xùn)練中需要掌握的數(shù)據(jù)并行、流水線并行、張量并行及ZeRO系列優(yōu)化方法。除此之外，還將介紹預(yù)訓(xùn)練需要使用的數(shù)據(jù)分布和數(shù)據(jù)預(yù)處理方法，并以DeepSpeed為例介紹如何進行大語言模型預(yù)訓(xùn)練。
第5章和第6章聚焦于大語言模型指令理解階段的核心研究內(nèi)容，探討如何通過指令微調(diào)和強化學(xué)習(xí)方法，使模型能夠理解指令并生成類人回答。第5章重點介紹模型微調(diào)技術(shù)、指令微調(diào)數(shù)據(jù)的構(gòu)造策略以及高效微調(diào)方法，如LoRA、Delta Tuning等方法，第6章則圍繞強化學(xué)習(xí)展開，講解其基礎(chǔ)理論與近端策略優(yōu)化（PPO）技術(shù)，并結(jié)合實際案例，以DeepSpeed-Chat和verl框架為例，詳細說明如何訓(xùn)練類ChatGPT系統(tǒng)。
第7章、第8章和第9章圍繞提升大語言模型的能力展開詳細探討，內(nèi)容涵蓋多模態(tài)大語言模型、大模型智能體和檢索增強生成。第7章重點介紹多模態(tài)大語言模型的基礎(chǔ)理論、架構(gòu)設(shè)計與訓(xùn)練策略，并探討其在實際場景中的應(yīng)用實踐；第8章聚焦于智能體的發(fā)展歷程與大語言模型智能體的架構(gòu)設(shè)計，深入分析智能體的實現(xiàn)原理，并以LangChain為例詳細闡述具體實踐；第9章則圍繞檢索增強生成展開討論，介紹其核心思想與實現(xiàn)方式，涵蓋檢索增強框架的設(shè)計、檢索模塊與生成模塊的協(xié)作機制，以及其在具體任務(wù)場景中的應(yīng)用方法與實踐。
第10章、第11章和第12章主要圍繞如何應(yīng)用大語言模型展開討論，內(nèi)容涵蓋提升模型效率的方法、大語言模型評估，以及大語言模型典型應(yīng)用的開發(fā)與部署。第10章重點介紹模型壓縮與優(yōu)化、訓(xùn)練效率優(yōu)化和推理效率優(yōu)化等提升模型效率的關(guān)鍵技術(shù)；第11章聚焦于大語言模型評估，探討其基本概念和難點，闡述評估體系的構(gòu)建、評估方法的設(shè)計及實際評估的實施；第12章則基于典型的大語言模型應(yīng)用場景，詳細介紹其開發(fā)流程、開發(fā)工具及本地部署的實踐方法。
張奇
復(fù)旦大學(xué)計算機科學(xué)技術(shù)學(xué)院教授、博士生導(dǎo)師。兼任上海市智能信息處理實驗室副主任，中國中文信息學(xué)會理事、CCF大模型論壇常務(wù)委員、CIPS信息檢索專委會常務(wù)委員、CIPS大模型專委會委員。多次擔(dān)任ACL、EMNLP、COLING、全國信息檢索大會等重要國際和國內(nèi)會議的程序委員會主席、領(lǐng)域主席、講習(xí)班主席等職務(wù)。近年來，承擔(dān)了國家重點研發(fā)計劃課題、國家自然科學(xué)基金、上海市科委等的多個項目，在國際重要學(xué)術(shù)期刊和會議上發(fā)表論文200余篇。獲得WSDM 2014最佳論文提名獎、COLING 2018 領(lǐng)域主席推薦獎、NLPCC 2019杰出論文獎、COLING 2022杰出論文獎。獲得上海市晨光計劃人才計劃、復(fù)旦大學(xué)卓越2025人才培育計劃等支持，獲得錢偉長中文信息處理科學(xué)技術(shù)一等獎、漢王青年創(chuàng)新一等獎、上海市科技進步二等獎、IBM Faculty Award等獎項。
桂韜
復(fù)旦大學(xué)副研究員。研究領(lǐng)域為預(yù)訓(xùn)練模型、類人對齊和智能體交互。在國際重要學(xué)術(shù)期刊和會議上發(fā)表論文50余篇，主持國家自然科學(xué)基金、計算機學(xué)會和人工智能學(xué)會的多個人才項目。獲得錢偉長中文信息處理科學(xué)技術(shù)一等獎、NeurIPS 2023大模型對齊 Track最佳論文獎，入選第七屆中國科協(xié)青年人才托舉工程、上海市啟明星計劃。
鄭銳
博士畢業(yè)于復(fù)旦大學(xué)計算機科學(xué)技術(shù)學(xué)院，師從張奇教授。曾任字節(jié)跳動豆包大模型團隊算法工程師，現(xiàn)就職于某前沿科技公司，研究方向為大模型對齊、復(fù)雜推理能力提升。獲得NeurIPS Workshop on Instruction Following 2024最佳論文獎。MOSS-RLHF開源項目負責(zé)人，開源了RLHF代碼庫及技術(shù)文檔，推動大模型對齊技術(shù)發(fā)展。在ICLR、ICML、NeurIPS、ACL等國際會議上發(fā)表多篇論文。
黃萱菁
復(fù)旦大學(xué)特聘教授、博士生導(dǎo)師。主要從事人工智能、自然語言處理和大語言模型研究。兼任中國計算機學(xué)會理事、自然語言處理專委會主任、中國中文信息學(xué)會理事、計算語言學(xué)學(xué)會亞太分會主席。在國際重要學(xué)術(shù)期刊和會議上發(fā)表論文200余篇，獲優(yōu)秀論文獎8項。獲得錢偉長中文信息處理科學(xué)技術(shù)一等獎、上海市育才獎，以及人工智能全球女性學(xué)者、福布斯中國科技女性等多項榮譽。
書單推薦
