![]() ![]() |
大模型輕量化:模型壓縮與訓(xùn)練加速
"《大模型輕量化:模型壓縮與訓(xùn)練加速》圍繞大模型輕量化這一主題,系統(tǒng)地闡述大模型輕量化的基本理論與實(shí)現(xiàn)方法,旨在提升模型的部署效率和計(jì)算性能。全書分為3部分,共10章。第1部分(第1~5章),介紹大模型的背景與面臨的問題,以及Transformer和MoE架構(gòu)的基本原理;重點(diǎn)講解模型壓縮、訓(xùn)練加速和推理優(yōu)化等核心技術(shù),包括量化、蒸餾和剪枝等,并通過(guò)實(shí)際案例驗(yàn)證其效果。第2部分(第6、7章),重點(diǎn)介紹端側(cè)學(xué)習(xí)與計(jì)算引擎優(yōu)化策略,尤其是動(dòng)態(tài)Batch和異構(gòu)執(zhí)行的工程實(shí)現(xiàn)。第3部分(第8~10章),針對(duì)高性能算子庫(kù)與手工算子開發(fā),分別以cuDNN、NEON、CUDA等為代表,揭示算子優(yōu)化的細(xì)節(jié),最后,以國(guó)產(chǎn)開源模型DeepSeek-V3為例,展現(xiàn)從訓(xùn)練到推理的綜合優(yōu)化方案。
《大模型輕量化:模型壓縮與訓(xùn)練加速》提供全面實(shí)用的輕量化方法論,結(jié)合豐富代碼示例與實(shí)踐案例,適合從事大模型開發(fā)與優(yōu)化的工程師,也為研究人員提供深入探討的素材與視角,助力解決大模型訓(xùn)練與推理中的實(shí)際問題。"
你還可能感興趣
我要評(píng)論
|