本書介紹如何在PyTorch框架中使用BERT模型完成自然語言處理(NLP)任務。
BERT模型是當今處理自然語言任務效果好的模型。掌握了該模型,就相當于掌握了當今主流的NLP技術。
本書共3篇。
-第1篇介紹了神經(jīng)網(wǎng)絡的基礎知識、NLP的基礎知識,以及編程環(huán)境的搭建;
-第2篇介紹了PyTorch編程基礎,以及BERT模型的原理、應用和可解釋性;
-第3篇是BERT模型實戰(zhàn),幫助讀者開闊思路、增長見識,使讀者能夠真正駕馭BERT模型,活學活用,完成自然語言處理任務。
通過本書,讀者可以熟練地在PyTorch框架中開發(fā)并訓練神經(jīng)網(wǎng)絡模型,快速地使用BERT模型完成各種主流的自然語言處理任務,獨立地設計并訓練出針對特定需求的BERT模型,輕松地將BERT模型封裝成Web服務部署到云端。
本書結構清晰、案例豐富、通俗易懂、實用性強,適合對自然語言處理、BERT模型感興趣的讀者作為自學教程。另外,本書也適合社會培訓學校作為培訓教材,還適合計算機相關專業(yè)作為教學參考書。
BERT模型是當今處理自然語言任務效果好的模型。掌握了該模型,就相當于掌握了當今主流的NLP技術。
通過本書,讀者可以:
- 熟練地在PyTorch框架中開發(fā)并訓練神經(jīng)網(wǎng)絡模型,
- 快速地使用BERT模型完成各種主流的自然語言處理任務,
- 獨立地設計并訓練出針對特定需求的BERT模型,
- 輕松地將BERT模型封裝成Web服務部署到云端。
BERT模型在2018年一問世便引起了轟動。之后,各種改進版本的預訓練模型(Pre-Training Model,PTM)如過江之鯽,層出不窮,它們在 NLP 各個領域攻城略地,所向披靡,頻頻登榜于多種 NLP 數(shù)據(jù)集競賽榜單,個別模型的能力已超過人類。
BERT模型在刷新傳統(tǒng)NLP指標的同時,也給NLP領域的技術帶來革命性的變革。它使用帶有注意力模型的深度神經(jīng)網(wǎng)絡所實現(xiàn)的效果,優(yōu)于一大批使用傳統(tǒng)的NLP方法所實現(xiàn)的效果,這使得NLP工作人員不得不向BERT模型的技術體系靠攏。
與此同時,近年來,圖神經(jīng)網(wǎng)絡的崛起也為深度學習領域指明了前進的方向BERT模型結合圖深度學習將是未來NLP的主流趨勢。
本書從零基礎開始,介紹了與BERT模型相關的一系列知識與實現(xiàn)方法,包括神經(jīng)網(wǎng)絡的原理、NLP基礎、PyTorch的使用、BERT模型的原理及實現(xiàn)、BERTology系列模型的原理及實現(xiàn),以及BERT模型與圖神經(jīng)網(wǎng)絡的結合。
本書適合于即將從事NLP工作,以及正在從事NLP工作并打算向BERT模型技術體系靠攏的讀者閱讀。
總的來說,本書具有以下特色。
1.知識系統(tǒng),逐層遞進
本書涵蓋了BERT模型的完整技術體系:
從神經(jīng)網(wǎng)絡的基礎知識,到NLP的基礎知識,再到BERT模型的原理及應用;
從BERTology系列模型的原理,到BERT模型與圖神經(jīng)網(wǎng)絡的結合,再到多種場景下BERT模型的應用。
2.內(nèi)容緊跟技術趨勢
本書所介紹的知識與近年來學術領域發(fā)表的論文技術基本同步。為了拓展讀者的學習視野,本書在介紹一些知識的原理和應用的同時,還附有相關的論文索引,方便讀者對感興趣的知識擴展閱讀。
3.圖文結合,化繁為簡。
本書在介紹模型的結構和原理的同時,還穿插了大量的圖片。這些圖片有的可視化了模型中的數(shù)據(jù)流向,有的展示了模型的擬合能力,有的細化了某種技術的內(nèi)部原理,有的直觀化了模型的內(nèi)部結構,從而讓讀者更容易、更快捷地理解和掌握知識。
4.站在入門者的角度講解,內(nèi)容更系統(tǒng)、更易學
考慮到初學者知識儲備的不足,凡是書中涉及的知識點,都從零開始進行系統(tǒng)介紹:從PyTorch框架的安裝、使用;到向量、矩陣、張量的基礎變換;再到神經(jīng)網(wǎng)絡及圖神經(jīng)網(wǎng)絡的系統(tǒng)介紹;從NLP基礎,到BERT模型的原理剖析,再到BERT模型的多場景實戰(zhàn)。這樣可以消除讀者學習中的跳躍感。
李金洪
擅長神經(jīng)網(wǎng)絡、算法、協(xié)議分析、逆向、移動互聯(lián)網(wǎng)安全架構等技術
先后擔任過CAD算法工程師、手機游戲主程、架構師、項目經(jīng)理、CTO、部門經(jīng)理、資深產(chǎn)品總監(jiān)等職位
目前創(chuàng)業(yè)中。