本書涵蓋數(shù)值分析、統(tǒng)計計算的核心內(nèi)容,既包含一些經(jīng)典的數(shù)值方法,又系統(tǒng)地介紹了統(tǒng)計計算中的新方法。本書共8章,內(nèi)容包括計算統(tǒng)計引論、矩陣計算、函數(shù)逼近與最小二乘法、方程與方程組的數(shù)值解法、數(shù)值積分與數(shù)值微分、馬爾可夫鏈蒙特卡洛模擬、EM優(yōu)化算法、組合優(yōu)化與啟發(fā)式算法等。
本書結合理論算法、計算機程序與計算機專業(yè)領域應用案例,較為全面地介紹數(shù)值計算方法和統(tǒng)計計算方法,讓學生真正了解計算統(tǒng)計中重要算法的基本思想,掌握相關程序的編寫和培養(yǎng)學生的編程思維,使其具備解決復雜工程問題的能力。本書除附了Python程序外,還可提供MATLAB部分程序,適合計算機類新工科專業(yè)本科生及研究生使用,而且對數(shù)學、統(tǒng)計、科學計算等專業(yè)學生也有參考價值。
新書具有鮮明的理論與應用相結合特色,融合經(jīng)典計算方法和較新的統(tǒng)計計算方法,創(chuàng)設了計算統(tǒng)計在計算機中綜合應用案例,具有很好的專業(yè)針對性,系統(tǒng)介紹核心理論、算法與應用,適合于計算機、數(shù)學、統(tǒng)計專業(yè)本科生及研究生。
習近平總書記指出,我們對高等教育的需要比以往任何時候都更加迫切,對科學知識和卓越人才的渴求比以往任何時候都更加強烈。鐘登華院士認為,新工科是基于國家戰(zhàn)略發(fā)展新需求、國際競爭新形勢、立德樹人新要求而提出的我國工程教育改革方向。面對第四次工業(yè)革命,新工科應該積極應對變化,引領創(chuàng)新,探索不斷變化背景下的工程教育新理念、新結構、新模式、新質(zhì)量和新體系。新工科教育的最終目的是培養(yǎng)能適應和引領未來發(fā)展的創(chuàng)新型工程人才。
多學科交叉融合將成為未來工程發(fā)展的顯著趨勢,復雜性是現(xiàn)代工程問題的本質(zhì)特征,綠色化、信息化和智能化將對未來工程產(chǎn)生十分重要的影響,倫理問題將成為未來工程發(fā)展必須高度重視的內(nèi)容。在大數(shù)據(jù)時代催生的巨量人才缺口背景下,數(shù)據(jù)科學與大數(shù)據(jù)技術、人工智能、智能科學與技術專業(yè)應運而生,它們屬于典型的數(shù)學、統(tǒng)計、計算機科學等多學科交叉融合的新興工科專業(yè)。
圖靈獎得主吉姆·格雷(Jim Gray)將科學研究分為實驗、理論、計算和數(shù)據(jù)密集型科學發(fā)現(xiàn)四類范式。作為新工科專業(yè)的數(shù)據(jù)科學與大數(shù)據(jù)技術集多范式于一身。信息技術新工科產(chǎn)學研聯(lián)盟發(fā)布的《數(shù)據(jù)科學與大數(shù)據(jù)技術專業(yè)建設方案(建議稿)》的培養(yǎng)目標中要求學生掌握面向數(shù)據(jù)應用的統(tǒng)計學、數(shù)學、計算機科學以及應用領域學科的基礎理論和方法,并能利用統(tǒng)計建模和機器學習的基本理論、方法對數(shù)據(jù)進行深度分析和產(chǎn)品化開發(fā)。
在大數(shù)據(jù)時代,計算統(tǒng)計(Computational Statistics)正是由以計算密集為特征的統(tǒng)計方法及其支持理論所構成的一門學科,它融合了多學科交叉融合的領域,通常包含科學計算中的數(shù)值計算和統(tǒng)計計算的理論與算法等,將數(shù)學、信息科學、計算科學等完美融合,已經(jīng)成為現(xiàn)代數(shù)據(jù)科學的重要支柱。
在數(shù)據(jù)科學與大數(shù)據(jù)技術、人工智能、智能科學與技術等新工科專業(yè)開設計算統(tǒng)計課程,對于支撐復合型專業(yè)人才培養(yǎng)目標十分重要。但是,面臨的最大問題是無法找到適合培養(yǎng)目標的計算統(tǒng)計課程教材。國外的《計算統(tǒng)計》和《統(tǒng)計計算:使用R》教材主要面向統(tǒng)計學專業(yè)的學生,大多使用MATLAB程序或R程序,翻譯教材也比較難懂。
國內(nèi)的《數(shù)值分析》和《計算方法》等教材,對于數(shù)學思維的培養(yǎng)非常重要。從國內(nèi)研究現(xiàn)狀和以往的教學經(jīng)驗看,學生普遍認為這些教材理論性太強,對數(shù)學基礎要求較高,學起來比較吃力。較多例題和習題偏推導,還有些數(shù)字特別復雜的計算題,不利于學生鞏固知識!稊(shù)值分析》教材側重代數(shù)數(shù)值算法,缺少統(tǒng)計計算內(nèi)容,這對后續(xù)學習機器學習及其數(shù)據(jù)統(tǒng)計分析課程的作用有限!稊(shù)值分析》類教材中的案例以及單一的教學模式也無法適應新工科人才培養(yǎng)的需求。
本書借鑒了國內(nèi)外經(jīng)典教材中的相關內(nèi)容,吸收了較新的高級統(tǒng)計和優(yōu)化方法,采用通俗易懂的語言由淺入深地介紹統(tǒng)計計算和計算統(tǒng)計中的理論方法,有利于學生統(tǒng)計思維、計算思維與科學計算能力的養(yǎng)成。本書具有鮮明的理論與應用相結合的特色,融合經(jīng)典計算方法和較新的統(tǒng)計計算方法,創(chuàng)設了計算統(tǒng)計在計算機中綜合應用案例,具有很好的專業(yè)針對性。在矩陣計算中,介紹了用于網(wǎng)頁排序的PageRank計算方法。在馬爾可夫鏈蒙特卡洛方法中,介紹了自然語言處理領域中的文本主題模型等。
本書由汪文義統(tǒng)稿、定稿,宋麗紅編寫了第1~4章,汪文義編寫了第5~8章,李佳負責校對。本書入選江西師范大學2020年度本科規(guī)劃教材立項,得到國家自然科學基金(62267004,62067005)和江西省普通本科高校教育教學改革研究課題理工融合、科魂匠心視域下計算統(tǒng)計課程混合式教學模式改革與實踐(JXJG2326)、混合式課程精準教學模式構建與實踐(JXJG22244)的資助。
本書系統(tǒng)介紹核心理論、算法與應用,適用于計算機、數(shù)學、統(tǒng)計等專業(yè)本科生及研究生。
作者2025年1月
第1章計算統(tǒng)計引論1
1.1科學研究范式與科學計算1
1.1.1科學研究范式1
1.1.2科學計算的興起和發(fā)展3
1.1.3計算統(tǒng)計的主要研究對象4
1.1.4科學計算的誤差7
1.2統(tǒng)計基礎14
1.2.1隨機變量和概率分布14
1.2.2似然推斷18
1.2.3貝葉斯推斷18
1.2.4統(tǒng)計極限理論19
1.3計算統(tǒng)計軟件20
1.3.1Python軟件20
1.3.2R軟件26
1.3.3MATLAB軟件26
1.4擴展閱讀27
1.5習題27第2章矩陣計算29
2.1內(nèi)積與范數(shù)29
2.1.1向量的內(nèi)積與范數(shù)29
2.1.2矩陣的內(nèi)積與范數(shù)32
2.2逆矩陣37
2.2.1逆矩陣的定義與性質(zhì)37
2.2.2矩陣求逆引理37
2.2.3可逆矩陣的求逆方法38
2.3矩陣微商41
2.3.1向量的微商41
2.3.2矩陣的微商及其性質(zhì)43
2.4矩陣特征值計算45
2.4.1特征值及其性質(zhì)45
2.4.2冪法47
2.5矩陣特征值計算的應用50
2.5.1網(wǎng)頁排序問題50
2.5.2網(wǎng)頁排序算法51
2.6擴展閱讀53
2.7習題53第3章函數(shù)逼近與最小二乘法56
3.1插值法56
3.1.1插值問題的提出56
3.1.2多項式插值56
3.1.3拉格朗日插值57
3.1.4牛頓插值62
3.1.5埃爾米特插值66
3.2插值法在圖像處理中的應用69
3.2.1雙線性插值69
3.2.2插值法應用70
3.3函數(shù)逼近71
3.3.1函數(shù)逼近與函數(shù)空間71
3.3.2函數(shù)內(nèi)積與范數(shù)72
3.3.3正交函數(shù)與正交多項式74
3.3.4最佳逼近與最小二乘法82
3.4函數(shù)逼近的應用87
3.4.1回歸分析和回歸模型87
3.4.2回歸參數(shù)的估計89
3.4.3參數(shù)估計量的性質(zhì)92
3.4.4多元線性回歸模型的統(tǒng)計檢驗94
3.4.5多元線性回歸模型應用96
3.5擴展閱讀97
3.6習題98第4章方程與方程組的數(shù)值解法100
4.1非線性方程的數(shù)值解法100
4.1.1方程求根問題100
4.1.2二分法101
4.1.3不動點迭代法及其收斂性103
4.1.4迭代收斂的加速方法109
4.1.5自適應運動估計算法(Adam)111
4.1.6牛頓法112
4.1.7弦截法與拋物線法116
4.2非線性方程組的數(shù)值解法118
4.2.1非線性方程組118
4.2.2多元不動點迭代法119
4.2.3牛頓迭代法120
4.2.4牛頓迭代法變形121
4.3方程和方程組的數(shù)值解法的應用124
4.3.1極大似然估計問題124
4.3.2極大似然估計的迭代求解125
4.4擴展閱讀127
4.5習題127第5章數(shù)值積分與數(shù)值微分129
5.1數(shù)值積分概論129
5.1.1數(shù)值積分的基本思想129
5.1.2代數(shù)精度的概念130
5.1.3插值型求積公式132
5.1.4求積公式的余項132
5.1.5插值型求積公式的收斂性與穩(wěn)定性134
5.2牛頓柯特斯公式135
5.2.1柯特斯系數(shù)與辛普森公式135
5.2.2偶數(shù)階求積公式的代數(shù)精度136
5.2.3牛頓柯特斯公式的余項137
5.3復合求積公式138
5.3.1復合梯形公式138
5.3.2復合辛普森公式139
5.4龍貝格求積公式140
5.4.1梯形法的遞推法140
5.4.2外推技巧140
5.4.3龍貝格算法142
5.5高斯求積公式143
5.5.1一般理論143
5.5.2高斯勒讓德求積公式147
5.5.3高斯切比雪夫求積公式148
5.5.4高斯拉蓋爾求積公式149
5.5.5高斯埃爾米特求積公式150
5.6數(shù)值微分151
5.6.1中點方法與誤差分析151
5.6.2插值型的求導公式152
5.6.3數(shù)值微分的外推方法152
5.7數(shù)值積分在貝葉斯推斷中的應用153
5.7.1(共軛)先驗分布與后驗分布153
5.7.2后驗分布的數(shù)值計算155
5.8擴展閱讀156
5.9習題156第6章馬爾可夫鏈蒙特卡洛模擬159
6.1馬爾可夫鏈159
6.1.1馬爾可夫過程及其概率分布159
6.1.2多步轉移概率矩陣160
6.1.3遍歷理論164
6.2馬爾可夫鏈蒙特卡洛模擬167
6.2.1馬爾可夫鏈蒙特卡洛模擬算法167
6.2.2收斂性評價與分析172
6.2.3參數(shù)設置、結果與示例174
6.3馬爾可夫鏈蒙特卡洛模擬在文本分類中的應用179
6.3.1文本主題模型179
6.3.2文本主題模型參數(shù)估計算法180
6.4擴展閱讀185
6.5習題185第7章EM優(yōu)化算法187
7.1EM算法187
7.1.1缺失數(shù)據(jù)與邊際化187
7.1.2EM算法188
7.1.3EM算法的收斂性189
7.1.4方差估計192
7.2EM算法的變形193
7.2.1MCEM算法193
7.2.2ECM算法194
7.3EM算法在高斯混合分布參數(shù)學習中的應用195
7.3.1高斯混合分布195
7.3.2高斯混合分布參數(shù)估計算法195
7.4擴展閱讀199
7.5習題199第8章組合優(yōu)化與啟發(fā)式算法200
8.1組合優(yōu)化200
8.1.1P問題200
8.1.2NP問題與NPC問題200
8.2啟發(fā)式算法202
8.2.1局部搜索算法202
8.2.2模擬退火算法203
8.2.3遺傳算法204
8.3啟發(fā)式算法在回歸模型變量(模型)選擇中的應用207
8.3.1多元線性回歸模型的變量(模型)選擇問題207
8.3.2部分子集回歸208
8.4擴展閱讀210
8.5習題210附錄212
附錄A部分習題答案212
附錄BPython程序示例215參考文獻240