免费人妻中文不卡无码_日本精品爽爽van在线_久久精品国产99久久丝袜蜜桃_女强人被春药精油按摩bd电影

目 錄
VII
目 錄
第1章 Alink快速上手 ...................................................................................................... 1
1.1 Alink是什么 ..............................................................................................................1
1.2 免費(fèi)下載、安裝 ........................................................................................................2
1.3 Alink的功能 ..............................................................................................................2
1.3.1 豐富的算法庫(kù) ................................................................................................2
1.3.2 多樣的使用體驗(yàn) ............................................................................................3
1.3.3 與SparkML的對(duì)比 .......................................................................................4
1.4 關(guān)于數(shù)據(jù)和代碼 ........................................................................................................5
1.5 簡(jiǎn)單示例 ....................................................................................................................6
1.5.1 數(shù)據(jù)的讀/寫與顯示 .......................................................................................6
1.5.2 批式訓(xùn)練和批式預(yù)測(cè) ....................................................................................7
1.5.3 流式處理和流式預(yù)測(cè) ..................................................................................10
1.5.4 定義Pipeline，簡(jiǎn)化操作 ............................................................................ 11
1.5.5 嵌入預(yù)測(cè)服務(wù)系統(tǒng) ......................................................................................13
第2章 系統(tǒng)概況與核心概念 .......................................................................................... 15
2.1 基本概念 ..................................................................................................................15
2.2 批式任務(wù)與流式任務(wù) ..............................................................................................16
Alink 權(quán)威指南：基于 Flink 的機(jī)器學(xué)習(xí)實(shí)例入門（Python）
VIII
2.3 Alink=A+link ...........................................................................................................19
2.3.1 BatchOperator和StreamOperator ...............................................................20
2.3.2 link方式是批式算法/流式算法的通用使用方式 ......................................21
2.3.3 link的簡(jiǎn)化 ...................................................................................................24
2.3.4 組件的主輸出與側(cè)輸出 ..............................................................................25
2.4 Pipeline與PipelineModel .......................................................................................25
2.4.1 概念和定義 ..................................................................................................25
2.4.2 深入介紹 ......................................................................................................27
2.5 觸發(fā)Alink任務(wù)的執(zhí)行 ...........................................................................................29
2.6 模型信息顯示 ..........................................................................................................31
2.7 文件系統(tǒng)與數(shù)據(jù)庫(kù) ..................................................................................................35
2.8 Schema String ..........................................................................................................37
第3章 文件系統(tǒng)與數(shù)據(jù)文件 .......................................................................................... 39
3.1 文件系統(tǒng)簡(jiǎn)介 ..........................................................................................................39
3.1.1 本地文件系統(tǒng) ..............................................................................................40
3.1.2 Hadoop文件系統(tǒng) .........................................................................................42
3.1.3 阿里云OSS文件系統(tǒng) .................................................................................44
3.2 數(shù)據(jù)文件的讀入與導(dǎo)出 ..........................................................................................46
3.2.1 CSV格式 .....................................................................................................47
3.2.2 TSV格式、LibSVM格式和Text格式 ......................................................54
3.2.3 AK格式 .......................................................................................................58
第4章 數(shù)據(jù)庫(kù)與數(shù)據(jù)表 .................................................................................................. 61
4.1 簡(jiǎn)介 ..........................................................................................................................61
4.1.1 Catalog的基本操作 .....................................................................................61
4.1.2 Source組件和Sink組件 .............................................................................62
4.2 Hive示例 .................................................................................................................63
4.3 Derby示例 ...............................................................................................................66
4.4 MySQL示例 ............................................................................................................68
目 錄
IX
第5章 支持Flink SQL ................................................................................................... 70
5.1 基本操作 ..................................................................................................................70
5.1.1 注冊(cè) ..............................................................................................................70
5.1.2 運(yùn)行 ..............................................................................................................71
5.1.3 內(nèi)置函數(shù) ......................................................................................................74
5.1.4 用戶定義函數(shù) ..............................................................................................74
5.2 簡(jiǎn)化操作 ..................................................................................................................75
5.2.1 單表操作 ......................................................................................................76
5.2.2 兩表的連接（JOIN）操作 ..........................................................................80
5.2.3 兩表的集合操作 ..........................................................................................82
第6章 用戶定義函數(shù)（UDF/UDTF） ............................................................................ 87
6.1 用戶定義標(biāo)量函數(shù)（UDF） ..................................................................................87
6.1.1 示例數(shù)據(jù)及問(wèn)題 ..........................................................................................88
6.1.2 UDF的定義 .................................................................................................88
6.1.3 使用UDF處理批式數(shù)據(jù) ............................................................................89
6.1.4 使用UDF處理流式數(shù)據(jù) ............................................................................90
6.2 用戶定義表值函數(shù)（UDTF） ...............................................................................92
6.2.1 示例數(shù)據(jù)及問(wèn)題 ..........................................................................................92
6.2.2 UDTF的定義 ...............................................................................................92
6.2.3 使用UDTF處理批式數(shù)據(jù) ..........................................................................93
6.2.4 使用UDTF處理流式數(shù)據(jù) ..........................................................................95
第7章 基本數(shù)據(jù)處理 ..................................................................................................... 98
7.1 采樣 ..........................................................................................................................98
7.1.1 取“前”N個(gè)數(shù)據(jù) .......................................................................................99
7.1.2 隨機(jī)采樣 ......................................................................................................99
7.1.3 加權(quán)采樣 .................................................................................................... 102
7.1.4 分層采樣 .................................................................................................... 103
7.2 數(shù)據(jù)劃分 ................................................................................................................ 104
Alink 權(quán)威指南：基于 Flink 的機(jī)器學(xué)習(xí)實(shí)例入門（Python）
X
7.3 數(shù)值尺度變換 ........................................................................................................ 106
7.3.1 標(biāo)準(zhǔn)化 ........................................................................................................ 106
7.3.2 MinMaxScale.............................................................................................. 108
7.3.3 MaxAbsScale .............................................................................................. 109
7.4 向量的尺度變換 .................................................................................................... 111
7.4.1 StandardScale、MinMaxScale、MaxAbsScale......................................... 111
7.4.2 正則化 ........................................................................................................ 113
7.5 缺失值填充 ............................................................................................................ 114
7.6 Python數(shù)組、DataFrame形式的數(shù)據(jù)和Alink批式數(shù)據(jù)之間的相互轉(zhuǎn)換 ...... 116
7.6.1 Python數(shù)組與DataFrame形式的數(shù)據(jù)之間的相互轉(zhuǎn)換 ........................ 116
7.6.2 將Alink批式數(shù)據(jù)轉(zhuǎn)換為DataFrame形式的數(shù)據(jù) .................................. 117
7.6.3 將DataFrame形式的數(shù)據(jù)轉(zhuǎn)換為Alink批式數(shù)據(jù) .................................. 118
第8章 線性二分類模型 ................................................................................................ 119
8.1 線性模型的基礎(chǔ)知識(shí) ............................................................................................ 119
8.1.1 損失函數(shù) .................................................................................................... 119
8.1.2 經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)與結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù) ................................................................ 121
8.1.3 線性模型與損失函數(shù) ................................................................................ 122
8.1.4 邏輯回歸與線性支持向量機(jī)（Linear SVM） ........................................ 123
8.2 二分類評(píng)估方法 .................................................................................................... 125
8.2.1 基本指標(biāo) .................................................................................................... 126
8.2.2 綜合指標(biāo) .................................................................................................... 128
8.2.3 評(píng)估曲線 .................................................................................................... 131
8.3 數(shù)據(jù)探索 ................................................................................................................ 136
8.3.1 基本統(tǒng)計(jì) .................................................................................................... 138
8.3.2 相關(guān)性 ........................................................................................................ 140
8.4 訓(xùn)練集和測(cè)試集 .................................................................................................... 144
8.5 邏輯回歸模型 ........................................................................................................ 145
8.6 線性SVM模型 ..................................................................................................... 147
8.7 模型評(píng)估 ................................................................................................................ 149
8.8 特征的多項(xiàng)式擴(kuò)展 ................................................................................................ 154
目 錄
XI
8.9 因子分解機(jī) ............................................................................................................ 157
第9章 樸素貝葉斯模型與決策樹(shù)模型 .......................................................................... 160
9.1 樸素貝葉斯模型 .................................................................................................... 160
9.2 決策樹(shù)模型 ............................................................................................................ 162
9.2.1 決策樹(shù)的分裂指標(biāo)定義 ............................................................................ 165
9.2.2 常用的決策樹(shù)算法 .................................................................................... 167
9.2.3 指標(biāo)計(jì)算示例 ............................................................................................ 170
9.2.4 分類樹(shù)與回歸樹(shù) ........................................................................................ 173
9.2.5 經(jīng)典的決策樹(shù)示例 .................................................................................... 173
9.3 數(shù)據(jù)探索 ................................................................................................................ 176
9.4 使用樸素貝葉斯方法 ............................................................................................ 180
9.5 蘑菇分類的決策樹(shù) ................................................................................................ 186
第10章 特征的轉(zhuǎn)化 ..................................................................................................... 192
10.1 整體流程 .............................................................................................................. 196
10.1.1 特征啞元化 .............................................................................................. 198
10.1.2 特征的重要性 .......................................................................................... 199
10.2 減少模型特征的個(gè)數(shù) .......................................................................................... 201
10.3 離散特征轉(zhuǎn)化 ...................................................................................................... 203
10.3.1 獨(dú)熱編碼 .................................................................................................. 203
10.3.2 特征哈希 .................................................................................................. 205
第11章 構(gòu)造新特征 ..................................................................................................... 208
11.1 數(shù)據(jù)探索 .............................................................................................................. 209
11.2 思路 ...................................................................................................................... 211
11.2.1 用戶和品牌的各種特征 .......................................................................... 212
11.2.2 二分類模型訓(xùn)練 ...................................................................................... 214
11.3 計(jì)算訓(xùn)練集 .......................................................................................................... 214
11.3.1 原始數(shù)據(jù)劃分 .......................................................................................... 214
Alink 權(quán)威指南：基于 Flink 的機(jī)器學(xué)習(xí)實(shí)例入門（Python）
XII
11.3.2 計(jì)算特征 .................................................................................................. 216
11.3.3 計(jì)算標(biāo)簽 .................................................................................................. 223
11.4 正負(fù)樣本配比 ...................................................................................................... 225
11.5 決策樹(shù) .................................................................................................................. 228
11.6 集成學(xué)習(xí) .............................................................................................................. 229
11.6.1 Bootstrap aggregating ............................................................................... 229
11.6.2 Boosting .................................................................................................... 230
11.6.3 隨機(jī)森林與GBDT .................................................................................. 233
11.7 使用隨機(jī)森林算法 .............................................................................................. 234
11.8 使用GBDT算法 ................................................................................................. 235
第12章 從二分類到多分類 .......................................................................................... 237
12.1 多分類模型的評(píng)估方法 ...................................................................................... 237
12.1.1 綜合指標(biāo) .................................................................................................. 239
12.1.2 關(guān)于每個(gè)標(biāo)簽值的二分類指標(biāo) .............................................................. 241
12.1.3 Micro、Macro、Weighted計(jì)算的指標(biāo) .................................................. 241
12.2 數(shù)據(jù)探索 .............................................................................................................. 244
12.3 使用樸素貝葉斯算法進(jìn)行多分類 ...................................................................... 246
12.4 二分類器組合 ...................................................................................................... 248
12.5 Softmax算法 ....................................................................................................... 252
12.6 多層感知器分類器 .............................................................................................. 255
第13章 常用的多分類算法 .......................................................................................... 258
13.1 數(shù)據(jù)準(zhǔn)備 .............................................................................................................. 258
13.1.1 讀取MNIST數(shù)據(jù)文件 ............................................................................ 259
13.1.2 稠密向量與稀疏向量 .............................................................................. 260
13.1.3 標(biāo)簽值的統(tǒng)計(jì)信息 .................................................................................. 266
13.2 Softmax算法 ....................................................................................................... 267
13.3 二分類器組合 ...................................................................................................... 269
13.4 多層感知器分類器（MLPC） ........................................................................... 270
13.5 決策樹(shù)與隨機(jī)森林 .............................................................................................. 272
目 錄
XIII
13.6 K最近鄰算法 ...................................................................................................... 274
第14章 在線學(xué)習(xí) ........................................................................................................ 277
14.1 整體流程 .............................................................................................................. 277
14.2 數(shù)據(jù)準(zhǔn)備 .............................................................................................................. 279
14.3 特征工程 .............................................................................................................. 281
14.4 使用特征工程處理數(shù)據(jù) ...................................................................................... 282
14.5 在線訓(xùn)練 .............................................................................................................. 284
14.6 模型過(guò)濾 .............................................................................................................. 287
第15章 回歸的由來(lái) ..................................................................................................... 289
15.1 平均數(shù) .................................................................................................................. 290
15.2 向平均數(shù)方向的“回歸” .................................................................................. 291
15.3 線性回歸 .............................................................................................................. 293
第16章 常用的回歸算法.............................................................................................. 296
16.1 回歸模型的評(píng)估指標(biāo) .......................................................................................... 296
16.2 數(shù)據(jù)探索 .............................................................................................................. 298
16.3 線性回歸 .............................................................................................................. 301
16.4 決策樹(shù)與隨機(jī)森林 .............................................................................................. 304
16.5 GBDT ................................................................................................................... 305
第17章 常用的聚類算法.............................................................................................. 307
17.1 聚類評(píng)估指標(biāo) ...................................................................................................... 308
17.1.1 基本評(píng)估指標(biāo) .......................................................................................... 308
17.1.2 基于標(biāo)簽值的評(píng)估指標(biāo) .......................................................................... 310
17.2 K-Means聚類算法 .............................................................................................. 312
17.2.1 算法簡(jiǎn)介 .................................................................................................. 312
17.2.2 K-Means實(shí)例 .......................................................................................... 314
17.3 高斯混合模型算法 .............................................................................................. 318
Alink 權(quán)威指南：基于 Flink 的機(jī)器學(xué)習(xí)實(shí)例入門（Python）
XIV
17.3.1 算法介紹 .................................................................................................. 318
17.3.2 GMM實(shí)例 ............................................................................................... 320
17.4 二分K-Means聚類算法 ..................................................................................... 321
17.5 基于經(jīng)緯度的聚類 .............................................................................................. 324
第18章 批式與流式聚類.............................................................................................. 327
18.1 稠密向量與稀疏向量 .......................................................................................... 327
18.2 使用聚類模型預(yù)測(cè)流式數(shù)據(jù) .............................................................................. 329
18.3 流式聚類 .............................................................................................................. 332
第19章 主成分分析 ..................................................................................................... 334
19.1 主成分的含義 ...................................................................................................... 336
19.2 兩種計(jì)算方式 ...................................................................................................... 340
19.3 在聚類方面的應(yīng)用 .............................................................................................. 342
19.4 在分類方面的應(yīng)用 .............................................................................................. 346
第20章 超參數(shù)搜索 ..................................................................................................... 350
20.1 示例一：嘗試正則系數(shù) ...................................................................................... 351
20.2 示例二：搜索GBDT超參數(shù) ............................................................................. 352
20.3 示例三：最佳聚類個(gè)數(shù) ...................................................................................... 353
第21章 文本分析 ........................................................................................................ 355
21.1 數(shù)據(jù)探索 .............................................................................................................. 355
21.2 分詞 ...................................................................................................................... 357
21.2.1 中文分詞 .................................................................................................. 357
21.2.2 Tokenizer和RegexTokenizer .................................................................. 361
21.3 詞頻統(tǒng)計(jì) .............................................................................................................. 365
21.4 單詞的區(qū)分度 ...................................................................................................... 367
21.5 抽取關(guān)鍵詞 .......................................................................................................... 369
21.5.1 原理簡(jiǎn)介 .................................................................................................. 370
目 錄
XV
21.5.2 示例 .......................................................................................................... 371
21.6 文本相似度 .......................................................................................................... 373
21.6.1 文本成對(duì)比較 .......................................................................................... 374
21.6.2 最相似的TopN ........................................................................................ 377
21.7 主題模型 .............................................................................................................. 389
21.7.1 LDA模型 ................................................................................................. 390
21.7.2 新聞的主題模型 ...................................................................................... 392
21.7.3 主題與原始分類的對(duì)比 .......................................................................... 394
21.8 組件使用小結(jié) ...................................................................................................... 399
第22章 單詞向量化 ..................................................................................................... 400
22.1 單詞向量預(yù)訓(xùn)練模型 .......................................................................................... 401
22.1.1 加載模型 .................................................................................................. 401
22.1.2 查找相似的單詞 ...................................................................................... 402
22.1.3 單詞向量 .................................................................................................. 404
22.2 將單詞映射為向量 .............................................................................................. 409
第23章 情感分析 ........................................................................................................ 414
23.1 使用提供的特征 .................................................................................................. 415
23.1.1 使用樸素貝葉斯方法 .............................................................................. 418
23.1.2 使用邏輯回歸算法 .................................................................................. 422
23.2 如何提取特征 ...................................................................................................... 425
23.3 構(gòu)造更多特征 ...................................................................................................... 429
23.4 模型保存與預(yù)測(cè) .................................................................................................. 432
23.4.1 批式/流式預(yù)測(cè)任務(wù) ................................................................................. 432
23.4.2 嵌入式預(yù)測(cè) .............................................................................................. 433
第24章 構(gòu)建推薦系統(tǒng) ................................................................................................. 435
24.1 與推薦相關(guān)的組件介紹 ...................................................................................... 436
24.2 常用的推薦算法 .................................................................................................. 439
Alink 權(quán)威指南：基于 Flink 的機(jī)器學(xué)習(xí)實(shí)例入門（Python）
XVI
24.2.1 協(xié)同過(guò)濾 .................................................................................................. 439
24.2.2 交替最小二乘法 ...................................................................................... 440
24.3 數(shù)據(jù)探索 .............................................................................................................. 441
24.4 評(píng)分預(yù)測(cè) .............................................................................................................. 446
24.5 根據(jù)用戶推薦影片 .............................................................................................. 448
24.6 計(jì)算相似影片 ...................................................................................................... 453
24.7 根據(jù)影片推薦用戶 .............................................................................................. 456
24.8 計(jì)算相似用戶 ...................................................................................................... 458