免费人妻中文不卡无码_日本精品爽爽van在线_久久精品国产99久久丝袜蜜桃_女强人被春药精油按摩bd电影

第 1章　初識Hadoop
1.1　大數(shù)據(jù)概述　1
1.1.1　什么是大數(shù)據(jù)　1
1.1.2　大數(shù)據(jù)的特征　2
1.1.3　大數(shù)據(jù)的發(fā)展趨勢　3
1.2　大數(shù)據(jù)的應(yīng)用　4
1.3　大數(shù)據(jù)技術(shù)簡介　6
1.4　Hadoop概述　7
1.4.1　Hadoop簡介　8
1.4.2　Hadoop的優(yōu)缺點　8
1.4.3　Hadoop的產(chǎn)生和發(fā)展歷程　9
1.4.4　Hadoop的版本介紹　9
1.4.5　Hadoop 3.0的新特性　10
1.4.6　Hadoop生態(tài)圈的相關(guān)組件　12
1.4.7　國內(nèi)Hadoop的就業(yè)情況分析　12
1.4.8　國內(nèi)外Hadoop應(yīng)用案例介紹　13
1.5　實戰(zhàn)演練：Web日志數(shù)據(jù)挖掘系統(tǒng)　14
本章小結(jié)　16
習(xí)題　17
第 2章　Hadoop集群的搭建
2.1　安裝準(zhǔn)備　18
2.1.1　虛擬機安裝　18
2.1.2　虛擬機克隆　26
2.1.3　Linux系統(tǒng)網(wǎng)絡(luò)配置　27
2.1.4　SSH服務(wù)配置　30
2.2　Linux常用命令　32
2.2.1　查看系統(tǒng)、進(jìn)程和網(wǎng)絡(luò)信息的命令　32
2.2.2　磁盤操作命令　33
2.2.3　目錄與文件操作命令　34
2.2.4　權(quán)限操作命令　35
2.3　Hadoop集群的搭建　36
2.3.1　Hadoop集群的部署模式　36
2.3.2　安裝JDK　36
2.3.3　安裝Hadoop　37
2.3.4　Hadoop集群的配置　37
2.4　Hadoop集群的測試　40
2.4.1　格式化文件系統(tǒng)　41
2.4.2　啟動和關(guān)閉Hadoop進(jìn)程命令　41
2.4.3　啟動和查看Hadoop進(jìn)程　42
2.4.4　監(jiān)控HDFS集群和YARN集群　42
2.5　Hadoop集群的使用　43
本章小結(jié)　44
習(xí)題　44
第3章　分布式協(xié)調(diào)框架ZooKeeper
3.1　初識ZooKeeper　45
3.1.1　ZooKeeper簡介　45
3.1.2　ZooKeeper的設(shè)計目標(biāo)　46
3.1.3　ZooKeeper工作原理　46
3.2　ZooKeeper的安裝和常用命令　47
3.2.1　單機模式下安裝與配置ZooKeeper　48
3.2.2　全分布式模式下安裝與配置ZooKeeper　49
3.2.3　ZooKeeper客戶端的節(jié)點和命令　51
3.3　ZooKeeper客戶端實戰(zhàn)　53
3.4　ZooKeeper典型應(yīng)用場景　55
3.4.1　數(shù)據(jù)發(fā)布與訂閱　55
3.4.2　命名服務(wù)　56
3.4.3　分布式鎖　56
本章小結(jié)　56
習(xí)題　57
第4章　分布式文件系統(tǒng)HDFS
4.1　HDFS概述　58
4.2　HDFS的架構(gòu)　59
4.3　HDFS讀/寫數(shù)據(jù)的流程　61
4.4　HDFSShell命令　63
4.5　使用Java程序操作HDFS　65
4.5.1　HDFS Java API概述　65
4.5.2　使用Java API操作HDFS　66
4.6　Hadoop序列化　72
4.6.1　Hadoop序列化簡介　72
4.6.2　實現(xiàn)Hadoop序列化的常用類　74
4.6.3　自定義實現(xiàn)Writable接口的類　76
4.7　Hadoop小文件處理　78
4.7.1　壓縮小文件　78
4.7.2　創(chuàng)建序列化文件　79
4.8　HDFS的RPC機制　82
4.8.1　RPC機制簡介　82
4.8.2　RPC的架構(gòu)　82
4.9　實戰(zhàn)演練：文件詞頻統(tǒng)計　83
本章小結(jié)　85
習(xí)題　85
第5章　分布式計算框架MapReduce
5.1　初識MapReduce　87
5.1.1　MapReduce核心思想　87
5.1.2　MapReduce的編程模型　88
5.1.3　實戰(zhàn)演練：詞頻統(tǒng)計　89
5.2　MapReduce作業(yè)　94
5.2.1　MapReduce作業(yè)概述　94
5.2.2　MapReduce作業(yè)運行時的資源調(diào)度　94
5.2.3　MapReduce作業(yè)的運行流程　95
5.3　MapReduce工作原理　96
5.3.1　Map任務(wù)的工作原理　96
5.3.2　Reduce任務(wù)的工作原理　96
5.4　MapReduce的Shuffle階段　97
5.4.1　Shuffle的概念　97
5.4.2　Map端的Shuffle　97
5.4.3　Reduce端的Shuffle　98
5.5　MapReduce編程組件　98
5.5.1　InputFormat組件　98
5.5.2　OutputFormat組件　100
5.5.3　RecordReader組件和RecordWriter組件　103
5.5.4　Partitioner組件　104
5.5.5　Combiner組件　106
5.6　數(shù)據(jù)傾斜　111
5.7　排序　111
5.7.1　排序概述　111
5.7.2　部分排序　112
5.7.3　全排序　113
5.8　實戰(zhàn)演練：倒排索引　117
5.9　實戰(zhàn)演練：連接　121
5.10　實戰(zhàn)演練：平均分和百分比　124
5.11　實戰(zhàn)演練：過濾敏感詞匯　128
本章小結(jié)　130
習(xí)題　130
第6章　YARN框架與HA模式
6.1　YARN框架　132
6.1.1　YARN簡介　132
6.1.2　YARN的工作流程　133
6.1.3　YARN的優(yōu)勢　134
6.2　Hadoop的HA模式　134
6.2.1　HA模式簡介　134
6.2.2　HDFS的HA模式　135
6.2.3　YARN的HA模式　141
6.2.4　啟動和關(guān)閉Hadoop的HA模式　145
本章小結(jié)　146
習(xí)題　146
第7章　數(shù)據(jù)倉庫Hive
7.1　數(shù)據(jù)倉庫簡介　147
7.1.1　數(shù)據(jù)倉庫概述　147
7.1.2　數(shù)據(jù)倉庫應(yīng)用　148
7.1.3　數(shù)據(jù)倉庫特點　149
7.1.4　數(shù)據(jù)倉庫數(shù)據(jù)模型　149
7.1.5　數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別　150
7.2　初識Hive　151
7.2.1　Hive簡介　151
7.2.2　Hive架構(gòu)　152
7.2.3　Hive特點　153
7.2.4　Hive和關(guān)系型數(shù)據(jù)庫的比較　154
7.3　Hive的安裝　154
7.4　Hive的數(shù)據(jù)類型　158
7.4.1　基本數(shù)據(jù)類型　159
7.4.2　復(fù)雜數(shù)據(jù)類型　159
7.5　Hive的數(shù)據(jù)庫操作　161
7.6　Hive中的表　162
7.6.1　內(nèi)部表和外部表　162
7.6.2　對表進(jìn)行分區(qū)　168
7.6.3　對表或分區(qū)進(jìn)行桶操作　173
7.7　Hive表的查詢　176
7.7.1　select查詢語句　177
7.7.2　視圖　182
7.7.3　連接　183
7.8　Hive函數(shù)　187
7.8.1　Hive內(nèi)置函數(shù)　187
7.8.2　通過JDBC驅(qū)動程序使用HiveSever2服務(wù)　189
7.8.3　Hive用戶自定義函數(shù)　191
7.9　Hive性能優(yōu)化　193
7.10　實戰(zhàn)演練：機頂盒數(shù)據(jù)分析　195
本章小結(jié)　196
習(xí)題　196
第8章　分布式存儲系統(tǒng)HBase
8.1　初識HBase　197
8.1.1　HBase簡介　197
8.1.2　HBase的數(shù)據(jù)模型　198
8.1.3　HBase架構(gòu)　199
8.1.4　HBase文件存儲格式　200
8.1.5　HBase存儲過程　201
8.1.6　HBase和HDFS　202
8.2　HBase表設(shè)計　203
8.2.1　行鍵設(shè)計　203
8.2.2　列簇設(shè)計　204
8.3　HBase安裝和部署　204
8.3.1　完全分布式模式　204
8.3.2　HA模式　207
8.4　HBase Shell的常用操作命令　209
8.4.1　常規(guī)命令　209
8.4.2　常用的命名空間相關(guān)命令　210
8.4.3　常用的DDL命令　211
8.4.4　常用的DML命令　213
8.5　HBase編程　215
8.5.1　配置開發(fā)環(huán)境　216
8.5.2　使用Java API操作HBase　216
8.5.3　使用HBase實現(xiàn)WordCount　220
8.6　HBase的過濾器和比較器　223
8.6.1　過濾器　223
8.6.2　比較器　224
8.6.3　編程實操　224
8.7　HBase和Hive的結(jié)合使用　230
8.7.1　HBase與Hive結(jié)合使用的原因　230
8.7.2　Hive關(guān)聯(lián)HBase　230
8.8　HBase的性能優(yōu)化　232
本章小結(jié)　233
習(xí)題　234
第9章　數(shù)據(jù)同步工具Sqoop
9.1　初識Sqoop　235
9.1.1　Sqoop簡介　235
9.1.2　Sqoop架構(gòu)　236
9.1.3　Sqoop的工作原理　236
9.2　Sqoop安裝　238
9.3　Sqoop的命令與參數(shù)　240
9.3.1　Sqoop的常用命令　240
9.3.2　常用命令的參數(shù)　240
9.3.3　Sqoop命令的基本操作　241
9.4　Sqoop數(shù)據(jù)導(dǎo)入　243
9.4.1　將MySQL中的數(shù)據(jù)導(dǎo)入HDFS　243
9.4.2　將MySQL中的數(shù)據(jù)導(dǎo)入Hive　244
9.4.3　將MySQL中的數(shù)據(jù)導(dǎo)入HBase　247
9.4.4　增量導(dǎo)入　248
9.4.5　按需導(dǎo)入　250
9.5　Sqoop數(shù)據(jù)導(dǎo)出　251
9.5.1　將HDFS中的數(shù)據(jù)導(dǎo)出到MySQL　251
9.5.2　將Hive中的數(shù)據(jù)導(dǎo)出到MySQL　252
9.5.3　將HBase中的數(shù)據(jù)導(dǎo)出到MySQL　253
9.6　Sqoop Job　254
本章小結(jié)　255
習(xí)題　255
第 10章　Flume
10.1　初識Flume　257
10.1.1　Flume簡介　257
10.1.2　Flume的特點　258
10.2　Flume的核心概念　258
10.2.1　Event　258
10.2.2　Agent　259
10.3　Flume安裝　260
10.4　Flume數(shù)據(jù)流模型　261
10.5　Flume的可靠性保證　263
10.5.1　負(fù)載均衡　263
10.5.2　故障轉(zhuǎn)移　265
10.6　Flume攔截器　266
10.7　采集案例　268
10.7.1　將目錄采集到HDFS中　269
10.7.2　將文件采集到HDFS中　270
本章小結(jié)　271
習(xí)題　271
第 11章　綜合項目基于Hadoop的云盤設(shè)計與實現(xiàn)
　11.1 項目概述　272
11.1.1　項目簡介　272
11.1.2　開發(fā)環(huán)境　273
11.1.3　項目架構(gòu)設(shè)計　273
11.2　云盤頁面效果展示　274
11.2.1　云盤主頁　274
11.2.2　新增目錄對話框　275
11.2.3　上傳文件對話框　275
11.2.4　操作文件的下拉菜單　276
11.2.5　重命名對話框　277
11.2.6　文件管理的下拉菜單　277
11.3　創(chuàng)建云盤項目并配置環(huán)境　278
11.4　實現(xiàn)云盤頁面效果　280
11.5　前后端交互　281
11.6　實現(xiàn)云盤頁面功能　286
11.6.1　獲取文件和子目錄列表　286
11.6.2　新增目錄　287
11.6.3　上傳文件　288
11.6.4　下載文件　289
11.6.5　重命名文件　289
11.6.6　刪除文件　290
11.6.7　檢索文件　291
本章小結(jié)　292