本書作為 Hadoop 大數(shù)據技術的項目化實戰(zhàn)教材，以任務驅動為導向，深入淺出地介紹了 Hadoop 及其周邊框架的應用，涵蓋了當前 Hadoop 生態(tài)系統(tǒng)中的主流大數(shù)據技術。全書共 12 個項目，包括云計算和大數(shù)據基礎概論、CentOS 的安裝與網絡配置、MPI 集群部署及應用、Hadoop 集群部署及應用、MapReduce 基本原理及應用、HBase 數(shù)據庫的搭建及使用、Hive 數(shù)據倉庫的安裝及應用、Pig 數(shù)據分析、Sqoop 數(shù)據遷移、Flume 日志收集系統(tǒng)、Spark 部署及數(shù)據分析、大數(shù)據技術編程實例。本書秉承“實踐為主、理論夠用、注重實用”原則，在任務實施中融入各個知識點與課程教學內容，以便讀者能更好地學習和掌握大數(shù)據關鍵技術。本書既可以作為高職高專院校和應用型本科院校計算機相關專業(yè)的教材，還可以作為 IT 類培訓機構培訓云計算和大數(shù)據技術等相關課程的實訓教材，并可以作為相關技術人員的參考書。
石慧，在汕尾職業(yè)技術學院擔任專職教師�，F(xiàn)任大數(shù)據技術與應用專業(yè)教研室主任，中國人工智能教育聯(lián)盟委員會委員，汕尾市市場監(jiān)督管理局(知識產權局)入庫專家，汕尾市計算機學會會員，汕尾市創(chuàng)新工業(yè)設計研究院技術員。2002-2006年就讀于中國地質大學（武漢）計算機學院，信息安全專業(yè)，獲工學學士學位；2006-2009年就讀于中國地質大學（武漢）計算機學院，計算機軟件與理論專業(yè)，獲工學碩士學位。
項目 1? 云計算和大數(shù)據基礎概論 …………………………………………………………… 1
任務 1 認識云計算 ……………………………………………………………………… 1
任務 2 云計算中的虛擬化技術 ………………………………………………………… 7
任務 3 云計算與大數(shù)據 …………………………………………………………………13
任務 4 大數(shù)據的技術架構 ………………………………………………………………16
任務 5 大數(shù)據的應用前景 ………………………………………………………………18
任務 6 大數(shù)據的發(fā)展歷程及其面臨的挑戰(zhàn) ……………………………………………22
項目 2? CentOS 的安裝與網絡配置 ……………………………………………………… 27
任務 1 Linux 操作系統(tǒng)概述 ……………………………………………………………27
任務 2 使用 VMware 虛擬機安裝 CentOS ……………………………………………32
任務 3 CentOS 網絡環(huán)境配置 …………………………………………………………54
任務 4 yum 源設置及使用 ………………………………………………………………62
項目 3? MPI 集群部署及應用 ……………………………………………………………… 72
任務 1 NTP 時間同步設置 ……………………………………………………………72
任務 2 SSH 證書登錄……………………………………………………………………78
任務 3 使用 NFS 設置共享目錄 ………………………………………………………82
任務 4 MPI 的安裝及測試 ………………………………………………………………86
任務 5 MPI 編程實戰(zhàn) ……………………………………………………………………91
項目 4? Hadoop 集群部署及應用 ………………………………………………………… 100
任務 1 Hadoop 集群部署前的準備工作 …………………………………………… 100
任務 2 Hadoop 的安裝 ……………………………………………………………… 106
任務 3 Hadoop 偽分布式部署及應用 ……………………………………………… 110
任務 4 Hadoop 分布式部署及應用 ………………………………………………… 114
項目 5? MapReduce 基本原理及應用 …………………………………………………… 122
任務 1 MapReduce 工作原理及工作流程 …………………………………………… 122
任務 2 詞頻統(tǒng)計編程實踐 …………………………………………………………… 125
任務 3 數(shù)據合并去重編程實踐 ……………………………………………………… 136
任務 4 數(shù)據排序編程實踐 …………………………………………………………… 140
項目 6? HBase 數(shù)據庫的搭建及使用 …………………………………………………… 146
任務 1 HBase 安裝及偽分布式部署 ………………………………………………… 146
任務 2 HBase 完全分布式部署 ……………………………………………………… 150
任務 3 HBase 操作實踐 ……………………………………………………………… 156
任務 4 HBase 編程實踐 ……………………………………………………………… 163
項目 7? Hive 數(shù)據倉庫的安裝及應用 …………………………………………………… 175
任務 1 Hive 基本概念………………………………………………………………… 175
任務 2 Hive 安裝及部署……………………………………………………………… 178
任務 3 Hive 基本命令和應用………………………………………………………… 190
項目 8? Pig 數(shù)據分析 ……………………………………………………………………… 208
任務 1 Pig 基本概念 ………………………………………………………………… 208
任務 2 Pig 安裝及部署 ……………………………………………………………… 211
任務 3 Pig 命令語法和使用 ………………………………………………………… 216
任務 4 Pig 簡單編程 ………………………………………………………………… 235
項目 9? Sqoop 數(shù)據遷移…………………………………………………………………… 244
任務 1 Sqoop 基本概念 ……………………………………………………………… 244
任務 2 Sqoop 安裝及部署 …………………………………………………………… 247
任 務 3 利 用 Sqoop 工具實現(xiàn) MySQL 與
HDFS 之間數(shù)據遷移 …………………………………………………………………… 254
任務 4 利用 Sqoop 工具實現(xiàn) MySQL 與 Hive/HBase 之間數(shù)據遷移……………… 265
項目 10? Flume 日志收集系統(tǒng) …………………………………………………………… 278
任務 1 Flume 系統(tǒng)概述 ……………………………………………………………… 278
任務 2 Flume 安裝和部署 …………………………………………………………… 282
任務 3 Flume 應用案例 ……………………………………………………………… 291
項目 11? Spark 部署及數(shù)據分析 ………………………………………………………… 305
任務 1 Spark 基本概念 ……………………………………………………………… 305
任務 2 Spark 安裝及部署 …………………………………………………………… 308
任務 3 Spark 數(shù)據分析 ……………………………………………………………… 317
任務 4 Spark 應用案例 ……………………………………………………………… 332
項目 12? 大數(shù)據技術編程實例 …………………………………………………………… 347
任務 1 能耗數(shù)據分析及處理 ………………………………………………………… 347
任務 2 餐飲大數(shù)據分析及處理 ……………………………………………………… 360
參考文獻……………………………………………………………………………………… 371
書單推薦
