本書是從大數(shù)據(jù)和云計(jì)算相結(jié)合的視角,系統(tǒng)地介紹大數(shù)據(jù)云架構(gòu)技術(shù)與實(shí)踐的專業(yè)圖書,全書分為五篇19章,分別介紹大數(shù)據(jù)云計(jì)算的概論、關(guān)鍵技術(shù)、體系架構(gòu)、云架構(gòu)實(shí)踐與編程和安全。本書層次清晰,結(jié)構(gòu)合理,主要內(nèi)容包括大數(shù)據(jù)云計(jì)算關(guān)系、大數(shù)據(jù)應(yīng)用價(jià)值、分布式計(jì)算、NoSQL數(shù)據(jù)庫(kù)、機(jī)器學(xué)習(xí)、虛擬化、Docker容器、Web 2.0、綠色數(shù)據(jù)中心、基礎(chǔ)設(shè)計(jì)即服務(wù)(IaaS)、平臺(tái)即服務(wù)(PaaS)、軟件即服務(wù)(SaaS)、容器即服務(wù)(CaaS)、大數(shù)據(jù)云架構(gòu)搭建、Spark大數(shù)據(jù)編程、大數(shù)據(jù)和云計(jì)算面臨的安全威脅、保障大數(shù)據(jù)安全、應(yīng)用大數(shù)據(jù)保障安全等。
本書可作為高年級(jí)本科生和研究生教材,也可作為廣大科學(xué)技術(shù)人員和計(jì)算機(jī)愛好者的參考書。
作者著眼于大數(shù)據(jù)和云計(jì)算有機(jī)結(jié)合的視角,從理論探索和應(yīng)用實(shí)踐兩個(gè)方面來撰寫本書,適合對(duì)大數(shù)據(jù)和云計(jì)算具有初步認(rèn)識(shí)并希望對(duì)大數(shù)據(jù)云架構(gòu)進(jìn)行深入、全面了解,并進(jìn)行關(guān)實(shí)踐的計(jì)算機(jī)信息相關(guān)專業(yè)高年級(jí)本科生使用,同時(shí)本書也將成為廣大專業(yè)工程技術(shù)人員不可缺少的參考資料。
目錄
第1篇大數(shù)據(jù)云計(jì)算概論
第1章大數(shù)據(jù)概述
1.1大數(shù)據(jù)產(chǎn)生與發(fā)展
1.1.1大數(shù)據(jù)產(chǎn)生背景
1.1.2大數(shù)據(jù)發(fā)展歷程
1.1.3當(dāng)前大數(shù)據(jù)
1.2大數(shù)據(jù)概念與特征
1.2.1大數(shù)據(jù)概念
1.2.2大數(shù)據(jù)的特點(diǎn)
1.3大數(shù)據(jù)應(yīng)用
1.3.1企業(yè)內(nèi)部大數(shù)據(jù)應(yīng)用
1.3.2物聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用
1.3.3面向在線社交網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用
1.3.4醫(yī)療健康大數(shù)據(jù)應(yīng)用
1.3.5群智感知
1.3.6智能電網(wǎng)
1.4大數(shù)據(jù)的研究與展望
1.5本章小結(jié)
第2章大數(shù)據(jù)和云計(jì)算
2.1大數(shù)據(jù)和云計(jì)算的關(guān)系
2.1.1大數(shù)據(jù)和云計(jì)算關(guān)系概述
2.1.2云計(jì)算是大數(shù)據(jù)處理的基礎(chǔ)
2.1.3大數(shù)據(jù)是云計(jì)算的延伸
2.2云計(jì)算概念
2.2.1云的興起
2.2.2云計(jì)算的定義及其特點(diǎn)
2.2.3云計(jì)算名稱的來歷
2.3云計(jì)算類型
2.3.1基礎(chǔ)設(shè)施類
2.3.2平臺(tái)類
2.3.3應(yīng)用類
2.3.4以所有權(quán)劃分云計(jì)算系統(tǒng)類型
2.4云計(jì)算商業(yè)模式
2.4.1商業(yè)模式是云計(jì)算的基石
2.4.2云計(jì)算的市場(chǎng)規(guī)模
2.4.3云計(jì)算商業(yè)模式分析
2.5本章小結(jié)
第3章大數(shù)據(jù)應(yīng)用價(jià)值
3.1大數(shù)據(jù)在電子商務(wù)中的應(yīng)用
3.1.1大數(shù)據(jù)是電子商務(wù)發(fā)展要素
3.1.2電子商務(wù)大數(shù)據(jù)的實(shí)用措施
3.1.3電子商務(wù)大數(shù)據(jù)的轉(zhuǎn)型路徑
3.2大數(shù)據(jù)在金融的應(yīng)用
3.2.1大數(shù)據(jù)金融的提出
3.2.2大數(shù)據(jù)金融的功能
3.2.3大數(shù)據(jù)金融的挑戰(zhàn)
3.2.4大數(shù)據(jù)金融創(chuàng)新
3.3大數(shù)據(jù)在媒體的應(yīng)用
3.3.1傳統(tǒng)媒體的不足
3.3.2大數(shù)據(jù)驅(qū)動(dòng)傳統(tǒng)媒體的升級(jí)
3.3.3大數(shù)據(jù)引領(lǐng)新媒體發(fā)展
3.4大數(shù)據(jù)在醫(yī)療上的應(yīng)用
3.4.1大數(shù)據(jù)改進(jìn)臨床決策支持系統(tǒng)
3.4.2大數(shù)據(jù)助推醫(yī)療產(chǎn)品研發(fā)
3.4.3大數(shù)據(jù)催生新醫(yī)療服務(wù)模式
3.5大數(shù)據(jù)在教育上的應(yīng)用
3.5.1大數(shù)據(jù)教育與傳統(tǒng)教育的優(yōu)勢(shì)
3.5.2大數(shù)據(jù)教學(xué)模式的不斷改善
3.5.3教育大數(shù)據(jù)市場(chǎng)的廣闊前景
3.5.4大數(shù)據(jù)變革教育應(yīng)用的實(shí)踐措施
3.6本章小結(jié)
第2篇大數(shù)據(jù)云計(jì)算關(guān)鍵技術(shù)
第4章分布式計(jì)算框架
4.1分布式計(jì)算基本概念
4.1.1分布式計(jì)算與并行計(jì)算
4.1.2分布式計(jì)算和并行計(jì)算的比較
4.2Hadoop系統(tǒng)介紹
4.2.1Hadoop發(fā)展歷程
4.2.2Hadoop使用場(chǎng)景和特點(diǎn)
4.2.3Hadoop項(xiàng)目組成
4.3分布式文件系統(tǒng)
4.3.1分布式文件系統(tǒng)概述
4.3.2HDFS架構(gòu)
4.3.3HDFS設(shè)計(jì)特點(diǎn)
4.4MapReduce計(jì)算模型
4.4.1MapReduce概述
4.4.2MapReduce應(yīng)用實(shí)例
4.4.3MapReduce實(shí)現(xiàn)和架構(gòu)
4.5分布式協(xié)同控制
4.5.1常見分布式并發(fā)控制方法
4.5.2Google Chubby并發(fā)鎖
4.6Spark計(jì)算框架
4.6.1Spark簡(jiǎn)介
4.6.2Spark生態(tài)系統(tǒng)
4.7Flink計(jì)算框架
4.7.1Flink簡(jiǎn)介
4.7.2Flink中的調(diào)度簡(jiǎn)述
4.7.3Flink的生態(tài)圈
4.8本章小結(jié)
第5章NoSQL數(shù)據(jù)庫(kù)
5.1NoSQL數(shù)據(jù)庫(kù)概述
5.1.1NoSQL數(shù)據(jù)庫(kù)的4大分類
5.1.2數(shù)據(jù)庫(kù)系統(tǒng)CAP理論和BASE理論
5.1.3NoSQL的共同特征
5.2Hbase數(shù)據(jù)庫(kù)
5.2.1HBase簡(jiǎn)介
5.2.2HBase訪問接口
5.2.3HBase數(shù)據(jù)模型
5.2.4MapReduce on HBase
5.2.5HBase系統(tǒng)架構(gòu)
5.3本章小結(jié)
第6章機(jī)器學(xué)習(xí)
6.1機(jī)器學(xué)習(xí)概述
6.1.1機(jī)器學(xué)習(xí)分類
6.1.2機(jī)器學(xué)習(xí)發(fā)展歷程
6.2機(jī)器學(xué)習(xí)常用的算法
6.2.1回歸算法
6.2.2基于實(shí)例的算法
6.2.3正則化方法
6.2.4決策樹算法
6.2.5貝葉斯方法
6.2.6基于核的算法
6.2.7聚類算法
6.2.8關(guān)聯(lián)規(guī)則學(xué)習(xí)
6.2.9遺傳算法
6.2.10人工神經(jīng)網(wǎng)絡(luò)
6.2.11深度學(xué)習(xí)
6.2.12降低維度算法
6.2.13集成算法
6.3本章小結(jié)
第7章虛擬化
7.1虛擬化概述
7.1.1虛擬化發(fā)展歷史
7.1.2虛擬化技術(shù)的發(fā)展熱點(diǎn)和趨勢(shì)
7.1.3虛擬化技術(shù)的概念
7.2虛擬化的分類
7.2.1從實(shí)現(xiàn)的層次劃分
7.2.2從應(yīng)用的領(lǐng)域劃分
7.3應(yīng)用虛擬化
7.3.1應(yīng)用虛擬化的使用特點(diǎn)
7.3.2應(yīng)用虛擬化的優(yōu)勢(shì)
7.3.3應(yīng)用虛擬化要考慮的問題
7.4桌面虛擬化
7.4.1桌面虛擬化優(yōu)勢(shì)
7.4.2桌面虛擬化使用條件
7.5服務(wù)器虛擬化
7.5.1服務(wù)器虛擬化架構(gòu)
7.5.2CPU虛擬化
7.5.3內(nèi)存虛擬化
7.5.4I/O虛擬化
7.6網(wǎng)絡(luò)虛擬化
7.6.1傳統(tǒng)網(wǎng)絡(luò)虛擬化技術(shù)
7.6.2主機(jī)網(wǎng)絡(luò)虛擬化
7.6.3網(wǎng)絡(luò)設(shè)備虛擬化
7.7存儲(chǔ)虛擬化
7.7.1存儲(chǔ)虛擬化概述
7.7.2按照不同層次劃分存儲(chǔ)虛擬化
7.7.3按照實(shí)現(xiàn)方式不同劃分存儲(chǔ)虛擬化
7.8本章小結(jié)
第8章Docker容器
8.1Docker容器概述
8.1.1Docker容器的由來
8.1.2Docker定義
8.1.3Docker的優(yōu)勢(shì)
8.2Docker的原理
8.2.1Linux
Namespace(ns)
8.2.2Control
Groups(cgroups)
8.2.3Linux容器(LXC)
8.2.4AUFS
8.2.5Grsec
8.3Docker技術(shù)發(fā)展與應(yīng)用
8.3.1Docker解決的問題
8.3.2Docker的未來發(fā)展
8.3.3Docker技術(shù)的局限
8.4本章小結(jié)
第9章Web 2.0
9.1Web 2.0產(chǎn)生背景和定義
9.1.1Web 2.0產(chǎn)生背景
9.1.2Web 2.0的概念
9.1.3Web 2.0和Web 1.0比較
9.1.4Web 2.0特征
9.2Web 2.0應(yīng)用產(chǎn)品
9.2.1Web 2.0主要應(yīng)用產(chǎn)品
9.2.2主要產(chǎn)品的區(qū)別
9.3Web 2.0相關(guān)技術(shù)
9.3.1Web 2.0的設(shè)計(jì)模式
9.3.2Web標(biāo)準(zhǔn)
9.3.3向Web標(biāo)準(zhǔn)過渡
9.4本章小結(jié)
第10章綠色數(shù)據(jù)中心
10.1綠色數(shù)據(jù)中心概述
10.1.1云數(shù)據(jù)中心發(fā)展階段
10.1.2綠色數(shù)據(jù)中心架構(gòu)
10.1.3云數(shù)據(jù)中心需要整合的資源
10.2數(shù)據(jù)中心管理和維護(hù)
10.2.1實(shí)現(xiàn)端到端、大容量、可視化的基礎(chǔ)設(shè)施整合
10.2.2實(shí)現(xiàn)虛擬化、自動(dòng)化的管理
10.2.3實(shí)現(xiàn)面向業(yè)務(wù)的應(yīng)用管理和流量分析
10.3本章小結(jié)
第3篇云計(jì)算架構(gòu)
第11章基礎(chǔ)設(shè)施即服務(wù)
11.1IaaS概述
11.1.1IaaS的定義
11.1.2IaaS提供服務(wù)的方法
11.1.3IaaS云的特征
11.1.4IaaS和虛擬化的關(guān)系
11.2IaaS技術(shù)架構(gòu)
11.2.1資源層
11.2.2虛擬化層
11.2.3管理層
11.2.4服務(wù)層
11.3IaaS云計(jì)算管理
11.3.1自動(dòng)化部署
11.3.2彈性能力提供技術(shù)
11.3.3資源監(jiān)控
11.3.4資源調(diào)度
11.3.5業(yè)務(wù)管理和計(jì)費(fèi)度量
11.4Amazon云計(jì)算案例
11.4.1概述
11.4.2Amazon S3
11.4.3Amazon
Simple DB
11.4.4Amazon RDS
11.4.5Amazon SQS
11.4.6Amazon EC2
11.5本章小結(jié)
第12章平臺(tái)即服務(wù)
12.1PaaS概述
12.1.1PaaS的由來
12.1.2PaaS的概念
12.1.3PaaS模式的開發(fā)
12.1.4PaaS推進(jìn)SaaS時(shí)代
12.2PaaS架構(gòu)
12.2.1PaaS的功能
12.2.2多租戶彈性是PaaS的核心特性
12.2.3PaaS架構(gòu)的核心意義
12.2.4PaaS改變未來軟件開發(fā)和維護(hù)模式
12.3Google的云計(jì)算平臺(tái)
12.3.1設(shè)計(jì)理念
12.3.2構(gòu)成部分
12.3.3App Engine服務(wù)
12.4Windows Azure平臺(tái)
12.4.1Windows
Azure操作系統(tǒng)
12.4.2SQL Azure
12.4.3.NET服務(wù)
12.4.4Live服務(wù)
12.4.5Windows
Azure Platform的用途
12.5本章小結(jié)
第13章軟件即服務(wù)
13.1SaaS概述
13.1.1SaaS的由來
13.1.2SaaS的概念
13.1.3SaaS與傳統(tǒng)軟件的區(qū)別
13.1.4SaaS模式應(yīng)用于信息化優(yōu)勢(shì)
13.1.5SaaS成熟度模型
13.2模式及實(shí)現(xiàn)
13.2.1SaaS商務(wù)模式
13.2.2SaaS平臺(tái)架構(gòu)
13.2.3SaaS服務(wù)平臺(tái)的主要功能
13.2.4SaaS服務(wù)平臺(tái)關(guān)鍵技術(shù)
13.3Salesforce云計(jì)算案例
13.3.1Salesforce云計(jì)算產(chǎn)品組成
13.3.2Salesforce云計(jì)算特點(diǎn)
13.4本章小結(jié)
第14章容器即服務(wù)
14.1容器云服務(wù)
14.1.1云平臺(tái)架構(gòu)層次
14.1.2容器云
14.1.3容器云的特點(diǎn)
14.2Kubernetes應(yīng)用部署
14.2.1Kubernetes架構(gòu)
14.2.2Kubernetes模型
14.2.3內(nèi)部使用者的服務(wù)發(fā)現(xiàn)
14.2.4外部訪問Service
14.3Mesos應(yīng)用
14.3.1Mesos體系結(jié)構(gòu)和工作流
14.3.2Mesos流程
14.3.3Mesos資源分配
14.3.4Mesos優(yōu)勢(shì)
14.4基于Kubernetes打造SAE容器云
14.4.1Kubernetes 的好處
14.4.2容器云網(wǎng)絡(luò)
14.4.3容器云存儲(chǔ)
14.5基于Mesos去哪兒網(wǎng)容器云
14.5.1背景
14.5.2應(yīng)用Mesos構(gòu)建容器云
14.5.3云環(huán)境構(gòu)建
14.6本章小結(jié)
第4篇大數(shù)據(jù)云架構(gòu)實(shí)踐與編程
第15章大數(shù)據(jù)云架構(gòu)搭建
15.1分布式Hadoop與Spark集群搭建
15.1.1Hadoop集群構(gòu)建
15.1.2Spark集群構(gòu)建
15.2基于Docker大數(shù)據(jù)云架構(gòu)
15.2.1簡(jiǎn)介
15.2.2Docker和Weave搭建
15.2.3Hadoop集群鏡像搭建
15.2.4集群部署與啟動(dòng)
15.2.5基于Ambari管理平臺(tái)的鏡像搭建
15.2.6桌面系統(tǒng)XFCE搭建
15.3本章小結(jié)
第16章Spark大數(shù)據(jù)編程
16.1Spark應(yīng)用開發(fā)環(huán)境配置
16.1.1使用Intellij開發(fā)Spark程序
16.1.2使用Spark Shell開發(fā)運(yùn)行Spark程序
16.2Spark大數(shù)據(jù)編程
16.2.1WordCount
16.2.2股票趨勢(shì)預(yù)測(cè)
16.3本章小結(jié)
第5篇大數(shù)據(jù)安全
第17章大數(shù)據(jù)云計(jì)算面臨的安全威脅
17.1大數(shù)據(jù)云計(jì)算的安全問題
17.1.1大數(shù)據(jù)基礎(chǔ)設(shè)施安全威脅
17.1.2大數(shù)據(jù)存儲(chǔ)安全威脅
17.1.3大數(shù)據(jù)云架構(gòu)網(wǎng)絡(luò)安全威脅
17.1.4大數(shù)據(jù)帶來隱私問題
17.1.5針對(duì)大數(shù)據(jù)的高級(jí)持續(xù)性攻擊
17.1.6其他安全威脅
17.2不同領(lǐng)域大數(shù)據(jù)的安全需求
17.2.1因特網(wǎng)行業(yè)
17.2.2電信行業(yè)
17.2.3金融行業(yè)
17.2.4醫(yī)療行業(yè)
17.2.5政府組織
17.3大數(shù)據(jù)安全內(nèi)涵
17.3.1保障大數(shù)據(jù)安全
17.3.2大數(shù)據(jù)用于安全領(lǐng)域
17.4大數(shù)據(jù)安全研究方向
17.4.1大數(shù)據(jù)安全保障技術(shù)
17.4.2大數(shù)據(jù)安全應(yīng)用技術(shù)
17.5本章小結(jié)
第18章保障大數(shù)據(jù)安全
18.1大數(shù)據(jù)安全的關(guān)鍵技術(shù)
18.1.1非關(guān)系數(shù)據(jù)庫(kù)安全策略
18.1.2防范APT攻擊
18.2大數(shù)據(jù)安全保障實(shí)踐
18.2.1大數(shù)據(jù)采集與存儲(chǔ)的安全防護(hù)
18.2.2大數(shù)據(jù)挖掘與應(yīng)用的安全防護(hù)
18.2.3大數(shù)據(jù)安全審計(jì)
18.2.4大數(shù)據(jù)安全評(píng)估與安全管理
18.2.5數(shù)據(jù)中心的安全保障
18.3本章小結(jié)
第19章應(yīng)用大數(shù)據(jù)保障安全
19.1大數(shù)據(jù)安全檢測(cè)及應(yīng)用
19.1.1安全檢測(cè)與大數(shù)據(jù)的融合
19.1.2用戶上網(wǎng)流量數(shù)據(jù)的挖掘與分析
19.2安全大數(shù)據(jù)
19.2.1數(shù)據(jù)挖掘方法
19.2.2挖掘目標(biāo)及評(píng)估
19.3基于大數(shù)據(jù)的網(wǎng)絡(luò)態(tài)勢(shì)感知
19.3.1態(tài)勢(shì)感知定義
19.3.2網(wǎng)絡(luò)態(tài)勢(shì)感知
19.3.3基于流量數(shù)據(jù)的網(wǎng)絡(luò)安全感知
19.3.4基于大數(shù)據(jù)分析的網(wǎng)絡(luò)優(yōu)化
19.3.5網(wǎng)絡(luò)安全感知應(yīng)用實(shí)踐
19.4視頻監(jiān)控?cái)?shù)據(jù)的安全應(yīng)用
19.4.1視頻監(jiān)控?cái)?shù)據(jù)的處理需求
19.4.2視頻監(jiān)控?cái)?shù)據(jù)挖掘技術(shù)
19.4.3海量視頻監(jiān)控?cái)?shù)據(jù)的分析與處理
19.5本章小結(jié)
參考文獻(xiàn)