這是一個大數(shù)據(jù)爆發(fā)的時代。面對信息的激流、多元化數(shù)據(jù)的涌現(xiàn),大數(shù)據(jù)為個人生活、企業(yè)經(jīng)營,甚至國家與社會的發(fā)展帶來了機遇和挑戰(zhàn),大數(shù)據(jù)已經(jīng)成為IT信息產(chǎn)業(yè)中具潛力的藍海。
“大數(shù)據(jù)導論”是一門理論性和實踐性都很強的課程。本書是為高等職業(yè)院校相關(guān)專業(yè)“大數(shù)據(jù)導論”課程全新設計編寫的,具有豐富的實踐特色。針對高等職業(yè)院校學生的發(fā)展需求,本書分8個項目,系統(tǒng)、全面地介紹了關(guān)于大數(shù)據(jù)技術(shù)與應用的基本知識和技能,詳細介紹了大數(shù)據(jù)與大數(shù)據(jù)時代、大數(shù)據(jù)時代思維變革、大數(shù)據(jù)促進行業(yè)發(fā)展、大數(shù)據(jù)方法的驅(qū)動力、大數(shù)據(jù)存儲技術(shù)、大數(shù)據(jù)處理技術(shù)、大數(shù)據(jù)分析技術(shù)、大數(shù)據(jù)在云端等內(nèi)容,具有較強的系統(tǒng)性、可讀性和實用性。
大數(shù)據(jù)(Big Data)的力量,正在積極地影響著人們社會生活的方方面面,它沖擊著許多主要行業(yè),包括零售業(yè)、電子商務和金融服務業(yè)等,同時也正在徹底地改變?nèi)藗兊膶W習和日常生活,比如改變?nèi)藗兊慕逃绞、生活方式、工作方式,甚至是人們尋找愛情的方式。如今,通過簡單、易用的移動應用和基于云端的數(shù)據(jù)服務,人們能夠追蹤自己的行為以及飲食習慣,還能提升個人的健康狀況。因此,我們有必要真正理解大數(shù)據(jù)這個極其重要的議題。
中國是大數(shù)據(jù)大的潛在市場之一。據(jù)估計,中國有近6億網(wǎng)民,這就意味著中國的企業(yè)擁有絕佳的機會來更好地了解其客戶并提供更個性化的服務,同時,為企業(yè)增加收入并提高利潤。阿里巴巴就是一個很好的例子。阿里巴巴不但在其商業(yè)模式上具有顛覆性,而且還掌握了與購買行為、產(chǎn)品需求和庫存供應相關(guān)的海量數(shù)據(jù)。除了阿里巴巴高層的領導能力之外,大數(shù)據(jù)必然是其成功的一個關(guān)鍵因素。
然而,僅有數(shù)據(jù)是不夠的。對于身處大數(shù)據(jù)時代的企業(yè)而言,成功的關(guān)鍵還在于找出大數(shù)據(jù)所隱含的真知灼見。“以前,人們總說信息就是力量,但如今,對數(shù)據(jù)進行分析、利用和挖掘才是力量之所在!
很多年前,人們就開始對數(shù)據(jù)進行利用。例如:航空公司利用數(shù)據(jù)為機票定價,銀行利用數(shù)據(jù)搞清楚貸款對象,信用卡公司則利用數(shù)據(jù)偵破信用卡詐騙等。但是直到近,數(shù)據(jù),或者用現(xiàn)今的說法就是大數(shù)據(jù),才真正成為人們?nèi)粘I畹囊徊糠。隨著臉書(Facebook)、谷歌(Google)、推特(Twitter)以及QQ、微信、淘寶等的出現(xiàn),大數(shù)據(jù)游戲被改變了。你和我,或者任何一個享受這些服務的用戶都生成了一條數(shù)據(jù)足跡,它能夠反映出我們的行為。每次我們進行搜索,例如查找某個人或者訪問某個網(wǎng)站,都加深了這條足跡;ヂ(lián)網(wǎng)企業(yè)開始創(chuàng)建新技術(shù)來存儲、分析激增的數(shù)據(jù)——結(jié)果就迎來了“大數(shù)據(jù)”的創(chuàng)新爆炸。
進入2012年以來,由于互聯(lián)網(wǎng)和信息行業(yè)的快速發(fā)展,大數(shù)據(jù)越來越引起人們的關(guān)注,已經(jīng)引發(fā)自云計算、互聯(lián)網(wǎng)之后IT行業(yè)的又一大顛覆性的技術(shù)革命。人們用大數(shù)據(jù)來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù),并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。云計算主要為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道,而數(shù)據(jù)才是真正有價值的資產(chǎn)。企業(yè)內(nèi)部的經(jīng)營信息、互聯(lián)網(wǎng)世界中的商品物流信息,人與人之間的交互信息、位置信息等,其數(shù)量將遠遠超越現(xiàn)有企業(yè)IT架構(gòu)和基礎設施的承載能力,實時性要求也將大大超越現(xiàn)有的計算能力。如何盤活這些數(shù)據(jù)資產(chǎn),使其為國家治理、企業(yè)決策乃至個人生活服務,是大數(shù)據(jù)的核心議題,也是云計算內(nèi)在的靈魂和必然的升級方向。
對于在校大學生來說,大數(shù)據(jù)的理念、技術(shù)與應用是一門理論性和實踐性都很強的必修課程。在長期的教學實踐中,我們體會到,堅持因材施教的重要原則,把實踐環(huán)節(jié)與理論教學相融合,抓實踐教學促進理論知識的學習,是有效地改善教學效果和提高教學水平的重要方法之一。本書的主要特色是:理論聯(lián)系實際,結(jié)合一系列大數(shù)據(jù)理念、技術(shù)與應用的學習,以及實踐活動,把大數(shù)據(jù)的相關(guān)概念、基礎知識和技術(shù)技巧融入在實踐當中,使學生保持濃厚的學習熱情,加深對大數(shù)據(jù)技術(shù)的興趣,在認識的基礎上達到理解和掌握的目標。
本書為高等職業(yè)院校相關(guān)專業(yè)“大數(shù)據(jù)導論”相關(guān)課程而編寫,具有豐富的實踐特色,也可供有一定實踐經(jīng)驗的IT應用人員、管理人員參考,亦可作為繼續(xù)教育的教材。
本書系統(tǒng)、全面地介紹了大數(shù)據(jù)的基本知識和應用技能,詳細介紹了大數(shù)據(jù)與大數(shù)據(jù)時代、大數(shù)據(jù)時代思維變革、大數(shù)據(jù)促進行業(yè)發(fā)展、大數(shù)據(jù)方法的驅(qū)動力、大數(shù)據(jù)存儲技術(shù)、大數(shù)據(jù)處理技術(shù)、大數(shù)據(jù)分析技術(shù)、大數(shù)據(jù)在云端等內(nèi)容,具有較強的系統(tǒng)性、可讀性和實用性。
結(jié)合課堂教學方法改革的要求,全書設計了課程教學過程,教學內(nèi)容按“項目-任務”模式安排,為每個任務都針對性地安排了導讀案例、任務描述、知識準備、作業(yè)和實訓操作等環(huán)節(jié),要求和指導學生在課前閱讀導讀案例和在課后完成相應的作業(yè),在網(wǎng)絡搜索瀏覽的基礎上,延伸閱讀,深入理解課程知識內(nèi)涵。
雖然已經(jīng)進入電子時代,但我們?nèi)匀唤吡Τ珜ёx書。為每個任務設計的作業(yè)(四選一標準選擇題)其實并不難,學生只要認真閱讀知識準備,所有題目都能準確回答。在書的附錄部分列舉了部分習題與實訓的參考答案,供閱讀者對比思考。
對于本書各項目-任務的實訓操作,建議可以讓學生自由組織(頭腦風暴)學習小組,以小組討論和個人相結(jié)合的形式積極參與,努力完成實訓任務。
本課程的教學進度設計見《課程教學進度表》,該表可作為教師授課參考和學生課程學習的概要。實際執(zhí)行時,應按照教學大綱編排的教學進度和校歷中關(guān)于本學期節(jié)假日的安排,實際確定本課程的教學進度。本課程的教學評測可以從下面幾個方面入手:
(1)每個項目中任務的導讀案例(18項)。
(2)每個項目中任務的作業(yè)(緊密結(jié)合課文教學內(nèi)容的標準選擇題)。
(3)每個項目中任務的課后“實訓操作”(18項)。
(4)課程學習與實訓總結(jié)(任務8.2)。
(5)結(jié)合平時考勤。
(6)任課老師認為必要的其他考核方法。
與本書配套的教學PPT課件等文檔可從中國鐵道出版社網(wǎng)站 (http:∥www.tdpress.com/51eds/) 的下載區(qū)下載,歡迎教師與作者交流并索取為本書教學配套的相關(guān)資料并交流。郵箱:zhousu@qq.com;QQ:81505050;個人博客:http://blog.sina.com.cn/zhousu58。
本書編寫得到浙江安防職業(yè)技術(shù)學院2018年度教材建設項目的支持,也得到了浙江安防職業(yè)技術(shù)學院、浙江商業(yè)職業(yè)技術(shù)學院、溫州商學院、浙江大學城市學院等多所院校師生的支持,張麗娜、吳賢平、涂嘉慶、匡泰、汪嬋嬋、王文等參與了本書的部分編寫工作,在此一并表示感謝!
編者 2018年8月大數(shù)據(jù)(Big Data)的力量,正在積極地影響著人們社會生活的方方面面,它沖擊著許多主要行業(yè),包括零售業(yè)、電子商務和金融服務業(yè)等,同時也正在徹底地改變?nèi)藗兊膶W習和日常生活,比如改變?nèi)藗兊慕逃绞健⑸罘绞、工作方式,甚至是人們尋找愛情的方式。如今,通過簡單、易用的移動應用和基于云端的數(shù)據(jù)服務,人們能夠追蹤自己的行為以及飲食習慣,還能提升個人的健康狀況。因此,我們有必要真正理解大數(shù)據(jù)這個極其重要的議題。
中國是大數(shù)據(jù)大的潛在市場之一。據(jù)估計,中國有近6億網(wǎng)民,這就意味著中國的企業(yè)擁有絕佳的機會來更好地了解其客戶并提供更個性化的服務,同時,為企業(yè)增加收入并提高利潤。阿里巴巴就是一個很好的例子。阿里巴巴不但在其商業(yè)模式上具有顛覆性,而且還掌握了與購買行為、產(chǎn)品需求和庫存供應相關(guān)的海量數(shù)據(jù)。除了阿里巴巴高層的領導能力之外,大數(shù)據(jù)必然是其成功的一個關(guān)鍵因素。
然而,僅有數(shù)據(jù)是不夠的。對于身處大數(shù)據(jù)時代的企業(yè)而言,成功的關(guān)鍵還在于找出大數(shù)據(jù)所隱含的真知灼見!耙郧,人們總說信息就是力量,但如今,對數(shù)據(jù)進行分析、利用和挖掘才是力量之所在。”
很多年前,人們就開始對數(shù)據(jù)進行利用。例如:航空公司利用數(shù)據(jù)為機票定價,銀行利用數(shù)據(jù)搞清楚貸款對象,信用卡公司則利用數(shù)據(jù)偵破信用卡詐騙等。但是直到近,數(shù)據(jù),或者用現(xiàn)今的說法就是大數(shù)據(jù),才真正成為人們?nèi)粘I畹囊徊糠。隨著臉書(Facebook)、谷歌(Google)、推特(Twitter)以及QQ、微信、淘寶等的出現(xiàn),大數(shù)據(jù)游戲被改變了。你和我,或者任何一個享受這些服務的用戶都生成了一條數(shù)據(jù)足跡,它能夠反映出我們的行為。每次我們進行搜索,例如查找某個人或者訪問某個網(wǎng)站,都加深了這條足跡;ヂ(lián)網(wǎng)企業(yè)開始創(chuàng)建新技術(shù)來存儲、分析激增的數(shù)據(jù)——結(jié)果就迎來了“大數(shù)據(jù)”的創(chuàng)新爆炸。
進入2012年以來,由于互聯(lián)網(wǎng)和信息行業(yè)的快速發(fā)展,大數(shù)據(jù)越來越引起人們的關(guān)注,已經(jīng)引發(fā)自云計算、互聯(lián)網(wǎng)之后IT行業(yè)的又一大顛覆性的技術(shù)革命。人們用大數(shù)據(jù)來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù),并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。云計算主要為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道,而數(shù)據(jù)才是真正有價值的資產(chǎn)。企業(yè)內(nèi)部的經(jīng)營信息、互聯(lián)網(wǎng)世界中的商品物流信息,人與人之間的交互信息、位置信息等,其數(shù)量將遠遠超越現(xiàn)有企業(yè)IT架構(gòu)和基礎設施的承載能力,實時性要求也將大大超越現(xiàn)有的計算能力。如何盤活這些數(shù)據(jù)資產(chǎn),使其為國家治理、企業(yè)決策乃至個人生活服務,是大數(shù)據(jù)的核心議題,也是云計算內(nèi)在的靈魂和必然的升級方向。
對于在校大學生來說,大數(shù)據(jù)的理念、技術(shù)與應用是一門理論性和實踐性都很強的必修課程。在長期的教學實踐中,我們體會到,堅持因材施教的重要原則,把實踐環(huán)節(jié)與理論教學相融合,抓實踐教學促進理論知識的學習,是有效地改善教學效果和提高教學水平的重要方法之一。本書的主要特色是:理論聯(lián)系實際,結(jié)合一系列大數(shù)據(jù)理念、技術(shù)與應用的學習,以及實踐活動,把大數(shù)據(jù)的相關(guān)概念、基礎知識和技術(shù)技巧融入在實踐當中,使學生保持濃厚的學習熱情,加深對大數(shù)據(jù)技術(shù)的興趣,在認識的基礎上達到理解和掌握的目標。
本書為高等職業(yè)院校相關(guān)專業(yè)“大數(shù)據(jù)導論”相關(guān)課程而編寫,具有豐富的實踐特色,也可供有一定實踐經(jīng)驗的IT應用人員、管理人員參考,亦可作為繼續(xù)教育的教材。
本書系統(tǒng)、全面地介紹了大數(shù)據(jù)的基本知識和應用技能,詳細介紹了大數(shù)據(jù)與大數(shù)據(jù)時代、大數(shù)據(jù)時代思維變革、大數(shù)據(jù)促進行業(yè)發(fā)展、大數(shù)據(jù)方法的驅(qū)動力、大數(shù)據(jù)存儲技術(shù)、大數(shù)據(jù)處理技術(shù)、大數(shù)據(jù)分析技術(shù)、大數(shù)據(jù)在云端等內(nèi)容,具有較強的系統(tǒng)性、可讀性和實用性。
結(jié)合課堂教學方法改革的要求,全書設計了課程教學過程,教學內(nèi)容按“項目-任務”模式安排,為每個任務都針對性地安排了導讀案例、任務描述、知識準備、作業(yè)和實訓操作等環(huán)節(jié),要求和指導學生在課前閱讀導讀案例和在課后完成相應的作業(yè),在網(wǎng)絡搜索瀏覽的基礎上,延伸閱讀,深入理解課程知識內(nèi)涵。
雖然已經(jīng)進入電子時代,但我們?nèi)匀唤吡Τ珜ёx書。為每個任務設計的作業(yè)(四選一標準選擇題)其實并不難,學生只要認真閱讀知識準備,所有題目都能準確回答。在書的附錄部分列舉了部分習題與實訓的參考答案,供閱讀者對比思考。
對于本書各項目-任務的實訓操作,建議可以讓學生自由組織(頭腦風暴)學習小組,以小組討論和個人相結(jié)合的形式積極參與,努力完成實訓任務。
本課程的教學進度設計見《課程教學進度表》,該表可作為教師授課參考和學生課程學習的概要。實際執(zhí)行時,應按照教學大綱編排的教學進度和校歷中關(guān)于本學期節(jié)假日的安排,實際確定本課程的教學進度。本課程的教學評測可以從下面幾個方面入手:
(1)每個項目中任務的導讀案例(18項)。
(2)每個項目中任務的作業(yè)(緊密結(jié)合課文教學內(nèi)容的標準選擇題)。
(3)每個項目中任務的課后“實訓操作”(18項)。
(4)課程學習與實訓總結(jié)(任務8.2)。
(5)結(jié)合平時考勤。
(6)任課老師認為必要的其他考核方法。
與本書配套的教學PPT課件等文檔可從中國鐵道出版社網(wǎng)站 (http:∥www.tdpress.com/51eds/) 的下載區(qū)下載,歡迎教師與作者交流并索取為本書教學配套的相關(guān)資料并交流。郵箱:zhousu@qq.com;QQ:81505050;個人博客:http://blog.sina.com.cn/zhousu58。
本書編寫得到浙江安防職業(yè)技術(shù)學院2018年度教材建設項目的支持,也得到了浙江安防職業(yè)技術(shù)學院、浙江商業(yè)職業(yè)技術(shù)學院、溫州商學院、浙江大學城市學院等多所院校師生的支持,張麗娜、吳賢平、涂嘉慶、匡泰、汪嬋嬋、王文等參與了本書的部分編寫工作,在此一并表示感謝!
編者 2018年8月
1.戴海東,浙江安防職業(yè)技術(shù)學院院長
2.周蘇,1982年華東水利學院計算機應用專業(yè)本科畢業(yè),1986年由水電部研究所調(diào)入杭州大學計算機系任教,1991年破格晉升副教授,1999年調(diào)入浙江大學城市學院計算機系任教,2005年晉升教授。在杭州大學、浙江大學、浙江大學城市學院、浙江工業(yè)大學之江學院、溫州大學城市學院、嘉興學院南湖學院、溫州職業(yè)技術(shù)學院等多所院校專/兼職任教,教學經(jīng)驗豐富。 長期從事計算機等專業(yè)教學工作,擔任計算機基礎、計算機導論、軟件工程、軟件測試技術(shù)、軟件體系結(jié)構(gòu)、電子商務概論、移動商務、多媒體技術(shù)、項目管理、管理信息系統(tǒng)、應用統(tǒng)計學、C語言程序設計、面向?qū)ο蟪绦蛟O計、網(wǎng)絡傳播技術(shù)、網(wǎng)絡生態(tài)學、人機交互技術(shù)、藝術(shù)設計概論、藝術(shù)欣賞概論、計算機平面設計、信息管理與信息系統(tǒng)概論、信息資源管理、辦公軟件高級應用、IT應用文寫作等課程的教學,對計算機學科教學以及應用型院校教學有深刻理解。
項目1大數(shù)據(jù)與大數(shù)據(jù)時代1
任務1.1進入大數(shù)據(jù)時代1
【導讀案例】 準確預測地震1
【任務描述】2
【知識準備】 進入大數(shù)據(jù)時代3
1.1.1天文學——信息爆炸的起源3
1.1.2大數(shù)據(jù)的發(fā)展7
1.1.3重新認識數(shù)據(jù)9
1.1.4數(shù)據(jù)集與數(shù)據(jù)分析10
【作業(yè)】14
【實訓操作】15
任務1.2熟悉大數(shù)據(jù)的定義19
【導讀案例】 得數(shù)據(jù)者得天下19
【任務描述】21
【知識準備】 定義大數(shù)據(jù)21
1.2.1大數(shù)據(jù)的定義21
1.2.2大數(shù)據(jù)的3V和5V特征22
1.2.3廣義的大數(shù)據(jù)24
1.2.4大數(shù)據(jù)的結(jié)構(gòu)類型25
【作業(yè)】26
【實訓操作】27
項目2大數(shù)據(jù)時代思維變革31
任務2.1理解思維轉(zhuǎn)變之一:樣本=總體31
【導讀案例】 亞馬遜推薦系統(tǒng)31
【任務描述】33
【知識準備】 分析更多數(shù)據(jù)而不再是只依賴于隨機采樣33
2.1.1小數(shù)據(jù)時代的隨機采樣34
2.1.2大數(shù)據(jù)與喬布斯的癌癥治療37
2.1.3全數(shù)據(jù)模式:樣本=總體38
【作業(yè)】39
【實訓操作】40
任務2.2理解思維轉(zhuǎn)變之二:接受數(shù)據(jù)的混雜性42
【導讀案例】 數(shù)據(jù)驅(qū)動≠大數(shù)據(jù)42
【任務描述】44
【知識準備】 不再熱衷于追求精確度44
2.2.1允許不精確45
2.2.2大數(shù)據(jù)的簡單算法與小數(shù)據(jù)的復雜算法47
2.2.3紛繁的數(shù)據(jù)越多越好48
2.2.4混雜性是標準途徑49
2.2.5新的數(shù)據(jù)庫設計50
2.2.6 5%的數(shù)字數(shù)據(jù)與95%的非結(jié)構(gòu)化數(shù)據(jù)51
【作業(yè)】52
【實訓操作】54
任務2.3理解思維轉(zhuǎn)變之三:數(shù)據(jù)的相關(guān)關(guān)系55
【導讀案例】 美國百億美元望遠鏡主鏡安裝完畢55
【任務描述】58
【知識準備】 不再熱衷于尋找因果關(guān)系58
2.3.1關(guān)聯(lián)物,預測的關(guān)鍵58
2.3.2“是什么”,而不是“為什么”61
2.3.3通過因果關(guān)系了解世界62
2.3.4通過相關(guān)關(guān)系了解世界63
【作業(yè)】64
【實訓操作】65
項目3大數(shù)據(jù)促進行業(yè)發(fā)展67
任務3.1理解大數(shù)據(jù)促進醫(yī)療與健康67
【導讀案例】 大數(shù)據(jù)變革公共衛(wèi)生67
【任務描述】69
【知識準備】 大數(shù)據(jù)促進醫(yī)療與健康69
3.1.1大數(shù)據(jù)促進循證醫(yī)學發(fā)展69
3.1.2大數(shù)據(jù)帶來醫(yī)療保健新突破71
3.1.3醫(yī)療信息數(shù)字化76
3.1.4超級大數(shù)據(jù)的佳伙伴——搜索78
3.1.5數(shù)據(jù)決策的成功崛起79
【作業(yè)】82
【實訓操作】83
任務3.2理解大數(shù)據(jù)激發(fā)創(chuàng)造力84
【導讀案例】 臉書的設計決策84
【任務描述】86
【知識準備】 大數(shù)據(jù)激發(fā)創(chuàng)造力87
3.2.1大數(shù)據(jù)幫助改善設計87
3.2.2大數(shù)據(jù)操作回路90
3.2.3大數(shù)據(jù)資產(chǎn)的崛起92
【作業(yè)】93
【實訓操作】95
項目4大數(shù)據(jù)方法的驅(qū)動力96
任務4.1理解采用大數(shù)據(jù)的商業(yè)動機96
【導讀案例】 大數(shù)據(jù)企業(yè)的縮影——谷歌(Google)96
【任務描述】97
【知識準備】 將數(shù)據(jù)變成競爭優(yōu)勢98
4.1.1大數(shù)據(jù)的跨界年度98
4.1.2谷歌的大數(shù)據(jù)行動99
4.1.3亞馬遜的大數(shù)據(jù)行動100
4.1.4將信息變成一種競爭優(yōu)勢102
4.1.5市場動態(tài)105
4.1.6業(yè)務架構(gòu)106
4.1.7業(yè)務流程管理108
【作業(yè)】109
【實訓操作】110
任務4.2理解大數(shù)據(jù)規(guī)劃考慮111
【導讀案例】 Google搜索算法告訴你,如何將一個人變成傻瓜111
【任務描述】112
【知識準備】 大數(shù)據(jù)的規(guī)劃考慮112
4.2.1信息與通信技術(shù)113
4.2.2萬物互聯(lián)網(wǎng)114
4.2.3數(shù)據(jù)獲取與數(shù)據(jù)來源114
4.2.4不同的性能挑戰(zhàn)116
4.2.5不同的管理需求116
【作業(yè)】117
【實訓操作】118
任務4.3熟悉大數(shù)據(jù)商務智能120
【導讀案例】 微信支付新廣告,講了一個支付之外的故事120
【任務描述】123
【知識準備】 熟悉大數(shù)據(jù)商務智能123
4.3.1 OLTP與OLAP123
4.3.2抽取、轉(zhuǎn)換和加載技術(shù)124
4.3.3數(shù)據(jù)倉庫與數(shù)據(jù)集市124
4.3.4傳統(tǒng)商務智能125
4.3.5大數(shù)據(jù)商務智能125
4.3.6大數(shù)據(jù)營銷126
【作業(yè)】132
【實訓操作】133
項目5大數(shù)據(jù)存儲技術(shù)136
任務5.1熟悉大數(shù)據(jù)存儲概念136
【導讀案例】 2018未來交通峰會召開,高德地圖升級易行平臺136
【任務描述】139
【知識準備】 大數(shù)據(jù)存儲的主要概念139
5.1.1數(shù)據(jù)清理139
5.1.2集群139
5.1.3文件系統(tǒng)和分布式文件系統(tǒng)140
5.1.4分片與復制143
5.1.5 CAP定理149
5.1.6 ACID設計原則150
5.1.7 BASE設計原理153
【作業(yè)】155
【實訓操作】157
任務5.2了解大數(shù)據(jù)存儲技術(shù)159
【導讀案例】 基礎領域突破非一日之功,是數(shù)十年耕耘159
【任務描述】162
【知識準備】 大數(shù)據(jù)存儲的核心技術(shù)162
5.2.1 RDBMS數(shù)據(jù)庫163
5.2.2 NoSQL數(shù)據(jù)