尊敬的讀者，在當(dāng)今大數(shù)據(jù)時(shí)代，數(shù)據(jù)已成為企業(yè)發(fā)展和競(jìng)爭(zhēng)的重要資源之一。然而，由于數(shù)據(jù)來(lái)源復(fù)雜、數(shù)據(jù)量龐大、數(shù)據(jù)類型多樣等因素，企業(yè)往往難以有效地利用這些數(shù)據(jù)來(lái)支持業(yè)務(wù)決策和創(chuàng)新發(fā)展。
現(xiàn)如今，解決數(shù)據(jù)問(wèn)題的方案有很多，如數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖等。各種技術(shù)架構(gòu)也層出不窮。同時(shí)隨著云計(jì)算的普及，以上架構(gòu)也分為云集群和本地集群，這兩種方案的人力成本和物力成本千差萬(wàn)別。在如此繁多且復(fù)雜的架構(gòu)中，如何選出適合自身業(yè)務(wù)的一款是重中之重。本書(shū)也會(huì)對(duì)不同的架構(gòu)進(jìn)行詳細(xì)介紹，并給出具體場(chǎng)景以供參考。
數(shù)據(jù)倉(cāng)庫(kù)是解決這一矛盾的有效手段之一。它將分散的數(shù)據(jù)集成、整合，提供一致的數(shù)據(jù)視圖和查詢接口，幫助企業(yè)更好地理解自己的業(yè)務(wù)情況和市場(chǎng)趨勢(shì)，從而做出更明智的決策。
本書(shū)旨在介紹數(shù)據(jù)倉(cāng)庫(kù)的基本概念、架構(gòu)設(shè)計(jì)、實(shí)施方法和應(yīng)用案例，全面闡述數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)過(guò)程和管理方法。具體來(lái)講，書(shū)中包含以下14章。
第1章： 認(rèn)識(shí)數(shù)據(jù)倉(cāng)庫(kù)，介紹數(shù)據(jù)倉(cāng)庫(kù)的基本定義、歷史背景和發(fā)展趨勢(shì)，幫助讀者深入了解數(shù)據(jù)倉(cāng)庫(kù)的意義和作用。
第2章： 數(shù)據(jù)倉(cāng)庫(kù)模型建設(shè)，介紹數(shù)據(jù)倉(cāng)庫(kù)的模型結(jié)構(gòu)、維度建模方法和設(shè)計(jì)原則，幫助讀者理解數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型和關(guān)系結(jié)構(gòu)。
第3章： 元數(shù)據(jù)，介紹元數(shù)據(jù)的定義、分類、建模和管理方法，幫助讀者全面掌握元數(shù)據(jù)管理的重要性和實(shí)現(xiàn)方法。
第4章： 數(shù)據(jù)指標(biāo)體系，介紹數(shù)據(jù)指標(biāo)的概念、分類、設(shè)計(jì)和應(yīng)用方法，幫助讀者了解數(shù)據(jù)指標(biāo)的本質(zhì)和作用。
第5章： 數(shù)據(jù)質(zhì)量，介紹數(shù)據(jù)質(zhì)量的定義、評(píng)估、提升和監(jiān)控方法，幫助讀者掌握數(shù)據(jù)質(zhì)量管理的技術(shù)和實(shí)踐。
第6章： 數(shù)據(jù)安全，介紹數(shù)據(jù)安全的定義、威脅、保障和監(jiān)管方法，幫助讀者理解數(shù)據(jù)安全的重要性和保護(hù)方法。
第7章： 數(shù)據(jù)治理，介紹數(shù)據(jù)治理的定義、框架、流程和實(shí)施方法，幫助讀者理解數(shù)據(jù)治理的目標(biāo)和實(shí)踐。
第8章： 實(shí)時(shí)技術(shù)，介紹實(shí)時(shí)計(jì)算技術(shù)的原理、架構(gòu)和實(shí)現(xiàn)方法，幫助讀者掌握實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和實(shí)現(xiàn)方法。
第9章： 數(shù)據(jù)資產(chǎn)，介紹數(shù)據(jù)資產(chǎn)的定義、價(jià)值、管理和利用方法，幫助讀者充分發(fā)揮數(shù)據(jù)資產(chǎn)的價(jià)值和效能。
第10章： 數(shù)據(jù)服務(wù)，介紹數(shù)據(jù)服務(wù)的概念、分類、架構(gòu)和實(shí)現(xiàn)方法，幫助讀者了解數(shù)據(jù)服務(wù)的本質(zhì)和應(yīng)用方法。
第11章： 數(shù)據(jù)應(yīng)用，介紹數(shù)據(jù)應(yīng)用的概念、類型、開(kāi)發(fā)和部署方法，幫助讀者掌握數(shù)據(jù)應(yīng)用的設(shè)計(jì)和實(shí)現(xiàn)技術(shù)。
第12章： 評(píng)價(jià)數(shù)據(jù)倉(cāng)庫(kù)的好壞，介紹數(shù)據(jù)倉(cāng)庫(kù)在建設(shè)后的評(píng)價(jià)體系，以及評(píng)價(jià)標(biāo)準(zhǔn)，幫助讀者了解數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過(guò)程的缺陷。
第13章： 數(shù)據(jù)價(jià)值，介紹數(shù)據(jù)對(duì)業(yè)務(wù)側(cè)提供數(shù)據(jù)支撐帶來(lái)的價(jià)值收益評(píng)估，幫助讀者量化數(shù)據(jù)帶來(lái)的影響。
第14章： AIGC對(duì)數(shù)據(jù)發(fā)展的影響，介紹數(shù)據(jù)與人工智能結(jié)合實(shí)現(xiàn)業(yè)務(wù)提效所帶來(lái)的業(yè)務(wù)發(fā)展，幫助讀者了解當(dāng)前最新數(shù)據(jù)產(chǎn)品框架。
資源下載提示
素材(源碼)等資源： 掃描目錄上方的二維碼下載。
本書(shū)旨在為廣大讀者提供全面、系統(tǒng)、實(shí)用的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)參考和指導(dǎo)。無(wú)論是從事數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)和管理的專業(yè)人士，還是具備基本數(shù)據(jù)庫(kù)知識(shí)的技術(shù)愛(ài)好者都能夠從本書(shū)中找到適合自己的學(xué)習(xí)和實(shí)踐路徑，助力企業(yè)走向數(shù)據(jù)驅(qū)動(dòng)的未來(lái)。希望本書(shū)能夠?yàn)槟峁┯幸娴膸椭蛦⑹尽?/p>
筆者
2025年1月
本書(shū)源碼
基礎(chǔ)篇
第1章認(rèn)識(shí)數(shù)據(jù)倉(cāng)庫(kù)00
1.1大數(shù)據(jù)在如今社會(huì)中的運(yùn)用00
1.2大數(shù)據(jù)相關(guān)崗位介紹00
1.2.1數(shù)據(jù)倉(cāng)庫(kù)崗位介紹00
1.2.2數(shù)據(jù)平臺(tái)崗位介紹00
1.2.3數(shù)據(jù)分析崗位介紹00
1.2.4數(shù)據(jù)產(chǎn)品崗位介紹00
1.2.5數(shù)據(jù)挖掘崗位介紹00
1.3大數(shù)據(jù)在企業(yè)中的組織架構(gòu)00
1.3.1數(shù)據(jù)中臺(tái)00
1.3.2業(yè)務(wù)線數(shù)據(jù)00
1.4數(shù)據(jù)倉(cāng)庫(kù)崗在大數(shù)據(jù)生態(tài)中的定位00
1.4.1數(shù)據(jù)倉(cāng)庫(kù)概念00
1.4.2數(shù)據(jù)倉(cāng)庫(kù)定位00
1.5數(shù)據(jù)倉(cāng)庫(kù)發(fā)展史00
1.5.1數(shù)倉(cāng)1.0傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)時(shí)代00
1.5.2數(shù)倉(cāng)2.0 Hadoop生態(tài)時(shí)代00
1.5.3數(shù)倉(cāng)3.0云端及數(shù)據(jù)平臺(tái)時(shí)代00
1.5.4數(shù)倉(cāng)4.0湖倉(cāng)一體時(shí)代00
1.6數(shù)據(jù)倉(cāng)庫(kù)建設(shè)內(nèi)容簡(jiǎn)介00
1.6.1數(shù)據(jù)倉(cāng)庫(kù)建設(shè)版圖0
1.6.2數(shù)據(jù)基建簡(jiǎn)介0
1.6.3數(shù)據(jù)資產(chǎn)簡(jiǎn)介0
1.6.4數(shù)據(jù)服務(wù)簡(jiǎn)介 0
1.6.5數(shù)據(jù)應(yīng)用簡(jiǎn)介0
1.7數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)介紹0
1.7.1Lambda架構(gòu)0
1.7.2HSAP架構(gòu)0
1.7.3流批一體架構(gòu)0
1.7.4Doris架構(gòu)0
1.8數(shù)據(jù)倉(cāng)庫(kù)所使用的技術(shù)棧0
第2章數(shù)據(jù)倉(cāng)庫(kù)模型建設(shè)0
2.1OLTP與OLAP0
2.1.1什么是OLTP0
2.1.2什么是OLAP0
2.1.3OLTP與OLAP的區(qū)別0
2.2數(shù)據(jù)倉(cāng)庫(kù)分層0
2.2.1數(shù)據(jù)倉(cāng)庫(kù)分層原理0
2.2.2數(shù)據(jù)倉(cāng)庫(kù)分層內(nèi)容0
2.3數(shù)據(jù)倉(cāng)庫(kù)模型介紹0
2.4數(shù)據(jù)倉(cāng)庫(kù)模型建設(shè)方法0
2.4.1三范式建模與維度建模介紹0
2.4.2三范式建模與維度建模區(qū)別0
2.5數(shù)據(jù)模型建設(shè)的具體流程0
2.5.1數(shù)據(jù)模型設(shè)計(jì)的基本原則0
2.5.2數(shù)據(jù)模型設(shè)計(jì)過(guò)程0
2.5.3數(shù)據(jù)模型建設(shè)五要素0
2.6數(shù)據(jù)域與主題域0
2.7事實(shí)表設(shè)計(jì)0
2.7.1事實(shí)表類型0
2.7.2三類事實(shí)表區(qū)別0
2.7.3全量和增量0
2.7.4拉鏈表0
2.7.5完整的數(shù)據(jù)模型內(nèi)容案例0
2.8數(shù)據(jù)標(biāo)準(zhǔn)介紹0
2.8.1數(shù)據(jù)模型命名規(guī)范0
2.8.2數(shù)據(jù)模型命名詞根0
2.8.3字段命名規(guī)范0
2.8.4字段類型規(guī)范0
2.8.5數(shù)據(jù)模型元數(shù)據(jù)規(guī)范0
2.8.6數(shù)據(jù)模型分區(qū)生命周期0
2.9數(shù)據(jù)模型發(fā)展周期0
2.10數(shù)據(jù)模型分層新式方法0
基建篇
第3章元數(shù)據(jù)0
3.1元數(shù)據(jù)定義及分類0
3.1.1元數(shù)據(jù)定義0
3.1.2元數(shù)據(jù)分類0
3.2元數(shù)據(jù)模型0
3.2.1確定元數(shù)據(jù)對(duì)象0
3.2.2確定元數(shù)據(jù)屬性0
3.2.3確定元數(shù)據(jù)關(guān)系0
3.2.4創(chuàng)建元數(shù)據(jù)模型0
3.3元數(shù)據(jù)管理0
3.3.1元數(shù)據(jù)采集與收集0
3.3.2元數(shù)據(jù)存儲(chǔ)0
3.3.3元數(shù)據(jù)維護(hù)0
3.3.4元數(shù)據(jù)使用0
3.4元數(shù)據(jù)管理工具0
3.5數(shù)據(jù)血緣0
3.5.1數(shù)據(jù)血緣功能0
3.5.2數(shù)據(jù)血緣類型0
第4章數(shù)據(jù)指標(biāo)體系0
4.1數(shù)據(jù)指標(biāo)概念0
4.2數(shù)據(jù)指標(biāo)分類0
4.2.1按用途分類0
4.2.2按計(jì)算方法分類0
4.2.3按時(shí)間范圍分類0
4.3數(shù)據(jù)指標(biāo)設(shè)計(jì)0
4.3.1明確目標(biāo)0
4.3.2選擇方法0
4.3.3確保一致性0
4.3.4詞根分類0
4.4數(shù)據(jù)指標(biāo)的應(yīng)用場(chǎng)景0
4.4.1數(shù)據(jù)明細(xì)報(bào)表0
4.4.2數(shù)據(jù)可視化圖0
4.4.3數(shù)據(jù)挖掘0
4.4.4指標(biāo)監(jiān)控0
4.5數(shù)據(jù)指標(biāo)中心建設(shè)0
4.5.1數(shù)據(jù)指標(biāo)中心建設(shè)的目的0
4.5.2數(shù)據(jù)指標(biāo)中心解決的痛點(diǎn)問(wèn)題0
4.5.3數(shù)據(jù)指標(biāo)中心建設(shè)流程0
第5章數(shù)據(jù)質(zhì)量0
5.1數(shù)據(jù)質(zhì)量背景0
5.1.1數(shù)據(jù)質(zhì)量概念0
5.1.2數(shù)據(jù)質(zhì)量存在的痛點(diǎn)問(wèn)題0
5.2數(shù)據(jù)質(zhì)量保障措施0
5.2.1制定數(shù)據(jù)模型及指標(biāo)的上線變更規(guī)范0
5.2.2數(shù)據(jù)質(zhì)量監(jiān)控0
5.2.3數(shù)據(jù)基線及SLA0
5.2.4容災(zāi)備份快速恢復(fù)能力0
5.2.5數(shù)據(jù)問(wèn)題上報(bào)平臺(tái)0
5.2.6源頭數(shù)據(jù)質(zhì)量長(zhǎng)期監(jiān)測(cè)跟蹤體系0
5.3推動(dòng)上下游開(kāi)展數(shù)據(jù)質(zhì)量建設(shè)活動(dòng)0
5.3.1數(shù)據(jù)倉(cāng)庫(kù)發(fā)展期0
5.3.2數(shù)據(jù)倉(cāng)庫(kù)成熟期0
5.4數(shù)據(jù)質(zhì)量思考0
第6章數(shù)據(jù)安全0
6.1數(shù)據(jù)安全背景0
6.2數(shù)據(jù)安全實(shí)施難點(diǎn)0
6.2.1數(shù)據(jù)安全要做什么0
6.2.2數(shù)據(jù)安全現(xiàn)狀梳理0
6.2.3數(shù)據(jù)安全保障方向0
6.3數(shù)據(jù)安全保障流程0
6.3.1角色權(quán)限管理0
6.3.2數(shù)據(jù)使用權(quán)限管理0
6.3.3數(shù)據(jù)模型分級(jí)0
6.3.4數(shù)據(jù)展示0
6.3.5數(shù)據(jù)風(fēng)險(xiǎn)預(yù)期管理0
6.3.6數(shù)據(jù)脫敏0
6.4數(shù)據(jù)安全實(shí)施階段0
6.4.1早期數(shù)據(jù)安全實(shí)施0
6.4.2成熟期數(shù)據(jù)安全實(shí)施0
6.5數(shù)據(jù)安全思考0
第7章數(shù)據(jù)治理0
7.1數(shù)據(jù)治理背景0
7.1.1合規(guī)治理0
7.1.2資源治理0
7.2數(shù)據(jù)倉(cāng)庫(kù)發(fā)展階段0
7.3數(shù)據(jù)治理內(nèi)容0
7.3.1數(shù)據(jù)模型合規(guī)治理0
7.3.2數(shù)據(jù)質(zhì)量合規(guī)治理0
7.3.3數(shù)據(jù)安全合規(guī)治理0
7.3.4存儲(chǔ)資源治理0
7.3.5計(jì)算資源治理0
7.3.6小文件治理
7.4推動(dòng)上下游開(kāi)展數(shù)據(jù)治理活動(dòng)方法
7.5數(shù)據(jù)治理思考與沉淀
第8章實(shí)時(shí)技術(shù)
8.1實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)搭建背景
8.2實(shí)時(shí)架構(gòu)及組件
8.2.1實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)
8.2.2實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)組件
8.3實(shí)時(shí)開(kāi)發(fā)流程
8.4實(shí)時(shí)鏈路優(yōu)化
8.5實(shí)時(shí)技術(shù)產(chǎn)出量化
應(yīng)用篇
第9章數(shù)據(jù)資產(chǎn)
9.1數(shù)據(jù)資產(chǎn)介紹
9.2風(fēng)險(xiǎn)名單數(shù)據(jù)資產(chǎn)(消費(fèi)金融業(yè)務(wù))
9.2.1項(xiàng)目背景
9.2.2項(xiàng)目流程介紹
9.2.3項(xiàng)目流程
9.2.4項(xiàng)目難點(diǎn)
9.2.5項(xiàng)目思考
9.3各場(chǎng)景下用戶畫(huà)像體系建設(shè)
9.3.1用戶畫(huà)像介紹
9.3.2項(xiàng)目背景
9.3.3項(xiàng)目流程介紹
9.3.4項(xiàng)目流程
9.3.5項(xiàng)目難點(diǎn)
9.3.6項(xiàng)目思考
第10章數(shù)據(jù)服務(wù)
10.1數(shù)據(jù)服務(wù)介紹
10.1.1數(shù)據(jù)服務(wù)概念
10.1.2當(dāng)前數(shù)據(jù)應(yīng)用時(shí)存在的痛點(diǎn)問(wèn)題
10.2數(shù)據(jù)服務(wù)建設(shè)內(nèi)容
10.2.1指標(biāo)中心
10.2.2標(biāo)簽畫(huà)像管理平臺(tái)
10.2.3數(shù)據(jù)資產(chǎn)門(mén)戶
10.2.4數(shù)據(jù)質(zhì)量中心
10.2.5數(shù)據(jù)安全中心
10.2.6數(shù)據(jù)模型設(shè)計(jì)中心
10.2.7OneID
10.2.8數(shù)據(jù)治理360
10.3數(shù)據(jù)服務(wù)建設(shè)周期
10.3.1探索期
10.3.2擴(kuò)張期
第11章數(shù)據(jù)應(yīng)用
11.1數(shù)據(jù)應(yīng)用介紹
11.2神策明星榜數(shù)據(jù)(視頻行業(yè)業(yè)務(wù))
11.2.1項(xiàng)目背景
11.2.2項(xiàng)目流程介紹
11.2.3項(xiàng)目流程
11.2.4項(xiàng)目難點(diǎn)
11.2.5項(xiàng)目思考
11.3員工離職動(dòng)因?qū)ｍ?xiàng)分析(人力資源業(yè)務(wù))
11.3.1項(xiàng)目背景
11.3.2業(yè)務(wù)視角分析
11.3.3項(xiàng)目流程
11.3.4項(xiàng)目思考
11.4征信系統(tǒng)專題分析
11.4.1項(xiàng)目背景
11.4.2項(xiàng)目流程
11.4.3項(xiàng)目產(chǎn)出
11.4.4項(xiàng)目思考
評(píng)價(jià)篇
第12章評(píng)價(jià)數(shù)據(jù)倉(cāng)庫(kù)的好壞
12.1數(shù)據(jù)質(zhì)量層面評(píng)估
12.1.1數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生的原因
12.1.2數(shù)據(jù)質(zhì)量評(píng)估方法
12.2數(shù)據(jù)模型層面評(píng)估
12.2.1數(shù)據(jù)模型問(wèn)題產(chǎn)生的原因
12.2.2數(shù)據(jù)模型評(píng)估方法
12.3數(shù)據(jù)安全層面評(píng)估
12.3.1數(shù)據(jù)安全問(wèn)題產(chǎn)生的原因
12.3.2數(shù)據(jù)安全評(píng)估方法
12.4數(shù)據(jù)成本及性能層面評(píng)估
12.4.1數(shù)據(jù)成本過(guò)高及性能過(guò)低的原因
12.4.2數(shù)據(jù)成本及性能層面評(píng)估方法
第13章數(shù)據(jù)價(jià)值
13.1抽象的數(shù)據(jù)能力架構(gòu)
13.1.1數(shù)據(jù)傳輸能力
13.1.2數(shù)據(jù)計(jì)算能力
13.1.3數(shù)據(jù)資產(chǎn)能力
13.1.4數(shù)據(jù)算法能力
13.2數(shù)據(jù)能力對(duì)數(shù)據(jù)價(jià)值的呈現(xiàn)
13.3數(shù)據(jù)價(jià)值對(duì)業(yè)務(wù)的幫助
13.3.1用戶增長(zhǎng)/經(jīng)營(yíng)性分析
13.3.2數(shù)據(jù)質(zhì)量/產(chǎn)出穩(wěn)定
13.3.3查數(shù)/用數(shù)提效
13.3.4降低部門(mén)支出
展望篇
第14章AIGC對(duì)數(shù)據(jù)發(fā)展的影響
14.1數(shù)據(jù)與AI的關(guān)系
14.2網(wǎng)易ChatBI介紹
14.3網(wǎng)易ChatBI功能
14.3.1需求理解能力
14.3.2提供用戶所需內(nèi)容的預(yù)測(cè)能力
14.3.3多輪對(duì)話能力
14.3.4圖表繪制能力
14.3.5多端互通能力
14.3.6過(guò)程可驗(yàn)證能力
14.3.7用戶可干預(yù)能力
14.4數(shù)據(jù)產(chǎn)品未來(lái)規(guī)劃
14.4.1網(wǎng)易ChatBI產(chǎn)品未來(lái)規(guī)劃
14.4.2其他數(shù)據(jù)產(chǎn)品未來(lái)規(guī)劃
書(shū)單推薦
