本書全面介紹了數據架構與數據建模的相關知識,全書分為4篇,共16章。
第1~3章為數據架構基礎篇,介紹了企業(yè)架構、數據架構及數據模型的基礎概念。第4~9章為數據模型設計篇,介紹了如何通過數據模型記分卡規(guī)范化數據模型設計,以及經典數據建模方法論,包括范式建模、維度建模、Data Vault建模、統(tǒng)一星型建模。第10~12章為數據模型落地篇,介紹了在企業(yè)中如何實現(xiàn)多人協(xié)作構建模型、如何管控數據模型、數據模型數據與數據標準,以及元數據如何形成數據治理閉環(huán)。第13~16章為行業(yè)數據模型篇,分別介紹了證券、保險、教育、航空業(yè)的數據架構及數據模型。
本書既可以作為數據建模人員、數據開發(fā)人員的學習用書,也適合非IT專業(yè)但對數據有強烈興趣的業(yè)務人員使用,還可以作為高等院校計算機、數學及相關專業(yè)的師生用書和培訓學校的教材。
(1)講解企業(yè)數據架構、數據模型基礎概念,以及經典數據建模方法論。
(2)全面介紹數據模型從設計到落地及管控等方面的細節(jié)。
(3)提供證券、保險、教育、航空業(yè)的數據架構及數據模型的案例和實踐路徑,為政企數字化轉型提供參考。
感謝你翻開這本書。
2016年年底,我從一家知名外企辭職,離開了嘔心瀝血11年打造的數據建模鼻祖產品及其全球研發(fā)負責人的崗位,開啟了創(chuàng)業(yè)之旅。那時互聯(lián)網如日中天,數據領域才剛剛起步。我常常也會心懷疑慮,數字化轉型能走多遠?未來還需要數據建模嗎?過去十幾年的經驗能在時代大潮中經受住考驗嗎?
5年后的今天,答案顯而易見。數據應用在各行業(yè)中百花齊放,精準營銷、金融風控、無人駕駛、智慧農業(yè),可以說是無處不在。而數據模型、數據架構也開始再次被人們所認識和重視。數據中臺在被熱炒的大浪中退去,我們發(fā)現(xiàn)其終沉淀下來的不是各種光鮮或不知所云的新概念,而是人們對業(yè)務及數據的深刻理解,這些都沉淀在了數據模型中。
本書從數據架構的基本概念入手,從業(yè)務系統(tǒng)的三范式模型到數據倉庫的維度模型、Data Vault模型,結合大量的行業(yè)實例及繪圖進行展示,分析了數據模型的本質,并針對模型給出了詳細解讀。
本書適合正在建設數據中臺、數據倉庫及業(yè)務系統(tǒng)的業(yè)內人士,以及覺得模型晦澀難懂、無所適從的初學者,也適合作為計算機相關專業(yè)的教材。本書能幫助你理解經典的模型設計,并讓你獲得足夠多的經驗和實踐技巧,以便更好地分析和解決問題。
更重要的是體會到數據模型之美!
王琤,Datablau數語科技創(chuàng)始人兼CEO。
具有近二十年數據管理經驗,曾任CA ERwin全球研發(fā)負責人,曾服務過美國銀行(BOA)、SunTrust、AT&T、殼牌等世界500強企業(yè),參與過中國建設銀行、華為、南方電網、中國人壽、中信集團等大型企事業(yè)單位的數據治理建設,F(xiàn)為國資委數據要素專家組成員,DAMA China數據架構、數據模型專家委員會牽頭人,信通院數據資產專家委員會成員,Open Group成員,復旦大學、北京航空航天大學客座講師,并有多項專利、論文發(fā)表于IEEE等機構。
篇 數據架構基礎篇
1 緣起 2
1.1 數據架構與數據模型 2
1.2 數據建模簡史 5
2 企業(yè)架構 9
2.1 企業(yè)架構的構成 9
2.2 企業(yè)架構的框架 10
2.3 敏捷的企業(yè)架構治理 12
2.4 企業(yè)架構與數據治理 16
3 數據模型 17
3.1 概念模型 17
3.2 邏輯模型 21
3.3 物理模型 23
第二篇 數據模型設計篇
4 數據模型質量 26
4.1 數據模型記分卡 26
4.2 數據模型規(guī)范 37
5 范式建模 40
5.1 范式與模型 40
5.2 范式 42
5.3 第二范式 42
5.4 函數依賴 44
5.5 碼 46
5.6 非主屬性 46
5.7 第三范式 49
5.8 鮑依斯-科得范式 50
5.9 范式建模工作方法和流程 50
6 數據倉庫 53
6.1 數據倉庫的演化過程 53
6.2 數據倉庫的概念 58
6.3 數據倉庫的體系結構 59
6.4 數據倉庫的工具與技術 60
6.5 企業(yè)級數據倉庫 61
6.6 企業(yè)級數據倉庫的解決方案 65
7 維度建模 69
7.1 維度建模的基本概念 69
7.2 維度建模的常見模式 76
7.3 維度建模的過程 78
7.4 維度建模的任務建議 81
7.5 數據倉庫總線結構 84
8 Data Vault建模 89
8.1 Data Vault的起源 89
8.2 Data Vault建模方法 89
8.3 Data Vault適用場景 94
9 統(tǒng)一星型模型建模 96
9.1 統(tǒng)一星型模型簡介 96
9.2 數據倉庫與數據集市 97
9.3 數據集市的演變 102
9.4 集成數據集市的方法 106
9.5 向集成數據集市變革 108
9.6 統(tǒng)一星型模型 111
第三篇 數據模型落地篇
10 數據模型管控 120
10.1 背景介紹 120
10.2 數據模型管控的思路 122
10.3 組織架構 124
10.4 數據模型管控實戰(zhàn)經驗 126
11 數據架構與數據治理 136
11.1 企業(yè)架構與數據架構 136
11.2 數據架構驅動的數據治理 138
11.3 從數據架構到數據 139
11.4 元數據 141
11.5 元數據管理 142
11.6 數據模型與元數據的關系 143
11.7 數據模型與元數據的版本管理 144
11.8 數據模型與元數據的血緣分析 145
12 數據模型與數據標準 147
12.1 數據標準 147
12.2 數據模型與數據標準的關系 150
12.3 將數據標準應用于數據模型建設 150
12.4 從數據模型發(fā)現(xiàn)并生成新的數據標準 151
第四篇 行業(yè)數據模型篇
13 證券資管行業(yè)的數據架構及模型 154
13.1 證券公司業(yè)務概覽 154
13.2 證券行業(yè)數據管控 156
13.3 證券公司數據模型 161
14 保險行業(yè)的數據架構及模型 165
14.1 保險行業(yè)業(yè)務概述 165
14.2 保險行業(yè)監(jiān)管數據標準 166
14.3 保險行業(yè)數據模型 167
15 教育行業(yè)的數據架構及模型 182
15.1 教育行業(yè)信息化發(fā)展及現(xiàn)狀 182
15.2 數據標準化管理平臺建設原則 183
15.3 數據標準化管理平臺建設目標 184
15.4 教育行業(yè)數據架構的統(tǒng)籌規(guī)劃 185
15.5 教育行業(yè)數據建模前期的數據準備 187
15.6 教育行業(yè)的數據模型設計 189
15.7 教育行業(yè)的數據模型 190
16 航空公司的數據架構及模型 197
16.1 航空公司業(yè)務與信息化 197
16.2 民用航空行業(yè)數據標準 200
16.3 航空公司數據架構 200
16.4 航空公司數據模型 205
16.5 概念模型的組成 206
16.6 航班運行領域數據模型 212
附錄A 證券期貨業(yè)已發(fā)布標準 214
附錄B 保險行業(yè)轉型相關政策文件 218
附錄C 財產保險業(yè)務及人身保險業(yè)務要素數據規(guī)范 220
附錄D 民用航空行業(yè)數據標準簡介 222