作品简介

这是一本能指导企业在数字化转型和数据要素时代通过数据架构用好数据、管好数据、充分发挥数据价值的著作。

从0到1讲解了数据架构的技术栈、方法论与落地实践,揭示了数据架构的底层逻辑,总结了数据架构的核心要素和架构模型,阐述了数据治理、数据资产管理以及数据平台的搭建等全方位的内容,是作者10余年数据工作经验的总结。

本书主要分为五部分:

第一部分:架构基础,对企业架构的组成要素以及流行的企业架构框架进行了总览性质的介绍,数据架构是重点;

第二部分:数据架构基础,详细讲解了数据架构的组成、数据存储、数据调度与消息传输、Lambda架构和Kappa架构以及数据架构的辅助资源组件;

第三部分:数据架构模型,首先介绍了企业内部数据区的划分与内部数据的流向,然后讲解了数据模型的建模策略、步骤和方法,以及维度建模的详细内容;

第四部分:数据管理,讲解了数据架构的核心内容,包括元数据管理、数据质量管理、数据标准管理、数据治理和数据资产管理等的方法和实践;

第五部分:数据架构实践,通过离线计算和实时计算两大场景中的综合案例,对前面的内容进行了融合,手把手教读者进行数据架构实践。

本书内容通俗易懂,注重实践,不仅浓缩了作者在日常工作中的思考、解决问题的思路,还融入了该领域优秀同行的经验和实践,相信对读者会有一些帮助。

李杨,资深数据架构师,在数据相关领域有10年以上工作经验。头部保险资管公司科技平台交易系统团队开发组负责人,负责多个应用以及数据平台的建设、优化以及迁移工作。曾担任某数据公司技术合伙人,负责多个金融机构的数据仓库或数据平台相关的工作。

在数据质量管理、数据治理等领域有着非常深厚的积累,熟悉不同行业的数字化转型。此外,他还是一名经验丰富的应用工程师,对大数据、数据库以及主流的技术栈有着非常深入的了解。

2022年被集团评为“优秀架构师”,积极参与行业内部的相关课题研究,是《保险问道

之保险资管数字化探索》一书的执笔人之一,是中资协《金融科技赋能保险资管风险管控的研究》课题核心组成员之一。

作品目录

  • 自序
  • 前言
  • 第一部分 架构基础
  • 第1章 企业架构概述
  • 1.1 企业架构
  • 1.2 Zachman框架
  • 1.3 TOGAF
  • 1.4 业务架构
  • 1.5 数据架构
  • 1.6 总结
  • 第二部分 数据架构基础
  • 第2章 数据架构构成
  • 2.1 数据模型
  • 2.2 元数据
  • 2.3 数据质量
  • 2.4 数据标准
  • 2.5 数据治理
  • 2.6 数据资产
  • 2.7 数据生命周期
  • 2.8 数据分布
  • 2.9 常见数据架构技术选型
  • 2.10 数据调度
  • 2.11 总结
  • 第3章 数据存储
  • 3.1 数据存储基础
  • 3.2 集中式数据库
  • 3.3 分布式数据库
  • 3.4 大数据存储
  • 3.5 特定领域存储
  • 3.6 实时计算阶段
  • 3.7 总结
  • 第4章 数据调度与消息传输
  • 4.1 通用技术选型
  • 4.2 Airflow调度平台
  • 4.3 DataX数据同步工具
  • 4.4 Kafka消息中间件
  • 4.5 总结
  • 第5章 Lambda架构与Kappa架构
  • 5.1 架构演进
  • 5.2 Lambda架构详解
  • 5.3 Kappa架构详解
  • 5.4 Lambda与Kappa对比
  • 5.5 流批一体化
  • 5.6 总结
  • 第6章 辅助类应用体系介绍
  • 6.1 资源管理
  • 6.2 资源及组件监控
  • 6.3 应用监控
  • 6.4 日志监控
  • 6.5 总结
  • 第三部分 数据架构模型实践
  • 第7章 企业数据区与数据流向
  • 7.1 数据区概述
  • 7.2 数据区详解
  • 7.3 企业数据流向
  • 7.4 企业数据分层
  • 7.5 企业集成型数据区层级
  • 7.6 互联网公司的集成型数据区分层特点
  • 7.7 总结
  • 第8章 数据模型架构详解
  • 8.1 为什么要建模
  • 8.2 建模策略
  • 8.3 建模三步走
  • 8.4 建模方法论
  • 8.5 常见模型概述
  • 8.6 数据层级与数据模型的关系
  • 8.7 总结
  • 第9章 维度建模解析
  • 9.1 维度建模概述
  • 9.2 维度建模总线结构
  • 9.3 维度详解
  • 9.4 缓慢变化维度
  • 9.5 事实表详解
  • 9.6 事务型事实表
  • 9.7 总结
  • 第四部分 数据资产管理
  • 第10章 元数据管理
  • 10.1 元数据概述
  • 10.2 元数据的产生
  • 10.3 不同类型元数据详解
  • 10.4 元数据的价值
  • 10.5 元数据的应用
  • 10.6 元数据的生命周期
  • 10.7 元数据管理体系构建
  • 10.8 总结
  • 第11章 数据质量管理
  • 11.1 数据质量概述
  • 11.2 数据质量内涵
  • 11.3 数据质量管理框架
  • 11.4 数据质量核心维度
  • 11.5 数据质量规则体系
  • 11.6 数据质量评估
  • 11.7 总结
  • 第12章 数据标准管理
  • 12.1 数据标准概述
  • 12.2 数据标准内涵
  • 12.3 数据标准体系设计框架
  • 12.4 数据标准管理流程
  • 12.5 数据标准的挑战
  • 12.6 数据标准与数据质量的关系
  • 12.7 总结
  • 第13章 数据治理
  • 13.1 为什么需要数据治理
  • 13.2 数据治理内涵
  • 13.3 数据治理核心准则
  • 13.4 数据治理通用流程
  • 13.5 数据治理的挑战
  • 13.6 总结
  • 第14章 数据资产管理与数据资产目录
  • 14.1 数据资产内涵
  • 14.2 数据资产管理活动职能
  • 14.3 数据资产目录实践
  • 14.4 总结
  • 第五部分 数据架构实践
  • 第15章 离线计算
  • 15.1 离线计算架构概述
  • 15.2 架构设计
  • 15.3 软件部署
  • 15.4 模型设计
  • 15.5 数据处理
  • 15.6 离线计算数据应用
  • 15.7 总结
  • 第16章 实时计算
  • 16.1 实时计算架构概述
  • 16.2 架构设计
  • 16.3 软件部署
  • 16.4 连通性配置
  • 16.5 实时计算层
  • 16.6 总结
  • 第17章 对数字未来的展望
  • 17.1 建设数字中国
  • 17.2 金融行业的数字化转型
  • 17.3 数据架构核心
  • 17.4 数据开发趋势
  • 17.5 DataOps发展
  • 17.6 总结
展开全部