大数据分析

嗯……怎么说呢，是一本翻开满页都是代码的书03-14

2021-71 详细的数仓搭建 业务数据mysql，用户行为数据nginx负载均衡打到日志服务器，以文件形式落盘到日志服务器上。保存30天用flume来监控日志里，实时采集日志信息。Kafka：1很多人在使用，生态很完备2 可以高效读写 A有分区概念，多分区之间可以并行读写 B page cache C 顺序读写基于kimball的维度建模：ods：3件事，保持数据原貌、创建分区表、采用压缩dwd：第1步选择业务过程，第2步声明力度，第3步确定维度，第4步确定事实 数据清洗、脱敏、压缩、列式存储 dws：2件事，站在维度看事实，看事实表的度量值 dwt：和dws一样，两件事。开始日期？结束日期？从开始到结束累计发生的度量值，以及最近一段时间累计发生的度量值ads多个指标 结尾可视化展示07-17