数据架构包含:数据采集层，数据调度平台、数据展示层
数据采集
- 自己业务数据（主要是各个业务线的数据，例如：用户、订单等），主要存放在关系型数据库中，例如MysqL等。
- 埋点日志（涉及到用户对APP或者小程序等的访问、分享、浏览等基本的用户行为数据），这份数据主要是存放在HIVE上；
- 第三方数据，例如：获取的第三方竞品数据、各种API获取、TD投放、爬虫等第三方数据。
埋点采集主要是离线数仓和实时采集，改进方案：NG -> Kafka -> StructuredStreaming/Flink，然后实时的需求直接走StructuredStreaming/Flink，获取实时的数据存到redis/ES等内存数据库中，可以做搜索推荐。离线的将数据存到HDFS中，第二天对昨天的日志进行合并（主要是合并小文件）
数据中台主要包含：数据治理、数据安全、数据质量
Hadoop的最核心的存储层叫做HDFS，全称是Hadoop文件存储系统，有了存储系统还要有分析系统maoreduce，mapreduce做分析太重，脸书开源了hive
Hadoop最开始设计是用来跑文件的，对于数据的批处理（batch data processing）能力较强，实时数据(streaming data processing) 使用spark 或flink
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
