元数据管理篇之Altas

一. 简介

---

1. 概述

Atlas 是一个可伸缩且功能丰富的数据管理系统，深度集成了 Hadoop 大数据组件。简单理解就是一个跟 Hadoop 关系紧密的，可以用来做元数据管理的一个系统,整个结构 图如下所示

官网: https://www.cloudera.com/products/open-source/apache-hadoop/apache-atlas.html
http://atlas.apache.org/#/

为组织提供开放式元数据管理和治理功能，用以构建数据资产目录，对这些资产进行分类和管理，并未数据分析和数据治理团队，提供围绕这些数据资产的协作功能

ods,dwd,dws,ads
1.表与表之间的血缘依赖
2.表与表之间字段间的血缘依赖

2. 数据管理

数据字典

​ 对资产进行分类和管理
​ 包含对所有库和表字段的表述
血缘追溯
​ 表的追索和表字段的追索

3. 数据治理

数据安全
-Ranger ->Hive
权限控制，数据脱敏
数据质量
-Shell + HQL ,Griffin
期望+使用预期
数据完整性
数据一致性
数据不重复性
元数据管理
-Atlas

​

4. Atlas 架构