数据治理:元数据管理篇之Altas

数据治理:元数据管理篇之AltasAtlas 是一个可伸缩且功能丰富的数据管理系统 深度集成了 Hadoop 大数据组件 简单理解就是一个跟 Hadoop 关系紧密的 可以用来做元数据管理的一个系统 整个结构图如下所示官网 https www cloudera com products open source apache hadoop apache atlas htmlhttp atlas apache org 为组织提供开放式元数据管理和治理功能 用以构建数据资产目录 对这些资产进行分类和管理 并未数据分析和数据治理

一. 简介


1. 概述

Atlas 是一个可伸缩且功能丰富的数据管理系统,深度集成了 Hadoop 大数据组件。简单理解就是一个跟 Hadoop 关系紧密的,可以用来做元数据管理的一个系统,整个结构 图如下所示

为组织提供开放式元数据管理和治理功能,用以构建数据资产目录,对这些资产进行分类和管理,并未数据分析和数据治理团队,提供围绕这些数据资产的协作功能

2. 数据管理

数据字典

3. 数据治理

数据安全
-Ranger ->Hive
权限控制,数据脱敏
数据质量
-Shell + HQL ,Griffin
期望+使用预期
数据完整性
数据一致性
数据不重复性
元数据管理
-Atlas









4. Atlas 架构

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/214494.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月18日 下午4:08
下一篇 2026年3月18日 下午4:08


相关推荐

  • Claude Code 最佳实践:AI Agentic 编程效率提升指南

    Claude Code 最佳实践:AI Agentic 编程效率提升指南

    2026年3月16日
    1
  • 利用java生成uuid

    利用java生成uuid在实际项目中,我们可能想生成一个随机的而且可以保证唯一的标识,比如在给图片命名时,这时就可以采用uuid来生成随机字符串,这个随机字符串基本上是不会出现重复的。什么是UUIDuuid,就是通用唯一识别码的缩写。它的组成比较复杂,是基于当前时间(纳秒级时间)、计数器、硬件标识(通常是MAC地址)以及随机数等组合来生成的,一般情况下,不会生成重复的UUID(重复几率非常小,据概率估计,若每秒产生10亿笔UUID,100年后只产生一次重复的机率是50%),所以,我们大可不必考虑发生重复的问题。它有很多不

    2026年2月17日
    3
  • RealSense RGBD 深度摄像头 D435i 、D455 硬件结构及各个组件原理详解「建议收藏」

    RealSense RGBD 深度摄像头 D435i 、D455 硬件结构及各个组件原理详解「建议收藏」文章目录D435i硬件结构图D435i介绍视角知识补充标准镜头广角镜头长焦镜头广角镜头和长焦镜头的区别主要在于焦距不同、取景范围不同和拍摄对象不同。鱼眼镜头和广角镜头的区别IRLaserProjector介绍测距方式汇总3D结构光介绍RGB-D相机的TOF工作原理实际应用案例librealsenserealsense-rosD455D435i官方链接:https://www.intelrealsense.com/zh-hans/depth-camera-d435i/先来看一下实际图片硬件结构

    2026年1月20日
    4
  • this指向详解,思维脑图与代码的结合,让你一篇搞懂this、call、apply。系列(一)

    this指向详解,思维脑图与代码的结合,让你一篇搞懂this、call、apply。系列(一)一 学习 this 的指向问题二 call 和 apply 的特点与区别三 模拟实现一个 call 四 bind 的功能五 结尾思考题 导图 示例代码 让你轻松掌握

    2026年3月26日
    2
  • django urls_url主要功能

    django urls_url主要功能前言为什么我们url需要命名呢?url命名的作用是什么?我们先来看一个案例案例我们先在一个Django项目中,创建2个App,前台front和后台cms,然后在各自app下创建urls.py文件

    2022年7月31日
    11
  • shell 数组去重,去掉重复

    shell 数组去重,去掉重复shell 数组去重 去掉重复简单的问题 很难在搜索结果特意记录简单的问题 很难在搜索结果特意记录 shell 数组去重 去掉重复 bin bash 定义数组 arr 用 的方式给数组添加 arr 358 arr 453 echo 去重前 arr 去重 arr awk vRS a 1 lt lt lt arr echo 去重后 arr

    2025年12月4日
    7

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号