数据治理系列(一):元数据管理 、数据血缘数据管理:

数据治理系列(一):元数据管理 、数据血缘数据管理:2 HDFS 的小文件合并成大文件前提 在实际项目中 输入数据往往是由许多小文件组成 这里的小文件是指小于 HDFS 系统 Block 大小的文件 默认 128M 然而每一个存储在 HDFS 中的文件 目录和块都映射为一个对象 存储在 NameNode 服务器内存中 通常占用 150 个字节 由于 Hadoop 擅长存储大文件 因为大文件的元数据信息比较少 如果 Hadoop 集群当中有大量的小文件 那么每个小

一、什么是元数据管理?

        为什么企业对自身内部的数据资产总是混沌不清?其实是缺少一种有效的工具来进行数据资产的梳理和盘点。而元数据管理工具就是一种有有效的盘点工具或手段。

        元数据是企业中用来描述数据的数据。元数据(metadata)是关于数据的组织、数据域及其关系的信息。它可理解为比一般意义的数据范畴更加广泛的数据,不再仅仅表示数据的类型、名称、值等信息,它可以进一步提供数据的上下文描述信息,比如数据的所属域、取值范围、数据间的关系、业务规则,甚至是数据的来源。在数据分析中,元数据可以帮助DW管理员和DW开发人员非常方便地找到他们所关心的数据。

        元数据相当于企业数据的DNA,它可以告诉你,有用的数据在哪里,能提供一份数据结构定义和元素的详细示意图,数据来龙去脉、关系,使应用开发过程更有效,提供数据的参照性、引用性、血缘分析、影响分析、变化分析……

        简单地说,元数据管理是为了对数据资产进行有效的组织。它使用元数据来帮助管理他们的数据。它还可以帮助数据专业人员收集、组织、访问和丰富元数据,以支持数据治理。

元数据管理应具备的功能如下:

  • 搜索和发现:数据表、字段、标签、使用信息
  • 访问控制:访问控制组、用户、策略
  • 数据血缘:管道执行、查询
  • 合规性:数据隐私/合规性注释类型的分类
  • 数据管
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/213300.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月18日 下午6:09
下一篇 2026年3月18日 下午6:10


相关推荐

  • hmacsha256 java_java生成HMACSHA256的方法

    hmacsha256 java_java生成HMACSHA256的方法标签 java 生成 HMACSHA256 的方法答 data 要加密的数据 key 密钥 publicstatic Stringdata Stringkey throwsExcept Macsha256 HMAC Mac getInstance HmacSHA256 SecretKeySpe key newSecret

    2026年3月17日
    2
  • python3字典的排序

    python3字典的排序平常学习了字典(dict),感觉还行。但一到用的时候,就感觉模棱两可。于是就总结了字典的常见用法,以后可熟记于心。—————更新日记:2019-05-21通一表述:字典有两个参数,key,value,下面所描述,键:key,值:value欢迎批评指正!—————-…

    2022年6月26日
    26
  • unity安装使用教程_免费版签名

    unity安装使用教程_免费版签名1、进入Unity官网,滑动到最底部,点击“所有版本”:

    2022年4月19日
    73
  • struts2和springMVC的区别

    struts2和springMVC的区别1 拦截器级别不同 Struts2 是类级别的拦截 一个类对应一个 request 上下文 SpringMVC 是方法级别的拦截 一个方法对应一个 request 上下文 而方法同时又跟一个 url 对应 所以说从本身上 SpringMVC 就容易实现 restfulurl 而 struts2 的架构实现起来要费劲 因为 Struts2 中 Action 的一个方法可以对应一个 url 而其类属性却被所有方法共享 这也就无法用注解或其他方式标识其所属方法了 2 由上边原因 SpringMVC 的方法之间基本上独立的 独享 requestr

    2026年3月18日
    3
  • struts2于validate要使用

    struts2于validate要使用

    2022年1月11日
    45
  • 汇编语言中的标志位:CF、PF、AF、ZF、SF、TF、IF、DF、OF

    汇编语言中的标志位:CF、PF、AF、ZF、SF、TF、IF、DF、OF**CF:**进位标志位。在无符号运算时,记录了运算结果的最高有效位向更高位的进位值或从更高位借位,产生进位或借位时CF=1,否则CF=0;**PF:**奇偶标志位。相关指令执行后结果所有bit中1的个数为偶数,那么PF=1,1的个数为奇数则PF=0;**AF:**辅助进位标志位。运算过程中看最后四位,不论长度为多少。最后四位向前有进位或者借位,AF=1,否则AF=0;**ZF:**零标志位…

    2022年7月27日
    20

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号