数据质量监控Griffin——使用

数据质量监控Griffin——使用一、环境生产环境数据质量监控griffin:地址:http://XXXXXXXXX:4200/#/health账号:admin密码:123456二、Griffin是干什么的?官方介绍大数据模块是大数据平台中数据方案的一个功能组件,Griffin(以下简称Griffin)是一个开源的大数据数据解决质量模式,它支持所有数据和流数据方式检测质量模式,可以从不同维度(不同标准执行完毕后检查源端和目标端的数据数量是否一致、源表的数据空值数量等)收集数据资产,从而提高数据的准确度、可信度。在格里芬的架

大家好,又见面了,我是你们的朋友全栈君。

一、环境

生产环境

数据质量监控griffin:

地址:http://XXXXXXXXX:4200/#/health

账号:admin

密码:123456

二、Griffin是干什么的?

官方介绍

大数据模块是大数据平台中数据方案的一个功能组件,Griffin(以下简称Griffin)是一个开源的大数据数据解决质量模式,它支持所有数据和流数据方式检测质量模式,可以从不同维度(不同标准执行完毕后检查源端和目标端的数据数量是否一致、源表的数据空值数量等)收集数据资产,从而提高数据的准确度、可信度。

在格里芬的架构中,主要分为定义、测量和分析三个部分,如下图所示:

在这里插入图片描述

各部分的职责如下:

  • Define:主要负责定义数据质量统计的维度,比如数据质量统计的时间跨度、统计的目标(源端和目标端的数据数量是否一致,数据源里某一字段的非空的数量、不重复值的数量、最大值、最小值、top5的值数量等)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/142891.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • kafka批量删除topic_kafka清空数据

    kafka批量删除topic_kafka清空数据一般情况下,是不会删除数据的。到达一定时间后,kafka会自动删除。如果一定要删除可以删除topic在重建topic了No.1:如果需要被删除topic此时正在被程序produce和consume,则这些生产和消费程序需要停止。因为如果有程序正在生产或者消费该topic,则该topic的offset信息一致会在broker更新。调用kafkadelete命令则无法删除该topi…

    2022年10月17日
    2
  • 社交网络大数据建模的框架探索「建议收藏」

    社交网络大数据建模的框架探索「建议收藏」社交网络大数据建模的框架探索本报告首先简略回顾腾讯社交网络的研究及应用成果,然后从尚未充分解决的若干问题出发,分析潜在问题和当前方法局限,对更一般性社交网络的建模给出一些思路建议,包括对最新计算智能技术的采用。接着提出理想中的模型框架,以及理想的模型框架探索方式。最后,对社交网络数据的应用潜力做出展望。详细解读和小伙伴们一起来吐槽

    2022年5月15日
    43
  • 经济基础知识(初级)【17】

    经济基础知识(初级)【17】1.党的十八大报告中概括的科学发展观最鲜明的精神实质包括()A.解放思想B.实事求是C.与时俱进D.求真务实E.城乡协调2.下来金融业务中,属于投资银行业务的有()A.为工商企业代理证券买卖B.向工商企业提供中长期贷款C.投资工商企业股票D.参与工商企业并购重组E.向消费者提供消费贷款3.下来会计要素中,反映企业财务状况的有()A.收入B.资产C.负债D.费用E.所有者权益4.下来数据整理与显示方法中,适用于顺序数据的有()A.圆形图B.直方图C.累积

    2022年5月28日
    41
  • 简述热电偶和热电阻的区别(热电偶与热电阻的主要区别)

    1,热电偶英文Thermocouple,简称TC,工作原理是:随着温度变化输出线性毫伏信号。仪表将信号放大换算为温度信号。  2,热电阻英文Resistance简称RTD工作原理是:电阻值随着温度变化而发生线性变化。  3,温度变送器可以将热电偶mV电压信号或者热电阻的电阻值信号转换成4-20mA标准信号供自动化系统控制用。4,一般而言热电阻比热电偶便宜。…

    2022年4月17日
    41
  • 交叉熵损失函数和对数损失函数_多分类交叉熵损失函数公式

    交叉熵损失函数和对数损失函数_多分类交叉熵损失函数公式如果使用均方差作为损失函数所以,如果当前模型的输出接近0或者1时,σ′(z)就会非常小,接近0,使得求得的梯度很小,损失函数收敛的很慢。如果使用交叉熵作为损失函数原文链接:为什么LR模型损失函数使用交叉熵不用均方差?…

    2022年10月9日
    3
  • Origin简单绘图

    Origin简单绘图一、从cadence导出数据仿真生成波形之之后,鼠标选中波形,右击—>SendTo—>Export,进行csv数据的保存。打开该csv文件,删掉第一行,第一行是是横纵坐标的标识,左侧第一列是横坐标值,右侧列是纵坐标值。二、origin简单绘图双击图标打开origin导入csv数据可选中多个csv文件导入为了让两个csv的数据同时显示,在弹出的对话框进行以下操作(默认第二个csv数据会覆盖第一个csv数据)。设置好之后点击“确定”,两个csv数据均被导入到了o

    2022年6月1日
    55

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号