ods mysql_ODS数据抽取平台[通俗易懂]

ods mysql_ODS数据抽取平台[通俗易懂]一、产品简介ODS数据抽取平台是数据仓库对数据进行精细加工的中间环节,将加工后的数据存储到ODS数据模型中,以便总账,报表,数据仓库使用。将远程网络生产数据库中的数据备份到一台备份机中(防止对生产数据的误操作),然后在可视化的第三方ETL工具中编辑ETL脚本,对备份库中的数据进行精细的加工,ETL脚本可以对网络中的任意一台数据库中任意的一张或多张表进行复杂的计算,然后将计算结果保存到ODS的数据模…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

一、产品简介

ODS数据抽取平台是数据仓库对数据进行精细加工的中间环节,将加工后的数据存储到ODS数据模型中,以便总账,报表,数据仓库使用。

将远程网络生产数据库中的数据备份到一台备份机中(防止对生产数据的误操作),然后在可视化的第三方ETL工具中编辑ETL脚本,对备份库中的数据进行精细的加工,ETL脚本可以对网络中的任意一台数据库中任意的一张或多张表进行复杂的计算,然后将计算结果保存到ODS的数据模型中,以便其他系统使用,这样就分担了其他系统对数据库中的数据进行复杂运算,复杂的运算完全交由处于数据处理中心的ODS平台。

如下图是ODS平台系统结构图:

38db39cf213788fa297a8211ef6a3214.png

二、平台功能及优势

通过可视化的操作界面进行脚本的编写,实现复杂的SQL

脚本Job功能,能够实现叫叫脚本的工作流控制,通过Job控制各个脚本的执行顺序,以实现业务流程。

脚本可以实现对远程任意计算机的操作,可以拿任务数据库中的字段拼装成目标表,以及数据的创建。

如果脚本在中间处理环节出问题的话,生成了中间文件的话,可以通过抽取文件管理对生成的文件进行查看以及下载,而不需要通过终端或者其他的方式登录机器去查看文件。

长时间执行脚本手工跳过功能,对长时间执行的脚本进行跳过,可以使后面的脚本不需要等待这个脚本执行完,跳过之后,跳过的脚本还在执行,并且最终会将执行的结果显示在“任务状态查询”目录中。

实时脚本监测可以对正在执行的脚本进行实时监测的功能,监测具体到脚本中的每一个步骤。

通过和外系统集成,可以实现定时调度ODS平台的功能,这样就不需要人工去触发ODS了,在夜间也可以进行数据抽取的功能。

平台功能:

A、抽数调用配置

在抽数调用配置中用户可看到数据库中所有脚本组和脚本的详细信息。用户还可对这些脚本和脚本组进行修改、删除、上传等操作。并且通过执行参数的配置对所需的脚本进行执行操作。

B、实时脚本监测

在抽数任务启动后,用户需要实时监控数据抽取脚本的运行状态。通过脚本状态实时监控页面可以查询当前正在运行脚本的各项运行状态。脚本实时监控页面还可以显示每个脚本下所有步骤的运行状态。

C、任务状态查询

每次数据抽取任务从触发开始到结束,数据抽取平台会根据运行的任务编号,记录抽数任务的运行状态的详细信息,通过任务状态查询平台,可以查询每次任务运行的历史记录和每次抽数任务脚本的详细信息,以便用户了解所有历史抽数任务的执行状态。

D、调试级别配置

调试级别配置供操作人员设置日志显示级别使用,用户可根据不同的需求配置日志的级别,以便日志查询、查看,日志级别不可手工输入。

E、抽数日志查看

抽数日志查看功能供用户查看抽取日志使用。用户可在该界面选择查看某天的日志详细信息并可下载所需日子。

F、抽数文件管理

用户可在地址栏输入地址点击转到后可查看地址栏下所有文件的详细信息及预览文件内容(双击文件可查看详细信息,可打开的文件类型有:txt、java、log、xml、sql、css、properties),并可下载所需文件。用户还可在页面右下角设置文件读取编码和预览文件行数。

G、脚本执行清单

用户在抽数调用配置中对数据源和时间进行配置后、抽数任务启动前,可在脚本执行清单页面查看符合执行参数配置的所有脚本的详细信息。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/189290.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 新手安装Ubuntu 16.04 操作系统

    新手安装Ubuntu 16.04 操作系统一、在windows操作系统下准备ubuntu系统的安装盘1.下载ubuntu的ISO文件这一步相对简单,网络上面有很多的链接下载。这里贴一个ubuntu的官方网站链接,可以下载到ubuntu16.04的iso文件https://wiki.ubuntu.com/XenialXerus/ReleaseNotes?_ga=2.66502190.1690246585.1511691893…

    2022年5月5日
    130
  • C# 多线程 ThreadStart和ParameterizedThreadStart

    C# 多线程 ThreadStart和ParameterizedThreadStart线程是轻量级进程。一个使用线程的常见实例是现代操作系统中并行编程的实现。使用线程节省了CPU周期的浪费,同时提高了应用程序的效率。每个线程都定义了一个独特的控制流。如果应用程序涉及到复杂的和耗时的操作,那么设置不同的线程执行路径往往是有益的,每个线程执行特定的工作。线程生命周期线程生命周期开始于System.Threading.Thread类的对象被创建时,结束于线程被终止或完成执行时。线程生命周期中的各种状态:未启动状态:当线程实例被创建但Start方法未被调用时的状况。就绪状态:

    2022年7月15日
    24
  • gcc离线安装 ubuntu 不用编译_「ubuntu安装gcc」ubuntu18.04安装gcc详细步骤(附问题集) – seo实验室…[通俗易懂]

    gcc离线安装 ubuntu 不用编译_「ubuntu安装gcc」ubuntu18.04安装gcc详细步骤(附问题集) – seo实验室…[通俗易懂]ubuntu安装gcc首先是下载gcc包,可以在GCC的官方网站http://gcc.gnu.org/下载到各个版本。目前最高版本是gcc-8.2.0。一、在安装gcc前,需要先安装MPFR、GMP和MPCGCC编译需要mpfr和mpc(–>gmp、–>mpfr)库的支持,依次安装这几个库,其中mpfr可直接安装,安装mpc依赖mpfr和gmp库(对版本有要求,建议安装最…

    2022年7月24日
    34
  • 用户名与计算机名命名规则

    用户名与计算机名命名规则

    2021年7月27日
    200
  • SpringWS创建webservice服务端及客户端

    SpringWS创建webservice服务端及客户端一、服务端下图主要目录结构,这个是完整的,下面,我们就来构建1.1、创建springinitializr,下一步1.2选中springweb,下一步,最后创建1.3导入依赖 <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web- services&

    2022年10月3日
    4
  • pytorch(8)– resnet101 迁移学习记录

    pytorch(8)– resnet101 迁移学习记录一、前言本篇记录使用pytorch官方resnet101实现迁移学习,迁移学习是当前深度学习领域的一系列通用的解决方案,而不是一个具体的算法模型。Pre-training+fine-tuning(预训练+调参)的迁移学习方式是现在深度学习中一个非常流行的迁移学习方式,有以下3步(1)把预训练模型当做特征提取器:TensorFlow或者Pytorch都有ImageNet上预训练好的模型,将最后一层全连接层(原始的是1000个类别或者更多)改成你自己的分类任务的种类进行输出,或…

    2022年10月6日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号