拉链表的实现过程[通俗易懂]

拉链表的实现过程[通俗易懂]拉链表的优势我就不说了,具体请参考百度百科:拉链表-百度百科推荐一个比较详细的参考文章:拉链表示例主要总结一下实现过程:分析:拉链表就是用来存储变化的数据的,每一份数据都有对应的有效期,我们需要进行的操作就是将变动的数据进行新增,同时将变动对应的前一条数据的有效期进行变更。说明:一般都是今天处理昨天的数据,本文所说的当天为所处理的数据的产生的当天。在这之前需要熟悉一下需要用到的表:表1:订单表(记录原始的数据)表2:增量数据表(记录每日变更的数据)表3:历史拉链表(我们要得到的就是这张表

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

拉链表的优势我就不说了,具体请参考百度百科:
拉链表-百度百科
推荐一个比较详细的参考文章:
拉链表示例

主要总结一下实现过程:

分析:拉链表就是用来存储变化的数据的,每一份数据都有对应的有效期,我们需要进行的操作就是将变动的数据进行新增,同时将变动对应的前一条数据的有效期进行变更。
说明:一般都是今天处理昨天的数据,本文所说的当天为所处理的数据的产生的当天。
在这之前需要熟悉一下需要用到的表:
表1:订单表(记录原始的数据)
表2:增量数据表(记录每日变更的数据)
表3:历史拉链表(我们要得到的就是这张表)
表4:临时历史拉链表(临时表,处理好之后将数据覆盖到历史拉链表中)

总结过程:

初始化:
-1、从订单表中完整获取第一批数据,因为没有历史数据,可以直接初始化到增量数据表中
-2、将增量数据表中的数据直接放入历史拉链表中,有效期为 当前 -> 永久。
增量:
1、将当天变动的数据集A放到增量数据表中(使用createdate & modifydate 进行筛选)
2、将历史拉链表跟数据集A进行左连接,关联上的数据说明已经出现变动,将这部分数据的截止时间进行更新,最为数据集H,这部分相当于历史数据了
3、将增量数据表中的数据添加有效期,有效期为 当前 -> 永久,作为数据集T,这部分相当于当天变动的数据。
4、将数据集H 和 数据集T 进行合并,放入临时历史拉链表
5、最后将临时历史拉链表覆盖历史拉链表
以上就是一个增量的过程,需要注意的是如果一份数据当天多次,我能想到有两种解决方案:
方案1:在取增量数据的时候取最新的一次,这种方案比较广泛吧。
方案2:需要在第三步整理数据集T的时候进行处理,也就是筛选出并不是最新数据的集合,将这部分数据的有效期进行填充,不过我觉得这种方法对于输出快照不太友好。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/184028.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 阿里云polardb_阿里云用的什么数据库

    阿里云polardb_阿里云用的什么数据库前言一年一度的数据库领域顶级会议VLDB2019于美国当地时间8月26日-8月30日在洛杉矶召开。在本届大会上,阿里云数据库产品团队多篇论文入选ResearchTrack和IndustrialTrack。本文将对入围IndustrialTrack的论文《AnalyticDB:RealtimeOLAPDatabaseSystematAlibabaCloud》进行深度…

    2025年12月9日
    3
  • 小树311_森林小道

    小树311_森林小道原题链接森森开了一家快递公司,叫森森快递。因为公司刚刚开张,所以业务路线很简单,可以认为是一条直线上的N个城市,这些城市从左到右依次从0到(N−1)编号。由于道路限制,第i号城市(i=0,⋯,N−2)与第(i+1)号城市中间往返的运输货物重量在同一时刻不能超过C​i​​ 公斤。公司开张后很快接到了Q张订单,其中j张订单描述了某些指定的货物要从S​j​​ 号城市运输到T​j​​ 号城市。这里我们简单地假设所有货物都有无限货源,森森会不定时地挑选其中一部分货物进行运输。安全起见,这些货物不会在中

    2022年8月9日
    5
  • plt.savefig()的用法以及保存路径

    plt.savefig()的用法以及保存路径图像有时候比数据更能满足人们的视觉需求pytorch下保存图像有很多种方法,但是这些基本上都是基于图像处理的,将图像的像素指定一定的维度,具体可见以下博客:Pytorch中保存图片的方式_造未来-CSDN博客_pytorch保存图片主要是写一些函数来保存图片;另外,pytorch中有很多可以直接保存图片的语句如save_image(fake_images,’./img/fake_images-{}.png’.format(epoch+1))此语句同样需要转化像素。.

    2022年6月22日
    446
  • php socket 发送HTTP请求 POST json

    php socket 发送HTTP请求 POST json

    2021年11月3日
    45
  • vim设置(非常全面),即.vimrc文件的配置

    vim设置(非常全面),即.vimrc文件的配置1.在终端下使用vim进行编辑时,默认情况下,编辑的界面上是没有显示行号、语法高亮度显示、智能缩进等功能的。为了更好的在vim下进行工作,需要手动设置一个配置文件:.vimrc。在启动vim时,当前用户根目录下的.vimrc文件会被自动读取,该文件可以包含一些设置甚至脚本,所以,一般情况下把.vimrc文件创建在当前用户的根目录下比较方便,即创建的命令为:$vi~/.vimrc

    2022年5月13日
    35
  • oracle表字段为汉字,依据拼音排序

    oracle表字段为汉字,依据拼音排序

    2021年9月16日
    66

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号