增量表全量表拉链表区别_hive 增量数据更新

Jetbrains全系列IDE稳定放心使用

一、概念

增量表：记录更新周期内新增的数据，即在原表中数据的基础上新增本周期内产生的新数据；
全量表：记录更新周期内的全量数据，无论数据是否有变化都需要记录；
拉链表：一种数据存储和处理的技术方式，可以记录数据的历史信息，记录数据从开始一直到当前所有变化的信息。

二、举例详解

增量表：以页面访问数据表为例，假设该表从2020-06-01开始记录数据，按天更新，分区为dt。2020-06-01产生了三条访问数据，如下表：

2020-06-02首页和商详页又产生了2条访问数据，该两条即为2020-06-02新增的数据，表更新后，dt分区2020-06-02新增2条数据（标红），此时数据表如下：

以此类推，2020-06-03又产生1条访问数据，表更新后，2020-06-03分区下新增1条数据（标黄），此时数据表如下：

因此，增量表每次更新是在原表数据的基础上记录本周期内新增的数据，如上例，按天更新的流量表，每次更新只新增一天内产生的新数据。注意：每次新产生的数据是以最新分区增加到表中，原先的数据依然存在于表中，如今天是2020-06-03，新增1条数据到表中，dt=2020-06-03，但2020-06-01的数据依然在表中，可以按照dt=2020-06-01进行查询；
全量表：以用户表为例，假设该表从2020-06-01开始记录数据，按天更新，分区为dt。
2020-06-01有三个用户注册，数据表如下：

2020-06-02有一名用户注册，即新增了一名用户（标红），表更新后2020-06-02分区内会记录全量的数据，包括2020-06-01的用户数据（标绿），此时数据表如下：

同理，2020-06-03又有2名用户注册，即新增了2名用户（标蓝），表更新后2020-06-03分区内会记录全量数据，即包含2020-06-02的用户数据（标黄），此时数据表如下：

因此，全量表每次更新都会记录全量数据，包括原全量数据和本次新增数据，即每个分区内的数据都是截至分区时间的全量总数据。注意：全量表中每个分区内都是截至分区时间的全量数据，原先分区的数据依然存在于表中，只是每次更新会在最新分区内再更新一遍全量数据。如上例，按照dt=2020-06-03查询出的数据是截至2020-06-03的所有注册用户数据，也可以按照dt=2020-06-02查询截至2020-06-02的所有注册用户数据。
拉链表：拉链表中有开始时间（start_time）和结束时间（end_time）两个字段，同时有dt和dp两个分区字段；
start_time：数据的开始时间；
end_time：数据有效的截至日期；
dp：一般有ACTIVE（线上）和EXPIRED（过期）两个分区。ACTIVE表示数据当前在线上使用，所以其end_time为4712-12-31（系统能处理的最大时间，表示一个达不到的无限向后延伸的时间，意味着该数据在线上永久有效）；EXPIRED表示数据过期，已变更，为历史状态，其end_time是数据变更时具体的时间。对于部分拉链表dp中还有HISTORY分区，此是由于有些拉链表数据量巨大，造成ACTIVE分区使用困难，因此将一部分业务上不再变更的数据转移到HISTORY分区。
dt：数据所在的时间分区，记录数据从ACTIVE转移到EXPIRED的日期，即数据发生变更的时间，大部分与end_time一致；当dp中有HISTORY分区，且数据转移到HISTORY分区时，其dt为数据转移到HISTORY的时间。
以账户数据表为例（表主键为账户id），假设2020-06-01数据表中有3个账户信息，如下表：

2020-06-02账户id为111的用户支出100元，账户余额变为400，则原数据（标黄）的end_time即原数据的结束时间变为2020-06-02，dp变为EXPIRED即数据变为过期历史状态，dt为数据从ACTIVE变为EXPIRED的时间即2020-06-02；而新增的数据即账户id为111的用户余额变为400这条数据如下标红所示。数据表变化如下：

同理，2020-06-03账户id为222的用户支出50元，余额为50元，账户id为333的用户支出1000元，余额为500元，此时数据标变化如下：(标黄为变更前数据，标红为变更后数据)

因此，拉链表可以记录一条数据从开始到当前的所有历史信息，便于查询历史数据。如还原2020-06-02的历史快照，使用end_time> ‘2020-06-02’ and start_time<= ‘2020-06-02’ 查询，end_time过滤2020-06-02之前的旧数据，start_time过滤2020-06-02之后的新数据。