数据库和数据仓库联系和区别

数据库和数据仓库联系和区别数据库和数据仓库联系和区别 1 前言 2 来源 3 用途 4 特性不同 4 1 设计 4 2 优化 4 3 数据量 1 前言不能简单的说数据仓库是数据库的扩大版 它们是针对不同的服务而产生的 传统的数据库针对 OLTP 联机事务处理 主要应用与业务处理 而数据仓库针对 OLAP 联机分析处理 主要为决策服务 数据仓库的本质还是一个数据库 它将各个异构的数据源数据库的数据给统一管理起来 并且完成了质量较差的数据的剔除 格式转换 最终按照一种合理的建模方式来完成源数据组织形式的转变 以更好的支持到前端的可视化分析

1、前言

不能简单的说数据仓库是数据库的扩大版,它们是针对不同的服务而产生的,传统的 数据库 针对(OLTP)联机事务处理,主要应用与业务处理。而 数据仓库 针对(OLAP)联机分析处理,主要为决策服务。

数据仓库的本质还是一个数据库,它将各个异构的数据源数据库的数据给统一管理起来,并且完成了质量较差的数据的剔除、格式转换,最终按照一种合理的建模方式来完成源数据组织形式的转变,以更好的支持到前端的可视化分析。

2、来源

数据库一般存储 在线交易数据,数据仓库存储的一般是 历史数据

数据仓库中的数据来源归纳起来大体有3种:

  • 结构化数据:一般来自于数据库,比如MySQL等关系型数据库的表中保存的记录(rows)。即承担OLTP功能的数据载体。这类数据最好处理,因为数据表达方式作为规范,约束性最好。
  • 半结构化数据:该部分数据来源较多,包括用户行为日志(如app的页面访问记录)、平台或管理服务日志(tomcat、mysql等服务日志)等等,也包括存储于MongoDB等NoSQL数据库中的记录(Docs等)。这些数据一般以Json或XML等形式存在,在ETL时难度较大。
  • 非结构化数据:包括图片、音频、视频和网页等,这些数据非常复杂,信息量也很大,一般不会直接抽取出来直接保存到数仓中,而是记录他们的元数据信息(metadata),举图片为例,可能保存该图片的产生时间、格式、大小等等,至于图片本身,一般通过url链接保存在对象或文件存储系统中。

3、用途

数据库:主要用于 事务处理,即 OLTP(Transaction),也就是我们常用的面向业务的增删改查操作。常用的数据库有 Mysql,Oracle,PostgreSQL

数据仓库:主要用于 数据分析,即 OLAP(Analytics),供上层决策,常见于一些查询性的统计数据。常见的数仓有 Greenplum,Hive。基于MYISAM存储引擎的MySQL也是可以用来做数据仓库的。

4、特性不同

由于他们用途的不同,这也决定了他们具体不同的特点:

4.1 设计

数据库是为 捕获数据 而设计,数据仓库是为 分析数据 而设计。

数据仓库的方案建设的目的,是为前端查询和分析作为基础,由于有较大的冗余,所以需要的存储也较大。为了更好地为前端应用服务,数据仓库必须有如下几点优点,否则是失败的数据仓库方案。

  • 效率足够高。
  • 数据质量准确。
  • 扩展性很好。

4.2 优化

数据库:因为是 事务性 操作,所以一般是 读写优化

数据仓库:因为是 数据分析,需要对大量数据进行查询,所以一般仅仅是 读优化

4.3 数据量

数据库:读写 相对 简单,一次只是对 少量数据 进行操作

数据仓库:查询 相对 复杂,一次要对 大量数据 进行操作

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/217406.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月18日 上午9:38
下一篇 2026年3月18日 上午9:38


相关推荐

  • SQL中NVL函数

    SQL中NVL函数空值判断函数1、NVL(表达式A,表达式B)如果表达式A为空值,NVL返回值为表达式B的值,否则返回表达式A的值。该函数的目的是把一个空值(null)转换成一个实际的值。其表达式的值可以是数字型、

    2022年7月4日
    28
  • fio使用

    fio使用参考 fiodochelphe 内容 j2 j2 pc fiohelpfio 2 2 10fio options joboptions lt jobfile s gt debug optionsEnabl Maybeone moreof pr

    2026年3月17日
    1
  • 什么是回调函数?为什么要使用回调函数?如何使用回调函数?

    什么是回调函数?为什么要使用回调函数?如何使用回调函数?1 回调函数 函数指针的调用 即是一个通过函数指针调用的函数 如果你把函数的指针 地址 作为参数传递给另一个函数 当这个指针被用来调用其所指向的函数时 就说这是回调函数 Incomputerpr acallbackisa whic

    2026年3月19日
    3
  • 数据结构b-树和b+树_A票领导B票算法

    数据结构b-树和b+树_A票领导B票算法一、什么是多路查找树二叉树有诸多便利之处,但是当二叉树节点极多时,二叉树的构建速度就会受影响,而且过高的层数也会导致对树的操作效率降低。对于树的查找而言,树的高度决定了查找的时间下限,但是同样数量

    2022年8月16日
    8
  • struts2 中 Actionsupport 的作用

    struts2 中 Actionsupport 的作用struts2中Actionsupport的作用Action跟Actionsupport的区别当我们在写action的时候,可以实现Action接口,也可以继承Actionsuppor

    2022年7月1日
    24
  • 基于MATLAB图像处理的中值滤波、均值滤波以及高斯滤波的实现与对比

    基于MATLAB图像处理的中值滤波、均值滤波以及高斯滤波的实现与对比基于 MATLAB 图像处理的中值滤波 均值滤波以及高斯滤波的实现与对比 1 背景知识中值滤波法是一种非线性平滑技术 它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值 中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术 中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替 让周围的像素值接近的真实值 从而消除孤立的噪声点

    2026年3月19日
    1

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号