【DB】HBase的基本概念

【DB】HBase的基本概念

大家好,又见面了,我是全栈君。

一 Hbase是个啥东东? 
在说Hase是个啥家伙之前,首先我们来看看两个概念。面向行存储和面向列存储。面向行存储。我相信大伙儿应该都清楚,我们熟悉的RDBMS就是此种类型的。面向行存储的数据库主要适合于事务性要求严格场合,或者说面向行存储的存储系统适合OLTP。可是依据CAP理论,传统的RDBMS。为了实现强一致性,通过严格的ACID事务来进行同步,这就造成了系统的可用性和伸缩性方面大大折扣。而眼下的非常多NoSQL产品,包含Hbase,它们都是一种终于一致性的系统,它们为了高的可用性牺牲了一部分的一致性。好像。我上面说了面向列存储,那么究竟什么是面向列存储呢?Hbase,Casandra,Bigtable都属于面向列存储的分布式存储系统。

看到这里,假设您不明确Hbase是个啥东东,不要紧,我再总结一下下:

Hbase是一个面向列存储的分布式存储系统。它的长处在于能够实现高性能的并发读写操作,同一时候Hbase还会对数据进行透明的切分,这样就使得存储本身具有了水平伸缩性

二 Hbase数据模型 
HBase,Cassandra的数据模型很类似。他们的思想都是来源于Google的Bigtable,因此这三者的数据模型很类似,唯一不同的就是Cassandra具有Super cloumn family的概念,而Hbase眼下我没发现。好了。废话少说。我们来看看Hbase的数据模型究竟是个啥东东。

在Hbase里面有以下两个基本的概念,Row key,Column Family。我们首先来看看Column family,Column family中文又名“列族”,Column family是在系统启动之前预先定义好的,每个Column Family都能够依据“限定符”有多个column.以下我们来举个样例就会很的清晰了。

假如系统中有一个User表。假设依照传统的RDBMS的话。User表中的列是固定的,比方schema 定义了name,age,sex等属性。User的属性是不能动态添加的。可是假设採用列存储系统。比方Hbase。那么我们能够定义User表,然后定义info 列族。User的数据能够分为:info:name = zhangsan,info:age=30,info:sex=male等。假设后来你又想添加另外的属性。这样非常方便仅仅须要info:newProperty就能够了。

或许前面的这个样例还不够清晰,我们再举个样例来解释一下。熟悉SNS的朋友,应该都知道有好友Feed,一般设计Feed,我们都是依照“某人在某时做了标题为某某的事情”,可是同一时候一般我们也会预留一下keyword,比方有时候feed或许须要url,feed须要image属性等,这样来说。feed本身的属性是不确定的。因此假设採用传统的关系数据库将很麻烦。况且关系数据库会造成一些为null的单元浪费,而列存储就不会出现这个问题。在Hbase里,假设每个column 单元没有值,那么是占用空间的。

以下我们通过两张图来形象的表示这样的关系:

【DB】HBase的基本概念

上图是传统的RDBMS设计的Feed表,我们能够看出feed有多少列是固定的,不能添加,而且为null的列浪费了空间。

可是我们再看看下图。下图为Hbase,Cassandra,Bigtable的数据模型图,从下图能够看出,Feed表的列能够动态的添加。而且为空的列是不存储的,这就大大节约了空间,关键是Feed这东西随着系统的执行。各种各样的Feed会出现,我们事先没办法预測有多少种Feed,那么我们也就没有办法确定Feed表有多少列,因此Hbase,Cassandra,Bigtable的基于列存储的数据模型就很适合此场景。讲到这里,採用Hbase的这种方式。另一个很重要的优点就是Feed会自己主动切分。当Feed表中的数据超过某一个阀值以后。Hbase会自己主动为我们切分数据,这种话,查询就具有了伸缩性。而再加上Hbase的弱事务性的特性,对Hbase的写入操作也将变得很快。

【DB】HBase的基本概念

上面说了Column family。那么我之前说的Row key是啥东东,事实上你能够理解row key为RDBMS中的某一个行的主键。可是由于Hbase不支持条件查询以及Order by等查询,因此Row key的设计就要依据你系统的查询需求来设计了额。我还拿刚才那个Feed的列子来说,我们通常是查询某个人最新的一些Feed,因此我们Feed的Row key能够有下面三个部分构成<userId><timestamp><feedId>,这样以来当我们要查询某个人的最进的Feed就能够指定Start Rowkey为<userId><0><0>。End Rowkey为<userId><Long.MAX_VALUE><Long.MAX_VALUE>来查询了,同一时候由于Hbase中的记录是依照rowkey来排序的,这样就使得查询变得很快。

三 Hbase的优缺点 
1 列的能够动态添加,而且列为空就不存储数据,节省存储空间.

2 Hbase自己主动切分数据。使得数据存储自己主动具有水平scalability.

3 Hbase能够提供高并发读写操作的支持

Hbase的缺点:

1 不能支持条件查询。仅仅支持依照Row key来查询.

2 临时不能支持Master server的故障切换,当Master宕机后,整个存储系统就会挂掉.

关于数据库伸缩性的一点资料:
http://www.jurriaanpersyn.com/archives/2009/02/12/database-sharding-at-netlog-with-mysql-and-php/

http://adam.blog.heroku.com/past/2009/7/6/sql_databases_dont_scale/

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/115519.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • SpringBoot笔记(五)Linux系统与项目部署

    SpringBoot笔记(五)Linux系统与项目部署Linux操作系统与项目部署**注意:**本版块会涉及到操作系统相关知识。现在,几乎所有智能设备都有一个自己的操作系统,比如我们的家用个人电脑,基本都是预装Windows操作系统,我们的手机也有Android和iOS操作系统,还有程序员比较青睐的MacBook,预装MacOS操作系统,甚至连Macbook的Touchbar都有一个自己的小型操作系统。操作系统是管理计算机硬件与软件资源的计算机程序,操作系统可以对计算机系统的各项资源板块开展调度工作,运用计算机操作系统可以减少人工资源分配的工作强度。.

    2022年7月19日
    14
  • 下拉刷新Demo[通俗易懂]

    下拉刷新Demo[通俗易懂]引用了网上的demo。packagecom.news.utils;importjava.text.SimpleDateFormat;importjava.util.Date;importcom.news.todaynews.R;importandroid.content.Context;importandroid.util.AttributeSet;impor

    2025年6月26日
    2
  • pycharm无法使用第三方库_pycharm第三方库安装路径

    pycharm无法使用第三方库_pycharm第三方库安装路径有时候更新第三方库一直失败,猜测是源的问题,换成豆瓣的源后依然更新不了,参照网上搜索最后解决了问题,这里留个解决方法。方式一:pycharm里换源。自带是国外的源,更换为国内的访问更快更稳定,提供几个能用的源:清华:https://pypi.tuna.tsinghua.edu.cn/simple豆瓣:https://pypi.douban.com/simple/阿里:https://mirrors.aliyun.com/pypi/simple/我用的阿里。步骤:File>Settin

    2022年8月29日
    5
  • tensorflow模块安装

    tensorflow模块安装

    2021年11月19日
    44
  • pdb文件 PDB文件:每个开发人员都必须知道的 .NET PDB文件到底是什么?

    pdb文件 PDB文件:每个开发人员都必须知道的 .NET PDB文件到底是什么?pdb文件包含了编译后程序指向源代码的位置信息,用于调试的时候定位到源代码,主要是用来方便调试的。在程序发布为release模式时,建议将pdb文件删除,同时,对外发布的时候,也把pdb删除,有利于保护程序。PDB:ProgramDebugDatabase(程序调试数据库)文件  PDB(程序调试数据库)文件保持着调试和项目状态信息,从而可以对程序的调试配置进行增量…

    2022年5月23日
    34
  • 区块链 | 流行的分布式存储平台Swarm和IPFS分析「建议收藏」

    区块链 | 流行的分布式存储平台Swarm和IPFS分析「建议收藏」谈到区块链和分布式计算,最重要的是共识算法(整个网络如何达成一致的决策)和智能合约(实现我们在中心化世界中日常使用的应用)。但是,谈及日常应用程序,这些属性还不足以支持当今世界的需求。如果我们只依靠上述这两项,就难以想象像在Netflix上那样观赏喜爱的电影或电视剧、像在脸书上那样存储或分享值得纪念的视频或照片,或在区块链上玩喜爱的在线游戏(如DOTA)。我们缺少一个强大、安全和去中心化的内容存储以及分发系统,服务于当今的应用程序。下面,我们将探索和评估一些***的分布式存储平台。本文为系

    2022年5月16日
    50

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号