浅析位图索引(bitmap index)

浅析位图索引(bitmap index)位图索引是一种很高效的索引结构 对于多属性过滤的聚合查询很高效 玩的就是 bit 位图 位 bit 的一个简单数组 比如 001010 这个位数就是 6 位图索引 假如建立在一个表的列 A 上 对属性 A 中的每一个可能取值都建立位图 位图的位数和数据量相等 位图的生成方法 如果编号为 i 的记录在属性 A 上的值为 v j 则 v j 位图的第 i 位为 1 否则为 0 我们为性别字段建立位图索引 性别有 3 种取值 分别建立位图索引 性别 男 表示第 1 个和第 4 个是男 其他不是男

位图索引基本概念

位图索引是一种很高效的索引结构,对于多属性过滤的聚合查询很高效,玩的就是 bit。

位图:位(bit)的一个简单数组,比如 001010,这个位数就是 6。

位图索引:假如建立在一个表的列 A 上,对属性 A 中的每一个可能取值都建立位图,位图的位数和数据量相等。

位图的生成方法:如果编号为 i 的记录在属性 A 上的值为 v_j,则 v_j 位图的第 i 位为1,否则为0。

实际例子

浅析位图索引(bitmap index)

我们为性别字段建立位图索引,性别有 3 种取值,分别建立位图索引。

《性别_男》= 。表示第 1 个和第 4 个是男,其他不是男,后边类似。

《性别_女》= 011010。

《性别_中性》= 000001。

相同的,对收入也建立位图索引:

《收入_1w》= 。

《收入_2w》= 010101。

用法

单属性过滤原始数据查询:单个属性满足条件的原始数据,比如查询所有男性。

直接利用《性别_男》位图去找原始数据就可以了。

多属性过滤原始数据查询:多个属性满足条件的原始数据。比如查询性别为男且收入为1w的记录:

这时就可以将《性别_男》和《收入_1w》两个位图进行 and 操作:

and  =

结果显示只有第一条记录满足条件。

多属性过滤聚合查询:多个属性满足条件的记录聚合值。比如查询男性收入 1w 的人数。

将两个位图进行 and 操作后直接统计 1 的个数,避免了原始数据查询,这是位图索引最快的查询。

实现方式

简单版:用 for 循环来操作两个位图,一个一个位计算。

升级版:用 int 或者 long 来表示位图,直接对 int 或 long 进行 and 操作。

比如 java 中:9 & 10 = 8(1001 & 1010 = 1000)。这样可以一次计算 32 位或者 64 位。

一些约束

位图索引适合枚举类型的取值,连续变化的需要分段离散化才能使用位图。

不知道大家注意到没有,为啥我在性别中加了个中性?因为 bit 有 0/1 两种取值,如果属性也只有两种取值的话,就不需要对每一种取值建立一个位图了,用一个位图就够了,另一个取值将位图取反就可以得到。比如去掉中性,那么《性别_男》= 1000,《性别_女》= 0111。

当删除一个男性记录,可以将《性别_男》中对应位置 0。但是这样取反后就会多出一个女性记录。因此最好还是对属性的每个取值建立位图。

总结

可以在枚举类型的属性上建立位图索引,为属性的每个取值建立一个位图。从而大幅度加速多属性过滤的普通查询和聚合查询。

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/217742.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月18日 上午8:52
下一篇 2026年3月18日 上午8:52


相关推荐

  • VGGNet网络结构

    VGGNet网络结构深度神经网络一般由卷积部分和全连接部分构成 卷积部分一般包含卷积 可以有多个不同尺寸的核级联组成 池化 Dropout 等 其中 Dropout 层必须放在池化之后 全连接部分一般最多包含 2 到 3 个全连接 最后通过 Softmax 得到分类结果 由于全连接层参数量大 现在倾向于尽可能的少用或者不用全连接层 神经网络的发展趋势是考虑使用更小的过滤器 如 1 1 3 3 等 网络的深度更深 2012 年 AlenNet

    2026年3月26日
    2
  • JS prototype作用

    JS prototype作用 prototype可查看原型属性,还可对原型添加属性或方法functionCar(name){this.name=name;this.run=function(){console.log(this.height+’cm’+this.name+’isrun!’)…

    2022年7月22日
    9
  • git免密码提交_git设置全局账号密码

    git免密码提交_git设置全局账号密码1.安装gityuminstallgit2.创建一个用户供git使用useraddgit#创建了一个名为git的用户passwordgit#设置密码3.打开RSA认证打开三项配置vim/etc/ssh/sshd_configRSAAuthenticationyesPubkeyA…

    2022年10月5日
    5
  • rails 新建和删除model和controller

    rails 新建和删除model和controller

    2022年3月13日
    35
  • Linux ioremap分析

    Linux ioremap分析ioremap 将物理地址转换为虚拟地址 nbsp gt ioremap addr size arch arm64 include asm io h gt ioremap addr size pgprot PROT DEVICE nGnRE definePROT DEVICE nGnRE PROT DEFAULT PTE PXN PTE UXN

    2026年3月20日
    1
  • Feign使用Hystrix

    Feign使用HystrixFeigh是以接口形式工作,它没有方法体,那么Feign如何整合Hystrix呢?如何实现Feign的回退呢?事实上,Spring Cloud默认已经为Feign整合了Hystrix,下面看一个实例。一 新建项目microservice-consumer-movie-feign-hystrix-fallback二 编写Feigh接口packagecom.itmuch.cloud.study.us…

    2025年6月1日
    5

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号