缓存穿透、缓存并发、缓存雪崩、缓存抖动、热点缓存、缓存双写一致性等问题…

缓存穿透、缓存并发、缓存雪崩、缓存抖动、热点缓存、缓存双写一致性等问题…

大家好,又见面了,我是全栈君。

对于高并发的业务场景,常用的技术手段包括黑白名单、限流防刷、熔断降级、兜底、线程隔离、多级缓存(客户端、CDN、NGINX、内存缓存、分布式缓存)等等。这些手段相互结合,才能应对高并发场景下的各种细分场景。本文总结了缓存方案需要考虑的几个问题。

第一,关于缓存穿透,是指大量访问缓存和数据库中都不存在的数据。对此,可以考虑使用两种方案:缓存空对象(对应key数量有限、key重复请求概率较高的场景)和布隆过滤器(对应key各不相同、key重复请求概率低的场景),或者两者同时使用。

第二,关于缓存并发,是指一个缓存如果失效,可能出现多个进程同时查询DB,同时设置缓存的情况。对此,可以使用三种方案:分布式锁消息队列和永不过期。其中消息队列需要考虑数据一致性和实效性问题,而永不过期则需要考虑数据的预热以及数据的更新。

第三,关于缓存雪崩,是指某一时刻大量缓存同时失效,导致请求全部打到DB。可以采用三种方案:缓存过期时间随机化、多级缓存(不同级别缓存对应不同的失效时间)、缓存永不过期

第四,关于缓存抖动,一般是指由于某个缓存节点故障导致该节点上的缓存数据不可用。对此,绝大部分的技术博客都会说使用一致性哈希来解决,个人认为这个说法并不准确。

本人分析了一致性哈希和哈希槽的使用场景对比:以Redis为例,Redis集群采用哈希槽的机制,当集群内某个主节点宕机之后,其它主节点会从宕机主节点的复制节点中选取一个节点作为该槽段的新主节点。也就是说,Redis集群的抖动不是通过一致性哈希来解决的。再以Memocache为例,原生的Memocache不支持集群方式,它的集群机制是由访问它的客户端来实现的。客户端使用一致性哈希算法,将多台Memocache机器维护成一个缓存集群,当单台服务器宕机之后,该节点的缓存数据将由其它节点来承担(需要引入虚拟节点)。

第五,关于热点缓存,是指在某个特定的时间点,某些key会成为访问的热点。如短时间内,如果大量用户同时访问一个热点缓存,即使使用Redis作为缓存也可能因为无法响应这么大的流量而导致请求打到数据库,从而导致数据库崩溃。对此,参给出三种解决方案,第一,依赖Redis 4.0及以上版本的功能,通过LFU机制发现热点数据,并定期更新到内存缓存;第二,基于流式计算统计热点数据,并基于ZooKeeper等系统更新到内存缓存;第三,利用Redis的集合功能,基于LRU-K算法发现并缓存热点数据,也可以定期将热点数据更新到内存缓存。相比之下,方案一和方案三无需依赖外部流式计算系统,成本较低。

第六、关于缓存双写一致性问题,是指数据写入请求需要写数据库并更新缓存,需要处理双写的一致性问题。给出以下三种策略:

先更新数据库,再更新缓存

先删除缓存,再更新数据库

先更新数据库,再删除缓存

以最大限度避免数据不一致或者降低数据不一致的时长为目标,对比结果为:推荐使用策略3,即先更新数据库,再删除缓存。而对于数据库更新成功,而缓存删除失败,则有两种解决方案:一是key过期机制;二是基于mq重试。

往期精选

缓存穿透、缓存并发、缓存雪崩、缓存抖动、热点缓存、缓存双写一致性等问题...

Redis应用-异步消息队列与延时队列

Redis 的 8 大数据类型,写得非常好!

Redis中缓存雪崩、缓存穿透等问题的解决方案

最新版 68 道Redis面试题,20000 字干货

50道Redis面试题史上最全,再也不怕问Redis了

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/111519.html原文链接:https://javaforall.net

(0)
上一篇 2022年2月19日 下午1:00
下一篇 2022年2月19日 下午1:00


相关推荐

  • hadoop核心模块_ERP核心模块

    hadoop核心模块_ERP核心模块转载地址:https://www.amobbs.com/thread-5531817-1-1.html 最近,利用uip搞了小东西,要想利用好uip,最好彻底搞清楚其关键函数uip_process.当网卡接收到数据之后,均需要通过该函数来处理.  下面是对uip1.0中的uip_process函数解读.//要点:网卡收到数据时,uip_process会遍历uip_udp_conn…

    2022年8月31日
    4
  • 为什么 AI 聊天场景多采用 SSE?

    为什么 AI 聊天场景多采用 SSE?

    2026年3月14日
    3
  • js 获取url大全

    js 获取url大全URL 即统一资源定位符 UniformResou URL 完整的 URL 由这几个部分构成 scheme host port path query fragmentsche 通信协议 常用的 http ftp maito 等 host 主机 服务器 计算机 域名系统 DNS 主机名或 IP 地址 port 端口号 整数 可选 省略时使用方案的默认端口

    2026年3月17日
    2
  • Java Arrays.asList()方法详解

    Java Arrays.asList()方法详解本文是对 Arrays asList 方法从源码角度进行分析 解析使用中的一些困惑 首先看 Arrays asList 的源码 publicstatic T a returnnewArr a 使用该方法可以将一个变长参数或者数组转换成 List 看似很简单但实际使用起来却会发现存在很多问题 看下面代码来发现问题

    2026年3月18日
    2
  • Java XML XXE 底层防御

    Java XML XXE 底层防御JavaXML相关API是由JAXP定义了相关的XML的通用接口,常见包括DOM/SAX/STAX/XPATH的标准APIJavax.xml.parsers ->DOM/SAXJavax.xml.stream ->STAXJavax.xml.xpath  ->XPATHJavax.xml.bind  ->JAXBjavax.xml.ws

    2022年7月20日
    20
  • db4o java,db4o Java版性能测试评估

    db4o java,db4o Java版性能测试评估publicclassTestdb4oIndex{publicstaticclassRecord{StringstrKey;longintKey;};publicstaticclassAssert{publicstaticvoidthat(booleancondition){if(!condition){thrownewError(“Assertio…

    2022年7月21日
    17

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号