一致性哈希算法 虚拟节点(比一致性哈希还好的算法)

采用固定哈希算法平衡负载在大规模的缓存应用中,应运而生了分布式缓存系统。key-value如何均匀的分散到集群中?最常规的方式莫过于hash取模的方式。比如集群中可用机器适量为N,那么key值为K的的数据请求很简单的应该路由到hash(K)modN对应的机器。但是在一些高速发展的web系统中,这样的解决方案仍有些缺陷。随着系统访问压力的增长,缓存系统不得不通过增加机器节点的方式提高集群的相应速…

大家好,又见面了,我是你们的朋友全栈君。

采用固定哈希算法平衡负载

在大规模的缓存应用中,应运而生了分布式缓存系统。key-value如何均匀的分散到集群中?最常规的方式莫过于hash取模的方式。比如集群中可用机器适量为N,那么key值为K的的数据请求很简单的应该路由到hash(K) mod N对应的机器。但是在一些高速发展的web系统中,这样的解决方案仍有些缺陷。随着系统访问压力的增长,缓存系统不得不通过增加机器节点的方式提高集群的相应速度和数据承载量。增加机器意味着按照hash取模的方式,在增加机器节点的这一时刻,大量的缓存命不中,缓存数据需要重新建立,甚至是进行整体的缓存数据迁移,瞬间会给DB带来极高的系统负载,设置导致DB服务器宕机。

如果不是缓存数据,而是持久化的数据,那么当扩容的时候,绝大部分数据都要迁移(取模的基数N变化了),这也是不能忍受的。

一致性哈希平衡负载

引入一致性哈希,解决以上增减机器导致负载瞬间整体增大问题

通过在整数范围内负责各区域的方式,节点负责区域的负载不会随着增减节点发生大规模的迁移

但是最简单的一致性哈希,在增减物理机的时候,似乎要增加一倍节点或减去一半节点才能保证各个节点的负载均衡

虚拟节点对一致性哈希的改进

对于一致性哈希的负载分布不平均问题,所以提出:虚拟节点对一致性哈希的改进

4个物理节点可以变成很多个虚拟节点,每个虚拟节点支持连续的哈希环上的一段。而这时如果加入一个物理节点,就会相应加入很多虚拟节点,这些新的虚拟节点是相对均匀地插入到整个哈希环上,这样,就可以很好的分担现有物理节点的压力了;如果减少一个物理节点,对应的很多虚拟节点就会失效,这样,就会有很多剩余的虚拟节点来承担之前虚拟节点的工作,但是对于物理节点来说,增加的负载相对是均衡的。

所以可以通过一个物理节点对应非常多的虚拟节点,并且同一个物理节点的虚拟节点尽量均匀分布的方式来解决增加或减少节点时负载不均衡的问题。

至于一个物理节点对应多少的虚拟节点才能达到比较好的均衡效果,有一个图

c5c9681f127c270bb278a51e9804bb6f.png

x轴表示的是需要为每台物理服务器扩展的虚拟节点倍数(scale),y轴是实际物理服务器数,可以看出,当物理服务器的数量很小时,需要更大的虚拟节点,反之则需要更少的节点,从图上可以看出,在物理服务器有10台时,差不多需要为每台服务器增加100~200个虚拟节点才能达到真正的负载均衡。

映射表与规则自定义计算方式

映射表示根据分库分表字段的值的查表法来确定数据源的方法,一般用于对热点数据的特殊处理,或者在一些场景下对不完全符合规律的规则进行补充。

可以通过自定义函数实现来计算最终的分库,举例来说,假设根据id取模分成了4个库,但是对于一些热点id,我们希望将其独立到另外的库,那么通过类似下面的表达式可以完成:

if (id in hotset) {

return nodes;

}

return hash(id);

参考:

http://www.iteye.com/topic/611976

http://www.iteye.com/topic/684087

《大型网站系统与Java中间件实践》

http://blog.csdn.net/sparkliang/article/details/5279393

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/129708.html原文链接:https://javaforall.net

(0)
上一篇 2022年4月14日 下午12:40
下一篇 2022年4月14日 下午12:40


相关推荐

  • 神经网络的反向传播算法推导

    神经网络的反向传播算法推导有了上一篇神经网络的反向传播算法推导—前期知识准备做铺垫,下一步来看看反向传播算法具体的推导过程。一、定义机器学习中常说的两个函数:损失函数(lossfunction):是定义在单个样本上的,算的是一个样本的值和预测值的误差,记为C(Θ);代价函数(costfunction):是定义在整个训练集上的,是所有样本误差的平均,也就是损失函数的平均,记为J(Θ);假设函数:二、神经网络结构图以三层神经网络为例:…

    2022年5月27日
    30
  • 关于java的垃圾回收机制,下面哪些结论_java垃圾回收算法有哪些

    关于java的垃圾回收机制,下面哪些结论_java垃圾回收算法有哪些本篇文章介绍了Java的垃圾回收机制、引用类型、JVM一次完整的GC流程、垃圾回收算法以及经典的垃圾回收器

    2022年8月31日
    5
  • 请说明 Iaas Paas 和 Saas 分别提供的服务和特点_一张图读懂咖啡

    请说明 Iaas Paas 和 Saas 分别提供的服务和特点_一张图读懂咖啡编译:老夫子原文:https://www.bmc.com/blogs/saas-vs-paas-vs-iaas-whats-the-difference-and-how-to-choose/从小型企业到全球企业,云都是一个非常热门的话题,它是一个非常广泛的概念,涵盖了很多在线领域。无论是应用程序还是基础架构部署,当您开始考虑将业务转移到云时,了解各种云服务的差异和优势比以往任何时候…

    2022年10月17日
    5
  • 【SpringBoot】21、SpringBoot中使用Cookie实现记住登录

    【SpringBoot】21、SpringBoot中使用Cookie实现记住登录最近在做项目 甲方提出每次登录都要输入密码 会很麻烦 要求实现一个记住登录状态的功能 于是便使用 Cookie 实现该功能一 Cookie 简介 Cookie 一种储存在用户本地终端上的数据 有时也用其复数形式 Cookies 类型为 小型文本文件 是某些网站为了辨别用户身份 进行 Session 跟踪而储存在用户本地终端上的数据 通常经过加密 由用户客户端计算机暂时或永久保存的信息 其实 Cookie 就是一个键和一个值构成的 随着服务器端的响应发送给客户端浏览器 然后客户端浏览器会把 Cookie 保存起来 当

    2026年3月18日
    2
  • JS通过window location href下载文件「建议收藏」

    JS通过window location href下载文件「建议收藏」最近在写文件下载,发现前端实现下载功能是依赖于浏览器特性,而非JS特性。前端实现文件下载主要分为以下情况1、在页面直接点击某个元素,然后另存为,弹出下载提示框2、直接输入网址,确定,弹出下载提示框3、点击页面的块触发下载时间,弹出下载提示框4、点击下载按钮,实现文件下载html代码 <div> <spanng-click=”downloadFile(url…

    2022年7月12日
    513
  • List去重工具类

    List去重工具类publicclassListUtil{Setset=newHashSet();List<T>newList=List.newArrayList();Iterator<?>iterator=list.iterator();where(iterator.next()){Tobject=…

    2022年5月13日
    64

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号