一致性Hash算法原理

前言

当在需要将数据分发到多个数据库/缓存,或将请求分发给多个服务节点时,不可避免的会遇到以下问题:
如何将数据均匀的分散到各个节点中,并且尽量的在加减节点时能使受影响的数据最少。

选择节点的方法

随机放置

从多个节点中,随机挑选一个,实现简单但不能做到数据均匀分布到每个节点

Hash

将数据的key按 index = hash(key) % N选择节点。N代表有N个节点。此方法能将数据均匀的分发给每个节点,但在添加或修改节点时,即N发生变换时,所有数据都需要重新计算,扩展性差

一致性Hash

一致性Hash算法通过一个叫一致性Hash环的数据结构实现KEY到节点的映射。

将节点的唯一标识(ip, hostname)计算节点的hash值,并根据hash值将节点放置到放置到Hash环上。
在这里插入图片描述

随后用同样的hash函数计算key(数据)的hash值,将数据放置到Hash环,顺时针找到离数据最近的节点,此节点即为数据的接受节点。如图:key1所属节点为Node2
在这里插入图片描述

容错性

假设Node1宕机,key3的所属节点变为Node2,其他数据无需修改。当节点足够多时,某个节点宕机只会影响小部分的数据,保证了较好的容错性
在这里插入图片描述

扩展性

当加入新的节点Node4时,key3的所属节点变为Node4,其他数据无需修改。同样保证了只修改小部分数据,有较好的扩展性
在这里插入图片描述

虚拟节点

上述描述的算法仍然存在问题,当节点较少时会出现数据分布不均匀的情况:
多数key都在Node1,只有少部分在Node2
在这里插入图片描述

计算机领域有句话:计算机的任何问题都可以通过增加一个虚拟层来解决

解决上述一致性Hash算法带来的负载不均衡问题,可以通过虚拟层的手段:
将每个真实节点虚拟为一组虚拟节点,将虚拟节点放入Hash环,key在换上先找到虚拟节点,再得到真实节点信息。
如图,将每个节点虚拟为两个虚拟节点:

  • Node1: VNode10,VNode11
  • Node2: VNode20,VNode21

在原有的基础上多一步由虚拟节点映射到实际节点的步骤即可让少量节点也能满足均匀性。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/330110.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

转: java多线程-ThreadPoolExecutor的拒绝策略RejectedExecutionHandler

转自: https://blog.csdn.net/qq_25806863/article/details/71172823 概述 原文地址 http://blog.csdn.net/qq_25806863/article/details/71172823 在分析ThreadPoolExecutor的构造参数时,有一个RejectedExecutionHandler参数。 RejectedExecutionH…

已知两点坐标如何快速增加其他坐标_「测绘精选」坐标转换概述

引言:这篇“坐标转换概述”献给各位,可以对坐标转换有一个大致地、整体地了解。文中有些名词是为了便于表达而自创的,大家不用考据、较真。一、静态坐标和动态坐标(1)静态坐标传统大地测量没有考虑板块运动对坐标的影响。虽然板块运动客观存在…

什么是G1垃圾回收算法

转载自 什么是G1垃圾回收算法为解决CMS算法产生空间碎片和其它一系列的问题缺陷,HotSpot提供了另外一种垃圾回收策略,G1(Garbage First)算法,通过参数 -XX:UseG1GC来启用,该算法在JDK 7u4版本被正式推出&am…

一文理清RocketMQ顺序消费、重复消费、消息丢失问题

前言 在使用消息队列时不可避免的会遇到顺序消费、重复消费、消息丢失三个问题。在一次面试字节的时候,面试官问到如何保证顺序消费,当时回答不太准确,特意此文回顾如何解决顺序消费、重复消费、消息丢失三个问题。 重复消费 解决重复消费…

一道丧心病狂的java面试题

转载自 一道丧心病狂的java面试题无意中了解到如下题目,觉得蛮好。 题目如下: public class TestSync2 implements Runnable {int b 100; synchronized void m1() throws InterruptedException {b 1000;Thread.sleep(500); //6System.out.pri…

水晶报表图形位置_看了我用Excel做的年度报表,老板直夸好

2020年前5个月,最火爆的莫过于口罩。口罩的整条产业链都变得炙手可热,口罩、口罩机、炒熔喷布、聚丙烯等等相关企业的业务数据往往都是去年的几倍。那我们现在作为一家“表姐牌”的口罩厂的员工,老板叫我用Excel做一个既酷炫又简洁的年度报表…

Mysql优化(三):优化order by

MySQL中的两种排序方式 .通过有序索引顺序扫描直接返回有序数据 因为索引的结构是B树,索引中的数据是按照一定顺序进行排列的,所以在排序查询中如果能利用索引,就能避免额外的排序操作。EXPLAIN分析查询时,Extra显示为Using inde…

漫画:什么是服务熔断

转载自 漫画:什么是服务熔断什么是服务熔断?熔断这一概念来源于电子工程中的断路器(Circuit Breaker)。在互联网系统中,当下游服务因访问压力过大而响应变慢或失败,上游服务为了保护系统整体的可用性&#…

rabbitmq手动确认ack

【README】 参考 https://blog.csdn.net/u012943767/article/details/79300673 ; 【0】声明交换机,队列 与绑定 /*** 交换机,队列声明与绑定 */ public class AckDeclarer {/** 确认交换机 */public static final String ACK_EXCHANGE2 &q…

python图片保存_python读取和保存图片5种方法对比

python读取和保存图片5种方法对比 python中对象之间的赋值是按引用传递的,如果需要拷贝对象,需要用到标准库中的copy模块 方法一:利用 PIL 中的 Image 函数 这个函数读取出来不是 array 格式,这时候需要用 np.asarray(im) 或者 np…

finally块不被执行的情况总结

finally块的作用 通常用于处理善后工作。当try块里出现异常时,会立即跳出try块,到catch块匹配对应的异常,执行catch块里的语句。此时,可能在try块里存在打开的文件没关闭,连接的网络没断开,这部分资源是GC…

rabbitmq生产者基于事务实现发送确认

【README】 业务场景: 业务处理伴随消息的发送,业务处理失败(事务回滚)后要求消息不发送。 补充1:ACK与CONFIRM的区别 ACK-消费者消费成功后确认;(消费者确认已收到) CONFIRM-事…

什么是CAP定理

转载自 什么是CAP定理计算机界有很多高大上又难于理解的术语,CAP就是其中之一, 什么一致性(Consistency), 可用性(Availability), 分区容错性(Partition tolerance&#…

python找不到指定的文件夹里_Python环球网在Unix中的指定文件路径中找不到*.txt

我在Windows环境中写了一些文件,我在转换文件时遇到了麻烦。在Windows中,我通常使用类似以下内容读取目录中的所有.txt文件:pathtotxt "C:\\Text Data\\EJC\\Philosophical Transactions 1665-1678\\*\\*.txt" for file in glob.g…

从开发者角度谈Mysql主键

转载自 从开发者角度谈Mysql主键说在前面零度mysql一直比较薄弱,俗话说的好,不会mysql的程序员不是好程序员,刚刚好认识mysql大牛刘龘刘,刚刚好就有了这些文章,主要是刘龘刘大牛写的,零度稍微修改成文&…

JVM内存结构分析:为什么需要S0和S1?

一、为什么会有年轻代 我们先来屡屡,为什么需要把堆分代?不分代不能完成他所做的事情么?其实不分代完全可以,分代的唯一理由就是优化GC性能。你先想想,如果没有分代,那我们所有的对象都在一块,…

rabbitmq-消息追踪rabbitmq_tracing

【README】 消息中心的消息追踪需要使用 Trace 实现,Trace是 rabbitmq用于记录每一次发送的消息;方便开发者调试,排错。可通过插件形式提供可视化界面。 【1】 开启消息追踪 1)消息追踪通过 rabbitmq的插件 trace 来实现&#x…

python大神交流网站_学习Python必去的8个网站

作为一个现时代的程序员初学者,除了看书之外,互联网的学习手段也是断不能少的! 以下这些网站,虽说不上全方位的满足你的需求,但是大部分也都能! 0.国外的大神GitHub : https://github.com/pypa/…

一文理清Http2.0

前言 HTTP2.0主要有三大特性:二进制协议、头部压缩、服务端推送(Server Push)、多路复用。本文从分析http1.x存在的问题入手,逐一介绍http2.0的优势。 Http1.x存在的问题 在HTTP1.0下,HTTP1.1非Keep-Alive模式下&am…

收敛和发散思维如何被用作解决问题的手段

转自: https://www.jdon.com/mda/thinking.html 将发散和收敛的思想结合在一起使用时,可以帮助分析人员得出更好的和更有创造性的解决方案。发散性思维是将一个话题分解并产生许多从原始概念中分支出来的想法的过程,而收敛性思维则是集中于少…