分布式基础通信协议:paxos,totem和gossip

背景:

在分布式中,最难解决的一个问题就是多个节点间数据同步问题。为了解决这样的问题,涌现出了各种奇思妙想。只有在解决了如何进行信息同步的基础之上才衍生出形形色色的应用。这里开始介绍几种分布式通信协议。

简单即有效——totem协议:

totem协议也许你还比较陌生,但是corosync就是totem协议的一个开源实现。比较火的HA软件pacemaker就是基于corosync来提供各种服务的。说起totem协议,最简单的形象就是,他将多个节点组成一个令牌环。多个节点手拉手形成一个圈,大家依次的传递token。只有获取到token的节点才有发送消息的权利。简单有效的解决了在分布式系统中各个节点的同步问题,因为只有一个节点会在一个时刻发送消息,不会出现冲突。当然,如果有节点发生意外时,令牌环就会断掉,此时大家不能够通信,而是重新组建出一个新的令牌环。

进化的二段提交——paxos协议:

说起paxos,需要稍微提提二段提交。简单来说,二阶段提交就是1.一个节点询问其他节点,我是不是可以进行消息提交。2.如果收到所有人的同意,则告诉大家,开始提交吧。这个协议在实际中并不能很好的解决分布式中信息同步问题。例如只要有节点失效,就会发生得不到所有人同意的结果,在超时后,这一次提交失败,等一系列问题。但是paxos在对二段提交进行了优化后,得到了一个比较好的解决办法。

paxos协议引入了多数派,以及消息编号的概念。在1准备时,询问2/n+1的参与者,要求他们保证不会接受小于编号n的提交。

2.如果得到了2/n+1的回复,则可以开始告诉2/n+1的参与者进行消息的提交。

可以明显的看出,这就是对二段提交的一个优化版。就是这么一个比较巧妙的思想,解决了一些二阶段提交带来的问题。

顺便说一句,这个协议的作者Leslie Lamport。他刚刚获得2013年图灵奖。

奇思妙想——gossip协议:

gossip协议是一个神奇的协议。它常用于P2P的通信协议,这个协议就是模拟人类中传播谣言的行为而来。简单的描述下这个协议,首先要传播谣言就要有种子节点。种子节点每秒都会随机向其他节点发送自己所拥有的节点列表,以及需要传播的消息。任何新加入的节点,就在这种传播方式下很快地被全网所知道。这个协议的神奇就在于它从设计开始就没想到信息一定要传递给所有的节点,但是随着时间的增长,在最终的某一时刻,全网会得到相同的信息。当然这个时刻可能仅仅存在于理论,永远不可达。


基础协议的对比:

简单的介绍了这几种协议,下面我们来看看他们的对比:

基础协议paxostotemgossip
数据同步第一阶段:
  proposer 选择一个提案编号 n 并将 prepare 请求发送给acceptors 中的一个多数派;acceptor 收到 prepare 消息后,如果提案的编号大于它已经回复的所有 prepare 消息,则 acceptor 将自己上次的批准回复给 proposer并承诺不再批准小于 n 的提案。
第二阶段:
当一个 proposor 收到了多数 acceptors 对 prepare 的回复后,就进入批准阶段。它要向回复 prepare 请求的acceptors 发送 accept 请求,包括编号 n 和根据 P2c 决定的 value(如果根据 P2c 没有决定 value,那么它可以自由决定 value)。在不违背自己向其他 proposer 的承诺的前提下,acceptor 收到 accept 请求后即批准这个请求。
1.通信方式。
当集群有节点要发起通信时,需要等待token。当拿到token后,先广播这次需要发送的数据,然后传递token来确认所有人都接收到消息。
如果确认成功,释放token。

2.节点的加入和退出。
当集群中有节点加入时,加入的节点广播一个加入信息,所有人都开始广播自己的信息,当所有人都获得同伴信息,开始由id最小的人提交一个token,交由所有节点确认。
如果都确认后,则节点正式加入,开始正常运行。
当集群有节点退出时,由于令牌环断链,触发token超时,则同样开始广播信息,然后由最小id提交token,经过确认后恢复正常。
gossip协议有多种实现,这里说一个例子当节点启动时,读配置文件,然后向一个seed发送信息,进行信息同步,然后开始没秒都随机选择一个seed节点来同步信息

1、随机取一个当前活着的节点,并向它发送同步请求
2、向随机一台不可达的机器发送同步请求
3、如果第一步中所选择的节点不是seed,或者当前活着的节点数少于seed数,则向随意一台seed发送同步请求
数据一致性 强一致性强一致性最终一致性
相关应用zookeepercorosyncCassandra
优点可以很好的解决通信一致性问题,在集群规模上比corosync要略大一些简单方便,按照协议实现后就可以直接使用协议本身简单,组网规模几乎不受限制,通信性能好
缺点理论性太强,如果要实际使用,还是需要进行优化使用了广播包,对于跨域传送有影响,而且令牌环本身带来的问题使得组网规模不大不能提供传统的数据一致性服务,在传输中占用较多的网络流量

参考资料

totem协议:http://blog.csdn.net/zuokong/article/details/7548152

paxos协议:http://en.wikipedia.org/wiki/Paxos_algorithm

gossip协议:http://en.wikipedia.org/wiki/Gossip_protocol


原文地址:http://blog.csdn.net/cloudresearch/article/details/23127985


.NET社区新闻,深度好文,微信中搜索dotNET跨平台或扫描二维码关注

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/328877.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机专业可以评机械工程师,机械工程师个人评价

人就像一个多面体。仅仅由别人的评价来判定自己是不全面的,当自己也沉淀下来,窥探自己的内心,写下自己的自我评价,这样才可以不断进步。但是自我评价要怎么写呢?下面是学习啦小编带来机械工程师个人评价范文的内容,欢…

分布式系统之消息队列

转载自 分布式系统之消息队列 一、MQ简介 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。 使用较多的消息队…

微软准备开源PowerShell

近日微软再次在向开源投出橄榄枝, PowerShell是面向Windows和Windows Server的自动化平台和脚本语言,帮助用户简化系统的管理。在纳德拉的带领下微软也逐渐走向开放,根据相关爆料称微软有计划在近期内 开源该脚本语言。 知名Windows爆料人士W…

华为荣耀畅玩7c计算机在那,华为荣耀畅玩7C内存多大

华为荣耀畅玩7C内存多大这是很多朋友咨询的问题,华为荣耀畅玩7C凭借高颜值,双摄,人脸识别受到广泛关注,但是也有很多朋友更关心内存多大的问题,下面就来详细介绍一下华为荣耀畅玩7C内存多大。华为荣耀畅玩7C内存多大?…

谈谈数据库连接池的原理

转载自 谈谈数据库连接池的原理这次我们采取技术演进的方式来谈谈数据库连接池的技术出现过程及其原理,以及当下最流行的开源数据库连接池jar包。 一.早期我们怎么进行数据库操作1.原理:一般来说,java应用程序访问数据库的过程是&#xff1a…

华为荣耀20计算机,华为云电脑将停止服务/荣耀新机保护壳曝光/小米新机渲染图曝光...

华为云电脑8月16日停止服务和运营近日,华为官方宣布,“华为云电脑”APP将于北京时间2021年8月15日23点59分停止服务和运营,自那之后用户将再无法登录和使用。华为表示“届时及以后您将无法登录和使用。在此之前,有效套餐仍可连接使…

.NET Core系列 :3 、使用多个项目

通过前面的两篇文章.NET Core系列 : 1、.NET Core 环境搭建和命令行CLI入门 和.NET Core系列 : 2 、project.json 这葫芦里卖的什么药,我们已经知道如何创建新的项目,如何生成并运行我们的应用程序,也知道(…

Docker 入门教程

转载自 Docker 入门教程2013年发布至今, Docker 一直广受瞩目,被认为可能会改变软件行业。 但是,许多人并不清楚 Docker 到底是什么,要解决什么问题,好处又在哪里?本文就来详细解释,帮助大家理…

ftb测试软件,EXFO推出FTB-2光纤测试平台

ICCSZ讯 EXFO发布新的基于模块FTB-2 Pro紧凑型平台,这是目前市场上最小的高速、多技术和光学测试平台。它支持两个单插槽模块,如在同一单元中可进行以太网和光时域反射仪(OTDR)的组合测试功能。该系统还支持光谱和多层测试。总而言之,该平台提…

数据库设计【笔记】

数据库设计一、设计步骤1.收集信息(来源项目需求分析)2.标识实体(一般是需求分析中需要管理的信息名词)3.标识每个实体的属性4.实体之间的关系 二、画e-r图(实体关系图)1.矩形表示实体2.椭圆表示实体的属性…

你必须知道的EF知识和经验

注意:以下内容如果没有特别申明,默认使用的EF6.0版本,code first模式。 推荐MiniProfiler插件 工欲善其事,必先利其器。 我们使用EF和在很大程度提高了开发速度,不过随之带来的是很多性能低下的写法和生成不太高效的sq…

Go语言、Docker 和新技术

转载自 Go语言、Docker 和新技术上个月,作为 Go 语言的三位创始人之一,Unix 老牌黑客罗勃派克(Rob Pike)在新文章“Go: Ten years and climbing”中,回顾了一下 Go 语言的发展过程。其中提到,Go 语言这十年…

服务器 .err文件,IIS 关闭HTTPERR(IIS日志)的方法

关闭HTTPERR的方法运行里输入 regedit 进入注册表编辑器[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\HTTP\Parameters]在右边 点鼠标右键 新建dword值 EnableErrorLogging 重新启动服务器就可以了"EnableErrorLogging"dword:00000000重起后,2…

数据库的实现【笔记】

一、创建数据库1.简单的方式create database 数据库名2.指定主文件和日志文件参数create database 数据库名 on [primary](name数据库逻辑名, --数据库名_datafilename数据库主文件(包括路径),--E:\第二期\第二章数据库的实现\数据库名_d…

Entity Framework Core Lolita

这是Entity Framework Core的一个轻量的扩展,提供批量更新和删除操作的支持。而且这个库出自中国一位MVP之手,虽然内容是英文,也很简单,相信你也能看懂。 This is a light-weight extension which provides bulk update and delet…

如何显示服务器控件,Panel Web 服务器控件概述

Panel Web 服务器控件概述10/22/2014本文内容更新:2007 年 11 月Panel Web 服务器控件在 ASP.NET 网页内提供了一种容器控件,您可以将它用作静态文本和其他控件的父级。本主题包括:背景代码示例类参考背景可以将 Panel 控件用作其他控件的容器…

使用GZIP和Zip压缩Java数据流

转载自 使用GZIP和Zip压缩Java数据流本文通过对数据压缩算法的简要介绍,然后以详细的示例演示了利用java.util.zip包实现数据的压缩与解压,并扩展到在网络传输方面如何应用java.util.zip包现数据压缩与解压综述 许多信息资料都或多或少的包含一些多余的…

Asp.net Core基于MVC框架实现PostgreSQL操作

简单介绍 Asp.net Core最大的价值在于跨平台、跨平台、跨平台。重要的事情说三遍。但是目前毕竟是在开发初期,虽然推出了1.0.0 正式版,但是其实好多功能还没有完善。比方说编译时的一些文件编码问题,辅助工具Tools的一些Bug,还有一…

sql高级查询

子查询:是嵌套在select ,insert ,update ,delete语句或者其他的子查询中的查询语句。 一、一般的使用方式:select * from 表1 where 列 运算符 (子查询)注意:1.先执行子查询,在执行外查询(主查询…

小米miui系统已停止服务器,小米两款机型停止 MIUI 更新,明天发布最终体验版固件...

原标题:小米两款机型停止 MIUI 更新,明天发布最终体验版固件11 月 21 日消息, MIUI 官方预告 MIUI 于 2018 年 11 月 22 日发布小米手机 5 、红米 Note 3 全网通的最后一个 MIUI 10 体验版/开发版 8.11.22 ,两款机型将不再支持后续…