构建可扩展的有状态服务

原文链接:http://highscalability.com/blog/2015/10/12/making-the-case-for-building-scalable-stateful-services-in-t.html

在很长一段时间内,分布式系统都采用无状态服务作为分布式系统扩展的最佳实践。它可以通过简单的循环负载均衡来提供扩展能力。它的缺点则在于数据中心之间复杂的一致性问题。
这里有一篇关于有状态服务(PPT)的分享。这篇分享介绍了基于Azure的Orleans开发Halo4的经验。Orleans基于有状态分布式的Actor模型,节点之间实现了高可用的Gossip协议,一个两层的一致性哈希加上分布式哈希表。基于这些方案提供节点动态负载均衡,动态扩缩容,热点平衡转移等等。
下面简单说一下如何使用有状态服务:

无状态服务带来额外开销

无状态服务可以通过添加节点来实现线性可扩展能力的提升。问题在于,我们开发的应用场景是有状态的,这意味着我们需要通过sharding或者NoSQL来实现扩容。这又丧失了关系型数据库关于强一致性的保证。
对于单个用户,经常需要把这个用户的所有请求路由到同一台服务器上,这样可以通过本地数据缓存的措施来减少IO开销。

集群信息:

  1. 静态配置 配置一份包含所有集群信息的静态文件分发到所有机器上,缺点在于不够灵活,线上发生故障需要手动调整配置,不支持动态扩容缩容。

  2. Gossip协议  稳定状态下,系统中所有节点对于节点的健康状态能够达成共识,在发生网络分区或者节点加入/离开时,可能会出现短暂的不一致情况。

  3. 共识算法 保证所有节点的一致性,缺点在于可能会是整个系统速度的瓶颈。

路由策略:

  1. 随机路由 一般是根据机器的处理能力进行按处理能力的路由。

  2. 一致性哈希 问题在于可能会出现热点问题,需要精心选择哈希键。
    3.分布式哈希表(DHT) 动态哈希表保存服务状态。

三个例子:
Facebook的Scuba
一个高速的基于内存的分布式数据库,使用了静态成员信息配置,写时采用随机分发策略,读取操作有中间件进行聚合返回,不保证可用。

Uber的Ringpop
Ringpop是一个实现了程序层级分片的node.js库,采用了Swim Gossip协议维护集群信息,这个协议基于AP所以不保证强一致性,一致性哈希负责处理请求路由,所以有可能出现热点问题。

微软的Orleans
Orleans是一个基于分布式系统的Actor模型,Actor是计算的核心单元,彼此之间使用异步消息通信,它持有一系列状态机所以本身是有状态的,Gossip协议负责集群信息,路由策略是一致性哈希与分布式哈希表的结合:当向集群发送对Actor的请求时,Orleans运行时将计算对Actor ID的一致哈希。哈希映射到具有该ID的分布式哈希表的计算机;Actor的分布式哈希表知道哪个机器包含指定ID的Actor。

有状态模型带来的挑战:
需要关注服务器内存状况,缓存建设问题,第一次链接问题等等。

原文地址:https://www.jianshu.com/p/fdfca8f5d9ec

.NET社区新闻,深度好文,欢迎访问公众号文章汇总 http://www.csharpkit.com

640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/320626.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

51nod1743-雪之国度【最小生成树,LCA,并查集】

正题 题目链接:http://www.51nod.com/Challenge/Problem.html#problemId1743 题目大意 nnn个点mmm条边的一张图,每次询问要求找出x,yx,yx,y直接的两条不重路径的最大值最小。 解题思路 首先第一条路径肯定是最小生成树上的路径,所以我们先求出最小生成…

树莓派3B+,我要跑.NET CORE

前面的话我也不知道为什么,看到.net core觉得很爽,可以真正的跨平台,个人觉得很喜欢,所以就准备拿树莓派来验证我的想法。在我写这篇文章的时候,刚好在树莓派上装好了core2.1,先上结果。一、基础准备从板子…

Codeforces1019C

Codeforces1019C 题意:一张无自环的有向图,请找出一个点集Q,满足Q内的点不能互相有边,且Q内的点一定可以通过1次或2次移动,到达Q集合以外的任意一个点。 做法:思路神奇。做法就是编号小到大枚举选的点&…

WZK的排名(jzoj 1995)

WZK的排名 jzoj 1995 题目大意: 有一个成绩排名,让你按成绩排序(成绩相同,年级更小的在前面),让你求对于每个人来说,成绩比他大年级比他小的人的个数 输入样例 5 300 5 200 6 350 4 400 6 …

YbtOJ#20073-[NOIP2020模拟赛B组Day6]钻石守卫【构造】

正题 题目链接:http://noip.ybtoj.com.cn/contest/105/problem/3 题目大意 nnn个点mmm条边的图,保证每条边两边的点权和大于等于边权。现在要去减去最少/多的点权使得每条边的边权等于两边的点权。 解题思路 对与一个连通块,显然确定一个就可以确定别的…

【bfs】WZK旅游(jzoj 1996)

WZK旅游 jzoj 1996 题目大意: 给出一个nm的矩阵,表示一个地方的高度,高度相同且相邻(不算斜角)的算一块,当整一块高度都大于周围时,这是个山峰,相反当高度都低于附近时是湖泊&…

FWT学习笔记

FWT学习笔记 参考: 快速沃尔什变换(FWT)学习笔记FWT 详解 知识点定义: 快速沃尔什变换(FWT)主要解决位运算卷积的问题。给定两个数组 \(A\) 和 \(B\) (长度为2的整数幂):\[C_k \sum_{i \oplus jk}A_iB_i\] 其中\(\oplus\)可以是与&#xff0…

hdu5709-Claris Loves Painting【线段树合并】

正题 题目链接:http://acm.hdu.edu.cn/showproblem.php?pid5709 题目大意 nnn个点的一棵树,每次有询问(u,k)(u,k)(u,k)表在uuu的子树中,距离uuu不超过kkk的节点中有多少不同颜色的节点。 解题思路 线段树维护每个深度有多少是颜色出现的最浅的位置&am…

【DP】【高精】WZK打雪仗(jzoj 1997)

WZK打雪仗 jzoj 1997 题目大意&#xff1a; 在一个环上有n*2个点&#xff0c;问有多少种连法可以用n条线连接成n对点 输入样例 5输出样例 42解释&#xff1a; 一种可行的方案如下&#xff1a; 数据范围 对于30%数据&#xff1a; n<30。 对于100%数据&#xff1a; …

月旦评 之 DevOps招贤令2018

公元164-182年间&#xff0c;汝南平舆的许氏兄弟于每月初一品评人物&#xff0c;褒贬时政&#xff0c;被称为“月旦评”。所谓“子治世之能臣&#xff0c;乱世之奸雄也”这句许邵评价曹操的话也是来自于“月旦评”&#xff1b;时间一下子来到了2018年&#xff0c;LEANSOFT DevO…

牛客网暑期ACM多校训练营(第九场)

牛客网暑期ACM多校训练营&#xff08;第九场&#xff09; A. Circulant Matrix 做法&#xff1a;看到下标 \(xor\) 这种情况就想 \(FWT\)&#xff0c;可是半天没思路&#xff0c;于是放弃了。。其实这个 \(n\) 疯狂暗示啊。设未知数向量为 \(x\)&#xff0c;列一下方程组就可以…

函数式编程之-模式匹配(Pattern matching)

编者&#xff1a;C# 7.0也加入了模式匹配&#xff0c;来源于F#。模式匹配在F#是非常普遍的&#xff0c;用来对某个值进行分支匹配或流程控制。模式匹配的基本用法模式匹配通过match...with表达式来完成&#xff0c;一个完整的模式表达式长下面的样子&#xff1a;match [somethi…

P4123-[CQOI2016]不同的最小割【网络流,分治】

正题 题目大意:https://www.luogu.com.cn/problem/P4123 题目大意 一张无向图&#xff0c;求所有点对之间有多少不同的最小割。 解题思路 考虑分治的做法&#xff0c;如果我们得知了(s,t)(s,t)(s,t)的最小割www&#xff0c;并且剩下的残量网络中连通点集SSS与sss连通&#x…

【DP】饥饿的WZK(jzoj 1998)

饥饿的WZK jzoj 1988 题目大意&#xff1a; 有很多个点&#xff0c;并且给出n个区间&#xff0c;问在选的区间不重复的前提下&#xff0c;选的区间的点数总和最大是多少 输入样例 3 1 3 7 8 3 4输出样例 5数据范围 对于100%的数据&#xff1a;1<N<2000&#xff0c…

ACM-ICPC 2018 徐州赛区网络预赛 D. EasyMath

ACM-ICPC 2018 徐州赛区网络预赛 D. EasyMath 做法&#xff1a;\[f(m,n) \sum _{i1}^{m} \mu(in) \sum_{i1}^{m}[gcd(i,n)1]\mu(i)\mu(n) \mu(n)\sum_{d|n}\mu(d)f(\frac{m}{d},d)\] 边界: n1&#xff0c;杜教筛求\(\sum_{i1}^{m}\mu(i)\)&#xff0c;m 1, 返回\(\mu(n)\)&…

51nod1601-完全图的最小生成树计数【Trie,分治】

正题 题目链接:http://www.51nod.com/Challenge/Problem.html#problemId1601 题目大意 nnn个点的完全图&#xff0c;边(i,j)(i,j)(i,j)的权值为aixoraja_i\ xor\ a_jai​ xor aj​。求最小生成树和方案数。 解题思路 对于一个高位数&#xff0c;将这一位为000和这一位为111分…

纪中C组模拟赛总结(2019.7.8)

成绩&#xff1a; 注&#xff1a; rankrankrank是有算其它dalaodalaodalao的 hkydalaohkydalaohkydalao竟不屑于交代码 rankrankranknamenamenamescorescorescoreT1T1T1T2T2T2T3T3T3T4T4T4171717wjjwjjwjj185185185100100100858585000000212121lyflyflyf170170170100100100707…

HDU5442

HDU5442 做法&#xff1a;把原串复制一份加在后边&#xff0c;中间插特殊入个特殊字符&#xff0c;再把翻转后的串加在后边&#xff0c;同样复制一份。然后做后缀数组&#xff0c;按题意处理细节即可。 #include <cstdio> #include <iostream> #include <algori…

Asp.Net Core SignalR 与微信小程序交互笔记

什么是Asp.Net Core SignalRAsp.Net Core SignalR 是微软开发的一套基于Asp.Net Core的与Web进行实时交互的类库&#xff0c;它使我们的应用能够实时的把数据推送给Web客户端。功能自动管理连接允许同时广播到所有客户端也可以广播到指定的组或者特定的客户端在Github上开源&am…

手机(jzoj 1983)

手机 jzoj 1983 题目大意&#xff1a; 在手机输入键盘上有很多键&#xff08;如下图&#xff09;&#xff0c;每一个位置按一次就是第一个字母&#xff0c;第二次就是第二个字母&#xff08;空格按0一次&#xff09;&#xff0c;现在问打出一条信息最少按几下&#xff1f; …