如何保证Redis双写一致性?

目录

数据不一致问题

数据库和缓存不一致解决方案

1. 先更新缓存,再更新数据

该方案数据不一致的原因

2. 先更新数据库,再更新缓存

3. 先删除缓存,再更新数据库

延时双删

4. 先更新数据库,再删除缓存

该方案数据不一致的场景和解决办法

缓存删除失败,该如何处理?

MQ异步重试删除

监控binlog删除

面试中关于Redis双写一致性,如何应答?

如何实现强一致性?


在数据库层和客户端层添加一层缓存,可以提高用户的访问性能。

比如一些商品秒杀业务,这时并发量高,要是所有请求都是打到数据库层(用MySQL举例),那用户的体验可能就不太好,因为操作数据库是要操作磁盘,性能比较低。而中间加一层缓存(用Redis举例),把数据存储在Redis中。Redis是基于内存的,操作速度极快,那并发量就可以提高了。

数据不一致问题

那就会引出问题,出现Redis和MySQL的数据不一致问题。由于缓存和数据库是分开的,无法做到原子性的同时进行数据修改,可能出现缓存更新失败,或者数据库更新失败的情况,这时候会出现数据不一致,影响业务。

数据库和缓存不一致解决方案

大方向有三种:

  • Cache Aside Pattern 旁路缓存模式,也叫人工编码方式:需要程序员写代码 同时维系 DB 和 cache。也称作双写方案。
  • Read/Write Through Pattern:缓存与数据库整合为一个服务,由服务来维护一致性。调用者调用该服务,无需关系缓存一致性问题。但是维护这样一个服务很复杂,市面上也不容易找到一个这样现成的服务,开发成本高。
  • Write Behind Caching Pattern:调用者只操作缓存,其他线程异步去处理数据库,最终实现一致性。但是维护这样的一个异步任务比较复杂,需要实时监控缓存中的数据更新,而其他线程异步去更新数据库也可能不太及时,而且缓存服务器如果宕机,那么缓存的数据也就丢失了。

综上所述,在企业的实际应用中,还是Cache Aside Pattern方案最可靠。现在确定了该方案,但是需要程序员去调用缓存和数据库?那因为是两个应用,那操作就有先后顺序,那是应该先操作哪个呢?还有是更新缓存还是删除缓存呢?

可以分成4种情况:

  • 先更新缓存,再更新数据
  • 先更新数据库,再更新缓存
  • 先删除缓存,再更新数据库
  • 先更新数据库,再删除缓存

现在来逐个分析下其优缺点和是否可用。 

1. 先更新缓存,再更新数据

 首先给结论——该方案不可行

场景1:事务问题导致数据不一致

在MySQL写入或者其他业务逻辑出现异常错误时候,MySQL会进行回滚,那MySQL中数据会变回100,而Redis就会更新为100,这就出现了数据不一致问题。

这个就是因为Redis和MySQL两个数据库写操作不具备事务的ACID特性,无法保证这两个写操作的原子性。

发生该问题的场景有如下两个:

  • 修改Redis成功,修改MySQL失败,而Redis不会回滚
  • 整个过程其他业务逻辑出现异常,MySQL会回滚,而Redis却不会回滚。

场景2:多并发更新

上图所示,线程1修改Redis数据,之后线程2抢占了cpu时间,那MySQL最终结果是200,就和Redis的数据不一致。这就是线程并发导致数据覆盖,造成数据不一致。

所以,先更新缓存,再更新数据库这种方法不可行。

该方案数据不一致的原因

  • 不同数据库之间双写不具备事务原子性,造成数据不一致
  • 线程并发导致数据覆盖,造成数据不一致

2. 先更新数据库,再更新缓存

 首先给结论——该方案不可行

原因和先更新缓存,再更新数据库是一样的。

场景1:修改账户余额,整个过程其他业务逻辑出现异常,MySQL进行回滚,而Redis却不会回滚。

场景二:多线程并发更新用户账户余额

 

 也是因为并发,线程1修改数据库后,线程2抢占了cpu时间,最终导致结果不一致。

所以先更新数据库,再更新缓存 也不行。

两点原因:

  • 不同数据库之间双写不具备事务原子性,造成数据不一致
  • 线程并发导致数据覆盖,造成数据不一致

3. 先删除缓存,再更新数据库

场景:多线程并发更新用户余额

上图的情况①、②、③都不会导致数据不一致,而情况④会导致数据不一致。线程1在Redis中删除,之后线程2抢占cpu时间,去查询Redis,而Redis数据是空,那就需要去查询MySQL 。导致了最终Mysql数据是200,而Redis为100。

那使用这个方法,还有什么其他策略可以修复情况④吗?也是可以的,这个就是延时双删

延时双删

在线程1更新完数据库后,再次删除Redis中的数据,目的是为了清楚缓存中的脏数据。那么,对这个删除执行的时刻是有要求的,不能在线程2修改前执行,一般其时长是要大于一次业务查询时间,所以这个就是延时双删。

其实这个时长不好掌控,有时有些业务的查询时间可长可短。

4. 先更新数据库,再删除缓存

情况①是正常的。情况②出现了短暂的数据不一致问题,那这个就需要业务可以接受。

情况③就出现了较长时间的数据不一致情况。

那其是在什么情况出现的呢?要满足下面两个条件,其效率是很低的

  1. 在读写并发时候,缓存刚好失效,
  2. 且数据库查询耗时远大于更新耗时

所以,先更新数据库,再删除缓存 方案可用。但是要允许读写并发场景下出现短暂不一致情况,和极端情况下产生的数据不一致情况,但是数据是最终一致的。

该方案数据不一致的场景和解决办法

  • 并发读写情况下产生的短暂不一致场景,业务场景要能接受。
  • 并发读写情况下,缓存正好失效且读操作耗时大于写操作而产生的数据不一致。可以通过延时删除,或者给redis设置较短的存活时间。

缓存删除失败,该如何处理?

 MySQL更新失败可以回滚,而Redis删除失败,却不会回滚。那该如何处理缓存删除失败的情况呢?

MQ异步重试删除

其优点就是实现简单,容易理解。

缺点就是添加了个组件,那整个系统的可用性又要维护多一个组件;并且耦合度比较高,那每次使用Redis时候,都需要写判断是否成功,不成功就抛给mq的代码。

监控binlog删除

 其优点:实现了缓存删除的业务解耦

缺点:实现是比较复杂的。

面试中关于Redis双写一致性,如何应答?

分成4步:

  1. 摆方案:保证Redis与MySQL数据库的双写一致性,大方向有三种方案:Cache Aside Pattern 旁路缓存模式Read/Write Through Pattern缓存与数据库整合为一个服务、Write Behind Caching Pattern。而企业中大多数是使用Cache Aside Pattern查询的时候,优先从缓存中查,缓存中没有数据再从数据库中查,然后把数据库中的最新值写入到缓存中,保证了数据一致性。
    1. 该模式有四种方案:①先更新缓存,再更新数据库、②先更新数据,再更新缓存、③先删除缓存,再更新数据库、④先更新数据,再删除缓存
  2. 排除不合理的方案:两种双更新的方案不可用,原因有两个:
    1. 第一是因为我们不能保证两个数据库之间写操作的事务原子性,所以可能有一个成功一个失败,造成数据不一致。
    2. 第二是因为并发写操作会造成数据的覆盖,导致数据不一致。
  3. 列可用方案,阐述注意事项:目前常用的,但是这两个问题对于很多业务场景都可以容忍的方案有两个。
    1. 先删除缓存,再更新数据库:该方案理想情况下是没有问题的。但还是有一个特殊场景是有可能出现数据不一致,具体来讲是在发生并发读写时,线程A先删除了缓存,还没来得及更新数据库,线程B此时来查询缓存为空,于是查询到了数据库的旧值,而后将缓存修改成了旧值,解决方案就是采用延时双删,在线程A更新完数据库后延时一段时间再删除缓存,合理的延长时长需要更具业务而定,通常为一次查询业务的耗时。
    2. 先更新数据库,再删除缓存:该方案在理想情况下,也是没有问题的。但是该方案有两个特殊场景是有可能出现数据不一致问题的,第一种是由于并发读写导致的短暂不一致,但是最终数据一致。第二种场景出现几率很低,要求并发读写时缓存正好失效,且数据库查询耗时远远大于更新耗时才有可能发生数据不一致,这个当然也是可以通过延时双删或者给Redis数据设置较短的存活时间来达到最终一致。
    3. 对比这两个方案,最终还是使用先更新数据库,再删除缓存
  4. 补充如何保证缓存成功删除:之前两种方案都是通过删除缓存来保证双写一致性的,要是缓存删除失败会导致缓存中都是脏数据,所以必须保证缓存删除成功,方案有两种:
    1. 第一种:使用MQ异步重试删除,比较简单,缺点是会对业务代码产生入侵,耦合度比较高。
    2. 第二种:使用阿里的canal模拟MySQL的从库,监听主库的binlog,当数据库发生变更,canal可以监听到并通知客户端去删除缓存,其优点是对业务代码没有入侵性,进行了解耦。

如何实现强一致性?

​ 最终我们还有一个问题没有解决:不论是以上介绍的哪种方案,都会出现数据不一致性,只是出现这个问题的时间长短不同或者是出现的概率高低不同。

​仔细想想,我们加入缓存的初衷是什么,不就是提高吞吐量,获得更高的性能嘛。作为开发者,应该都知道一个非常著名的三角悖论(CAP定理),即对于一个分布式计算系统来说,不可能同时满足以下三点:

  1. ​一致性(Consistency) 所有节点在同一时间具有相同的数据
  2. ​可用性(Availability)保证每个请求不管成功或者失败都有响应
  3. ​分区容错性(Partition tolerance)系统中任意信息的丢失或失败不会影响系统的继续运作

在分布式系统内,P 是必然需要的。不选 P,一旦发生分区错误,整个分布式系统就完全无法使用了,这是不符合实际需要的。所以,对于分布式系统,我们只能考虑当发生分区错误时,如何选择一致性和可用性。即只能从CP、AP中选择。既然选择了高性能和高吞吐量,所以我们只能满足AP。由此也可明白,以上介绍的所有方案都是为了保证将不一致性尽可能的降低,都是保证最终一致性

如果一定要强一致性,就是不加入缓存;或者使用分布式锁或者读写锁来锁住一次更新数据库和缓存的操作,那这样吞吐量,性能有会下载,可能是得不偿失。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/832465.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode 226.翻转二叉树(全网最多的解法)

LeetCode 226.翻转二叉树 1、题目 题目链接:226. 翻转二叉树 给你一棵二叉树的根节点 root ,翻转这棵二叉树,并返回其根节点。 示例 1: 输入:root [4,2,7,1,3,6,9] 输出:[4,7,2,9,6,3,1]示例 2&#…

Sentinel流量防卫兵

1、分布式服务遇到的问题 服务可用性问题 服务可用性场景 服务雪崩效应 因服务提供者的不可用导致服务调用者的不可用,并将不可用逐渐放大的过程,就叫服务雪崩效应导致服务不可用的原因: 在服务提供者不可用的时候,会出现大量重试的情况&…

Flink时间语义 | 大数据技术

⭐简单说两句⭐ ✨ 正在努力的小叮当~ 💖 超级爱分享,分享各种有趣干货! 👩‍💻 提供:模拟面试 | 简历诊断 | 独家简历模板 🌈 感谢关注,关注了你就是我的超级粉丝啦! &a…

爬虫学习(2)破解百度翻译

代码 import requests import jsonif __name__ "__main__":url https://fanyi.baidu.com/sug#post请求参数处理(同get请求一致)headers {"User-Agent": Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, …

基于Springboot的果蔬作物疾病防治系统(有报告)。Javaee项目,springboot项目。

演示视频: 基于Springboot的果蔬作物疾病防治系统(有报告)。Javaee项目,springboot项目。 项目介绍: 采用M(model)V(view)C(controller)三层体系…

ICode国际青少年编程竞赛- Python-1级训练场-识别循环规律1

ICode国际青少年编程竞赛- Python-1级训练场-识别循环规律1 1、 for i in range(4):Dev.step(6)Dev.turnLeft()2、 for i in range(3):Dev.turnLeft()Dev.step(2)Dev.turnRight()Dev.step(2)3、 for i in range(3):Spaceship.step(5)Spaceship.turnLeft()Spaceship.step(…

Linux字符设备驱动(一) - 框架

字符设备是Linux三大设备之一(另外两种是块设备,网络设备),字符设备就是字节流形式通讯的I/O设备,绝大部分设备都是字符设备,常见的字符设备包括鼠标、键盘、显示器、串口等等,当我们执行ls -l /dev的时候,就能看到大量…

2024年5月6日优雅草蜻蜓API大数据服务中心v2.0.3更新

v2.0.3更新 2024年5月6日优雅草蜻蜓API大数据服务中心v2.0.3更新-修复改版后搜索框漏掉的bug-增加搜索框 提示:优雅草大数据中心已经 上线137天 稳定运行 1181555 次 累积调用 目前大数据中心用户呈现增长趋势,目标2024年11月底突破1亿次调用&#xf…

021、Python+fastapi,第一个Python项目走向第21步:ubuntu 24.04 docker 安装mysql8集群、redis集群(二)

系列文章目录 pythonvue3fastapiai 学习_浪淘沙jkp的博客-CSDN博客https://blog.csdn.net/jiangkp/category_12623996.html 前言 安装redis 我会以三种方式安装,在5月4号修改完成 第一、直接最简单安装,适用于测试环境玩玩 第二、conf配置安装 第三…

Redis的数据类型及使用场景

redis命令大全官网: Commands | Docs (redis.io) 基本介绍 redis起初主要就是为了解决性能问题的,那么redis为什么快? 基于内存操作的,所以操作不需要跟磁盘进行交互,单次的执行会很快 命令执行是单线程 因为基于内存操作 单次执行时间反…

Java面试题:多线程3

CAS Compare and Swap(比较再交换) 体现了一种乐观锁的思想,在无锁情况下保证线程操作共享数据的原子性. 线程A和线程B对主内存中的变量c同时进行修改 在线程A中存在预期值a,修改后的更新值a1 在线程B中存在预期值b,修改后的更新值b1 当且仅当预期值和主内存中的变量值相等…

MYSQL基础架构、执行过程分析、事务的实现、索引的选择、覆盖索引

本文是mysql45讲的1-5的总结 文章目录 基础架构连接器分析器优化器执行器SQL查询执行过程详细执行步骤 SQL更新执行过程重要的日志模块:redo log重要的日志模块:binlog阶段性提交 事务事务隔离的实现启动 索引数据库索引模型InnoDB索引组织结构主键选择…

【数据可视化-02】Seaborn图形实战宝典

Seaborn介绍 Seaborn是一个基于Python的数据可视化库,它建立在matplotlib的基础之上,为统计数据的可视化提供了高级接口。Seaborn通过简洁美观的默认样式和绘图类型,使数据可视化变得更加简单和直观。它特别适用于那些想要创建具有吸引力且信…

从零开始学RSA: [WUSTCTF2020]情书等5题

1 [WUSTCTF2020]情书 题目 Premise: Enumerate the alphabet by 0、1、2、..... 、25 Using the RSA system Encryption:0156 0821 1616 0041 0140 2130 1616 0793 Public Key:2537 and 13 Private Key:2537 and 937flag: wctf2020{Decryption}解题 前提:用0、…

高效、精准:皮秒激光切割机在陶瓷基板加工中的应用

皮秒激光切割机(激光划片机)在陶瓷基板切割领域具有显著的优势和潜力,主要体现在以下几个方面: 1. 高精度:皮秒激光切割机能够实现极高的切割精度,对于陶瓷基板这种需要精细加工的材料尤为重要。它能够在不…

【网络原理】IP协议详解

一.与IP协议相关的基本概念 IP协议,即网际互连协议(Internet Protocol),是TCP/IP体系中的核心网络层协议。 网络层IP协议解决的问题 数据传输的过程中,不是直接进行的传输,而是经过层层的封装和分用的过程才能到达对端. IP协议主…

13 【PS作图】人物绘画理论-脸型

三庭五眼 三庭:脸的长度比例 (1)发际线到眉毛 (2)眉毛到鼻底 (3)鼻底到下巴 三个部分大致为三等分 五眼:脸的宽度比例 以眼睛长度为单位,把脸的宽度分成五等分&#x…

day1Qt作业

#include "mywidget.h"MyWidget::MyWidget(QWidget *parent): QWidget(parent) {this->resize(540,415);//窗口大小this->setFixedSize(540,415);//固定窗口大小this->setWindowTitle("QQ");//标题this->setWindowIcon(QIcon("E:\\hqyjap…

大数据在互联网领域的“九大”应用

当下越来越多的应用涉及到大数据,而这些大数据的属性,包括数量,速度,多样性等等都呈现出大数据不断增长的复杂性,所以大数据的分析方法在大数据领域就显得尤为重要,目前互联网大数据运用的九大领域&#xf…

网络演进技术演进:裸纤专线、SDH、MSTP+、OTN、PTN、IP-RAN

前言 文章主要介绍常见名词以及其在各自领域实现的功能价值。 01 裸纤 裸光纤(裸光纤)由运营商提供,是无中继的光纤线路,仅通过配线架连接。相比传统光纤,裸光纤提供纯粹的物理传输路径,无需额外网…