Redis企业开发实战(二)——点评项目之商户缓存查询

目录

一、缓存介绍

 二、缓存更新策略

三、如何保证redis与数据库一致性

1.解决方案概述

2.双写策略

3.双删策略

3.1延迟双删的目的

4.数据重要程度划分 

四、缓存穿透 

(一)缓存穿透解决方案

(二)缓存穿透示意图 

五、缓存雪崩

(一)缓存雪崩解决方案

(二)缓存雪崩示意图 

六、缓存击穿(热点Key问题)

(一)缓存击穿解决方案

1.互斥锁

2.逻辑过期 

3.两种解决方案对比

4.CAP理论

4.1CAP理论概述

4.2CAP理论的核心观点

4.3实际应用中的考量

4.4结合其他技术手段优化

七、封装工具类

一、缓存介绍

        缓存就是数据交换的缓冲区(称作Cache)，是临时存储数据的地方，一般读写性能较高。       为什么要使用缓存？一句话：速度快，好用。

        缓存数据存储于代码中，而代码运行在内存中，内存的读写性能远高于磁盘，缓存可以大大降低用户访问并发量带来的服务器读写压力。实际开发过程中，企业的数据量，少则几十万，多则几千万，这么大数据量，如果没有缓存来作为"避震器"，系统是几乎撑不住的，所以企业会大量运用到缓存技术。但是缓存也会增加代码复杂度和运营的成本：

缓存的作用：

  • 降低后端负载
  • 提高读写效率，降低响应时间

缓存的成本：

  • 数据一致性成本
  • 代码维护成本
  • 运维成本 

 

 二、缓存更新策略

读操作：

  • 缓存命中则直接返回
  • 缓存未命中则查询数据库，并写入缓存，设定超时时间

写操作：

  • 先写数据库，再删除缓存
  • 要确保数据库与缓存操作的原子性

三、如何保证redis与数据库一致性

1.解决方案概述

2.双写策略

在更新数据库的同时也更新缓存，以保证两者的数据同步。

3.双删策略

在更新数据库前和之后对缓存进行两次删除操作

3.1延迟双删的目的

  1. 减少缓存穿透的时间窗口：第一次删除是为了立即让旧的缓存失效，防止后续请求获取到过期的数据。而第二次删除主要是为了确保在这段时间内，如果有任何尝试将旧数据重新写入缓存的操作，可以被清理掉，避免脏数据进入缓存。

  2. 降低缓存击穿的风险：通过延迟一段时间再进行第二次删除，希望这段时间足够让第一个读取数据库并更新缓存的操作完成，从而减少其他并发请求同时查询数据库的可能性。

4.数据重要程度划分 

四、缓存穿透 

        缓存穿透是指，客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库。

(一)缓存穿透解决方案

1.缓存空对象

        优点：实现简单，维护方便；缺点：额外的内存消耗；可能造成短期的不一致

2.布隆过滤器

        优点：内存占用较少，没有多余key；缺点：实现复杂；存在误判可能

3.检查非法请求，封禁其IP及其账号
4.增强id的复杂度，避免被猜测id规律
5.做好数据的基础格式校验
6.加强用户权限校验
7.做好热点参数的限流

(二)缓存穿透示意图 

五、缓存雪崩

        缓存雪崩是指，在同一时段大量的缓存key同时失效或者Redis服务宕机，导致大量请求到达数据库，带来巨大压力。

(一)缓存雪崩解决方案

  • 针对key失效，给不同的Key的TTL添加随机值
  • 针对Redis服务宕机，利用Redis集群提高服务的可用性
  • 给缓存业务添加降级限流策略
  • 给业务添加多级缓存

(二)缓存雪崩示意图 

六、缓存击穿(热点Key问题)

        缓存击穿问题也叫热点Key问题，就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了，无数的请求访问会在瞬间给数据库带来巨大的冲击。

(一)缓存击穿解决方案

1.互斥锁

          因为锁能实现互斥性。假设线程过来，只能一个人一个人的来访问数据库，从而避免对于数据库访问压力过大，但这也会影响查询的性能，因为此时会让查询的性能从并行变成了串行，可以采用tryLock方法 + double check来解决这样的问题。

        假设现在线程1过来访问，他查询缓存没有命中，但是此时他获得到了锁的资源，那么线程1就会一个人去执行逻辑，假设现在线程2过来，线程2在执行过程中，并没有获得到锁，那么线程2就可以进行到休眠，直到线程1把锁释放后，线程2获得到锁，然后再来执行逻辑，此时就能够从缓存中拿到数据了。

 

2.逻辑过期 

        把过期时间设置在 redis的value中。注意：这个过期时间并不会直接作用于redis，而是我们后续通过逻辑去处理。

        假设线程1去查询缓存，然后从value中判断出来当前的数据已经过期了，此时线程1去获得互斥锁，那么其他线程会进行阻塞，获得了锁的线程他会开启一个新的线程，去进行以前的重构数据的逻辑，直到新开的线程完成这个逻辑后，才释放锁， 而线程1直接进行返回，假设现在线程3过来访问，由于线程线程2持有着锁，所以线程3无法获得锁，线程3也直接返回数据，只有等到新开的线程2把重建数据构建完后，其他线程才能走返回正确的数据。

        这种方案巧妙在于，异步的构建缓存，缺点在于在构建完缓存之前，返回的都是脏数据。 

3.两种解决方案对比

        互斥锁方案：由于保证了互斥性，所以数据一致，且实现简单，因为仅仅只需要加一把锁而已，也没其他的事情需要操心，所以没有额外的内存消耗，缺点在于有锁就有死锁问题的发生，且只能串行执行性能肯定受到影响。

        逻辑过期方案：线程读取过程中不需要等待，性能好，有一个额外的线程持有锁去进行重构数据，但是在重构数据完成前，其他的线程只能返回之前的数据，且实现起来麻烦。 

解决方案

优点

缺点

互斥锁
  • 没有额外的内存消耗
  • 保证一致性
  • 实现简单
  • 现成需要等待，性能受影响
  • 可能有死锁风险
逻辑过期
  • 现成无需等待，性能较好
  • 不保证一致性
  • 存储过期时间，有额外的内存消耗
  • 实现复杂

4.CAP理论

4.1CAP理论概述

        CAP理论是分布式系统设计中的一个基础概念，由计算机科学家Eric Brewer在2000年提出。该理论指出，在任何分布式系统中，无法同时满足以下三个属性：

        1.Consistency(一致性)：每个读操作都能看到最近的一次写操作的结果。这意味着，在任意时刻，所有节点访问的数据都是最新的且一致的。换句话说，系统的状态看起来就像只有一个副本一样。

        2.Availability(可用性)：每个请求都能接收到响应，而不论该响应是否成功。即系统总是可以正常处理客户端的请求，即使部分组件出现故障。这保证了服务的持续可用性。

        3.Partition Tolerance(分区容错性)：即使网络发生分区故障（即部分节点之间无法通信），系统仍然能够继续运行并提供服务。由于网络分区几乎是不可避免的现实，因此大多数分布式系统都必须支持分区容错性。

4.2CAP理论的核心观点

        根据CAP理论，在网络可能发生分区的情况下，系统只能在一致性和可用性之间做出选择，也就是说，无法同时实现所有三个特性。具体来说：

  •         CP(一致性和分区容错性)：在这种情况下，系统会选择保证数据的一致性，即使这意味着在某些情况下需要牺牲可用性。当网络分区发生时，系统可能会阻止某些操作，直到确保所有节点的数据是一致的。
  •         AP(可用性和分区容错性)：这种系统会优先保证服务的可用性，即使在网络分区期间可能暂时牺牲数据的一致性。这意味着所有节点都可以接受请求，但不同节点上的数据可能不完全一致，直到网络恢复并且数据同步完成。

        值得注意的是，虽然理论上不可能同时达到这三个目标，但在实践中，很多系统会采用“最终一致性”的策略来平衡一致性和可用性，允许短时间内数据不一致，但通过异步复制等机制保证最终所有节点的数据达成一致。

4.3实际应用中的考量

        在实际的分布式系统设计中，开发者通常需要基于业务需求和应用场景来权衡这些属性：

  •         对于一些金融交易系统或银行应用，可能更倾向于选择CP系统，因为数据的一致性至关重要。
  •         对于社交网络或在线论坛这样的应用，可能会选择AP系统，因为高可用性和用户体验更为重要，而短时间内的数据不一致是可以接受的。
4.4结合其他技术手段优化

        此外，现代分布式系统还会结合使用其他技术手段来优化性能和可靠性，例如：

  1. Quorum机制：通过设置读写成功的条件来调整一致性和可用性的平衡。
  2. 版本控制和冲突解决机制 ：允许存在短暂的数据不一致，并提供机制解决后续的数据冲突问题。
  3. 缓存、异步复制、读写分离等 ：利用这些技术可以在一定程度上缓解一致性和可用性之间的矛盾。

七、封装工具类

@Component
@Slf4j
public class CacheClient {private final StringRedisTemplate stringRedisTemplate;// 线程池private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);public CacheClient(StringRedisTemplate stringRedisTemplate) {this.stringRedisTemplate = stringRedisTemplate;}// 存放缓存数据public void set(String key, Object value, Long time, TimeUnit unit) {stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value), time, unit);}// 设置逻辑过期public void setWithLogicalExpire(String key, Object value, Long time, TimeUnit unit) {RedisData redisData = new RedisData();redisData.setData(value);redisData.setExpireTime(LocalDateTime.now().plusSeconds(unit.toSeconds(time)));stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(redisData));}// 设置缓存穿透方法public <R, ID> R queryWithPassThrough(String keyPrefix,ID id,Class<R> type,Function<ID, R> dbFallback,Long time,TimeUnit unit) {// 设置缓存keyString key = keyPrefix + id;// 去redis中查询String json = stringRedisTemplate.opsForValue().get(key);if (StrUtil.isNotBlank(json)) {// 如果存在，则直接返回return JSONUtil.toBean(json, type);}// 如果缓存中没有查到，则判断是否为空值if (json != null) {// 不是空值，返回nullreturn null;}// 缓存中不存在，查询数据库R r = dbFallback.apply(id);// 如果数据库中不存在，则存储空值，并设置有效期if (r == null) {stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);// 返回错误信息return null;}// 数据库中存在，则写入redis中this.set(key, r, time, unit);return r;}// 设置逻辑过期缓存击穿方法public <R, ID> R queryWithLogicalExpire(String keyPrefix,ID id,Class<R> type,Function<ID, R> dbFallback,Long time,TimeUnit unit) {// 设置缓存查询的keyString key = keyPrefix + id;// 去redis中查询，如果未命中String json = stringRedisTemplate.opsForValue().get(key);if (StrUtil.isBlank(json)) {// 找到之前存放的空值，直接返回nullreturn null;}// 如果redis未命中，先将json反序列化为对象RedisData redisData = JSONUtil.toBean(json, RedisData.class);R r = JSONUtil.toBean((JSONObject) redisData.getData(), type);LocalDateTime expireTime = redisData.getExpireTime();// 判断缓存是否过期if (expireTime.isAfter(LocalDateTime.now())) {// 缓存未过期，直接返回return r;}// 缓存已过期，需要缓存重建// 设置锁的keyString lockKey = RedisConstants.LOCK_SHOP_KEY + id;// 获取锁boolean isLock = tryLock(lockKey);// 如果获取到锁，则直接返回if (isLock) {// 开启独立线程，重建缓存CACHE_REBUILD_EXECUTOR.submit(() -> {try {// 查询数据库R r1 = dbFallback.apply(id);// 写入redisthis.setWithLogicalExpire(key, r1, time, unit);} catch (Exception e) {throw new RuntimeException(e);} finally {// 释放锁unLock(lockKey);}});}// 没有获取到锁，返回旧数据return r;}// 设置互斥锁解决缓存击穿方法public <R, ID> R queryWithMutex(String keyPrefix,ID id,Class<R> type,Function<ID, R> dbFallback,Long time,TimeUnit unit) {// 设置缓存查询的keyString key = keyPrefix + id;// 去redis中查询String json = stringRedisTemplate.opsForValue().get(key);// 判断缓存中是否存在// 如果存在，则直接返回if (StrUtil.isNotBlank(json)) {return JSONUtil.toBean(json, type);}// 如果缓存中不存在，则判断是否为空值if (json != null) {return null;}// 缓存中不存在，实现缓存重建// 设置锁的keyString lockKey = RedisConstants.LOCK_SHOP_KEY + id;// 获取锁boolean isLock = tryLock(lockKey);R r = null;try {// 判断获取锁是否成功if (!isLock) {// 如果获取锁失败，则睡眠，重新再次尝试获取锁Thread.sleep(50);return queryWithMutex(keyPrefix, id, type, dbFallback, time, unit);}// 如果获取锁成功，则查询数据库r = dbFallback.apply(id);// 判断数据库中的数据是否存在if (r == null) {// 将空值写入redis中stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);return null;}this.set(key, r, time, unit);} catch (InterruptedException e) {throw new RuntimeException(e);} finally {// 释放锁unLock(lockKey);}return r;}// 尝试获取锁private boolean tryLock(String key) {Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", RedisConstants.LOCK_SHOP_TTL, TimeUnit.SECONDS);return BooleanUtil.isTrue(flag);}// 释放锁private void unLock(String key) {stringRedisTemplate.delete(key);}
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/69231.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【C语言】常量指针和指针常量，指针数组和数组指针，指针函数和函数指针怎么区分？

【C语言】常量指针和指针常量，指针数组和数组指针，指针函数和函数指针怎么区分？

文章目录 1、常量指针和指针常量2、指针数组和数组指针3、指针函数和函数指针 1、常量指针和指针常量 int a 0; const int* p &a;//常量指针 int* const p1 &a;//指针常量常量指针&#xff1a;无法通过该指针修改指向地址中的内容。 指针常量&#xff1a;指针指向的…
阅读更多...
maven如何不把依赖的jar打包到同一个jar？

maven如何不把依赖的jar打包到同一个jar？

spring boot项目打jar包部署&#xff1a; 经过以下步骤&#xff0c; 最终会形成maven依赖的多个jar&#xff08;包括lib下添加的&#xff09;、 我们编写的程序代码打成一个jar&#xff0c;将程序jar与 依赖jar分开&#xff0c;便于管理&#xff1a; success&#xff1a; 最终…
阅读更多...
Mac 部署Ollama + OpenWebUI完全指南

Mac 部署Ollama + OpenWebUI完全指南

文章目录 &#x1f4bb; 环境说明&#x1f6e0;️ Ollama安装配置1. 安装[Ollama](https://github.com/ollama/ollama)2. 启动Ollama3. 模型存储位置4. 配置 Ollama &#x1f310; OpenWebUI部署1. 安装Docker2. 部署[OpenWebUI](https://www.openwebui.com/)&#xff08;可视化…
阅读更多...
leetcode——爬楼梯（java）

leetcode——爬楼梯（java）

假设你正在爬楼梯。需要 n 阶你才能到达楼顶。 每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢&#xff1f; 示例 1&#xff1a; 输入&#xff1a;n 2 输出&#xff1a;2 解释&#xff1a;有两种方法可以爬到楼顶。 1. 1 阶 1 阶 2. 2 阶 示例 2&#x…
阅读更多...
在C#中,Array,List,ArrayList,Dictionary,Hashtable,SortList,Stack的区别

在C#中,Array,List,ArrayList,Dictionary,Hashtable,SortList,Stack的区别

Array Array你可以理解为是所有数组的大哥 普通数组 : 特点是长度固定, 只能存储相同类型的数据 static void Main(string[] args){//声明int[] ints;string[] strings;People[] peoples;//默认值 //int 类型是 0//string 类型是 nullint[] ints1 { 1, 2, 3 };string[] …
阅读更多...
一次报警了解：direct path read、enq: KO - fast object checkpoint

一次报警了解：direct path read、enq: KO - fast object checkpoint

背景 今天突然接到订单超时报警&#xff0c;数据库的状态确实惊出一身冷汗&#xff0c;查看系统日志正常&#xff0c;数据库日志正常&#xff0c;load 1-3之间&#xff0c;Session 连接200左右&#xff0c;未发现有负载。于是生成一个ASH报告&#xff0c;感觉比平时要慢很多&am…
阅读更多...
19C RAC在vmware虚拟机环境下的安装

19C RAC在vmware虚拟机环境下的安装

RAC安装规划 ===IP== ORA19C01 public ip : 192.168.229.191 heatbeat : 192.168.0.1 vip : 192.168.229.193 ORA19C02 public ip :192.168.229.192 heatbeat : 192.168.0.2 vip : 192.168.229.194 scan ip 192.168.229.195 hosts: echo "192.168.229…
阅读更多...
【ABB阀门定位器EDP300如何进行自整定】

【ABB阀门定位器EDP300如何进行自整定】

ABB阀门定位器EDP300如何进行自整定 自整定前准备 检查安装与连接 确保阀门和定位器安装正确&#xff0c;机械连接牢固&#xff0c;无卡阻或松动。 确认气源压力符合要求&#xff08;通常为1.4~7 bar&#xff09;&#xff0c;气路无泄漏。 确保4~20mA输入信号稳定且接线正确。…
阅读更多...
Flink2支持提交StreamGraph到Flink集群

Flink2支持提交StreamGraph到Flink集群

最近研究Flink源码的时候&#xff0c;发现Flink已经支持提交StreamGraph到集群了&#xff0c;替换掉了原来的提交JobGraph。 新增ExecutionPlan接口&#xff0c;将JobGraph和StreamGraph作为实现。 Flink集群Dispatcher也进行了修改&#xff0c;从JobGraph改成了接口Executio…
阅读更多...
数据结构（1）——算法时间复杂度与空间复杂度

数据结构（1）——算法时间复杂度与空间复杂度

目录 前言 一、算法 1.1算法是什么&#xff1f; 1.2算法的特性 1.有穷性 2.确定性 3.可行性 4.输入 5.输出 二、算法效率 2.1衡量算法效率 1、事后统计方法 2、事前分析估计方法 2.2算法的复杂度 2.3时间复杂度 2.3.1定义 2.3.2大O渐进表示法 2.3.3常见时间复…
阅读更多...
网络HTTP详细讲解

网络HTTP详细讲解

学习目标 什么是HTTPHTTP的请求和响应常见的HTTP状态码HTTP的安全性 什么是HTTP&#xff1f;HTTP的请求和响应&#xff0c;常见的HTTP状态码&#xff0c;HTTP的安全性 什么是HTTP HTTP&#xff08;HyperText Transfer Protocol&#xff0c;超文本传输协议&#xff09;是一种用…
阅读更多...
Oracle 的归档日志文件(Archive log files)

Oracle 的归档日志文件(Archive log files)

-- 4.Oracle 的归档日志文件(Archive log files) /************************************************************************************************************************************************************* -- 1. RMAN 备份,开启archivelog后,log过多过大造成造…
阅读更多...
spring aop失效场景

spring aop失效场景

aop基于代理&#xff08;jdk动态代理 / cglib代理&#xff09;实现&#xff0c;即new了新的类实例&#xff0c;代理了原来的定义的类实例。 目录 1. final修饰的方法无法被代理2. 静态方法无法被代理3. 内部方法调用&#xff0c;即this.method()无法被代理4. 私有方法不能代理5…
阅读更多...
Page Assist - 本地Deepseek模型 Web UI 的安装和使用

Page Assist - 本地Deepseek模型 Web UI 的安装和使用

Page Assist Page Assist是一个开源的Chrome扩展程序&#xff0c;为本地AI模型提供一个直观的交互界面。通过它可以在任何网页上打开侧边栏或Web UI&#xff0c;与自己的AI模型进行对话&#xff0c;获取智能辅助。这种设计不仅方便了用户随时调用AI的能力&#xff0c;还保护了…
阅读更多...
GRN前沿：STGRNS：一种基于transformer的可解释方法，用于从单细胞转录组数据推断基因调控网络

GRN前沿：STGRNS：一种基于transformer的可解释方法，用于从单细胞转录组数据推断基因调控网络

1.论文原名&#xff1a;STGRNS: an interpretable transformer-based method for inferring gene regulatory networks from single-cell transcriptomic data 2.发表日期&#xff1a;2023.4.2 摘要&#xff1a; 动机&#xff1a;单细胞RNA测序&#xff08;scRNA-seq&#xf…
阅读更多...
vite共享配置之---css相关

vite共享配置之---css相关

vite和webpack都有对样式的处理&#xff0c;涉及到的有css、sass、scss、postcss、模块化&#xff0c;以下是vite和webpack对样式的处理方式 特性ViteWebpackCSS 处理方式自动处理&#xff0c;无需配置&#xff0c;使用浏览器的原生支持需要配置 style-loader 和 css-loader&a…
阅读更多...
OpenAI 实战进阶教程 - 第四节: 结合 Web 服务：构建 Flask API 网关

OpenAI 实战进阶教程 - 第四节: 结合 Web 服务：构建 Flask API 网关

目标 学习将 OpenAI 接入 Web 应用&#xff0c;构建交互式 API 网关理解 Flask 框架的基本用法实现 GPT 模型的 API 集成并返回结果 内容与实操 一、环境准备 安装必要依赖&#xff1a; 打开终端或命令行&#xff0c;执行以下命令安装 Flask 和 OpenAI SDK&#xff1a; pip i…
阅读更多...
深入浅出：旋转变位编码（RoPE）在现代大语言模型中的应用

深入浅出：旋转变位编码（RoPE）在现代大语言模型中的应用

在现代大语言模型&#xff08;LLMs&#xff09;中&#xff0c;位置编码是一个至关重要的组件。无论是 Meta 的 LLaMA 还是 Google 的 PaLM&#xff0c;这些模型都依赖于位置编码来捕捉序列中元素的顺序信息。而旋转变位编码&#xff08;RoPE&#xff09; 作为一种创新的位置编码…
阅读更多...
MATLAB中matches函数用法

MATLAB中matches函数用法

目录 语法 说明 示例 匹配文本 使用模式匹配十六进制数 匹配多个字符串 忽略大小写 matches函数的功能是确定模式是否与字符串匹配。 语法 TF matches(str,pat) TF matches(str,pat,IgnoreCasetrue) 说明 TF matches(str,pat) 会在指定模式与 str 有匹配时返回 1…
阅读更多...
【信息系统项目管理师】第20章：高级项目管理 详解

【信息系统项目管理师】第20章：高级项目管理 详解

更多内容请见： 备考信息系统项目管理师-专栏介绍和目录 文章目录 20.1 项目集管理20.2 项目组合管理20.3 组织级项目管理20.4 量化项目管理20.5 项目管理实践模型本章是将第三版的第20章、第21章、第18章、第25章、第2章的PRINCE2进行了合并，包括项目集管理、项目组合管理、组…
阅读更多...
最新文章

Copyright @ 2022~2023