Redis-缓存穿透击穿雪崩

1. 穿透问题

缓存穿透问题就是查询不存在的数据。在缓存穿透中,先查缓存,缓存没有数据,就会请求到数据库上,导致数据库压力剧增。

解决方法:

  1. 给不存在的key加上空值,防止每次都会请求到数据库。
  2. 布隆过滤器,做一次过滤

1.1 使用缓存空值解决缓存击穿问题

  1. 根据id=1来请求
  2. redis存在数据
    2.1. 存储的是空值{},那么返回null
    2.2. 存储的不是空值,说明存储的是真实的数据库数据
  3. redis不存在数据
  4. 查询数据库
    4.1. 数据库存在数据,那么缓存数据到redis,返回真实的数据
    4.2. 数据库不存在数据,那么缓存空对象 {},设置一个过期时间,返回空

@Component
public class RedisCacheClient {private final StringRedisTemplate stringRedisTemplate;public RedisCacheClient(StringRedisTemplate stringRedisTemplate) {this.stringRedisTemplate = stringRedisTemplate;}private void set(String key, Object value, Long time, TimeUnit timeUnit) {stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value), time, timeUnit);}private String get(String key) {return stringRedisTemplate.opsForValue().get(key);}public <ID, R> R queryWithPassThrough(String keyPrefix, ID id, Class<R> clazz,Function<ID, R> dbFallBack, Long time, TimeUnit unit) {String key = keyPrefix + id;// 1.从redis查询数据String json = get(key);// 2.判断数据是否存在if (RedisConstants.EMPTY_OBJECT_JSON.equals(json)) {return null; //缓存的空对象值}if (StrUtil.isNotEmpty(json)) {return JSONUtil.toBean(json, clazz);}// 3.不存在,根据id查询数据库R r = dbFallBack.apply(id);if (r != null) {set(key, r, time, unit);return r;}// 4.存储空对象set(key, RedisConstants.EMPTY_OBJECT_JSON /*{}*/, RedisConstants.CACHE_NULL_TTL, TimeUnit.SECONDS);return null;}
}

1.2 使用布隆过滤器做初次判断

对于恶意攻击,向服务器请求大量不存在的数据造成的缓存穿透,还可以用布隆过滤器先做一次过滤,对于不存在的数据,布隆过滤器一般都能够过滤掉,不让请求再往后端发送。当布隆过滤器说某个值存在时,这个值可能不存在;当它说不存在时,那就肯定不存在。

在这里插入图片描述

布隆过滤器就是一个大型的位数组和几个不一样的无偏 hash 函数。所谓无偏就是能够把元素的 hash 值算得比较均匀。

向布隆过滤器中添加 key 时,会使用多个 hash 函数对 key 进行 hash 算得一个整数索引值然后对位数组长度 进行取模运算得到一个位置,每个 hash 函数都会算得一个不同的位置。再把位数组的这几个位置都置为 1 就 完成了 add 操作。向布隆过滤器询问 key 是否存在时,跟 add 一样,也会把 hash 的几个位置都算出来,看看位数组中这几个位置是否都为 1,只要有一个位为 0,那么说明布隆过滤器中这个key 不存在。如果都是 1,这并不能说明这个key 就一定存在,只是极有可能存在,因为这些位被置为 1 可能是因为其它的 key 存在所致。如果这个位数组比较稀疏,这个概率就会很大,如果这个位数组比较拥挤,这个概率就会降低。

这种方法适用于数据命中不高、 数据相对固定、 实时性低(通常是数据集较大) 的应用场景, 代码维护较为复杂, 但是缓存空间占用很少。


1.2.1 导入pom坐标
<dependency><groupId>org.redisson</groupId><artifactId>redisson</artifactId><version>3.13.6</version>
</dependency>
1.2.2 布隆过滤器代码示例
class Main {private RedissonClient redissonClient;void test() {RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter("orderList");// 1.初始化布隆过滤器:预计元素为100000000L,误判率为3%,根据这两个参数会计算出底层的bit数组大小bloomFilter.tryInit(100000000L, 0.03);// 2.添加元素到bloomFilterbloomFilter.add("ayuan");// 3.判断下面的数据是否在布隆过滤器中System.out.println(bloomFilter.contains("asheng"));System.out.println(bloomFilter.contains("longge"));System.out.println(bloomFilter.contains("ayuan"));}
}

使用布隆过滤器需要把所有数据提前放入布隆过滤器,并且在增加数据时也要往布隆过滤器里放,布隆过滤器缓存过滤伪代码:
在这里插入图片描述

1.2.3 布隆过滤器实战
class Main {@Autowiredprivate RedissonClient redissonClient;private RBloomFilter<String> bloomFilter;@PostConstructvoid init() {// 1.初始化布隆过滤器bloomFilter = redissonClient.getBloomFilter("orderList");// 初始化布隆过滤器:预计元素为100000000L,误判率为3%,根据这两个参数会计算出底层的bit数组大小bloomFilter.tryInit(100000000L, 0.03);// 2.加载所有的数据加载到布隆过滤器// for (String key : keys) {//     bloomFilter.add(key);// }}@TestString get(String key) {// 3.从布隆过滤器这一级缓存判断key是否存在boolean isContains = bloomFilter.contains(key);if (!isContains) {return "";}// 4.业务逻辑开发}
}

但是布隆过滤器无法删除某一个元素,如果要删除得重新初始化数据

2. 击穿问题

缓存击穿中,请求的 key 对应的是热点数据 ,该数据存在于数据库中,但不存在于缓存中(通常是因为缓存中的那份数据已经过期) 。这就可能会导致瞬时大量的请求直接打到了数据库上,对数据库造成了巨大的压力,可能直接就被这么多请求弄宕机了。
[图片]


解决方案:

  1. 基于互斥锁(看情况):在缓存过期后,通过设置互斥锁确保只有一个请求去查询数据库并且更新缓存。
  2. 提前预热(推荐):针对热点数据提前预热,并将其入缓存中并设置合理的过期事件,比如:秒杀场景下的数据在秒杀结束前永不过期。
  3. 数据永不过期(不推荐):设置热点数据永不过期或者过期时间比较长。

2.1 基于互斥锁解决缓存击穿问题

@Component
public class RedisCacheClient {private final StringRedisTemplate stringRedisTemplate;private final RedissonClient redissonClient;public RedisCacheClient(StringRedisTemplate stringRedisTemplate, RedissonClient redissonClient) {this.stringRedisTemplate = stringRedisTemplate;this.redissonClient = redissonClient;}private void set(String key, Object value, Long time, TimeUnit timeUnit) {stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value), time, timeUnit);}private String get(String key) {return stringRedisTemplate.opsForValue().get(key);}public <ID, R> R query(String keyPrefix, ID id, Class<R> clazz,Function<ID, R> dbFallBack, Long time, TimeUnit unit) {String key = keyPrefix + id;// 1.从redis查询数据String json = get(key);// 2.判断数据是否存在if (RedisConstants.EMPTY_OBJECT_JSON.equals(json)) {return null; //缓存的空对象值}if (StrUtil.isNotEmpty(json)) {return JSONUtil.toBean(json, clazz);}//加锁,防止缓存击穿问题 -> redis的热点key问题RLock redissonClientLock = redissonClient.getLock(RedisConstants.DISTRIBUTED_LOCK + key);redissonClientLock.lock(); //加锁try {//dcl判断锁是否存在了json = get(key);if (json != null) {return queryWithPassThrough(keyPrefix, id, clazz, dbFallBack, time, unit);}//3. 不存在,根据id查询数据库R r = dbFallBack.apply(id);if (r != null) {set(key, r, time, unit);return r;}// 存储空对象set(key, RedisConstants.EMPTY_OBJECT_JSON, RedisConstants.CACHE_NULL_TTL, TimeUnit.SECONDS);return null;} finally {redissonClientLock.unlock();}}
}

3. 雪崩问题

缓存宕机或者在同一时间大面积的失效,导致大量的请求都直接落到了数据库上,对数据库造成了巨大的压力。

在这里插入图片描述


解决方式:

  1. 设置随机失效时间(可选):为缓存设置随机的失效时间,例如在固定过期时间的基础上加上一个随机值,这样可以避免大量缓存同时到期,从而减少缓存雪崩的风险。(例如:批量导入数据到redis的时候,如果设置过期时间一致,那么就会数据就会在同一时刻过期删除)。
  2. 多级缓存:设计多级缓存,例如本地缓存+Redis 缓存的二级缓存组合,当 Redis 缓存出现问题时,还可以从本地缓存中获取到部分数据。
  3. Redis集群:采用 Redis 集群,避免单机出现问题整个缓存服务都没办法使用。比如:Redis Sentinel哨兵集群、Redis Cluster分片集群。
  4. 限流:如果发现读请求太多,可以采用限流的策略。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/73116.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何在自己的网站接入API接口获取数据?分步指南与实战示例

将第三方API接入自己的网站是获取实时数据、扩展功能的重要手段&#xff08;如展示商品、同步订单、用户登录等&#xff09;。以下是完整的接入流程与关键实践&#xff0c;以微店API为例&#xff0c;适用于多数开放平台。 一、准备工作&#xff1a;注册与权限申请 注册开发者…

刷leetcode hot100--动态规划3.12

第一题乘积max子数组[1h] emmmm感觉看不懂题解 线性dp【计划学一下acwing&#xff0c;挨个做一下】 线性动态规划 相似题解析 最长上升子序列 最大上升子序列和 最大连续子段和 乘积最大子数组_哔哩哔哩_bilibili 比较奇怪的就是有正负数和0&#xff0c;如何处理&#xff1f…

Pytortch深度学习网络框架库 torch.no_grad方法 核心原理与使用场景

在PyTorch中&#xff0c;with torch.no_grad() 是一个用于临时禁用自动梯度计算的上下文管理器。它通过关闭计算图的构建和梯度跟踪&#xff0c;优化内存使用和计算效率&#xff0c;尤其适用于不需要反向传播的场景。以下是其核心含义、作用及使用场景的详细说明&#xff1a; 一…

postgresql 数据库使用

目录 索引 查看索引 创建 删除索引 修改数据库时区 索引 查看索引 select * from pg_indexes where tablenamet_table_data; 或者 select * from pg_statio_all_indexes where relnamet_table_data; 创建 CREATE INDEX ix_table_data_time ON t_table_data (id, crea…

为什么大模型网站使用 SSE 而不是 WebSocket?

在大模型网站&#xff08;如 ChatGPT、Claude、Gemini 等&#xff09;中&#xff0c;前端通常使用 EventSource&#xff08;Server-Sent Events, SSE&#xff09; 来与后端对接&#xff0c;而不是 WebSocket。这是因为 SSE 更适合类似流式文本生成的场景。下面我们详细对比 SSE…

TDengine 数据对接 EXCEL

简介 通过配置使用 ODBC 连接器&#xff0c;Excel 可以快速访问 TDengine 的数据。用户可以将标签数据、原始时序数据或按时间聚合后的时序数据从 TDengine 导入到 Excel&#xff0c;用以制作报表整个过程不需要任何代码编写过程。 前置条件 准备以下环境&#xff1a; TDen…

【具身相关】legged_gym, isaacgym、rsl_rl关系梳理

【legged_gym】legged_gym, isaacgym代码逻辑梳理 总体关系IsaacGymlegged_gymrsl_rl三者的关系 legged_gym代码库介绍环境模块env 总体关系 IsaacGym Isaac Gym 是 NVIDIA 开发的一个高性能物理仿真平台&#xff0c;专门用于强化学习和机器人控制任务。它基于 NVIDIA 的 Phy…

【每日学点HarmonyOS Next知识】状态变量、动画UI残留、Tab控件显示、ob前缀问题、文字背景拉伸

1、HarmonyOS 怎么用一个变量观察其他很多个变量的变化&#xff1f; 有一个提交按钮的颜色&#xff0c;需要很多个值非空才变为红色&#xff0c;否则变为灰色&#xff0c;可不可以用一个变量统一观察这很多个值&#xff0c;去判断按钮该显示什么颜色&#xff0c;比如Button().…

全链条自研可控|江波龙汽车存储“双轮驱动”体系亮相MemoryS 2025

3月12日&#xff0c;MemoryS 2025在深圳盛大开幕&#xff0c;汇聚了存储行业的顶尖专家、企业领袖以及技术先锋&#xff0c;共同探讨存储技术的未来发展方向及其在商业领域的创新应用。江波龙董事长、总经理蔡华波先生受邀出席&#xff0c;并发表了题为《存储商业综合创新》的主…

基于Python+SQLite实现校园信息化统计平台

一、项目基本情况 概述 本项目以清华大学为预期用户&#xff0c;作为校内信息化统计平台进行服务&#xff0c;建立网页端和移动端校内信息化统计平台&#xff0c;基于Project_1的需求实现。 本项目能够满足校内学生团体的几类统计需求&#xff0c;如活动报名、实验室招募、多…

(每日一题) 力扣 2418. 按身高排序

文章目录 &#x1f984; LeetCode 2418.按身高排序&#xff5c;双解法对比与下标排序的精妙设计&#x1f4dd; 问题描述&#x1f4a1; 解法思路分析方法一&#xff1a;Pair打包法&#xff08;直接排序&#xff09;方法二&#xff1a;下标排序法&#xff08;当前实现&#xff09…

计算机毕业设计:ktv点歌系统

ktv点歌系统mysql数据库创建语句ktv点歌系统oracle数据库创建语句ktv点歌系统sqlserver数据库创建语句ktv点歌系统springspringMVChibernate框架对象(javaBean,pojo)设计ktv点歌系统springspringMVCmybatis框架对象(javaBean,pojo)设计 ktv点歌系统mysql数据库版本源码&#xf…

Deepin通过二进制方式升级部署高版本 Docker

一、背景&#xff1a; 在Deepin系统中通过二进制方式升级部署高版本 Docker&#xff0c;下面将详细介绍二进制方式升级部署高版本 Docker 的具体步骤。 二、操作步骤 1.根据需求下载二进制文件&#xff0c;下载地址如下&#xff1a; https://mirrors.tuna.tsinghua.e…

2025年Draw.io最新版本下载安装教程,附详细图文

2025年Draw.io最新版本下载安装教程&#xff0c;附详细图文 大家好&#xff0c;今天给大家介绍一款非常实用的流程图绘制软件——Draw.io。不管你是平时需要设计流程图、绘制思维导图&#xff0c;还是制作架构图&#xff0c;甚至是简单的草图&#xff0c;它都能帮你轻松搞定。…

道路运输安全员考试备考:循序渐进,稳步提升

备考道路运输安全员考试是一个循序渐进的过程&#xff0c;需要稳步提升自己的知识和能力。​ 第一阶段是基础巩固阶段。这一阶段要以教材为核心&#xff0c;全面系统地学习各个知识板块。从道路运输法规开始&#xff0c;逐章逐节地学习&#xff0c;理解每一条法规的含义和适用…

滑动窗口(2)——哈希表辅助的滑动窗口算法

欢迎来到博主的专栏&#xff1a;算法解析 博主ID&#xff1a;代码小豪 文章目录 leetcode438——找到字符串中所有字母异位词题目解析算法原理题解代码 leetcode30——串联所有单词的子串题目解析算法原理题解代码 leetcode438——找到字符串中所有字母异位词 题目解析 异位词…

Deepseek -> 如何写 Dockerfile

嗯&#xff0c;用户问的是如何制作Dockerfile&#xff0c;我得先理清楚步骤。首先&#xff0c;Dockerfile的基础结构是什么&#xff1f;应该从基础镜像开始&#xff0c;对吧&#xff1f;比如FROM指令。然后可能需要设置工作目录&#xff0c;用WORKDIR。接着复制文件&#xff0c…

RabbitMQ重复消费如何解决

消息重复消费的原因 生产者重试&#xff1a;网络波动导致生产者未收到 Broker 确认&#xff0c;重复发送消息。消费者失败&#xff1a;消费者处理消息后未发送 ACK&#xff0c;消息重新入队。集群故障转移&#xff1a;主节点宕机&#xff0c;未确认消息被重新投递。 解决方案 …

Node-RED基础1

目录 一、概述二、安装三、基操四、通讯五、数据六、节点七、 应用END 一、概述 Rode-Red是什么&#xff1f; 基于Node.js的物联网开发工具&#xff0c;做API、通讯&#xff1b;提供了一些基本的监控功能&#xff0c;可在编辑器界面中查看节点的运行状态、消息流量等信息。通…

java登神之阶之顺序表

一、了解List接口 在Java中&#xff0c;List接口是一个非常重要的集合框架接口&#xff0c;它继承自Collection接口&#xff08;Collection接口继承Iterable接口&#xff09;。List接口定义了一个有序集合&#xff0c;允许我们存储元素集合。并且可以根据元素的索引来访问集合中…