【java面试】redis篇 - 指南

redis篇

• 一、适用场景
• • （一）缓存
  • • 1、缓存穿透
    • • 1.1 解决方案1：缓存空数据，查询返回的数据为空，将空结果缓存
      • 1.2 解决方案2：布隆过滤器
    • 2、缓存击穿
    • • 1.1 解决方案1：互斥锁
      • 1.2 解决方案2：逻辑过期
    • 3、缓存雪崩
    • • 3.1 大量key过期
      • 3.2 Redis服务宕机
      • 3.3 给缓存业务添加降级限流策略（通用）
      • 3.4 给业务添加多级缓存
    • 4、双写一致性
    • • 4.1 双写一致（一致性要求高）
      • 4.1 分布式锁
      • 4.2 读写锁
      • 4.2 允许短暂的不一致
    • 5、持久化
    • • 5.1 RDB
      • 5.2 AOF
      • 5.3 RDB和AOF对比
    • 6、数据过期策略
    • • 6.1 惰性删除
      • 6.2 定期删除
    • 7、数据淘汰策略
  • （二）分布式锁
  • • 1、场景描述
    • 2、redis实现分布式锁
    • 3、Redission实现的分布式锁可重入
    • 4、Redission完成的分布式锁——主从一致性——红锁
    • 5、总结
• 二、其他面试题
• • （一）主从复制、主从同步
  • • 1、主从同步流程——全量同步
    • 2、主从同步流程——增量同步（slave重启或者后期数据变化）
    • 3、总结
  • （二）哨兵模式、集群脑裂
  • • 1、哨兵模式
    • 2、集群脑裂
    • 3、总结
  • （三）分片集群、数据读取
  • （四） 其他
  • • 1、Redis是单线程的，但为什么还是那么快？
    • 2、用户空间和内核空间
    • 3、IO模型
    • • 3.1 阻塞I/O
    • 3.2 非阻塞I/O
    • 3.3 I/O多路复用
    • 4、redis的网络模型
    • • 4.1 单线程模型
      • 4.2 多线程模型
    • 5、总结

一、适用场景

问：你在计划中，都用到了redis,你在最近的哪些场景中运用了redis？
答：（结合实际项目情况）

（一）缓存

查询流程：

请求路径：
一个get请求：api/new/getById/1

1、缓存穿透

描述：查询一个不存在的数据，mysal查询不到数据写不会直接写入缓存，导致每次请求都查数据库

1.1 解决方案1：缓存空数据，查询返回的材料为空，将空结果缓存

优点：简单
缺点：消耗内存，可能发生不一致问题

{key:1,value:null}

1.2 解决方案2：布隆过滤器

bitmap（位图）：相当于以位（bit）为单位的数组，数组中每个单元只能存储二进制数0或1
布隆过滤器作用：可以用于检索一个元素是否存在一个集合中
实现方案：Redission、Guava

但是布隆过滤器会出现误判，情况如下：

误判率消耗内存更多。一般情况下设置在就是：数组越小误判率就越大，数组越大误判率就越小，但百分之五以内。

2、缓存击穿

描述：给某一个key设置了过期时间，当key过期的时候，恰好这个时间点对这个key有大量的并发请求过来，这些并发请求可能瞬间把DB压垮

1.1 解决方案1：互斥锁

1.2 解决方案2：逻辑过期

高热点key不设置过期时间，但是存储数据中有一个"expire"过期字段，当该字段为0时，说明数据过期，但是该素材仍旧存在（也就是高热点key不过期）。来查询该字段的线程会：
①获取互斥锁（用于保证重建缓存数据的互斥性）
②新开线程（用于重建缓存数据）
③在原有的线程上，返回过期数据
④若是正在重建缓存的基础上有新线程查询到数据，那么将会获取互斥锁失败，（不做等待）也直接返回过期数据。
⑤重建完成后，有新线程查询，将命中更新后的的新数据

更新前后返回数据可能不一致，但是不会等待，高可用，更加注重用户体验。

3、缓存雪崩

描述：是指在同一时间段大量的缓存key同时失效或者Redis服务宕机，导致大量请求到达数据库，带来巨大压力。

3.1 大量key过期

解决方案：给不同的key的TTl添加随机值

3.2 Redis服务宕机

解决方案：利用Redis集群提高服务的可用性（哨兵模式、集群模式）

3.3 给缓存业务添加降级限流策略（通用）

解决描述：ngxin或spring cloud gateway
降级可作为系统的保底策略，适用于穿透、击穿、雪崩

3.4 给业务添加多级缓存

解决描述：Guava或Caffeine

4、双写一致性

问：redis作为缓存，mysql的数据如何与redis进行同步？
答：（一定设置前提）先介绍自己的业务背景

4.1 双写一致（一致性要求高）

双写一致性：当修改了数据库的数据也要同时更新缓存的数据，缓存和数据库的数据要保持一致

• 读操作：缓存命中，直接返回；缓存未命中，查询数据库，写入缓存，设定超时时间。
• 写操作：延时双删
  

普通删除操作仅有：
无论是先删除缓存还是先删除数据库都会出现问题——脏数据。

①先删除缓存，再删除数据库
正常情况：

异常情况：

②先删除数据库，再删除缓存
正常情况：

异常情况（查询时Redis已过期自动删除了：null）：

删除两次缓存为了减少上面两种情况的脏数据
延时删除：数据库时主从同步，延时给数据库同步的时间

4.1 分布式锁

效率较低。

4.2 读写锁

4.2 允许短暂的不一致

①异步通知：保证数据的最终一致性

②基于Canal的异步通知
不需要修改业务代码，伪装为mysql的一个从节点，canal通过读取binlog数据更新缓存.

二进制日志(BINLOG)记录了所有的DDL(数据定义语言）语句和DML(数据操纵语言)语句，但不包括数据查询(SELECT、SHOW)语句

5、持久化

怎么做的？就是问：redis作为缓存，内容持久化
在Redis中给予了两种数据持久化的方式：RDB、AOF

5.1 RDB

RDB全称Redis Database Backup file(Redis数据备份材料），也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后，从磁盘读取快照文件，恢复数据。
①主动备份

通过②自动备份：redis内部有触发RDB的机制，能够在Redis.conf文件中找到，格式如下：
RDB执行原理：
bgsave开始时会fork主进程得到子进程，子进程共享主进程的内存素材。
完成fork后读取内存数据并写入RDB文件。
fork采用的是copy-on-write技术:

• 当主进程执行读操作时，访问共享内存;
• 当主进程执行写操作时，则会拷贝一份数据，执行写操作。

5.2 AOF

AOF全称Appeng only File（追加文件）。Redis处理的每一个命令都会记录在AOF记录，可以看做是命令日志文件。

AOF默认是关闭的，需要修改redis.conf配置文件来开启AOF：

AOF的记录频率也可以通过redis.conf文件来配：


通过缺点：因为是记录命令，AOF文件会比RDB文件大的多。而且AOF会记录对同一个key的多次写操作，但只有最后一次写执行才有意义。通过执行bgrewriteaof命令，能够让AOF文件执行重写功能，用最少的命令达到相同效果。

redis也会在触发阈值时自动重写AOF文件，阈值也许可在redis.conf中配置：

5.3 RDB和AOF对比

二者各有优缺点，如果对数据安全性要求较高，在实际编写中往往结合两者来使用：

回答：

6、数据过期策略

问：redis的key过期后，会立马删除吗？
redis对资料设置材料的有效时间，数据过期以后，就需要将素材从内存中删除掉。能够按照不同的规则进行删除，这种删除规则就是素材的删除策略（资料过期策略）。有惰性删除和定期删除两种

6.1 惰性删除

设置该key过期时间后，我们不去管它，当必须该key时，我们检查它是否过期，如果过期我们就删除，反之，没过期就返回。

优点：对CPU友好，只有在利用该key时才会检查，对于很多用不到的key不会浪费时间进行过期检查
缺点：对内存不友好，如果一个key已经过期，但一直没有使用，那么它就会一直存在内存中，内存永远不会释放。

6.2 定期删除

定期删除:每隔一段时间，我们就对一些key进行检查，删除里面过期的key(从一定数量的数据库中取出一定数量的随机key进行检查，并删除其中的过期key)。

定期清理有两种模式:
SLOW模式是定时任务，执行频率默认为10hz，每次不超过25ms，以通过修改配置文件redis.conf 的hz选项来调整这个次数
FAST模式执行频率不固定，但两次间隔不低于2ms，每次耗时不超过1ms

优点:允许通过限制删除操作执行的时长和频率来减少删除操作对CPU的影响。另外定期删除，也能高效释放过期键占用的内存。
缺点:难以确定删除操作执行的时长和频率。

Redis的过期删除策略：惰性删除 + 定期删除 配合使用

7、数据淘汰策略

有限的，内存被占满了怎么办？就是问：假如缓存过多，内存

适用建议：

（二）分布式锁

问：redis分布式锁，如何实现？
集群情况下的定时任务、抢单、幂等性场景。

1、场景描述

eg:抢券

正常流程：

错误流程：

解决办法：加锁（单体项目）

多体方案（分布式锁）：

2、redis构建分布式锁

Redis实现分布式锁主要利用Redis的setnx命令。setnx是SET if not exists(如果不存在，则SET)的简写。


设置锁的过期时间：
①根据业务时间预估
②给过期时间预估——Redission构建的分布式锁

加锁、设置过期时间等操作都是基于lua脚本完成——保证执行的原子性

3、Redission实现的分布式锁可重入

在同一线程的基础上：
①执行add1（）创建"heimalock",同时value设置为1
②调用add2（），value加1
③add2（）执行结束，value减1
④add1（）执行结束，value减1，此时value变为0，删除"heimalock"

4、Redission实现的分布式锁——主从一致性——红锁

主节点负责写操作，从节点负责对外的读操作

当主节点宕机后，从从节点中选择一个当主节点，但此时主节点的信息还没同步过来，就会出现两个线程持有同一把锁的情况：

AP思想：优先保证高可用性
CP思想：保证数据的强一致性
了解AP和CP思想：https://blog.csdn.net/weixin_43475992/article/details/136280242

5、总结

二、其他面试题

问：redis集群有哪些方案？

（一）主从复制、主从同步

单节点Redis的并发能力是有上限的，要进一步提高Redis的并发能力，就应该搭建主从集群，实现读写分离。

1、主从同步流程——全量同步

Replication ld:简称replid，是材料集的标记，id一致则说明是同一数据集。每一个master都有唯一的replid,slave则会继承master节点的replid
offset:偏移量，随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset,如果slave的offset小于master的offset，说明slave数据落后于master，需要更新。

2、主从同步流程——增量同步（slave重启或者后期数据变化）

3、总结

（二）哨兵模式、集群脑裂

1、哨兵模式

主从模式保证不了集群的高可用，主节点宕机之后，就丧失了写数据的能力。Redis提供了哨兵（Sentinel)机制来实现主从集群的自动故障恢复。哨兵的结构和作用如下:

Sentinel基于心跳机制监测服务状态，每隔1秒向集群的每个实例发送ping命令:
主观下线：若是某sentinel节点发现某实例未在规定时间响应，则认为该实例主观下线。
客观下线:若超过指定数量（quorum)的sentinel都认为该实例主观下线，则该实例客观下线。quorum值最好
超过Sentinel实例数量的一半。
哨兵选主规则：

• 首先判断主与从节点断开时间长短，如超过指定值就排该从节点然后判断从节点的slave-priority值，越小优先级越高
• 判断slave节点的运行id大小，越小优先级越高。就是如果slave-prority一样，则判断slave节点的offset值，越大优先级越高。最后

2、集群脑裂

由于网络断裂的原因，一个高可用集群中，实际上分裂为多个小的集群，这种情况就称为裂脑。也有的人称之为分区集群，或者大脑垂直分隔，互相接管对方的资源，出现多个Master的情况，都可以称为脑裂。


redis中有两个调整参数:
min-replicas-to-write 1表示最少的salve节点为1个
min-replicas-max-lag 5表示数据复制和同步的延迟不能超过5秒

3、总结

（三）分片集群、数据读取

依然有两个疑问没有消除:·就是主从和哨兵行解决高可用、高并发读的困难。只

• 海量数据存储问题
• 高并发写的问题

使用分片集群可以克服上述问题，分片集群特征:

• 集群中有多个master，每个master保存不同数据。
• 每个master都能够有多个slave节点
• master之间依据ping监测彼此健康状态
• 客户端请求可以访问集群任意节点，最终都会被转发到正确节点

Redis分片集群引入了哈希槽的概念，Redis集群有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽，集群的每个节点负责一部分hash槽。

总结：

（四） 其他

1、Redis是单线程的，但为什么还是那么快？

2、用户空间和内核空间

Linux环境中一个进程使用的内存情况划分两部分:内核空间、用户空间
用户空间只能执行受限的命令(Ring3)，而且不能直接调用系统资源必须通过内核提供的接口来访问
内核空间可以执行特权命令(Ring0)，调用一切系统资源
Linux系统为了提高IO效率，会在用户空间和内核空间都加入缓冲区:
写数据时，要把用户缓冲数据拷贝到内核缓冲区，随后写入设备读数据时，要从设备读取数据到内核缓冲区，之后拷贝到用户缓冲区
为了提高IO的效率：①减少无效的等待②较少内核空间和用户空间之间数据的拷贝

3、IO模型

3.1 阻塞I/O

3.2 非阻塞I/O

3.3 I/O多路复用

4、redis的网络模型

4.1 单线程模型

Redis通过IO多路复用来提高网络性能，并且支持各种不同的多路复用实现，并且将这些完成进行封装，提供了统一的高性能事件库

在这种单线程的模式下影响性能的永远是I/O

4.2 多线程模型

5、总结