【Redis】基础4:作为分布式锁

文章目录

  • 1. 一些概念
  • 2. MySQL方案
    • 2.1 方案一:事务特性
      • 2.1.1 存在的问题
      • 2.1.2 解决方案
    • 2.2 方案二:乐观锁
    • 2.3 方案三:悲观锁
  • 3. Redis
    • 3.1 实现原理
    • 3.2 实现细节
      • 3.2.1 问题1:持有期间锁过期问题
      • 3.2.2 问题2:判断和释放锁间隙中锁过期
  • 4. Zookeeper

1. 一些概念

分布式锁的要求:互斥(同一时刻只能一个服务实例的一个线程持有),高可用(单节点挂了其他结点顶上),高性能(读取速度快),安全性(避免死锁)

分布式锁的实现:mysql(本身具备互斥性,具备高可用,读写性能一般,断开连接自动释放锁),redis(使用setnx实现互斥,具备高可用,读写性能高,使用过期时间来释放锁),zookeeper(使用结点唯一性或者顺序性实现互斥,具备高可用,读写性能一般,断开连接释放锁)。综合来看redis性能好可用性高,安全性略差,mysql和zookeeper安全性好,性能略差。

2. MySQL方案

2.1 方案一:事务特性

MySQL默认开启自动提交模式,即客户端执行的每一条 SQL 语句都会被当作一个独立的事务,一旦语句执行完毕,就会自动提交。事务具有ACID特性,因而可以使用MySQL实现分布式锁。

create table lock_table
(id int auto_increment comment 'primary key',value varchar(64) null comment 'resource which need be locked',constraint lock_table_pk primary key (id)
);create unique index lock_table_value_uindex
on lock_table (value);-- 注意:value字段是临界资源。插入成功则获得锁,删除记录则释放锁。一个事务在执行插入时,其他事务插入时失败。
update lock_table set value = #{newValue} where id = #{id};

2.1.1 存在的问题

  1. 锁不可重入。可重入锁的场景:在递归代码中访问临界资源会重复请求锁,可重入锁可以重复请求锁阻塞;在复杂的调用关系中使用可重入锁来防范死锁问题。
  2. 没有过期时间,当释放锁失败时会带来死锁问题。
  3. 申请锁失败时不会阻塞。
  4. 高度依赖数据库的可用性。

2.1.2 解决方案

  1. 可重入:给表lock_table新增count字段和请求id字段,当同样的请求到来时只增加count而不是新增记录。
  2. 给表lock_table新增expire_time字段,通过定时任务定期清理过期的lock
  3. 使用while循环来创造阻塞效果。
  4. 创建备用数据,避免单节点数据库,提高可用性。

评价:大量事务经常竞争锁影响性能,一般不使用这个方法。

2.2 方案二:乐观锁

乐观锁:假设取数据时其他人不会修改数据,修改数据时检查是否已经有人修改数据。乐观锁可以使用CAS(Compare And Set)算法实现。

create table lock_table
(id int auto_increment comment 'primary key',value varchar(64) null comment 'locked resource',version int default 0 null comment 'version'constraint lock_table_pk primary key (id)
);
/*
update loss
MySQL默认隔离等级为repeatable read,同一事务内并发的其他事务不能修改数据,因而可以多次读出相同的数据。但是修改数据时,其他并发事务可能抢先一步修改了数据(已经提交),这导致从"old_value"到“new_value”的修改实际上是从"unkonwn_value"到"new_value"的修改。
*/-- 乐观锁应对update loss
update lock_table set value = #{newValue}, version = #{version} + 1 where id = #{id} and version = #{version};

评价:不依赖数据库本身的设计,性能差;需要version字段,造成数据库冗余设计;高并发场景下version字段频繁变动,系统可用性受到影响。适合于多读少些低并发的场景。

2.3 方案三:悲观锁

# 注意关闭自动提交:autocommit=0# 实现1:使用S锁,并发事务可以通过加S锁实现共读,临界资源上有S锁则不许加X锁。并发事务更新临界资源时需要加X锁(update操作默认加X锁),只有有一个事务得到X锁。允许共读,有读不写,写不可读,只有一写。
select id, value from lock_table where id = #{id} lock in share mode;
update lock_table set value = #{newValue} where id = #{id};# 实现2:使用X锁,只有拿到X锁才能读,只有拿到X锁才能写。每次只许一个事务读写。
select id, value from lock_table where id = #{id} for update;
update lock_table set value = #{newValue} where id = #{id};

评价:每个数据请求都加锁,高并发环境下大量请求获取不到锁会陷入阻塞,影响系统性能。表数据量小,MySQL查询不走索引,因而可能触发表锁而不是行锁,影响并发性能。

3. Redis

3.1 实现原理

setnx只有在key不存在的时候才执行,key存在则执行失败。这意味着多个并发执行只会有一个成功,这个特点适合用来实现分布式锁。

# Set the string value of a key only when the key doesn't exist.
SETNX key value# setnx and set expire time are two operations, use set command instead can do all stuff with one operation
SET key value [EX seconds][PX milliseconds][NX|XX]# parameter type
EX seconds: Set expiration time in seconds
PX milliseconds: Set expiration time in milliseconds
NX: Set the value only when the key does not exist
XX: Set the value only when the key exists# release lock
DEL key

3.2 实现细节

3.2.1 问题1:持有期间锁过期问题

例如,线程1获取了锁,其因业务阻塞而长时间持有,结果锁超时释放,线程2随后成功获取锁,线程1业务指向完毕会释放线程2的锁。

解决1:延长锁的expire time。使用redis工具Redisson,它可以使用watchdog技术来延时释放锁。

解决2:线程释放锁时先判断要释放的锁是否是自己的锁,是再释放。

KEY_PREFIX = 'lock'
ID_PREFIX = uuid;
LOCK_NAME = bussiness_name  # 和业务相关key = KEY_PREFIX + ':' + LOCK_NAME  # lock和业务相关,建议key为lock:name形式def get_current_reqt_id():cur_reqt_id = get_thread_id()reqt_id = ID_PREFIX + '-' + thread_iddef try_lock(key):reqt_id= get_current_reqt_id(reqt_id)  # value为持有者唯一标识,此处用uuid + 线程id作为值r = redis_client.get(key)if r:return Truereturn Falsedef unlock(key):cur_reqt_id = get_current_reqt_id()reqt_id = redis_client.get(key)result = Falseif cur_reqt_id == reqt_id:redis_client.del(key)result = Truereturn result

3.2.2 问题2:判断和释放锁间隙中锁过期

例如,线程1要释放锁,先判断锁是否为线程1持有,判断为真,然后线程1执行释放锁操作。判断操作和释放操作间隔较长,锁自动释放。线程2在线程1判断操作后,且锁被自动释放后成功获取了锁。接着线程1执行释放锁操作,则线程1释放掉线程2的锁。

解决:使用lua脚本将判断锁和释放锁打包成原子操作。注意最好将lua脚本加载到内存,方便每次调用直接使用而不是读文件后再操作。

# 使用redis的EVAL命令来执行lua脚本
# Executes a server-side Lua script.
EVAL script numkeys [key [key ...]] [arg [arg ...]]'''
脚本中
KEYS[1] 代表传递给脚本的第一个键名参数
ARGS[1] 代表传递给脚本的第一个参数值
命令中
1 指示参数个数
name 实际传递给脚本的第一个键名参数
xxx 实际代表传递给脚本的第一个
'''
EVAL "return redis.call('set', KEYS[1], ARGS[1])" 1 name xxx# 释放锁lua脚本
if(redis.call('get', KEYS[1]) == ARGS[1]) thenreturn redis.call('del', KEYS[1])
end
return 0

4. Zookeeper

待更新

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/78735.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度学习---框架流程

核心六步 一、数据准备 二、模型构建 三、模型训练 四、模型验证 五、模型优化 六、模型推理 一、数据准备:深度学习的基石 数据是模型的“燃料”,其质量直接决定模型上限。核心步骤包括: 1. 数据收集与标注 来源:公开数据集…

阿里云 OpenManus 实战:高效AI协作体系

阿里云 OpenManus 实战:高效AI协作体系 写在最前面初体验:快速部署,开箱即用 真实案例分享:从单体开发到智能良好提示词过程展示第一步:为亚马逊美国站生成商品描述第二步:为eBay全球站生成商品描述结果分析…

Kubernetes》》k8s》》explain查 yaml 参数

在创建json 和yaml 时,我们可能不知道具体的参数该怎么写。同样 我们可以通过explain这个 命令来查看 每个参数具体的作用与写法 # 查看 pod类性有哪些参数 kubectl explain pod# 查看pod中 spec下面有哪些参数 kubectl explain pod.spec

从零构建Dagster分区管道:时间+类别分区实战案例

分区是Dagster中的核心抽象概念,它允许我们管理大型数据集、处理增量更新并提高管道性能。本文将详细介绍如何创建和实现基于时间和类别的分区资产。 什么是分区? 分区是将数据集划分为更小、更易管理的部分的技术。在Dagster中,分区可以基于…

Cursor:AI时代的智能编辑器

在开发者社区掀起热潮的Cursor,正以破竹之势重塑编程工具格局。这款基于VS Code的AI优先编辑器,不仅延续了经典IDE的稳定基因,更通过深度集成的智能能力,将开发效率推向全新维度。2023年Anysphere公司获得的6000万美元A轮融资&…

SpringMVC再复习1

一、三层架构 表现层(WEB 层) 定义 :是应用程序与客户端进行交互的最外层,主要负责接收用户的请求,并将处理结果显示给用户。 作用 :在 Spring MVC 中,表现层通常采用 MVC 设计模式来构建。 技…

Centos 7系统 宝塔部署Tomcat项目(保姆级教程)

再看文章之前默认已经安装好系统,可能是云系统,或者是虚拟机。 宝塔安装 这个比较简单,参考这个老哥的即可: https://blog.csdn.net/weixin_42753193/article/details/125959289 环境配置 进入宝塔面板之后会出现环境安装&…

Nginx核心功能

目录 一:基于授权的访问控制 1:基于授权的访问控制简介 2:基于授权的访问控制步骤 (1)使用htpasswd 生成用户认证文件 (2)修改密码文件权限为400,将所有者改为nginx,…

AnimateCC基础教学:漫天繁星-由DeepSeek辅助完成

1.界面及元件抓图: 2.核心代码: // 初始化设置 var stars []; var stars2 []; var numStars 100; var stageWidth stage.canvas.width; var stageHeight stage.canvas.height; console.log(stageWidth, stageHeight);// 创建星星函数 function createStar() {var star n…

通过DeepSeek大语言模型控制panda机械臂,听懂人话,拟人性回答。智能机械臂助手又进一步啦

文章目录 前言环境配置运行测试报错 前言 通过使用智能化的工作流控制系统来精确操控机械臂,不仅能够基于预设算法可靠地规划每个动作步骤的执行顺序和力度,确保作业流程的标准化和可重复性,还能通过模块化的程序设计思路灵活地在原有工作流中…

分享一款免费的 AI 工作流平台

分享一款 AI 工作流/任务流平台,通过直观的流程图设计,轻松实现复杂业务流程的自动化与可视化,无缝集成 AI 大模型、AI 生图、数据库、条件分支、并行节点、自定义任务节点等等。 效果图: 官网体验地址:https://www.…

前端开发本地配置 HTTPS 全面详细教程

分为两步:生成证书、本地服务配置使用证书一、HTTPS 的基本概念 HTTPS 是一种安全的 HTTP 协议,它通过 SSL/TLS 对数据进行加密,确保数据在传输过程中不被窃取或篡改。在前端开发中,某些功能(如 Geolocation API、Web…

day10 python机器学习全流程实践

在机器学习的实践中,数据预处理与模型构建是极为关键的环节。本文将回顾数据预处理的全流程,并基于处理后的数据完成简单的机器学习建模与评估,暂不涉及复杂的调参过程。 一、预处理流程回顾 机器学习的成功,很大程度上依赖于高…

4月28号

初认web前端: web标准: HTML:

【Linux系统】systemV共享内存

system V共享内存 在Linux系统中,共享内存是一种高效的进程间通信(IPC)机制,它允许两个或者多个进程共享同一块物理内存区域,这些进程可以将这块区域映射到自己的虚拟地址空间中。 共享内存区是最快的IPC形式。一旦这…

(七)RestAPI 毛子(Http 缓存/乐观锁/Polly/Rate limiting/异步大文件上传)

文章目录 项目地址一、Http Cache1.1 服务注册1.2 Validation with ETag1. 添加ETagMiddleware中间件2. 创建内存ETag存储器3. 服务注册4. 测试二、使用ETag实现乐观锁2.1 添加乐观锁方法2.2 修改Controller2.3 测试乐观锁三、Rate Limiting3.1 添加速率控制服务1. 在Program里…

2025.4.26_STM32_SPI

1.SPI简介 2.硬件电路 所有SPI设备的SCK(时钟)、MOSI(主机输出从机输入)、MISO(主机输入从机输出)分别连在一起。SCK线只能被主机控制,和I2C相同。 主机另外引出多条SS控制线,分别接到各从机的SS引脚 (SS不用的时候为高电平,当主机需要选中某…

JAVA:单例模式

单例模式是设计模式之一 设计模式,就像古代打仗,我们都听过孙子兵法,把计谋概括下来弄成一种模式,形成一种套路。 软件开发中也有很多场景,多数类似的问题场景,解决方案就形成固定的模式,单例…

脑机接口:重塑人类未来的神经增强革命

引言 人类对大脑的探索从未停止,而脑机接口(Brain-Computer Interface, BCI)的崛起,正在将科幻电影中的“意念操控”变为现实。 这项技术通过解码脑电信号,实现人脑与外部设备的直接交互,不仅为医疗康复带来…

从SOA到微服务:架构演进之路与实践示例

一、架构演进背景 在软件开发领域,架构风格随着业务需求和技术发展不断演进。从早期的单体架构,到面向服务架构(SOA),再到如今的微服务架构,每一次变革都是为了解决当时面临的核心问题。 二、SOA架构解析 2.1 SOA核心概念 SOA&…