如何避免MYSQL主从延迟带来的读写问题?

在MYSQL 部署架构选型上,许多公司都会用到主从读写分离的架构,如下是一个一主一从的架构,主库master负责写入,从库slave进行读取。

image.png

但是既然是读写分离,必然会面临这样一个问题,当在主库上进行更新后,有可能数据还没来得及同步到从库,但是这个时候又有读数据的需求,为了能正确读取出数据,这个时候就只有读主库了。但是这样做增加了主库的压力,违反了我们做读写分离的初衷。所以这一节我们就来针对这种情况探讨下,如何尽量的避免对主库的压力,尽量的从从库读取数据。

主从复制的原理

在探讨解决方案前,我们先要对主从复制的原理有所了解,数据库的操作都会记录到binlog,如下图所示,

image.png

1,从数据库(slave)会启动两个线程io_thread 和sql_thread ,通过io_thread将自身与主数据库(master)建立连接。

2,slave向master发出要同步的位置信息(包含同步的文件名和偏移量),表示需要从该位置发起同步。

3,主数据库master 将位置点后的binlog发送给slave, slave获取到本地形成relay log(中转日志)。

4, 接着通过sql_thread解析relay log,执行sql。

从主从复制的过程可以看出,主从延迟时间是 在主库master执行sql的时间点到从库通过解析relay log 执行sql后的时间点之间的差值。如果应用程序能够在master写入数据后等待这么一段时间,再去slave读取,就能正确的读取出来数据了。

但是这个时间差值是不确定的,究竟应用程序需要等待多久才去读取slave,就成了我们需要思考🤔的问题。

如何避免延迟期间的主从数据不一致

比起在写入数据后读取主库或者写入数据后sleep一段时间读取从库,我给出两个我觉得比较靠谱点的方法。

判断位点是否同步

第一种方法是通过等待slave 将master写入数据后的 binlog的位点同步完成再对slave进行读取。

每次修改型sql的执行会将master的binlog 的位点(日志偏移量)前移,如果在修改型sql执行完成后,能够获取到master的binlog 位点,并且在客户端阻塞等待slave同步该位点完毕,再从slave读取就可以了。

MYSQL中提供了一个函数select master_pos_wait(file, pos[, timeout]) 用于在slave上执行等待master节点上的位点同步完成,其中file,和pos是在master上的文件和位点,timeout 为了让master_pos_wait 函数在timeout秒内没有返回,则会直接触发超时返回。

返回结果解析,

  • 返回结果正常情况下是一个大于0的整数,表示从pos位点开始完成了多少个事务。

  • 如果直接返回结果0,则说明在执行select master_pos_wait(file, pos[, timeout]) 时,位点已经同步完成。

  • 如果触发超时则返回-1。

  • 如果执行期间slave发生错误,则返回NULL。

所以,在判断是否应该在写入数据后读从库的逻辑,我们可以这样来写,

1, 在master写入数据后立马执行 show master status,可以获取如下结果

Pasted image 20240308162704.png

可以看到master的binlog文件名称以及位点。

2, 在slave上执行 select master_pos_wait('mysql-bin.232011',3129472,1);,如果1s内没有返回,则直接返回-1。

Pasted image 20240308162840.png

3, 在上一步如果触发超时返回返回-1,则直接读取主库,如果是>=0 的值,则直接读取从库。

这样便能最大程度从从库读取数据。

判断GTID 是否同步

接着,我们来看下第二种方式,其实第二种方式和通过位点的方式类似,不同的是slave判断是否将数据同步完成的依据是看GTID的值。

什么是GTID值?

GTID 的全称是 Global Transaction Identifier,全局事务 ID,是一个事务在提交的时候生成的,是这个事务的唯一标识。

MYSQL开启 GTID 模式的方式是 在启动一个 MySQL 实例的时候,加上参数 gtid_mode=on 和 enforce_gtid_consistency=on 。

每个事务是和GTID 值一一对应的,每个MYSQL实例会维护一个GTID 集合,来表示实例执行过的事务。

在slave节点上,通过show slave status 可以看到 GTID集合,如下图所示,

Pasted image 20240308165622.png

  • Auto_Position=1 ,表示这对主备关系使用了 GTID 协议。

  • Retrieved_Gtid_Set,是备库收到的所有日志的 GTID 集合。

  • Executed_Gtid_Set,是备库所有已经执行完成的 GTID 集合。

如果Executed_Gtid_Set 等于Retrieved_Gtid_Set 说明slave将从master那里获取到的binlog全部执行完毕。

在master节点执行 show master status,也能看到GTID集合,Executed_Gtid_Set 为master节点执行过的GTID集合。如下图所示,

Pasted image 20240308165933.png

GTID 模式下判断同步的步骤

在GTID 模式下,从库slave从主库master取binlog的逻辑将不再是直接告诉master 要取的文件和位点了,而是由slave将自身的GTID集合告诉master。

master再结合自身的GTID集合,找出在master中有但是在slave中没有的GTID集合,然后从binlog中找到第一个不在GTID集合中的事务,从该事务的binlog位点开始,往后读取binlog发送给slave。

MYSQL针对于GTID同样提供 了一个函数select wait_for_executed_gtid_set(gtid_set, 1); 来让slave去判断对master执行过的gtid_set 是否已经同步完成。

wait_for_executed_gtid_set 函数的返回结果解析如下,

  • 如果slave 执行的事务中包含传入的 gtid_set,返回 0。

  • 如果等待1s后还没同步完成,则返回1。

所以在GTID 模式下的,在判断是否应该在写入数据后读从库的逻辑,我们可以这样来写,

1, 在master写入数据后立马执行 show master status,可以获取如下结果

Pasted image 20240308162704.png

可以看到master的Executed_Gtid_Set的值。

2, 在slave上执行

select wait_for_executed_gtid_set('76cd5ea1-c541-11ee-87ef-fa163eefe144:1-56382789,  
808d2fb8-687b-11ec-b8b9-fa163e410530:1-144078103,  
9081c19b-63de-11ed-9755-fa163eb8b97f:1-1093294115', 1);

如果1s内没有返回,则直接返回1。

Pasted image 20240308171227.png

3, 在上一步如果触发超时即返回1,则直接读取主库,如果是=0 ,则直接读取从库。这样便能最大程度从从库读取数据。

文章转载自:蓝胖子的编程梦

原文链接:https://www.cnblogs.com/hobbybear/p/18061516

体验地址:引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/737445.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

010-$nextTick

$nextTick 1、问题2、$nextTick3、应用场景 1、问题 Vue 实现响应式,在 data 更新后,一定时间内,没有继续操作DOM,然后会触发浏览器渲染引擎去更新DOM,更新DOM也是需要时间的,所以 data 更新引起的 DOM更新…

FreeRTOS学习第9篇--队列介绍

目录 FreeRTOS学习第9篇--队列介绍1. 数据传输的方法1.1 任务之间如何传输数据1.2 队列的本质 2. 队列的工作原理和实现2.1 创建队列2.2 向队列发送数据2.3 从队列接收数据 3. 使用队列进行任务间的通信3.1 通信示例3.2 同步示例 结论 FreeRTOS学习第9篇–队列介绍 本文目标&a…

《C++游戏编程入门》第1章 类型、变量与标准I/O: Lost Fortune

《C游戏编程入门》第1章 类型、变量与标准I/O: Lost Fortune 1.1.1 使用C编写游戏1.1.2 生成可执行文件1.1.3 错误处理 1.2 第一个C程序01.game_over.cpp01.game_over2.cpp01.game_over3.cpp 1.4 使用算术运算符01.expensive_calculator.cpp 1.5 声明和初始化变量01.game_stats…

minimap2参数设置+解释【全网最详细】

Indexing -H: 使用同源聚合的k-mer(适用于PacBio数据) -k INT: k-mer的大小(不超过28)【默认值:15】 -W INT: minimizer窗口大小【默认值:10】 -I NUM: 每个~NUM输入碱基分割索引【默认值:4G】 -d FILE: 将索引转储到文件中 Mapping: -f FLOAT: 过滤掉顶部FLOAT比例的重…

【设计模式】概述及七大设计原则

设计模式 什么是设计模式 设计模式是前辈们对代码开发经验的总结,是解决一些特定问题的一系列套路。不是语法规定,也是一套用来提高代码复用性、可维护性、可读性、健壮性和安全性的解决方案。 学习设计模式的意义 设计模式的本质是面向对象设计原则…

QML | 在QML中导入JavaScript资源、导入JavaScript资源、包含一个JavaScript 资源

01 在QML中导入JavaScript资源 JavaScript资源可以被QML文档和其他JavaScript通过相对或者绝对路径进行导入。如果使用相对路径,位置解析需要相对于包含import语句的QML文档或JavaScript资源的位置。如果JavaScript需要从网络资源中进行获取,组件的status属性会被设置为Loadi…

PyCM:Python中的混淆矩阵库

PyCM:Python中的混淆矩阵库 在机器学习和数据科学领域,评估模型的性能是至关重要的。混淆矩阵是一种常用的评估工具,用于可视化和量化分类模型的预测结果。PyCM是一个开源的Python库,提供了丰富的功能来计算和分析混淆矩阵。本文将…

【C++】STL(二) string容器

一、string基本概念 1、本质 string是C风格的字符串,而string本质上是一个类 string和char * 区别: char * 是一个指针 string是一个类,类内部封装了char*,管理这个字符串,是一个char*型的容器。 2、特点 1、stri…

R语言绘制桑基图教程

原文链接:R语言绘制桑基图教程 写在前面 在昨天3月10日,我们在知乎、B站等分享了功能富集桑基气泡图的绘制教程。相关链接:NC|高颜值功能富集桑基气泡图,桑基气泡组合图。 确实,目前这个图在文章中出现的频率相对比较…

【SQL实用技巧】-- 连续N天登陆问题

连续N天登录问题 以下为用户登陆日期,用一条 SQL 语句查询出连续三天登录的人员姓名。 nameddate张三2021-01-01张三2021-01-02张三2021-01-03张三2021-01-02李四2021-01-01李四2021-01-02王五2021-01-03王五2021-01-02王五2021-01-02 数据准备 create table ga…

Wilson威尔逊平滑

1、威尔逊平滑引入的动机 在曝光很少的情况下,计算出的CTR并不真实可靠,而样本数越大,CTR的比例才越准确,更能反应真实情况。 为了衡量样本数对于CTR信区间的影响,我们引入"威尔逊(Wilson&#xff0…

地球系统模式(CESM)

目前通用地球系统模式(Community Earth System Model,CESM)在研究地球的过去、现在和未来的气候状况中具有越来越普遍的应用。CESM由美国NCAR于2010年07月推出以来,一直受到气候学界的密切关注。近年升级的CESM2.0在大气、陆地、海…

STM32CubeMX 配置 STM32F103 工程:通过DAC输出正弦波

说明:STM32CubeMX 配置 STM32F103 工程,通过DAC输出正弦波,参考代码可自动计算频率,自动计算正弦数据。 先参考这篇文章配置时钟、工程输出的设置: STM32CubeMX 配置 STM32F103 工程:通过DAC生成三角波、…

【其他】清风眼中的《妙手仁心》

我是清风,一个以医生为正职,平时喜欢写点文字的男人。人家喜欢把我称为作家,可是我觉得我还配不上这个称呼。因为我所记录的只是一些身边的人和事,所抒发的也只是一些个人的情感,这与“作家”二字相去甚远。有人也许会…

【Go】探索Go语言中的关于defer的应用

冬来的秋去 像记忆裂痕 又再变更空枕触遗憾 半梦半醒侵沾眼晴的泪痕 每晚夜深妄想真情接近 绻梦绻恋一宵雨侵悲不禁 永远最相衬 但愿梦里是永恒 ——《永远之后-黄艺明》 在Go语言中,defer语句是一个非常强大且常用的特性,它允许我们在函数结束时执行一些…

【输入】NTC热敏电阻B值计算程序

两个主要的步骤: 设计分压器电路来测量NTC(负温度系数热敏电阻)的阻值。编写C语言函数来使用测量的阻值和NTC参数计算温度。 首先,让我们设计分压器电路。 分压器电路设计 您需要一个已知阻值的参考电阻,通常推荐与…

关于遗传力常见的误解

大家好,我是邓飞,今天看了一篇非常好的文章,介绍了遗传力相关概念和计算方法,里面提到了常见的误解,这里汇总一下。 文献链接:https://excellenceinbreeding.org/sites/default/files/manual/EiB-M2_Herit…

STM32CubeMX学习笔记20——SD卡FATFS文件系统

1. FATFS文件系统简介 文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构(即在存储设备上组织文件的方法)。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统,简称文件系统;不带文件系统的SD卡仅能…

C++初阶:类和对象(四)运算符重载与日期类Date的实现

在本节&#xff0c;我将通过实现日期类Date的实现来进一步阐释运算符重载的内容。 目录 一、Date.h 二、Date.cpp 三、test.cpp 一、Date.h #include<iostream> #include<cassert> using namespace std; class Date { public:// 获取某年某月的天数// 其为内联…

seo js转码工具

js转码工具作用 用于把js加密 如果不想让别人看到自己的js 代码就可以使用这个方法 js工具网址 https://tool.chinaz.com/js.aspx 效果