MySQL Binlog 日志监听与 Spring 集成实战

MySQL Binlog 日志监听与 Spring 集成实战

binlog的三种模式

MySQL 的二进制日志(binlog)有三种常见的格式:Statement 模式Row 模式Mixed 模式。每种模式的设计目标不同,适用于不同的场景,以下是它们的详细对比和应用:

1. Statement 模式

Statement 模式下,MySQL 记录的是每个执行的 SQL 语句,而不是具体的数据变化。例如,执行一个 UPDATE 语句时,binlog 中记录的是该 SQL 语句,而不是更新后的数据。

优点

  • 日志文件小:仅记录 SQL 语句,较为轻量。
  • 性能好:对于简单 SQL 操作非常高效。

缺点

  • 不确定性:对于非确定性 SQL(如包含 RAND()NOW() 等函数的语句),可能导致主从数据不一致。
2. Row 模式

Row 模式下,MySQL 记录每一行数据的变化。如果执行 UPDATE 语句,binlog 记录的是被更新的行的具体数据,而非 SQL 语句。

优点

  • 精确记录:每一行数据的变更都被完整记录,避免因 SQL 语句复杂性导致的不一致问题。
  • 可靠性高:即使是非确定性的操作,也能保证数据一致性。

缺点

  • 日志文件大:每一行变化都要单独记录,可能导致日志文件急剧增大。
  • 性能开销:尤其是大批量数据变更时,性能会受到影响。
3. Mixed 模式

Mixed 模式结合了 Statement 模式Row 模式,根据具体 SQL 的类型动态选择记录方式。对于简单的 SQL 语句(如 INSERT),MySQL 使用 Statement 模式;对于复杂的操作或涉及多行数据的 SQL 语句,则采用 Row 模式

优点

  • 平衡性能与准确性:对于不同的操作选择最合适的记录方式。
  • 灵活性高:在大多数应用场景下,Mixed 模式能提供较好的性能与数据一致性。

缺点

  • 配置复杂:需要理解 MySQL 如何选择使用不同模式,可能导致配置不当。
如何设置 Binlog 格式

可以通过修改 MySQL 配置文件来设置 binlog_format 参数,具体操作如下:

[mysqld]
binlog_format=mixed

其中,statementrowmixed 分别代表 Statement 模式、Row 模式和 Mixed 模式。选择适当的 binlog 模式取决于应用的特定需求和性能要求。不同的模式具有不同的优劣势,例如,Statement 模式可能会更轻量,而 Row 模式可能提供更详细的数据变化信息。

以Mixed 为例

查看 Binlog 是否开启

你可以通过以下 SQL 查询来检查 binlog 是否开启:

show variables like '%log_bin%'

在这里插入图片描述

启动springboot程序

在这里插入图片描述

新建数据库

在这里插入图片描述

这个事件是一个 binlog 事件,其内容表示一个 SQL 查询事件。让我解释一下这个事件的各个部分:

  • 事件类型 (***eventType***): 该事件的类型是 QUERY,表示这是一个 SQL 查询事件。
  • 时间戳 (***timestamp***): 事件的时间戳为 1700045267000,表示事件发生的时间。
  • 线程ID (***threadId***): 线程ID 是 189,表示执行这个查询的线程的标识符。
  • 执行时间 (***executionTime***): 执行时间为 0,表示执行这个查询所花费的时间。
  • 错误代码 (***errorCode***): 错误代码为 0,表示查询执行没有错误。
  • 数据库 (***database***): 数据库为 test2023,表示这个查询发生在 test2023 数据库中。
  • SQL 查询 (***sql***): 实际的 SQL 查询为 CREATE DATABASE test2023 CHARACTER SET utf8 COLLATE utf8_general_ci,表示执行了创建数据库的操作。

这个事件的作用是在 test2023 数据库中执行了一个创建数据库的 SQL 查询。这是 binlog 中的一部分,用于记录数据库中的变化,以便进行数据备份、主从同步等操作。

在这里插入图片描述

新建表数据

CREATE TABLE `t_user` (`id` bigint(20) NOT NULL AUTO_INCREMENT,`userName` varchar(100) NOT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8mb4;

在这里插入图片描述

这个事件也是一个 binlog 事件,表示一个 SQL 查询事件。让我解释一下这个事件的各个部分:

  • 事件类型 (***eventType***): 该事件的类型是 QUERY,表示这是一个 SQL 查询事件。
  • 时间戳 (***timestamp***): 事件的时间戳为 1700045422000,表示事件发生的时间。
  • 线程ID (***threadId***): 线程ID 是 204,表示执行这个查询的线程的标识符。
  • 执行时间 (***executionTime***): 执行时间为 0,表示执行这个查询所花费的时间。
  • 错误代码 (***errorCode***): 错误代码为 0,表示查询执行没有错误。
  • 数据库 (***database***): 数据库为 test2023,表示这个查询发生在 test2023 数据库中。
  • SQL 查询 (***sql***): 实际的 SQL 查询为 CREATE TABLE t_user(idbigint(20) NOT NULL AUTO_INCREMENT,userName varchar(100) NOT NULL, PRIMARY KEY (id) ) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8mb4,表示执行了在 test2023 数据库中创建名为 t_user 的表的操作。

这个事件的作用是在 test2023 数据库中创建了一个名为 t_user 的表,该表包含 iduserName 两个字段,其中 id 是自增的主键。这种类型的事件常常用于记录数据库结构的变化,以便进行数据备份、迁移和版本控制等操作。

在这里插入图片描述

插入表数据

INSERT INTO `test2023`.`t_user` (`id`, `userName`)
VALUES("10086","用心记录技术,走心分享,始于后端,不止于后端,励志成为一名优秀的全栈架构师,真正的实现码中致富。");

在这里插入图片描述

这个事件也是一个 binlog 事件,表示一个 SQL 查询事件,具体如下:

  • 事件类型 (***eventType***): 该事件的类型是 QUERY,表示这是一个 SQL 查询事件。
  • 时间戳 (***timestamp***): 事件的时间戳为 1700045547000,表示事件发生的时间。
  • 线程ID (***threadId***): 线程ID 是 204,表示执行这个查询的线程的标识符。
  • 执行时间 (***executionTime***): 执行时间为 0,表示执行这个查询所花费的时间。
  • 错误代码 (***errorCode***): 错误代码为 0,表示查询执行没有错误。
  • 数据库 (***database***): 数据库为 test2023,表示这个查询发生在 test2023 数据库中。
  • SQL 查询 (***sql***): 实际的 SQL 查询为 INSERT INTO test2023.t_user (id, userName) VALUES ( "10086", "用心记录技术,走心分享,始于后端,不止于后端,励志成为一名优秀的全栈架构师,真正的实现码中致富。",表示执行了向 test2023 数据库的 t_user 表中插入一行数据的操作。

这个事件的作用是向 t_user 表中插入了一行数据,包含了 iduserName 两个字段的值。这种类型的事件通常用于记录数据的变化,以便进行数据备份、同步和迁移等操作。

在这里插入图片描述
修改表数据修改表数据

修改表数据

UPDATE `test2023`.`t_user`
SET `id` = '10086',`userName` = '我的修改数据!!!'
WHERE(`id` = '10086');

在这里插入图片描述

这个事件同样是一个 binlog 事件,表示一个 SQL 查询事件,具体如下:

  • 事件类型 (***eventType***): 该事件的类型是 QUERY,表示这是一个 SQL 查询事件。
  • 时间戳 (***timestamp***): 事件的时间戳为 1700045675000,表示事件发生的时间。
  • 线程ID (***threadId***): 线程ID 是 204,表示执行这个查询的线程的标识符。
  • 执行时间 (***executionTime***): 执行时间为 0,表示执行这个查询所花费的时间。
  • 错误代码 (***errorCode***): 错误代码为 0,表示查询执行没有错误。
  • 数据库 (***database***): 数据库为 test2023,表示这个查询发生在 test2023 数据库中。
  • SQL 查询 (***sql***): 实际的 SQL 查询为 UPDATE test2023.t_userSETid= '10086', userName = '我的修改数据!!!' WHERE (id = '10086'),表示执行了更新 test2023 数据库中的 t_user 表中一行数据的操作。

这个事件的作用是将 t_user 表中 id10086 的行的数据进行更新,将 id 修改为 10086userName 修改为 ‘我的修改数据!!!’。这种类型的事件通常用于记录数据的变化,以便进行数据备份、同步和迁移等操作。

在这里插入图片描述

删除表数据

DELETE
FROMt_user
WHEREid = '10086';

在这里插入图片描述

这个事件同样是一个 binlog 事件,表示一个 SQL 查询事件,具体如下:

  • 事件类型 (***eventType***): 该事件的类型是 QUERY,表示这是一个 SQL 查询事件。
  • 时间戳 (***timestamp***): 事件的时间戳为 1700045755000,表示事件发生的时间。
  • 线程ID (***threadId***): 线程ID 是 204,表示执行这个查询的线程的标识符。
  • 执行时间 (***executionTime***): 执行时间为 0,表示执行这个查询所花费的时间。
  • 错误代码 (***errorCode***): 错误代码为 0,表示查询执行没有错误。
  • 数据库 (***database***): 数据库为 test2023,表示这个查询发生在 test2023 数据库中。
  • SQL 查询 (***sql***): 实际的 SQL 查询为 DELETE FROM t_user WHERE id = '10086',表示执行了删除 test2023 数据库中的 t_user 表中一行数据的操作。

这个事件的作用是删除 t_user 表中 id10086 的行。这种类型的事件通常用于记录数据的删除操作,以便进行数据备份、同步和迁移等操作。

在这里插入图片描述

总结: binlog_format 设置为 mixed 时,对于 INSERT、UPDATE 和 DELETE 操作,它们在 binlog 中的事件类型都会被表示为 QUERY 事件。这是因为在 mixed 模式下,MySQL 使用了不同的方式来记录不同类型的操作,但在 binlog 中,它们都被包装成了 QUERY 事件。

在 mixed 模式下:

  • 对于某些语句级别的操作(例如非确定性的语句或不支持事务的存储引擎),会使用 STATEMENT 事件。
  • 对于其他一些情况,会使用 ROW 事件,将变更的行作为事件的一部分进行记录。

这就是为什么看到的 INSERT、UPDATE 和 DELETE 操作的事件类型都是 QUERY。在处理这些事件时,需要根据具体的 SQL 查询语句或其他信息来确定操作的类型。

源码示例

pom.xml

<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-jpa</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.48</version> <!-- 查看最新版本 --></dependency><dependency><groupId>com.github.shyiko</groupId><artifactId>mysql-binlog-connector-java</artifactId><version>0.21.0</version></dependency>

Java示例

package com.example.demo.listener;import com.github.shyiko.mysql.binlog.BinaryLogClient;
import com.github.shyiko.mysql.binlog.event.Event;
import com.github.shyiko.mysql.binlog.event.EventData;
import com.github.shyiko.mysql.binlog.event.QueryEventData;
import com.github.shyiko.mysql.binlog.event.TableMapEventData;
import com.github.shyiko.mysql.binlog.event.WriteRowsEventData;
import com.github.shyiko.mysql.binlog.event.deserialization.EventDeserializer;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;import javax.naming.AuthenticationException;
import java.io.IOException;
import java.io.Serializable;
import java.util.List;
import java.util.concurrent.TimeoutException;public class BinlogListenerMixed {private static final Logger logger = LoggerFactory.getLogger(BinlogListenerMixed.class);private static final String MYSQL_HOST = "8.130.74.105";private static final int MYSQL_PORT = 3306;private static final String MYSQL_USERNAME = "root";private static final String MYSQL_PASSWORD = "zhang.ting.123";public static void main(String[] args) {try {BinaryLogClient client = new BinaryLogClient(MYSQL_HOST, MYSQL_PORT, MYSQL_USERNAME, MYSQL_PASSWORD);
//            client.setBinlogFilename(null);
//            client.setBinlogPosition(-1); // 或者设置为其他适当的初始位置
//            client.setServerId(1);
//            client.setBinlogFilename("mysql-bin.000005");
//            client.setBinlogPosition(154);EventDeserializer eventDeserializer = new EventDeserializer();eventDeserializer.setCompatibilityMode(EventDeserializer.CompatibilityMode.DATE_AND_TIME_AS_LONG,EventDeserializer.CompatibilityMode.CHAR_AND_BINARY_AS_BYTE_ARRAY);logger.info("使用主机={}, 端口={}, 用户名={}, 密码={} 连接到 MySQL", MYSQL_HOST, MYSQL_PORT, MYSQL_USERNAME, MYSQL_PASSWORD);client.setEventDeserializer(eventDeserializer);client.registerEventListener(BinlogListenerMixed::handleEvent);client.registerLifecycleListener(new BinaryLogClient.LifecycleListener() {@Overridepublic void onConnect(BinaryLogClient client) {logger.info("Connected to MySQL server");}@Overridepublic void onCommunicationFailure(BinaryLogClient client, Exception ex) {logger.error("Communication failure with MySQL server", ex);}@Overridepublic void onEventDeserializationFailure(BinaryLogClient client, Exception ex) {logger.error("Event deserialization failure", ex);}@Overridepublic void onDisconnect(BinaryLogClient client) {logger.warn("Disconnected from MySQL server");// 在这里添加重新连接或其他处理逻辑}});client.connect();} catch (IOException e) {logger.error("@@ 连接到 MySQL 时发生错误", e);logger.error("@@ Error connecting to MySQL", e);}}private static void handleEvent(Event event) {logger.info("@@ 打印 event: {}", event);logger.info("@@ Received event type: {}", event.getHeader().getEventType());switch (event.getHeader().getEventType()) {case WRITE_ROWS:case EXT_WRITE_ROWS:handleWriteRowsEvent((WriteRowsEventData) event.getData());break;case QUERY:handleQueryEvent((QueryEventData) event.getData());break;case TABLE_MAP:handleTableMapEvent((TableMapEventData) event.getData());break;// 其他事件处理...}}private static void handleWriteRowsEvent(WriteRowsEventData eventData) {List<Serializable[]> rows = eventData.getRows();// 获取表名String tableName = getTableName(eventData);// 处理每一行数据for (Serializable[] row : rows) {// 根据需要调整以下代码以获取具体的列值String column1Value = row[0].toString();String column2Value = row[1].toString();// 将数据备份到另一个数据库backupToAnotherDatabase(tableName, column1Value, column2Value);}}private static void handleQueryEvent(QueryEventData eventData) {String sql = eventData.getSql();logger.info("@@ handleQueryEvent函数执行Query event SQL: {}", sql);// 解析SQL语句,根据需要处理// 例如,检查是否包含写入操作,然后执行相应的逻辑}private static void handleTableMapEvent(TableMapEventData eventData) {// 获取表映射信息,根据需要处理logger.info("@@ handleTableMapEvent函数执行TableMap event: {}", eventData);}private static String getTableName(EventData eventData) {// 获取表名的逻辑,可以使用TableMapEventData等信息// 根据实际情况实现return "example_table";}private static void backupToAnotherDatabase(String tableName, String column1Value, String column2Value) {// 将数据备份到另一个数据库的逻辑logger.info("Backup to another database: Table={}, Column1={}, Column2={}", tableName, column1Value, column2Value);}
}
总结

选择合适的 binlog 模式对数据库的性能和数据一致性至关重要:

  • Statement 模式适用于简单操作,能节省存储空间,但可能导致不一致。
  • Row 模式能精确记录数据变化,适合对数据一致性要求较高的场景。
  • Mixed 模式平衡了性能与准确性,适用于大多数应用场景。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/889097.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

攻防世界安卓刷题笔记(新手模式)1-4

1.基础android 进入后是这样的页面。查看源代码看看。首先要注意这个软件并没有加壳&#xff0c;所以我们可以直接着手分析。搜索错误提示“Failed”定位到关键代码&#xff0c;看样子就是检验输入的内容 注意到这里有一行关键代码&#xff0c;cond_39对应的正是failed那个地方…

C++核心day3作业

作业&#xff1a; 1.整理思维导图 2.整理课上代码 3.把课上类的三个练习题的构造函数写出来 函数全部类内声明&#xff0c;类外定义 定义一个矩形类Rec&#xff0c;包含私有属性length、width&#xff0c;包含公有成员方法&#xff1a; void set_length(int l); //设置长度v…

Scala:正则表达式

object test03 {//正则表达式def main(args: Array[String]): Unit {//定义一个正则表达式//1.[ab]:表示匹配一个字符&#xff0c;或者是a&#xff0c;或者是b//2.[a-z]:表示从a到z的26个字母中的任意一个//3.[A-Z]:表示从A到Z的26个字母中的任意一个//4.[0-9]:表示从0到9的10…

可视化建模以及UML期末复习篇----UML图

这是一篇相对较长的文章&#xff0c;如你们所见&#xff0c;比较详细&#xff0c;全长两万字。我不建议你们一次性看完&#xff0c;直接跳目录找你需要的知识点即可。 --------欢迎各位来到我UML国&#xff01; 一、UML图 总共有如下几种&#xff1a; 用例图&#xff08;Use Ca…

[创业之路-191]:《华为战略管理法-DSTE实战体系》-2-BLM战略规划与执行的基本框架

目录 一、战略规划&#xff1a;BLM的核心内容 1. 战略规划部分 2 战略执行部分&#xff08;战略解码&#xff09; 二、BLM模型对企业战略制定和执行的价值 2.1 说法1&#xff1a; 1、共同的目标 2、同一种语言&#xff1a;提高团队协作效率 3、最基本的方法 4、执行的…

Python_C API详细剖析

Python/C API概述 在现代软件开发中&#xff0c;Python与C语言的结合为开发者提供了强大的工具&#xff0c;使得两者的优势得以充分发挥。Python以其简洁的语法和丰富的库支持&#xff0c;成为了快速开发和数据处理的首选语言&#xff1b;而C语言则以其高效的执行性能和底层控…

go引入skywalking

前置条件&#xff1a;安装好jdk11&#xff0c;linux服务器&#xff08;centos7.9&#xff09;&#xff0c;go版本&#xff08;我的是1.18&#xff0c;1.21都可以&#xff09; 1.下载skywalking Downloads | Apache SkyWalking 2.下载agent源码 Downloads | Apache SkyWalkin…

操作系统Lesson11 - 进程调度和批处理系统调度

文章目录 调度三个问题&#xff1a; 进程行为何时调度调度分类依据时钟中断来分类系统环境分类 调度 调度&#xff1a; 一个程序。 调度对象&#xff1a;进程和内核级线程。 1.调度程序调度P1&#xff0c;读取PCB块在CPU中恢复它的现场(ctx)&#xff1b; 2.当CPU执行完了P1之…

Delphi 实现键盘模拟、锁定键盘,锁定鼠标等操作

Delphi 模拟按键的方法 SendMessageA 说明: 调用一个窗口的窗口函数&#xff0c;将一条消息发给那个窗口。除非消息处理完毕&#xff0c;否则该函数不会返回SendMessage所包含4个参数: 1. hwnd 32位的窗口句柄窗口可以是任何类型的屏幕对象&#xff0c;因为Win32能够维护大多数…

java各种锁介绍

1. synchronized锁&#xff1a; • 定义&#xff1a;Java内置的关键字锁&#xff0c;用于实现线程间的同步。它可以修饰方法或代码块。 • 特性&#xff1a;隐式获取和释放锁&#xff0c;自动处理锁的粒度&#xff08;方法级或代码块级&#xff09;&#xff0c;支持重入性。 •…

国产化(三):中间件——东方通TongWeb7.0

一、准备工作 1、软件包和license文件 2、检查jdk是否安装 二、安装 1、创建tongweb文件夹 我是把软件包放在了桌面&#xff0c;通过命令将软件包移动到指定文件夹下。 1—切换到opt文件夹 cd /opt 2—查看文件夹里的文件 ls 3—创建tongweb文件夹 sudo mkdir tongweb 4—检…

C++算法练习day69——376.摆动序列

题目来源&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 题目思路分析 题目&#xff1a;摆动序列&#xff08;Wiggle Subsequence&#xff09; 给定一个整数序列 nums&#xff0c;找到具有最大长度的摆动序列。摆动序列的定义是&#xff1a;如果序列中的数字不是全部…

Flume——sink连接Hive的参数配置(属性参数)

目录 配置文件官网属性参数例子 配置文件官网 可以参考官网的说明 属性参数 属性名默认值说明type无&#xff08;必须指定&#xff09;组件类型名称&#xff0c;必须是"hive"hive.metastore无&#xff08;必须指定&#xff09;元数据仓库地址&#xff0c;例如&…

Java面试题精选:设计模式(二)

1、装饰器模式与代理模式的区别 1&#xff09;代理模式(Proxy Design Pattern ) 原始定义是&#xff1a;让你能够提供对象的替代品或其占位符。代理控制着对于原对象的访问&#xff0c;并允许将请求提交给对象前后进行一些处理。 代理模式的适用场景 功能增强 当需要对一个对…

Java版-图论-最小生成树-Prim算法

实现描述 如图&#xff1a; Prim算法的基本思想是从一个顶点开始&#xff0c;逐步构建最小生成树。具体步骤如下&#xff1a; 随机选取一个顶点作为起始点&#xff0c;并将其加入最小生成树的集合中。从该顶点出发&#xff0c;选择一条边连接到其他未被访问的顶点中的最小权…

Linux WEB服务器的部署及优化

1.用户常用关于web的信息 1.1.什么是www www是world wide web的缩写&#xff0c;及万维网&#xff0c;也就是全球信息广播的意思。 通常说的上网就是使用www来查询用户所需要的信息。 www可以结合文字、图形、影像以及声音等多媒体&#xff0c;超链接的方式将信息以Internet…

Rust迭代器——drain

概述&#xff1a; 通常用于集合类型&#xff08;如Vec、HashMap等&#xff09;来移除并返回集合中的元素。就是会在遍历过程中将这些元素从集合中移除&#xff0c;使用drain可以避免在移除元素时进行多次分配内存和拷贝的操作&#xff0c;从而提高性能。 示例&#xff1a; le…

vba学习系列(9)--按需求计数单元格数量

系列文章目录 文章目录 系列文章目录前言一、按需求计数单元格数量1.需求 二、使用步骤1.vba源码2.整理后 总结 前言 一、按需求计数单元格数量 1.需求 一个表中有多个类型的单元格内容&#xff0c;比如&#xff1a;文字、数字、特殊字符、字母数字…… 我们要计数字母数字的…

【JAVAFX】普通的确认对话框使用

普通alert确认对话框 Alert alert new Alert(Alert.AlertType.CONFIRMATION, "确定要关闭窗口吗&#xff1f;", ButtonType.YES, ButtonType.NO);alert.setHeaderText(null);alert.initOwner(primaryStage);Optional<ButtonType> result alert.showAndWait()…

opencv获取摄像头的最大分辨率图像

事情是这样的&#xff0c;在拼多多花了40买了一个4k高清的摄像偷&#xff0c;确实清楚。但是我一直以为网络摄像头分辨率只有640*480,于是用python测试了一下&#xff0c;上代码 import cv2def get_max_resolution(camera_index):"""获取摄像头的最大分辨率。&…