合肥网站建,it运维工资多少,网站解决方案,应用软件开发工程师Debezium日常分享系列之#xff1a;设置MySQL数据库以支持数据实时采集 一、创建用户二、启用二进制日志三、启用 GTID四、配置会话超时五、启用查询日志事件六、验证二进制日志行值选项七、Debezium技术总结 在安装和运行 Debezium 连接器之前#xff0c;需要执行一些 MySQL… Debezium日常分享系列之设置MySQL数据库以支持数据实时采集 一、创建用户二、启用二进制日志三、启用 GTID四、配置会话超时五、启用查询日志事件六、验证二进制日志行值选项七、Debezium技术总结 在安装和运行 Debezium 连接器之前需要执行一些 MySQL 设置任务。 一、创建用户 Debezium MySQL 连接器需要 MySQL 用户帐户。此 MySQL 用户必须对 Debezium MySQL 连接器捕获更改的所有数据库拥有适当的权限。 先决条件 MySQL 服务器。SQL 命令的基本知识。 程序 创建MySQL用户 mysql CREATE USER userlocalhost IDENTIFIED BY password;2.向用户授予所需的权限 mysql GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO user IDENTIFIED BY password;下表描述了权限。 重要的 如果使用不允许全局读锁的托管选项例如 Amazon RDS 或 Amazon Aurora则使用表级锁来创建一致快照。在这种情况下您还需要向您创建的用户授予 LOCK TABLES 权限。 3.最终确定用户的权限 mysql FLUSH PRIVILEGES;表 20. 用户权限说明 字段描述SELECT使连接器能够从数据库的表中选择行。仅在执行快照时使用。RELOAD允许连接器使用 FLUSH 语句来清除或重新加载内部缓存、刷新表或获取锁。仅在执行快照时使用。SHOW DATABASES使连接器能够通过发出 SHOW DATABASE 语句来查看数据库名称。仅在执行快照时使用。REPLICATION SLAVE使连接器能够连接并读取 MySQL 服务器二进制日志。REPLICATION CLIENT允许连接器使用以下语句SHOW MASTER STATUS、SHOW SLAVE STATUS、SHOW BINARY LOGS 连接器总是需要这个。ON标识权限应用到的数据库。TO ‘user’指定要授予权限的用户。IDENTIFIED BY ‘password’指定用户的 MySQL 密码。 二、启用二进制日志 您必须为 MySQL 复制启用二进制日志记录。二进制日志记录复制工具的事务更新以传播更改。 先决条件 MySQL 服务器。适当的 MySQL 用户权限。 程序 1.检查log-bin选项是否已经打开 // for MySql 5.x mysql SELECT variable_value as BINARY LOGGING STATUS (log-bin) :: FROM information_schema.global_variables WHERE variable_namelog_bin; // for MySql 8.x mysql SELECT variable_value as BINARY LOGGING STATUS (log-bin) :: FROM performance_schema.global_variables WHERE variable_namelog_bin; 2.如果为 OFF请使用以下属性配置 MySQL 服务器配置文件如下表所述 server-id 223344 # Querying variable is called server_id, e.g. SELECT variable_value FROM information_schema.global_variables WHERE variable_nameserver_id; log_bin mysql-bin binlog_format ROW binlog_row_image FULL binlog_expire_logs_seconds 8640003.通过再次检查 binlog 状态来确认您的更改 // for MySql 5.x mysql SELECT variable_value as BINARY LOGGING STATUS (log-bin) :: FROM information_schema.global_variables WHERE variable_namelog_bin; // for MySql 8.x mysql SELECT variable_value as BINARY LOGGING STATUS (log-bin) :: FROM performance_schema.global_variables WHERE variable_namelog_bin;4.如果您在 Amazon RDS 上运行 MySQL则必须为数据库实例启用自动备份才能进行二进制日志记录。如果数据库实例未配置为执行自动备份则即使您应用前面步骤中描述的设置二进制日志也会被禁用。 表 21. MySQL binlog 配置属性的描述 属性描述server-id对于 MySQL 集群中的每个服务器和复制客户端server-id 的值必须是唯一的。在 MySQL 连接器设置期间Debezium 会为连接器分配一个唯一的服务器 ID。log_binlog_bin 的值是 binlog 文件序列的基本名称。binlog_formatbinlog-format 必须设置为 ROW 或 row。binlog_row_imagebinlog_row_image 必须设置为 FULL 或 full。binlog_expire_logs_secondsbinlog_expire_logs_seconds 对应于已弃用的系统变量expire_logs_days。这是自动删除 binlog 文件的秒数。默认值为 2592000等于 30 天。设置该值以匹配您的环境的需求。 三、启用 GTID 全局事务标识符 (GTID) 唯一标识集群内服务器上发生的事务。虽然 Debezium MySQL 连接器不需要但使用 GTID 可以简化复制并使您能够更轻松地确认主服务器和副本服务器是否一致。 GTID 在 MySQL 5.6.5 及更高版本中可用。 先决条件 MySQL 服务器。SQL 命令的基本知识。访问 MySQL 配置文件。 程序 1.启用gtid_模式 mysql gtid_modeON2.启用enforce_gtid_consistency mysql enforce_gtid_consistencyON3.确认更改 mysql show global variables like %GTID%;结果 --------------------------------- | Variable_name | Value | --------------------------------- | enforce_gtid_consistency | ON | | gtid_mode | ON | ---------------------------------表 22. GTID 选项说明 属性描述gtid_mode布尔值指定是否启用 MySQL 服务器的 GTID 模式。ON enabledOFF disabledenforce_gtid_consistency布尔值指定服务器是否通过允许执行可以事务安全方式记录的语句来强制 GTID 一致性。使用 GTID 时必需。ON enabledOFF disabled 四、配置会话超时 当为大型数据库创建初始一致快照时您建立的连接可能会在读取表时超时。您可以通过在 MySQL 配置文件中配置 Interactive_timeout 和 wait_timeout 来防止此行为。 先决条件 MySQL 服务器。SQL 命令的基本知识。访问 MySQL 配置文件。 程序 1.配置interactive_timeout mysql interactive_timeoutduration-in-seconds2.配置wait_timeout mysql wait_timeoutduration-in-seconds表 23. MySQL 会话超时选项说明 属性描述interactive_timeout服务器在关闭交互连接之前等待交互连接上的活动的秒数。wait_timeout服务器在关闭非交互式连接之前等待该连接上的活动的秒数。 五、启用查询日志事件 您可能希望查看每个二进制日志事件的原始 SQL 语句。在 MySQL 配置中启用 binlog_rows_query_log_events 选项或在 MariaDB 配置文件中启用 binlog_annotate_row_events 可以让您执行此操作。 此选项在 MySQL 5.6 及更高版本中可用。 先决条件 MySQL 服务器。SQL 命令的基本知识。访问 MySQL 配置文件。 程序 在 MySQL 中启用 binlog_rows_query_log_events 或在 MariaDB 中启用 binlog_annotate_row_events mysql binlog_rows_query_log_eventsONmariadb binlog_annotate_row_eventsONbinlog_rows_query_log_events 或 binlog_annotate_row_events 设置为启用/禁用对在 binlog 条目中包含原始 SQL 语句的支持的值。 ON enabledOFF disabled 六、验证二进制日志行值选项 MySQL的binlog_row_value_options参数是用于配置二进制日志(binlog)记录的行事件(row-based events)的选项。这些选项决定了binlog中记录的行事件的详细程度。 具体来说binlog_row_value_options参数有以下取值 minimal只记录被修改的列的值以及主键列的值如果有主键。 no_image只记录被修改的列的值不记录主键列的值。 full记录所有列的值包括未被修改的列的值。 这些选项的不同取值会影响binlog的大小和性能。通常情况下使用minimal选项就可以满足大部分的需求因为它可以记录被修改的列的值同时又不会产生过多的日志记录。但是在某些情况下需要使用full选项来记录所有列的值以便进行数据恢复或者审计操作。 检查 binlog_row_value_options 变量并确保该值未设置为 PARTIAL_JSON因为在这种情况下连接器可能无法使用 UPDATE 事件。 先决条件 MySQL 服务器。SQL 命令的基本知识。访问 MySQL 配置文件。 程序 1.检查当前变量值 mysql show global variables where variable_name binlog_row_value_options;2.结果 --------------------------------- | Variable_name | Value | --------------------------------- | binlog_row_value_options | | ---------------------------------3.如果值为 PARTIAL_JSON请通过以下方式取消设置此变量 mysql set global.binlog_row_value_options ;七、Debezium技术总结 更多Debezium技术请参考 Debezium技术专栏