安徽做网站电话,重庆互联网公司多吗,xxx网站建设与优化推广,网站怎么进行网络推广1.背景近期由于业务调整#xff0c;需要将Windows Server 2008 MySQL5.5数据库迁移到Windows Server 2012 MySQL8.0集群MGR中#xff0c;由于实际部署时#xff0c;有一台机器硬盘损坏#xff0c;只能构建双节点MGR#xff0c;在迁移以及应用迁移过程中遇到许多参数与迁移…1.背景近期由于业务调整需要将Windows Server 2008 MySQL5.5数据库迁移到Windows Server 2012 MySQL8.0集群MGR中由于实际部署时有一台机器硬盘损坏只能构建双节点MGR在迁移以及应用迁移过程中遇到许多参数与迁移效率问题特此记录。2.迁移表单个文件过大由于有部分数据来源于文本文件单个文件达到40G之大且原表为MyISAM存储引擎由于MGR只支持事务引擎InnoDB所以需要修改文本文件头建表语句以及拆分文件并行导入使用如下两款软件进行了修改大文件以及拆分EmEditor可以打开超大文件。Windows Unix增强工具。3.并行导入遇到问题第一阶段由于最开始导入时开启了MGR由于使用Navicat执行SQL文件方式导入数据导致由于关闭autocommit单个事务超大MGR在最后提交阶段由于网络不稳定导致验证过长效率非常底下。第二阶段尝试打开autocommit方式发现由于不停写binlog与数据文件效率更差。第三阶段拆分MGR将文件传送两个服务器关闭binlog分别导入效率非常高将1.7亿万40G数据拆分为20个文件分别开20个并行导入两台机器并行导入并且将MySQL所有文件迁移到服务器SSD磁盘40分钟即可完成所有数据导入。4.导入过程遇到MGR与MySQL参数限制问题group_replication_transaction_size_limit# 最大值2147483647近似2G在组成MGR进行单事务大量数据导入或更新时需要考虑该参数影响有可能由于该参数设置过小导致最后阶段失败不过大事务对于MGR确实不太友好节点互相确认消耗大量网络带宽。max_binlog_cache_size# 事务过大需要相应调大该参数实测1000万行数据大约需要3~4G该参数# 官方文档不建议设置过大该参数最大建议4G5.由于需要导入MyISAM导致MGR数据不一致问题解决最后数据迁移完毕之后由于在之前由于导入MyISAM引擎表临时禁用disable_storage_engines导致启动MGR之后有MGR不支持的操作报错ERROR 3098 (HY000): The table does not comply with the requirements by an external plugin.上面报错MGR中违反MGR限制的报错都报上述错误并不会具体表述由于详细原因比如使用对MyISAM表操作没有主键唯一键表创建之后插入数据都将报上述错误。MGR不一致问题解决流程如下1. 查看集群状态确定故障节点SELECT * FROM PERFORMANCE_SCHEMA.REPLICATION_GROUP_MEMBERS;# 查看集群所有节点状态找到具体Error或recovering节点。2.查看故障节点error log# 查看error log确定故障gtidposition3.分析当前读写节点发生问题binlog# mysqlbinlog命令分析找到故障执行语句明确故障原因。4.查看具体故障发生表大小状态(1)确定表大小以及是否经常修改如果为经常修改大表则考虑对故障节点利用备份重建(2)如果表不大或不经常改变改变可以明确预知时段可以考虑故障节点reset master然后设置gtid_purged或者使用设置gtid_next为故障gtid方式如果可以正常复制到读写节点当前gtid然后再在不变时段导出如果继续报错则继续查看是否为故障表如果是继续跳过知道可以正常追数据到读写节点当前gtid记录故障节点show master status复制点临时设置故障read_only与super_read_only为off导入故障节点然后reset master或设置gtid_next为show master status记录的gtid使复制继续即可修复。本文由 狗老大[Vip] 发布于 职涯宝 未经作者许可禁止转载欢迎您分享文章