【MyCat】第5章----水平拆分——分表

文章目录

  • 5.1 实现分表
    • 1、 选择要拆分的表
    • 2、 分表字段
    • 3、 修改配置文件 schema.xml
    • 4、 修改配置文件 rule.xml
    • 5、 在数据节点 dn2 上建 orders 表
    • 6、 重启 Mycat,让配置生效
    • 7、 访问 Mycat 实现分片
  • 5.3 常用分片规则
    • 1、 取模
    • 2、 分片枚举
    • 3、 范围约定
  • 5.4 全局序列
    • 1、 本地文件
    • 2、 数据库方式
    • 3、 时间戳方式
    • 4、 自主生成全局序列

相对于垂直拆分,水平拆分不是将表做分类,而是按照某个字段的某种规则来分散到多个库之中,每个表中 包含一部分数据。简单来说,我们可以将数据的水平切分理解为是按照数据行的切分,就是将表中的某些行切分 到一个数据库,而另外的某些行又切分到其他的数据库中,如图:

5.1 实现分表

1、 选择要拆分的表

MySQL 单表存储数据条数是有瓶颈的,单表达到 1000 万条数据就达到了瓶颈,会影响查询效率,需要进行水平拆分(分表)进行优化。
例如:例子中的 orders、orders_detail 都已经达到 600 万行数据,需要进行分表优化。

2、 分表字段

以 orders 表为例,可以根据不同自字段进行分表
编号分表字段效果1id(主键、或创建时间)查询订单注重时效,历史订单被查询的次数少,如此分片会造成一个节点访问多,一个访问少,不平均。2customer_id(客户 id) 根据客户 id 去分,两个节点访问平均,一个客户的所有订单都在同一个节点

3、 修改配置文件 schema.xml

#为 orders 表设置数据节点为 dn1、dn2,并指定分片规则为 mod_rule(自定义的名字)<table name="orders"dataNode="dn1,dn2"rule="mod_rule"></table>

4、 修改配置文件 rule.xml

#在 rule 配置文件里新增分片规则 mod_rule,并指定规则适用字段为 customer_id, #还有选择分片算法 mod-long(对字段求模运算),customer_id 对两个节点求模,根据结果分片#配置算法 mod-long参数 count 为2,两个节点<tableRule name="mod_rule"><rule><columns>customer_id</columns><algorithm>mod-long</algorithm></rule></tableRule><function name="mod-long"class="io.mycat.route.function.PartitionByMod"><!--how many data nodes--><property name="count">2</property></function>

5、 在数据节点 dn2 上建 orders 表

6、 重启 Mycat,让配置生效

7、 访问 Mycat 实现分片

#在 mycat 里向 orders 表插入数据,INSERT 字段不能省略 INSERTINTOorders(id,order_type,customer_id,amount)VALUES(1,101,100,100100);INSERTINTOorders(id,order_type,customer_id,amount)VALUES(2,101,100,100300);INSERTINTOorders(id,order_type,customer_id,amount)VALUES(3,101,101,120000);INSERTINTOorders(id,order_type,customer_id,amount)VALUES(4,101,101,103000);INSERTINTOorders(id,order_type,customer_id,amount)VALUES(5,102,101,100400);INSERTINTOorders(id,order_type,customer_id,amount)VALUES(6,102,100,100020);

#在mycat、dn1、dn2中查看orders表数据,分表成功

5.2 Mycat 的分片 “join”
Orders 订单表已经进行分表操作了,和它关联的 orders_detail 订单详情表如何进行 join 查询。我们要对 orders_detail 也要进行分片操作。Join 的原理如下图:

1、 ER 表
Mycat 借鉴了 NewSQL 领域的新秀 Foundation DB 的设计思路,Foundation DB 创新性的提出了 Table Group 的概念,其将子表的存储位置依赖于主表,并且物理上紧邻存放,因此彻底解决了JION 的效率和性能问 题,根据这一思路,提出了基于 E-R 关系的数据分片策略,子表的记录与所关联的父表记录存放在同一个数据分片上。

#修改 schema.xml 配置文件 …<table name="orders"dataNode="dn1,dn2"rule="mod_rule"><childTable name="orders_detail"primaryKey="id"joinKey="order_id"parentKey="id"/></table>

#在 dn2 创建 orders_detail 表
#重启 Mycat
#访问 Mycat 向 orders_detail 表插入数据

INSERTINTOorders_detail(id,detail,order_id)values(1,'detail1',1);INSERTINTOorders_detail(id,detail,order_id)VALUES(2,'detail1',2);INSERTINTOorders_detail(id,detail,order_id)VALUES(3,'detail1',3);INSERTINTOorders_detail(id,detail,order_id)VALUES(4,'detail1',4);INSERTINTOorders_detail(id,detail,order_id)VALUES(5,'detail1',5);INSERTINTOorders_detail(id,detail,order_id)VALUES(6,'detail1',6);#在mycat、dn1、dn2中运行两个表join语句Selecto.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;

2、 全局表
在分片的情况下,当业务表因为规模而进行分片以后,业务表与这些附属的字典表之间的关联,就成了比较 棘手的问题,考虑到字典表具有以下几个特性:
① 变动不频繁
② 数据量总体变化不大
③ 数据规模不大,很少有超过数十万条记录
鉴于此,Mycat 定义了一种特殊的表,称之为“全局表”,全局表具有以下特性:
① 全局表的插入、更新操作会实时在所有节点上执行,保持各个分片的数据一致性
② 全局表的查询操作,只从一个节点获取
③ 全局表可以跟任何一个表进行 JOIN 操作
将字典表或者符合字典表特性的一些表定义为全局表,则从另外一个方面,很好的解决了数据JOIN 的难题。通过全局表+基于 E-R 关系的分片策略,Mycat 可以满足 80%以上的企业应用开发

#修改 schema.xml 配置文件

<table name="orders"dataNode="dn1,dn2"rule="mod_rule"><childTable name="orders_detail"primaryKey="id"joinKey="order_id"parentKey="id"/></table><table name="dict_order_type"dataNode="dn1,dn2"type="global"></table>

#在 dn2 创建 dict_order_type 表
#重启 Mycat
#访问 Mycat 向 dict_order_type 表插入数据

INSERTINTOdict_order_type(id,order_type)VALUES(101,'type1');INSERTINTOdict_order_type(id,order_type)VALUES(102,'type2');

#在Mycat、dn1、dn2中查询表数据

5.3 常用分片规则

1、 取模

此规则为对分片字段求摸运算。也是水平分表最常用规则。5.1 配置分表中,orders 表采用了此规则。

2、 分片枚举

通过在配置文件中配置可能的枚举 id,自己配置分片,本规则适用于特定的场景,比如有些业务需要按照省份或区县来做保存,而全国省份区县固定的,这类业务使用本条规则。

#(1)修改schema.xml配置文件<table name="orders_ware_info"dataNode="dn1,dn2"rule="sharding_by_intfile"></table>#(2)修改rule.xml配置文件<tableRule name="sharding_by_intfile"><rule><columns>areacode</columns><algorithm>hash-int</algorithm></rule></tableRule><function name="hash-int"class="io.mycat.route.function.PartitionByFileMap"><property name="mapFile">partition-hash-int.txt</property><property name="type">1</property><property name="defaultNode">0</property></function># columns:分片字段,algorithm:分片函数 # mapFile:标识配置文件名称,type:0int型、非0String, #defaultNode:默认节点:小于0表示不设置默认节点,大于等于0表示设置默认节点, # 设置默认节点如果碰到不识别的枚举值,就让它路由到默认节点,如不设置不识别就报错 #(3)修改partition-hash-int.txt配置文件110=0120=1#(4)重启Mycat#(5)访问Mycat创建表 #订单归属区域信息表
CREATETABLEorders_ware_info(`id` INT AUTO_INCREMENT comment'编号',`order_id` INT comment'订单编号',`address`VARCHAR(200)comment'地址',`areacode`VARCHAR(20)comment'区域编号',PRIMARYKEY(id));#(6)插入数据 INSERTINTOorders_ware_info(id,order_id,address,areacode)VALUES(1,1,'北京','110');INSERTINTOorders_ware_info(id,order_id,address,areacode)VALUES(2,2,'天津','120');#(7)查询Mycat、dn1、dn2可以看到数据分片效果

3、 范围约定

此分片适用于,提前规划好分片字段某个范围属于哪个分片

#(1)修改schema.xml配置文件<table name="payment_info"dataNode="dn1,dn2"rule="auto_sharding_long"></table>#(2)修改rule.xml配置文件<tableRule name="auto_sharding_long"><rule><columns>order_id</columns><algorithm>rang-long</algorithm></rule></tableRule><function name="rang-long"class="io.mycat.route.function.AutoPartitionByLong"><property name="mapFile">autopartition-long.txt</property><property name="defaultNode">0</property></function># columns:分片字段,algorithm:分片函数 # mapFile:标识配置文件名称 #defaultNode:默认节点:小于0表示不设置默认节点,大于等于0表示设置默认节点, # 设置默认节点如果碰到不识别的枚举值,就让它路由到默认节点,如不设置不识别就 报错 #(3)修改autopartition-long.txt配置文件0-102=0103-200=1#(4)重启Mycat#(5)访问Mycat创建表 #支付信息表 CREATETABLEpayment_info(`id` INT AUTO_INCREMENT comment'编号',`order_id` INT comment'订单编号',`payment_status` INT comment'支付状态',PRIMARYKEY(id));#(6)插入数据 INSERTINTOpayment_info(id,order_id,payment_status)VALUES(1,101,0);INSERTINTOpayment_info(id,order_id,payment_status)VALUES(2,102,1);INSERTINTOpayment_info(id,order_id,payment_status)VALUES(3,103,0);INSERTINTOpayment_info(id,order_id,payment_status)VALUES(4,104,1);#(7)查询Mycat、dn1、dn2可以看到数据分片效果

4、 按日期(天)分片
此规则为按天分片。设定时间格式、范围

#(1)修改schema.xml配置文件<table name="login_info"dataNode="dn1,dn2"rule="sharding_by_date"></table>#(2)修改rule.xml配置文件<tableRule name="sharding_by_date"><rule><columns>login_date</columns><algorithm>shardingByDate</algorithm></rule></tableRule><function name="shardingByDate"class="io.mycat.route.function.PartitionByDate"><property name="dateFormat">yyyy-MM-dd</property><property name="sBeginDate">2019-01-01</property><property name="sEndDate">2019-01-04</property><property name="sPartionDay">2</property></function># columns:分片字段,algorithm:分片函数 #dateFormat :日期格式 #sBeginDate :开始日期 #sEndDate:结束日期,则代表数据达到了这个日期的分片后循环从开始分片插入 #sPartionDay :分区天数,即默认从开始日期算起,分隔2天一个分区 #(3)重启Mycat#(4)访问Mycat创建表 #用户信息表 CREATETABLElogin_info(`id` INT AUTO_INCREMENT comment'编号',`user_id` INT comment'用户编号',`login_date` date comment'登录日期',PRIMARYKEY(id));#(6)插入数据 INSERTINTOlogin_info(id,user_id,login_date)VALUES(1,101,'2019-01-01');INSERTINTOlogin_info(id,user_id,login_date)VALUES(2,102,'2019-01-02');INSERTINTOlogin_info(id,user_id,login_date)VALUES(3,103,'2019-01-03');INSERTINTOlogin_info(id,user_id,login_date)VALUES(4,104,'2019-01-04');INSERTINTOlogin_info(id,user_id,login_date)VALUES(5,103,'2019-01-05');INSERTINTOlogin_info(id,user_id,login_date)VALUES(6,104,'2019-01-06');#(7)查询Mycat、dn1、dn2可以看到数据分片效果

5.4 全局序列

在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一。为此,Mycat 提供了全局 sequence,并且提供了包含本地配置和数据库配置等多种实现方式

1、 本地文件

此方式 Mycat 将 sequence 配置到文件中,当使用到 sequence 中的配置后,Mycat 会更下classpath 中的 sequence_conf.properties 文件中 sequence 当前的值。
① 优点:本地加载,读取速度较快
② 缺点:抗风险能力差,Mycat 所在主机宕机后,无法读取本地文件。

2、 数据库方式

利用数据库一个表 来进行计数累加。但是并不是每次生成序列都读写数据库,这样效率太低。Mycat 会预加载一部分号段到 Mycat 的内存中,这样大部分读写序列都是在内存中完成的。如果内存中的号段用完了 Mycat 会再向数据库要一次。
问:那如果 Mycat 崩溃了 ,那内存中的序列岂不是都没了?
是的。如果是这样,那么 Mycat 启动后会向数据库申请新的号段,原有号段会弃用。也就是说如果 Mycat 重启,那么损失是当前的号段没用完的号码,但是不会因此出现主键重复
① 建库序列脚本

#在 dn1 上创建全局序列表 CREATETABLEMYCAT_SEQUENCE(NAMEVARCHAR(50)NOTNULL,current_value INTNOTNULL,increment INT NOT NULLDEFAULT100,PRIMARYKEY(NAME))ENGINE=INNODB;#创建全局序列所需函数 DELIMITER $$ CREATEFUNCTIONmycat_seq_currval(seq_nameVARCHAR(50))RETURNSVARCHAR(64)DETERMINISTIC BEGIN DECLARE retvalVARCHAR(64);SETretval="-999999999,null";SELECTCONCAT(CAST(current_valueASCHAR),",",CAST(incrementASCHAR))INTO retval FROM MYCAT_SEQUENCEWHERENAME=seq_name;RETURNretval;END $$ DELIMITER;DELIMITER $$ CREATEFUNCTIONmycat_seq_setval(seq_nameVARCHAR(50),VALUEINTEGER)RETURNSVARCHAR(64)DETERMINISTIC BEGIN UPDATE MYCAT_SEQUENCESETcurrent_value=VALUEWHERENAME=seq_name;RETURNmycat_seq_currval(seq_name);END $$ DELIMITER;DELIMITER $$ CREATEFUNCTIONmycat_seq_nextval(seq_nameVARCHAR(50))RETURNSVARCHAR(64)DETERMINISTIC BEGIN UPDATE MYCAT_SEQUENCESETcurrent_value=current_value+incrementWHERENAME=seq_name;RETURNmycat_seq_currval(seq_name);END $$ DELIMITER;#初始化序列表记录 INSERTINTOMYCAT_SEQUENCE(NAME,current_value,increment)VALUES('ORDERS',400000,100);

② 修改 Mycat 配置
#修改sequence_db_conf.properties
vim sequence_db_conf.properties
#意思是 ORDERS这个序列在dn1这个节点上,具体dn1节点是哪台机子,请参考schema.xml

#修改server.xml
vim server.xml
#全局序列类型:0-本地文件,1-数据库方式,2-时间戳方式。此处应该修改成1。

#重启Mycat
③ 验证全局序列

#登录Mycat,插入数据 insert intoorders(id,amount,customer_id,order_type)values(next valueforMYCATSEQ_ORDERS,1000,101,102);#查询数据

#重启Mycat后,再次插入数据,再查询

3、 时间戳方式

全局序列ID= 64 位二进制 (42(毫秒)+5(机器 ID)+5(业务编码)+12(重复累加) 换算成十进制为 18 位数的long 类型,每毫秒可以并发 12 位二进制的累加。
① 优点:配置简单
② 缺点:18 位 ID 过长

4、 自主生成全局序列

可在 java 项目里自己生成全局序列,如下:
① 根据业务逻辑组合
② 可以利用 redis 的单线程原子性 incr 来生成序列但,自主生成需要单独在工程中用 java 代码实现,还是推荐使用 Mycat 自带全局序列

如果文章对你有一点点帮助,欢迎【点赞、留言、+ 关注】
您的关注是我创作的动力!若有疑问/交流/需求,欢迎留言/私聊!
多一个朋友多一条路!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1220741.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

​​​​​​​刷爆朋友圈的“香蕉模型”,到底是什么来头?

关注我们 最近AI圈子又变天了 大家都在讨论一个新词 叫做香蕉模型 你可能第一次听说 但在极客圈它已经杀疯了 为什么叫它香蕉 因为它主打的就是 剥皮即食 简单好用且能量巨大 相比于那些庞大的巨无霸模型 香蕉模型更轻量 反应速度更快 而且成本低到令人发指 很多做…

深入解析:python3GUI--短视频社交软件 By:Django+PyQt5(前后端分离项目)

深入解析:python3GUI--短视频社交软件 By:Django+PyQt5(前后端分离项目)2026-01-26 20:40 tlnshuju 阅读(0) 评论(0) 收藏 举报pre { white-space: pre !important; word-wrap: normal !important; overflow-x:…

hot100 105.从前序与中序遍历序列构造二叉树

见代码随想录 105.从前序与中序遍历构造二叉树

hot100 437.路径总和Ⅲ

思路&#xff1a;前缀和解法&#xff0c;利用前缀和求节点值之和等于targetSum的路径的数目&#xff08;满足路径不需要从根节点开始&#xff0c;也不需要在叶子节点结束&#xff0c;但是路径方向必须是向下的&#xff0c;只能从父节点到子节点&#xff09;。 一、前缀和定义&…

hot100 236.二叉树的最近公共祖先

见代码随想录 236.二叉树的最近公共祖先

考研C语言专题练习

考研C语言专题练习 引言 这篇文章的本质是我学完考研C语言之后做的针对所学内容的练习题目 题目一&#xff1a;挂盐水 题目链接&#xff1a;http://oj.lgwenda.com/problem/1014 这是我的想法&#xff0c;得分50&#xff0c;我的问题在于代码逻辑完全误解了题目描述的滴水和停顿…

太阳敏感器的高精度补偿标定方法

微纳卫星技术快速发展&#xff0c;太阳敏感器与磁强计、陀螺仪组成联合定姿系统&#xff0c;广泛用于太阳方位角测量。但传统产品存在精度不足的问题&#xff0c;现有补偿方法存在参数冗余、误差源覆盖不全或流程繁琐等问题。本文基于紫创测控luminbox的太阳光模拟器搭建标定系…

鼎先电子提供200多款从单通道到多通道的ESD防护器件,快充ESD解决方案

ESD8LVL5.0CT5G 0.25pF,4A ,40W低电容静电防护器件&#xff0c;旨在保护电压敏感元件免受静电放电&#xff08;ESD&#xff09;影响。出色的钳位能力、低泄漏和快速响应时间&#xff0c;使这些器件非常适合用于电路板空间有限的设计中的ESD保护。由于其尺寸小巧&#xff0c;适…

大功率防雷器件,低容集成阵列TVS

LC03-6.TBT,LC03-6R2G大功率集成阵列TVS Array 产品概述 TVS二极管是敏感半导体元件板级保护的理想选择。LCO3-6将TVS二极管与整流桥相结合&#xff0c;以单个器件在共模和差分模式下提供瞬态保护。器件的电容最小化(<25pF)&#xff0c;以确保高速线路上正确的信号传输。…

SOD-523二极管提供1线ESD保护(单向和双向)。这些器件符合IEC 61000-4-2标准DC0501D5 DC0521D5

SOD-523 ESD保护二极管采用小巧紧凑的封装&#xff0c;符合Rohs标准。SOD-523二极管提供1线ESD保护&#xff08;单向和双向&#xff09;。这些器件符合IEC 61000-4-2标准&#xff08;30/15kV接触放电和30/15kV空气放电&#xff09;。SOD-523 ESD保护二极管的工作电压为3.3V、5V…

7个 Golang 官方文档没细说的高效技巧

Go 的语法确实简单&#xff0c;但要在生产环境写出高性能代码&#xff0c;光靠语法糖是不够的。但很多时候&#xff0c;写出能跑的代码只是及格线&#xff0c;写出高性能、内存友好且易于维护的代码才是真正的门槛。 为了省心&#xff0c;我最近把本地环境换成了 ServBay。它最…

代码通胀时代,AI生成的代码需要 12 倍审查成本?

近日&#xff0c;有人在 Reddit 上算了一笔账&#xff0c;贡献者用 AI 生成一个 Pull Request (PR) 只需要 7 分钟&#xff0c;而维护者为了理解逻辑、排查隐患、测试运行&#xff0c;平均要花 85 分钟。 这就是著名的 Brandolini 定律&#xff08;又叫废话不对称原则&#xf…

c++ release下的debug

debug方法1,查看堆栈 最直接&#xff0c;调用顺序是最上面的最近调用。往下点直到自己的代码位置2&#xff0c;debug断点 3&#xff0c;查看内存&#xff1a;&#xff08;&#xff09;4&#xff0c;断电右键添加监视窗口 5&#xff0c;条件断点 release下设置断点调试的…

ssl免费证书与收费证书有什么区别

SSL免费证书与收费证书核心区别SSL免费与收费证书核心差异在安全等级、售后保障及企业适配性&#xff0c;均能实现网站HTTPS加密&#xff0c;但适用场景截然不同。免费证书多为DV型&#xff0c;仅验证域名归属&#xff0c;10分钟内快速签发&#xff0c;成本零门槛&#xff0c;适…

应用程序嵌入插件需要具备什么条件

应用程序插件化能力的深入分析 一、并非所有应用程序都能嵌入插件 1.1 支持插件化的应用程序特征 架构设计特征 ┌───────────────────────────────────┐ │ 可插件化的应用程序架构特征 │ ├───────────────…

给一个应用程序编写插件工作指南

为应用程序编写插件的全面准备工作指南 一、核心准备工作框架 技术调研 → 环境搭建 → 架构设计 → 开发实施 → 测试发布二、详细准备清单 2.1 前期调研与理解&#xff08;最重要的一步&#xff09; 了解目标应用程序 应用程序类型分析&#xff1a; 桌面应用&#xff08;…

如何在应用程序中安装插件并使用

应用程序与插件的关系、安装使用及核心机制 一、应用程序与插件的关系 1.1 基本关系 应用程序是独立运行的软件&#xff0c;而插件&#xff08;也称为扩展、附加组件&#xff09;是扩展应用程序功能的独立模块。它们的关系类似于&#xff1a; 主机与客体的关系&#xff1a;…

当蝗虫玩起了概率游戏:HCUGOA的整活现场

混合柯西变异和均匀分布的蝗虫优化算法 何庆 摘 要: 由于位置更新公式存在局部开发能力较强而全局探索能力较弱的缺陷,导致蝗虫优化算法(GOA)易陷入局部最优以及早熟收敛,对此,提出一种混合柯西变异和均匀分布的蝗虫优化算法(HCUGOA). 受柯西算子和粒子群算法的启发,提出具有分…

Spring Boot 项目使用 EasyExcel 实现导出功能

你想要在 Spring Boot 项目中基于 EasyExcel 完整实现 Excel 导出功能&#xff0c;我会为你梳理一套标准化、可直接落地的实现方案&#xff0c;包含基础导出、字段控制、异常处理等核心内容&#xff0c;确保功能健壮且符合开发规范。 一、完整实现步骤 环境准备&#xff08;引入…

人群仿真软件:Vadere_(11).Vadere与其他仿真软件的比较

Vadere与其他仿真软件的比较 在人群仿真软件领域&#xff0c;Vadere并不是唯一的选择。了解Vadere与其他仿真软件的差异和优势&#xff0c;可以帮助用户更好地选择适合自己需求的工具。本节将重点比较Vadere与其他流行的仿真软件&#xff0c;如AnyLogic、Simulink、Viswalk和M…