数据库分库分表介绍

分库分表是解决数据库性能瓶颈的常用技术手段，主要用于应对数据量过大、读写压力过高的问题。通过将数据分散到多个数据库或表中，可以提高系统的扩展性和性能。

1. 分库分表的核心概念

（1）分库

定义：将数据分散到多个数据库中，每个数据库存储一部分数据。
优点：
- 分散读写压力，提高并发能力。
- 提高系统的可用性和容错能力。
缺点：
- 跨库查询复杂，需要额外的逻辑处理。
- 数据一致性维护难度增加。

（2）分表

定义：将数据分散到多个表中，每个表存储一部分数据。
优点：
- 减少单表数据量，提高查询性能。
- 降低索引大小，提高写入性能。
缺点：
- 跨表查询复杂，需要额外的逻辑处理。
- 数据一致性维护难度增加。

2. 分库分表的策略

（1）水平分库分表

定义：将数据按行分散到多个库或表中。
常用策略：
- 按范围分片：如按用户 ID 范围、时间范围、区域范围等。
- 按哈希分片：如对用户 ID 取模，分散到不同的库或表中。

（2）垂直分库分表

定义：将数据按列分散到多个库或表中。
常用策略：
- 按业务分库：如将用户数据、订单数据存储在不同的数据库中。
- 按字段分表：如将大表中的常用字段和不常用字段拆分到不同的表中。

3. 分库分表的实现方式

（1）应用层实现

在应用层通过代码实现分库分表逻辑。
优点：灵活可控。
缺点：开发复杂度高，维护成本高。
示例：

（2）中间件实现（`推荐`）

使用数据库中间件（如 MyCat、ShardingSphere）实现分库分表。
优点：简化开发，支持动态扩展。
缺点：依赖中间件，可能存在性能瓶颈。

4. 分库分表的挑战

（1）跨库/跨表查询

问题：分库分表后，跨库或跨表查询变得复杂。
解决方案：
- 使用全局表或冗余数据。
- 通过中间件支持跨库查询。

（2）数据一致性

问题：分库分表后，数据一致性维护难度增加。
解决方案：
- 使用分布式事务（如 2PC、TCC）。
- 通过消息队列实现最终一致性。

（3）主键生成

问题：分库分表后，主键可能重复。
解决方案：
- 使用分布式 ID 生成器（如 Snowflake、UUID）。
- 使用数据库自增 ID 结合分片规则。

5. 分库分表的实际应用场景

（1）电商系统

场景：订单表数据量巨大，读写压力高。
方案：
- 按用户 ID 分库分表，分散订单数据。
- 使用 ShardingSphere 实现分库分表，支持跨库查询。

（2）社交网络

场景：用户动态数据量大，读写压力高。
方案：
- 按用户 ID 分表，分散动态数据。
- 使用 MySQL 分区表，简化数据管理。

（3）日志系统

场景：日志数据量巨大，写入压力高。
方案：
- 按时间分表，每天或每月创建一个新表。
- 使用 Elasticsearch 存储日志，支持分布式查询。

6. 示例

（1）水平分表示例

-- 用户表按用户 ID 取模分表
CREATE TABLE user_0 (id BIGINT PRIMARY KEY,name VARCHAR(100)
);CREATE TABLE user_1 (id BIGINT PRIMARY KEY,name VARCHAR(100)
);-- 插入数据时根据用户 ID 取模选择表
INSERT INTO user_0 (id, name) VALUES (1, 'Alice');
INSERT INTO user_1 (id, name) VALUES (2, 'Bob');

（2）垂直分库示例

-- 用户库
CREATE DATABASE user_db;
USE user_db;
CREATE TABLE user (id BIGINT PRIMARY KEY,name VARCHAR(100)
);-- 订单库
CREATE DATABASE order_db;
USE order_db;
CREATE TABLE order (id BIGINT PRIMARY KEY,user_id BIGINT,amount DECIMAL(10, 2)
);

（3）使用 ShardingSphere 实现分库分表

# sharding.yml 配置文件
dataSources:ds0:url: jdbc:mysql://localhost:3306/db0username: rootpassword: rootds1:url: jdbc:mysql://localhost:3306/db1username: rootpassword: rootshardingRule:tables:user:actualDataNodes: ds$->{0..1}.user$->{0..1}tableStrategy:standard:shardingColumn: idpreciseAlgorithmClassName: com.example.HashModShardingAlgorithm

（4）应用层分库分表示例

// 根据用户 ID 取模分表
public String getTableName(long userId) {int tableIndex = (int) (userId % 4); // 分为 4 张表return "user_" + tableIndex;
}// 插入数据时选择表
public void insertUser(User user) {String tableName = getTableName(user.getId());String sql = "INSERT INTO " + tableName + " (id, name) VALUES (?, ?)";jdbcTemplate.update(sql, user.getId(), user.getName());
}