在Java应用中实现数据库主从复制（读写分离）

一、架构描述

（一）整体架构

1. 主库（Master）
   • 负责处理所有的写操作（INSERT、UPDATE、DELETE等）。它是数据的源头，所有的数据变更首先发生在主库。
   • 主库会将写操作产生的日志（例如MySQL中的binlog）发送给从库。
2. 从库（Slave）
   • 从库会接收主库发送过来的日志，并根据这些日志来重放操作，从而保持与主库的数据一致性。
   • 从库主要用于处理读操作，分担主库的读负载。
3. Java应用
   • Java应用需要根据操作的类型（读或写）来决定连接主库还是从库。通常会使用数据库连接池来管理连接，并且有专门的逻辑来判断何时连接主库，何时连接从库。

（二）数据流向

1. 当有写请求时，例如向数据库插入一条新记录，Java应用会将请求发送到主库。
2. 主库执行写操作后，将操作记录到日志中，并将日志发送给从库。
3. 从库接收到日志后，按照日志中的操作顺序在本地执行相同的操作，使自己的数据与主库保持一致。
4. 当有读请求时，Java应用会将请求发送到从库（可以是多个从库中的一个，通过负载均衡策略），从库返回查询结果。

二、关键代码实现

（一）使用数据库连接池（以Druid为例）

1. 配置主库连接池
   • 首先需要在项目的配置文件（例如application.properties或application.yml）中配置主库的连接信息。
   • 在Java代码中创建主库的DataSource。

import com.alibaba.druid.pool.DruidDataSource;public class MasterDataSourceConfig {public static DruidDataSource createMasterDataSource() {DruidDataSource dataSource = new DruidDataSource();dataSource.setUrl("jdbc:mysql://master_host:3306/mydb?useSSL=false&serverTimezone = UTC");dataSource.setUsername("root");dataSource.setPassword("password");dataSource.setInitialSize(5);dataSource.setMaxActive(20);// 可以根据需要设置其他参数，如最小空闲连接数等return dataSource;}
}

1. 配置从库连接池
   • 同样，在配置文件中配置从库的连接信息（如果有主从多个从库，可以配置多个从库连接池）。
   • 创建从库的DataSource。

public class SlaveDataSourceConfig {public static DruidDataSource createSlaveDataSource() {DruidDataSource dataSource = new DruidDataSource();dataSource.setUrl("jdbc:mysql://slave_host:3306/mydb?useSSL=false&serverTimezone = UTC");dataSource.setUsername("root");dataSource.setPassword("password");dataSource.setInitialSize(5);dataSource.setMaxActive(20);return dataSource;}
}

（二）读写分离逻辑实现

1. 创建一个数据访问层（DAO）的代理类
   • 这个代理类将根据操作类型决定连接主库还是从库。

import java.lang.reflect.InvocationHandler;
import java.lang.reflect.Method;
import java.lang.reflect.Proxy;
import java.sql.Connection;
import java.sql.SQLException;public class ReadWriteSplitProxy implements InvocationHandler {private DruidDataSource masterDataSource;private DruidDataSource slaveDataSource;public ReadWriteSplitProxy(DruidDataSource masterDataSource, DruidDataSource slaveDataSource) {this.masterDataSource = masterDataSource;this.slaveDataSource = slaveDataSource;}@Overridepublic Object invoke(Object proxy, Method method, Object[] args) throws Throwable {if (isWriteOperation(method)) {return executeOnMaster(method, args);} else {return executeOnSlave(method, args);}}private boolean isWriteOperation(Method method) {// 简单判断方法名是否以insert、update、delete开头来判断是否为写操作String methodName = method.getName().toLowerCase();return methodName.startsWith("insert") || methodName.startsWith("update") || methodName.startsWith("delete");}private Object executeOnMaster(Method method, Object[] args) throws SQLException {try (Connection conn = masterDataSource.getConnection()) {return method.invoke(conn, args);}}private Object executeOnSlave(Method method, Object[] args) throws SQLException {try (Connection conn = slaveDataSource.getConnection()) {return method.invoke(conn, args);}}public static Object newProxyInstance(DruidDataSource masterDataSource, DruidDataSource slaveDataSource, Class<?> clazz) {ReadWriteSplitProxy handler = new ReadWriteSplitProxy(masterDataSource, slaveDataSource);return Proxy.newProxyInstance(clazz.getClassLoader(), new Class[]{clazz}, handler);}
}

1. 使用代理类进行数据库操作
   • 在业务逻辑层中，使用代理类来代替真实的数据库连接进行操作。

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;public class UserDao {private UserDao proxy;public UserDao(DruidDataSource masterDataSource, DruidDataSource slaveDataSource) {this.proxy = (UserDao) ReadWriteSplitProxy.newProxyInstance(masterDataSource, slaveDataSource, UserDao.class);}public void insertUser(String name, int age) throws SQLException {String sql = "INSERT INTO users (name, age) VALUES (?,?)";try (Connection conn = proxy.getConnection();PreparedStatement ps = conn.prepareStatement(sql)) {ps.setString(1, name);ps.setInt(2, age);ps.executeUpdate();}}public User getUserById(int id) throws SQLException {String sql = "SELECT * FROM users WHERE id =?";try (Connection conn = proxy.getConnection();PreparedStatement ps = conn.prepareStatement(sql)) {ps.setInt(1, id);ResultSet rs = ps.executeQuery();if (rs.next()) {User user = new User();user.setId(rs.getInt("id"));user.setName(rs.getString("name"));user.setAge(rs.getInt("age"));return user;}}return null;}
}class User {private int id;private String name;private int age;// 省略getter和setter方法
}

三、日常开发中的合理化使用建议

（一）连接池配置方面

1. 合理设置连接池大小
   • 主库连接池的大小要根据写操作的并发量和数据库服务器的处理能力来设置。如果写操作非常频繁且数据库性能有限，可以适当增大连接池的最大连接数。
   • 从库连接池的大小要考虑读操作的并发量以及从库的数量。如果有多个从库并且读操作负载较高，可以适当增大每个从库连接池的大小。
2. 连接有效性检查
   • 配置连接池定期检查连接的有效性。例如，Druid连接池可以通过设置testWhileIdle、timeBetweenEvictionRunsMillis等参数来确保获取到的连接是可用的。

（二）故障处理方面

1. 主库故障
   • 当主库发生故障时，需要有相应的故障转移机制。可以将其中一个从库提升为新的主库，然后更新Java应用中的主库连接配置。
   • 在故障转移过程中，要确保数据的一致性，可能需要暂停部分写操作，等待主库恢复或者新的主库完全准备好。
2. 从库故障
   • 如果某个从库发生故障，可以暂时将其从可用从库列表中移除。如果有多个从库，可以调整读操作的负载均衡策略，将原本分配给故障从库的读请求分配到其他正常的从库上。

（三）数据一致性方面

1. 延迟处理
   • 由于主从复制存在一定的延迟，在一些对数据实时性要求较高的场景下，要谨慎处理读操作。例如，在写入主库后立即读取从库可能会得到旧的数据。可以采用重试机制或者等待一定的时间后再从从库读取。
2. 监控复制状态
   • 定期监控主从复制的状态，包括复制延迟、是否有复制错误等。可以通过数据库自带的工具（如MySQL的SHOW SLAVE STATUS命令）或者在Java应用中编写监控逻辑来实现。

四、实际开发过程中需要注意的点

（一）事务管理

1. 跨库事务
   • 如果一个业务操作涉及到主库和从库的操作（虽然这种情况较少，但在一些复杂业务场景下可能存在），要考虑跨库事务的管理。可以使用分布式事务框架（如Seata）来确保数据的一致性。
2. 本地事务
   • 在只涉及主库或者只涉及从库的操作中，要正确使用本地事务。例如，在主库上进行写操作时，要确保事务的原子性、隔离性、一致性和持久性（ACID）。

（二）SQL兼容性

1. 不同数据库版本差异
   • 主从库可能使用不同版本的数据库，在编写SQL语句时要考虑版本的兼容性。例如，某些函数在不同版本的MySQL中的行为可能不同。
2. 特定数据库特性
   • 避免使用只在某个数据库版本或者特定数据库中有而其他数据库不支持的特性。如果必须使用，要考虑如何在不同的数据库环境中进行适配。

（三）安全方面

1. 连接安全
   • 确保主库和从库的连接都是安全的，使用SSL加密连接或者配置合适的防火墙规则来限制对数据库端口的访问。
2. 权限管理
   • 为主库和从库分别设置合适的用户权限。例如，从库用于读操作的用户不需要有写入权限，这样可以提高安全性。