MYSQL 全量，增量备份与恢复

一数据备份的重要性

1 数据备份的重要性

2 数据库备份类型

2.1 从物理与逻辑的角度分类

2.2. 从数据库的备份策略角度分类从数据库的备份策略角度,数据库的备份可分为完全备份、差异备份和增量备份。

3 常见的备份方法

3.1 物理冷备份物理冷备份时需要在数据库处于关闭状态下,能够较好地保证数据库的完整性。物理冷备份一般用于非核心业务,这类业务一般都允许中断,物理冷备份的特点就是速度快,恢复时也是最为简单的。通常通过直接打包数据库文件夹(本章中的数据库文件夹位于/usr/local/mysq1/data)来实现备份

3.2 专用备份工具 mysqldump 或 mysqlhotcopy

3.3 通过启用二进制日志进行增量备份

3.4通过第三方工具备份

二. 数据库完全备份操作上面提到根据数据库备份策略分类,备份可分为完全备份、差异备份和增量备份。在本章中我们只介绍完全备份与增量备份,感兴趣的同学可以课下自学差异备份的方法。

1 物理冷备份与恢复

1.1 备份数据库

1.2 恢复数据库

2.mysqldump 备份与恢复

2.1备份数据库

2.2 查看备份文件

2.3 恢复数据库

3 MySQL 增量备份与恢复

3.1 MySQL 增量备份概述

(1)增量备份的特点

(2)MySQL二进制日志对备份的意义

3.2 MySQL 增量恢复

3.3 MYSQL 备份案例

1. 一般恢复

（1）添加数据库，表，录入信息

（2）先进性一次性完全备份

（3）继续录入新的数据并进行增量备份

（4）模拟错误操作删除user——info表

（5）恢复操作

2.基于位置恢复

3.基于时间恢复

三备份策略思路

四扩展：MYSQL的GTID 和XTRABACKUP

1.mysql的gtid

（1）配置my.cnf 开启gtid

(2)创建基本测试库，表，数据

（3）全量备份

（4）插入新数据

（5）模拟数据误删除

（6）导出增量备份

（7）恢复全量

（8）恢复增量

2.XtraBackup

（1）安装xtrabackup和qpress包

(2)完整备份与恢复备份

（3）增量备份与恢复备份

一数据备份的重要性、、。

备份的主要目的是灾难恢复,备份还可以测试应用、回滚数据修改、查询历史数据、审计等。之前已经学习过如何安装 MySQL,本小节将从生产运维的角度了解备份恢复的分类与方法。

1 数据备份的重要性

在企业中数据的价值至关重要,数据保障了企业业务的正常运行。因此,数据的安全性及数据的可靠性是运维的重中之重,任何数据的丢失都可能对企业产生严重的后果。通常情况下造成数据丢失的原因有如下几种:

> 程序错误。
> 人为操作错误。
> 运算错误。
>磁盘故障。
>灾难(如火灾、地震)和盗窃

2 数据库备份类型

2.1 从物理与逻辑的角度分类

数据库备份可以分为物理备份和逻辑备份。
物理备份是对数据库操作系统物理文件(如数据文件、日志文件等)的备份。这种类型的备份适用于在出现问题时需要快速恢复的大型重要数据库。

物理备份又可以分为冷备份(脱机备份)、热备份(联机备份)和温备份。

> 冷备份: 在数据库关闭状态下进行备份操作。
> 热备份: 在数据库处于运行状态时进行备份操作,该备份方法依赖数据库的日志文件。
> 温备份: 数据库锁定表格(不可写入但可读)的状态下进行备份操作。

逻辑备份是:对数据库逻辑组件(如表等数据库对象)的备份,表示为逻辑数据库结构(CREATE DATABASE,CREATE TABLE 语句)和内容(INSERT 语句或分隔文本文件)的信息。这种类型的备份适用于可以编辑数据值或表结构较小的数据量,或者在不同的机器体系结构上重新创建数据。

2.2. 从数据库的备份策略角度分类
从数据库的备份策略角度,数据库的备份可分为完全备份、差异备份和增量备份。

完全备份每次对数据进行完整的备份,即对整个数据库、数据库结构和文件结构的备份,保存的是备份完成时刻的数据库,是差异备份与增量备份基础。完全备份的备份与恢复操作都非常简单方便,但是数据存在大量的重复,且会占用大量的磁盘空间,备份的时间也很长。
差异备份备份那些自从上次完全备份之后被修改过的所有文件,备份的时间节点是从上次完整备份起,备份数据量会越来越大。恢复数据时,只需复上次的完全备份与最近的一次差异备份。
增量备份只有那些在上次完全备份或者增量备份后被修改的文件才会被备份。以上次完整备份或上次增量备份的时间为时间点,仅备份这之间的数据变化,因而备份的数据量小,占用空间小,备份速度快。但恢复时,需要从上一次的完整备份开始到最后一次增量备份之间的所有增量依次恢复,如中间某次的备份数据损坏,将导致数据的丢失。

3 常见的备份方法

MySQL 数据库的备份可以采用很多种方式,如直接打包数据库文件(物理冷备份)、专用备份工具(mysqldump)、二进制日志增量备份、第三方工具备份等。

3.1 物理冷备份
物理冷备份时需要在数据库处于关闭状态下,能够较好地保证数据库的完整性。物理冷备份一般用于非核心业务,这类业务一般都允许中断,物理冷备份的特点就是速度快,恢复时也是最为简单的。通常通过直接打包数据库文件夹(本章中的数据库文件夹位于/usr/local/mysq1/data)来实现备份

3.2 专用备份工具 mysqldump 或 mysqlhotcopy

mysqldump 程序和 mysqlhotcopy 都可以做备份。mysqldump 是客户端常用逻辑备份程序,能够产生一组被执行以后再现原始数据库对象定义和表数据的SQL 语句。它可以转储一个到多个MySQL数据库,对其进行备份或传输到远程SQL 服务器。mysqldump 更为通用,因为它可以备份各种表。mysqlhotcopy 仅适用于某些存储引擎。

mysqlhotcopy 是由 Tim Bunce 最初编写和贡献的Perl 脚本。mysqlhotcopy 仅用于备份MyISAM和ARCHIVE表。它只能运行在 UNIX或 Linux上。因为使用范围小,因此本文中不做详细介绍,如果同学们有兴趣可以在课下研究。

3.3 通过启用二进制日志进行增量备份

MySQL 支持增量备份,进行增量备份时必须启用二进制日志。二进制日志文件为用户提供复制,对执行备份点后进行的数据库更改所需的信息进行恢复。如果进行增量备份(包含自上次完全备份或增量备份以来发生的数据修改),需要刷新二进制日志。

3.4通过第三方工具备份

Percona XtraBackup 是一个免费的MySQL 热备份软件,支持在线热备份Innodb 和 XtraDB,也可以支持 MySQL 表备份,不过 MyISAM 表的备份要在表锁的情况下进行。本节对于 Percona XtraBackupr 的叙述是基于 2.4 版本的。
Percona XtrBackup 有三个主要的工具:xtrabackup、innobackupex、xbstream.

xtrabackup: 是一个编译了的二进制文件,只能备份 Innodb/Xtradb 数据
文件。
innodbackupex: 是一个封装了xtrabackup的Perl脚本,除了可以备份
Innodb/Xtradb 之外,还可以备份 MySIAM。
xbstream: 是一个新组件,能够允许将文件格式转成 xbstream 格式或从xbstream格式转到文件格式。

xtrabackup 工具可以单独使用,但推荐使用 innobackupex 来进行备份,这是因为innobackupex本身就已经包含了xtrabackup 的所有功能。

xtrabackup 是基于 Innodb 的灾难恢复功能进行设计的,备份工具复制Innodb 的数据文件。但是,由于不锁表,这样复制出来的数据将不一致。Innodb维护了一个重做日志,包含 Innodb 数据的所有改动情况。在 xtrabackup 备份Innodb 数据的同时,xtrabackup 还有另外一个线程用来监控重做日志,一但日志发生变化,就把发生变化的日志数据复制走。这样就可以利用重做日志做灾难恢复了。

以上是备份过程,如果需要恢复数据,则在准备阶段,xtrabackup 就需要使用之前复制的重做日志对备份出来的 Innodb 数据文件进行灾难恢复,此阶段完成之后,数据库就可以进行重建还原了。

Percona XtraBackup 对 MySIAM 的复制,是按这样的一个顺序进行的:首先锁定表,然后复制,再解锁表。第三方工具备份操作本章中不做详细介绍,如果同学们有兴趣可以在课下研究

二. 数据库完全备份操作
上面提到根据数据库备份策略分类,备份可分为完全备份、差异备份和增量备份。在本章中我们只介绍完全备份与增量备份,感兴趣的同学可以课下自学差异备份的方法。

1 物理冷备份与恢复

物理冷备份一般用 tar 命令直接打包数据库文件夹,而在进行备份之前需要使用“systemct1 stop mysqld”命令关闭 mysqld 服务。

1.1 备份数据库

创建一个、backup 目录作为备份数据存储路径，使用tar创建备份文件，整个数据库文件夹备份属于完全备份的建立。

1.2 恢复数据库

执行下面操作将数据库文件、usr/local/mysql/data/转移至bak目录下，模拟故障。

2.mysqldump 备份与恢复

通过 mysqldump 命令可以将指定的库、表或全部的库导出为SQL脚本,便于该命令在不同版本的 MySQL 服务器上使用。例如,当需要升级 MySQL 服务器时,可以先使用mysqldump 命令将原有库信息导出,然后直接在升级后的MySQL服务器中导入即可

2.1备份数据库

使用 mysqldump 命令导出数据时,默认会直接在终端显示,若要保存到文件,还需要结合 Shell的“>”重定向输出操作,命令格式如下所示。

格式 1:备份指定库中的部分表。

mysqldump[选项]库名[表名1][表名2]…>/备份路径/备份文件名

格式 2:备份一个或多个完整的库(包括其中所有的表)。

mysqldump[选项] -- databases 库名 1[库名 2]…>

格式 3:备份 MySQL 服务器中所有的库。

mysqldump[选项] -- all-databases>/备份路径/备份文件名

其中,常用的选项包括“-u”、“-p”,分别用于指定数据库用户名、密码。例如,以下操作分别使用格式 1、格式2,将 mysql 库中的 user 表导出为mysql-user.sql,将整个 test 库导出为 test.sql 文件,所有操作均以 root用户身份验证。

若需要备份整个 MySQL 服务器中的所有库,应使用格式3。当导出的数据量较大的时候,可以添加“ - opt”选项以优化执行速度。例如,执行以下操作将创建备份文件 all-data.sql,其中包括 MySQL 服务器中的所有库。

2.2 查看备份文件

通过 mysqldump 工具导出的 SQL 脚本是文本文件,其中“/ *…* /”部分或以“ -- ”开头的行表示注释信息。使用grep、less、cat 等文本工具可以查看脚本内容。例如,执行以下操作可以过滤出test.sql 脚本中的数据库操作语句。

2.3 恢复数据库

使用 mysqldump 命令导出的 SQL 备份脚本,在需要恢复时可以通过 mysql命令对其进行导入操作,命令格式如下所示。

mysql[选项][库名][表名]</备份路径/备份文件名

当备份文件中只包含表的备份,而不包含创建的库的语句时,执行导入操作时必须指定库名,且目标库必须存在。

例如,执行以下操作可以从备份文件 mysql-user.sql 中将表导入test 库。其中“-e”选项是用于指定连接MySQL 后执行的命令,命令执行完后自动退出。

若备份文件中已经包括完整的库信息,则执行导入操作时无须指定库名。

例如执行以下操作可以从备份文件 test.sql恢复test库

除了使用mysql命令结合“<”恢复数据外，还可以使用source命令恢复数据，具体如下

3 MySQL 增量备份与恢复

使用 mysqldump 进行完全备份,备份的数据中有重复数据,备份时间与恢复时间过长。而增量备份就是自上一次备份之后增加或改变的内容

3.1 MySQL 增量备份概述

(1)增量备份的特点

与完全备份不同,增量备份没有重复数据,备份量不大,时间短;但其恢复麻烦,需要上次完全备份及完全备份之后所有的增量备份才能恢复,而且要对所有增量备份进行逐个反推恢复。MySQL 没有提供直接的增量备份办法,可以通过MySQL 提供的二进制日志 (binary logs)间接实现增量备份

(2)MySQL二进制日志对备份的意义

二进制日志保存了所有更新数据库的操作。二进制日志在启动 MySQL 服务器后开始记录,并在文件达到二进制日志所设置的最大值或者接收到 flushlogs 命令后重新创建新的日志文件,生成二进制文件序列,并及时把这些日志保存到安全的存储位置,即可完成一个时间段的增量备份。使max_binlog_size配置项可以设置二进制日志文件的最大值,如果二进制文件的大小超过了max_binlog_size,它就会自动创建新的二进制文件。

要进行 MySQL 的增量备份,首先要开启二进制日志功能。开启 MySQL的进制日志功能的实现方法有很多种,最常用的是在 MySQL 配置文件的mysqld项下加入“log-bin=/文件路径/文件名”前缀,如log-bin=/usr/local/mysql/mysql-bin,然后重启 MySQL 服务就可以在指定路径下查看二进制日志文件了。默认情况下,二进制日志文件的扩展名是一个六位的数字,如 mysq1-bin.000001。

Mysq18.0 默认已经开启binlog,无需显示配置binlog(默认binlog文件为:binlog.000001),如需自定义binlog配置,请添加如下配置项

3.2 MySQL 增量恢复

在维护数据库时,因为各种各样的原因可能会导致数据丢失,如:人为的 SQL语句破坏数据库、在进行下一次全备份之前发生系统故障导致数据库数据丢失、在数据库主从架构中主库的数据发生故障等。当出现以上场景时可以使用增量恢复来恢复数据。

常用的增量恢复的方法有三种:一般恢复、基于位置的恢复、基于时间点的恢复。

一般恢复:将所有备份的二进制日志内容全部恢复,命令格式如下所示。

mysqlbinlog [ -- no-defaults]增量备份文件|mysql-u用户名-p密码

基于位置的恢复:数据库管理员在操作数据库时可能在同一时间点既有错误的操作也有正确的操作,通过基于位置进行恢复可以更加精准,命令格式如下所示。

· 格式 1:恢复数据到指定位置。
mysqlbinlog -- stop-position='操作 id'二进制日志 |mysql-u用户名-p
密码

·格式 2:从指定的位置开始恢复数据。
mysqlbinlog -- start-position='操作 id'二进制日志 |mysql-u 用户名 -p密码

基于时间点的恢复:跳过某个发生错误的时间点实现数据恢复,而基于时间点的恢复可以分成三种情况。

·格式 1:从日志开头截止到某个时间点的恢复。
mysqlbinlog [ -- no-defaults] -- stop-datetime='年-月-日小时:分钟:秒’二进制日志 |mysql -u 用户名 -p 密码

·格式 2:从某个时间点到日志结尾的恢复。
mysqlbinlog [ -- no-defaults] -- start-datetime='年-月-日小时:分钟:秒’二进制日志|mysql-u 用户名 -p 密码

·格式 3:从某个时间点到某个时间点的恢复。
mysqlbinlog [ -- no-defaults] -- start-datetime='年-月-日小时:分钟:秒’-- stop-datetime='年-月-日小时:分钟:秒’二进制日志|mysql-u用户名 -p密码

3.3 MYSQL 备份案例

1. 一般恢复

（1）添加数据库，表，录入信息

在进行备份之前,先根据给出的需求创建用户信息数据库 client、用户资费数据表user_info,并且根据需求描述中的表格插入前三条用户的数据。

（2）先进性一次性完全备份

（3）继续录入新的数据并进行增量备份

2.基于位置恢复

三备份策略思路

在进行热备份时,备份操作和应用服务在同时运行,这样就十分消耗系统资原了,导致数据库服务性能下降,这就需要选择一个合适的时间(如在应用负担很小的时候)再来进行备份操作。

需要注意的是,不是备份完就万事大吉,最好确认备份是否可用,所以备份之后的恢复测试是非常有必要的。同时备份时间也要灵活调整,如:

数据更新频繁,则应该频繁地备份。
数据的重要性,在有适当更新时进行备份

在数据库压力小的时间段进行备份,如一周一次完全备份,每天进行增量备份。

中小公司,完全备份一般一天一次即可。
大公司可每周进行一次完全备份,每天进行一次增量备份。
尽量为企业实现主从复制架构,以增加数据的可用性。

四扩展：MYSQL的GTID 和XTRABACKUP

1.mysql的gtid

GTID即全局事务 ID(globaltransaction identifier),其保证为每一个在主上提交的事务在复制集群中可以生成一个唯一的ID。GTID最初由google实现,官方MySQL在5.6才加入该功能

GTID 实际上是由UUID+TID(即transactionId)组成的。其中UUID(即server_uuid)产生于auto.conf文件(cat/data/mysql/data/auto.cnf),是一个MySQL实例的唯一标识。TID代表了该实例上已经提交的事务数量,并且随着事务提交单调递增,所以GTID能够保证每个MySQL实例事务的执行(不会重复执行同一个事务,并且会补全没有执行的事务)。GTID在一组复制中,全局唯

通过下面的实验,了解基于gtid的增量备份和恢复(Gtid的备份也是基于binlog的)