基于rsync\unlink 等一套本机备份跨机备份历史备份清理shell 脚本

一摘要

本文主要介绍一套本地备份、跨机器备份、历史备份清理脚本，使用场景如数据库备份等

二环境

linux 系列系统基本都支持，个别命令可能需要微调。

2.1 实验环境

[root@localhost rsync]# cat /etc/centos-release
CentOS Linux release 7.9.2009 (Core)

三脚本介绍

介绍脚本主要功能模块及目录结构

3.1 脚本目录结构

[root@projun002 data]# cd scripts/
[root@projun002 scripts]# tree
.
├── backup
│   ├── backup_mysql.sh
│   └── backup_nginx.sh
├── delete
│   ├── delete_dockercompse.sh
│   ├── delete_jira.sh
│   ├── delete_mysql.sh
│   ├── delete_nginx.sh
│   └── deleteoldfile.sh
├── logs
│   ├── backup_mysql.INFO.2024-06-26.log
│   ├── backup_mysql.INFO.2024-06-27.log
└── rsync├── push_rsync_devopsapp.sh├── push_rsync_gitlabtar.sh├── push_rsync_jira.sh└── rsync_tools.sh

/scripts/backup/ 主要存放本机备份脚本；
/scripts/rsync/ 主要存放跨机备份脚本；
/scripts/delete/ 主要存放删除本机历史备份和日志文件脚本；
/scripts/logs/ 主要存放日志文件；

3.2 以备份mysql 为例介绍脚本及使用办法

3.2.1 /scripts/backup/backup_mysql.sh

该脚本里基于mysqldump 备份数据库，既可以备份基于容器部署的mysql,也可以部署基于rpm 包安装的数据库；
注意几点：备份好后，一定要验证是否能顺利恢复。
因为mysql 配置不同，备份命令也要基于自己的配置修改
比如default-character-set=utf8 ，您的库不是utf-8，那就要改了。

#!/bin/bash# 数据库连接信息DB_HOST="127.0.0.1"DB_PORT="3306"DB_USER="root"DB_PASSWD="test"# 时间格式化,如 20211216DATE="`date +%Y%m%d%H%M%S`"
# 备份文件目录DIR_BACKUP="/data/backup/devopsapp/mysqldata"#备份应用
APP_NAME="mysql"
#脚本根目录
SCRIPT_DIR="/data/scripts/"DIR_LOG="${SCRIPT_DIR}/logs"FILE_LOG="${DIR_LOG}/backup_${APP_NAME}.INFO.`date +%F`.log"# 备份数据库名DATABASES=("jira  mysql")# mysql docker id
MYSQL_DOCKER_ID=`docker ps -a | grep devopsappmysql | awk '{print $1}'`# 测试目录， 目录不存在则自动创建# test -d ${DIR_LOG} || echo passwd | sudo -S mkdir -p ${DIR_LOG}test -d ${DIR_LOG} || mkdir -p ${DIR_LOG}
test -d ${DIR_BACKUP} || mkdir -p ${DIR_BACKUP}# ------------------- 2021-12-16_17:40:48 Start -------------------echo -e "\n----------------- $(date +%F\ %T) Start -----------------"echo -e "\n================= $(date +%F\ %T) Start =================" >> ${FILE_LOG}# 遍历数据库名for database in ${DATABASES[@]}; do # 打印备份的数据库名echo "----------- Current backup database: [ ${database} ] ------------"echo "-------------- Backed-up database: [ ${database} ] --------------" >> ${FILE_LOG}docker exec -i ${MYSQL_DOCKER_ID} sh -c " mysqldump --opt --single-transaction --master-data=2 --default-character-set=utf8 -h${DB_HOST} -P${DB_PORT} -u${DB_USER} -p${DB_PASSWD} -B ${database} | gzip > ${DIR_BACKUP}/mysqlbackup_${database}_${DATE}.sql.gz"done# 备份指定的数据库# mysqldump --opt --single-transaction --master-data=2 --default-character-set=utf8 -h${DB_HOST} -P${DB_PORT} -u${DB_USER} -p${DB_PASSWD} -B ${DATABASES} | gzip > ${DIR_BACKUP}/mysql_backup_${DATE}.sql.gz# docker 版本
#docker exec -i ${MYSQL_DOCKER_ID} sh -c " mysqldump --opt --single-transaction --master-data=2 --default-character-set=utf8 -h${DB_HOST} -P${DB_PORT} -u${DB_USER} -p${DB_PASSWD} -B ${DATABASES} | gzip > ${DIR_BACKUP}/mysql_backup_${DATE}.sql.gz"# # 备份全部数据库# mysqldump --opt --single-transaction --master-data=2 --default-character-set=utf8 -h${DB_HOST} -P${DB_PORT} -u${DB_USER} -p${DB_PASSWD} -A | gzip > ${DIR_BACKUP}/mysql_backup_${DATE}.sql.gzecho "------- Backup file created: [ mysql_backup_${DATE}.sql.gz ]"echo "------- Backup file created: [ mysql_backup_${DATE}.sql.gz ]" >> ${FILE_LOG}

3.2.2 /data/scripts/rsync/push_rsync_mysql.sh

该脚本主要是将备份备份文件通过rsync 方式传到另一台机器实现跨机器备份

#!/bin/bash
####
#基于rsync 或者scp 实现跨物理机数据传输
#date:20240415 authro:weibi2
####应用名称
APP_NAME=mysql
# 远程主机 主机信息
DEST_HOST=10.3.170.73
DEST_USER=root
#需要到push 主机手工新建该目录
DEST__DIR="/data/backup/76server/mysqldata"# 本机信息SCRIPT_DIR="/data/scripts"
#备份日志文件目录
LOG_DIR="${SCRIPT_DIR}/logs"
#rsync 日志文件
LOG_FILE="${LOG_DIR}/rsync_${APP_NAME}.`date +%F`.log"#源目录 ，同步文件所在目录
#注意最后一个下划线
SRC_DIR="/data/backup/devopsapp/mysqldata/"# 若日志目录不存在则新建
test -d ${LOG_DIR} || mkdir -p ${LOG_DIR} #rsync -avzP -e "ssh -p 22" /data/yunweipro/devopsapp/jira/data/export/  root@10.3.170.73:/data/backup/devopsapp/jira/export/nohup rsync -avzP -e "ssh -p 22" ${SRC_DIR}  ${DEST_USER}@${DEST_HOST}:${DEST__DIR} >> ${LOG_FILE}  2>&1 &

3.2.3 /data/scripts/rsync/rsync_tools.sh

该脚本是一个工具脚本用于启动、停止、查看跨机脚本

#!/bin/bash
LOG_DIR="/data/scripts/logs/"
LOG_FILE="${LOG_DIR}rsync_tools_`date +%F`.log"
# 若日志目录不存在则新建
test -d ${LOG_DIR} || mkdir -p ${LOG_DIR}case "$1" instart)/data/scripts/rsync/push_rsync_mysql.sh && echo "start push_rsync_mysql.sh" | tee -a $LOG_FILEecho "STARTING rsync_tool...";;  stop)#killall rsync && echo " kill all rsync " >> $LOGFILEPIDS=`ps -ef | grep -v grep | grep -v rsync_tools | grep rsync | awk '{print $2}'`for pid in $PIDSdokill -9 $pid && echo "kill $pid" >> $LOG_FILEdoneecho "STOP ALL rsync";;status)ps -ef | grep -v grep | grep rsync;;restart)$0 stop$0 start;; *)echo "Usage: $0 {start|stop|restart|status}"exit 1;;
esac

启动命令

[root@localhost rsync]# ./rsync_tools.sh start
start push_rsync_mysql.sh
STARTING rsync_tool...
[root@localhost rsync]# ./rsync_tools.sh status
root     14273 14233  0 15:47 pts/0    00:00:00 less push_rsync_devopsapp.sh
root     14443 14233  0 16:01 pts/0    00:00:00 less rsync_mysql.2024-07-22.log
root     14504     1 99 16:04 pts/1    00:00:05 rsync -avzP -e ssh -p 22 /data/backup/devopsapp/mysqldata/ root@10.3.170.73:/data/backup/76server/mysqldata
root     14507 14504 20 16:04 pts/1    00:00:01 ssh -p 22 -l root 10.3.170.73 rsync --server -vlogDtprze.iLsfxC --partial . /data/backup/76server/mysqldata
root     14508 14288  0 16:04 pts/1    00:00:00 /bin/bash ./rsync_tools.sh status

3.2.4 /data/scripts/delete/delete_mysql.sh

该脚本用于删除本机历史备份

该脚本详细介绍请看基于unlink 和黑白名单实现删除脚本（日志清理、历史备份清理）

#!/bin/bash# 时间格式化,如 20211216120101
DATE="`date +%Y%m%d%H%M%S`"
#DATE="`date +%Y%m%d`"# 备份app 名称
# 需根据实际需要修改
APP_NAME="devopsapp"# 文件名称过滤词,正则匹配
# 需根据实际需要修改
#FILE_NAME_MATCH_KEY_WORD="'*'"# 备份文件目录，待删除文件所在的目录
# 需根据实际需要修改
DIR_BACKUP="/data/backup/${APP_NAME}"# 存放待删除文件名称，删除操作日志
DIR_LOG="${DIR_BACKUP}/logs"# 存放删除操作日志
DELETE_FILE_LOG="${DIR_LOG}/${APP_NAME}deletefile.${DATE}.log"#存放待删除文件清单
DELETE_FILE_LIST="${DIR_LOG}/${APP_NAME}deletefile.${DATE}.list"#黑名单 ，以黑名单开头的文件 均不能删除
BLACK_LIST=("/root" "/bin" "/dev" "/etc" "/lib" "/lib64" "/media" "/mnt" "/opt" "/proc" "/root" "/run" "/sbin" "/srv" "/sys" "/usr" "/var")#白名单，只有白名单开头的文件才能删除
# 需根据实际需要修改
WHITE_LIST=("/iflytek" "/data/backup")# 文件保留天数
# 需根据实际需要修改
DAY=8# 待删除文件名称正则匹配echo -e "\n----------------- $(date +%F\ %T) Start -----------------"## 若日志目录不存在则新建
test -d ${DIR_LOG} || mkdir -p ${DIR_LOG}echo -e "\n================= $(date +%F\ %T) Start =================" >> ${DELETE_FILE_LOG}# 查找待删除文件，并存入DELETE_FILE_LIST
# '*' 根据需要修改 正则匹配 
find ${DIR_BACKUP} -type f -mtime +${DAY} -iname  'mysql*' >> ${DELETE_FILE_LIST}
#find ${DIR_BACKUP} -type f -mtime +${DAY} |  grep  ${FILE_NAME_MATCH_KEY_WORD} >> ${DELETE_FILE_LIST}# 遍历待删文件清单 while read rows
doecho ${rows} waiting to delete >>  ${DELETE_FILE_LOG}# 如果文件名是/ , 直接退出脚本# /* 通过黑白名单 过滤if [[ ${rows} == "/" ]]; thenecho ${rows} illeagal, refuse to delete,please check you script >> ${DELETE_FILE_LOG}break;else# 黑名单判断for blackListElement in "${BLACK_LIST[@]}"doif [[ ${rows} == ${blackListElement}* ]];thenecho ${rows} in blacklist ${blackListElement},refuse to delete this file >> ${DELETE_FILE_LOG} BLACK_LIST_FLAG="YES"breakelseBLACK_LIST_FLAG="NOT"fidone #结束黑名单判断#白名单 判断for whileListElement in "${WHITE_LIST[@]}"doif [[ ${rows} == ${whileListElement}* ]];thenWHITE_LIST_FLAG="YES"breakelseWHITE_LIST_FLAG="NOT"fidone # 结束白名单循环fi  # 根目录判断echo  ${row} BLACK_LIST_FLAG IS ${BLACK_LIST_FLAG} >> ${DELETE_FILE_LOG}  echo  ${row} WHITE_LIST_FLAG IS ${WHITE_LIST_FLAG} >> ${DELETE_FILE_LOG}  if [[ ${BLACK_LIST_FLAG} == "NOT" ]] && [[ ${WHITE_LIST_FLAG} == "YES" ]];then# 执行删除操作unlink ${rows} && echo  ${rows} delete success >> ${DELETE_FILE_LOG}echo  ${rows} deletefidone < ${DELETE_FILE_LIST}echo -e "\n----------------- $(date +%F\ %T) END -----------------"echo -e "\n================= $(date +%F\ %T) END =================" >> ${DELETE_FILE_LOG}

3.2.5 配置crontab 定时执行命令

本机备份
跨机备份
删除本机历史备份

[root@localhostdelete]# crontab -l
0 3 * * *  /data/scripts/backup/backup_mysql.sh
0 5 * * *  /data/scripts/rsync/rsync_tools.sh start 
4 22 * * * /data/scripts/delete/delete_mysql.sh

3.2.6 删除跨机历史备份

在远程机上配置定时任务，执行清理脚本

该脚本一定要慎重执行！黑白名单一定要配置

#!/bin/bash# 时间格式化,如 20211216120101
DATE="`date +%Y%m%d%H%M%S`"
#DATE="`date +%Y%m%d`"# 备份app 名称
# 需根据实际需要修改
APP_NAME="devopsapp"# 文件名称过滤词,正则匹配
# 需根据实际需要修改
#FILE_NAME_MATCH_KEY_WORD="'*'"# 备份文件目录，待删除文件所在的目录
# 需根据实际需要修改
DIR_BACKUP="/data/backup/${APP_NAME}"# 存放待删除文件名称，删除操作日志
DIR_LOG="${DIR_BACKUP}/logs"# 存放删除操作日志
DELETE_FILE_LOG="${DIR_LOG}/${APP_NAME}deletefile.${DATE}.log"#存放待删除文件清单
DELETE_FILE_LIST="${DIR_LOG}/${APP_NAME}deletefile.${DATE}.list"#黑名单 ，以黑名单开头的文件 均不能删除
BLACK_LIST=("/root" "/bin" "/dev" "/etc" "/lib" "/lib64" "/media" "/mnt" "/opt" "/proc" "/root" "/run" "/sbin" "/srv" "/sys" "/usr" "/var")#白名单，只有白名单开头的文件才能删除
# 需根据实际需要修改
WHITE_LIST=("/iflytek" "/data/backup")# 文件保留天数
# 需根据实际需要修改
DAY=8# 待删除文件名称正则匹配echo -e "\n----------------- $(date +%F\ %T) Start -----------------"## 若日志目录不存在则新建
test -d ${DIR_LOG} || mkdir -p ${DIR_LOG}echo -e "\n================= $(date +%F\ %T) Start =================" >> ${DELETE_FILE_LOG}# 查找待删除文件，并存入DELETE_FILE_LIST
# '*' 根据需要修改 正则匹配 
find ${DIR_BACKUP} -type f -mtime +${DAY} -iname  '*' >> ${DELETE_FILE_LIST}
#find ${DIR_BACKUP} -type f -mtime +${DAY} |  grep  ${FILE_NAME_MATCH_KEY_WORD} >> ${DELETE_FILE_LIST}# 遍历待删文件清单 while read rows
doecho ${rows} waiting to delete >>  ${DELETE_FILE_LOG}# 如果文件名是/ , 直接退出脚本# /* 通过黑白名单 过滤if [[ ${rows} == "/" ]]; thenecho ${rows} illeagal, refuse to delete,please check you script >> ${DELETE_FILE_LOG}break;else# 黑名单判断for blackListElement in "${BLACK_LIST[@]}"doif [[ ${rows} == ${blackListElement}* ]];thenecho ${rows} in blacklist ${blackListElement},refuse to delete this file >> ${DELETE_FILE_LOG} BLACK_LIST_FLAG="YES"breakelseBLACK_LIST_FLAG="NOT"fidone #结束黑名单判断#白名单 判断for whileListElement in "${WHITE_LIST[@]}"doif [[ ${rows} == ${whileListElement}* ]];thenWHITE_LIST_FLAG="YES"breakelseWHITE_LIST_FLAG="NOT"fidone # 结束白名单循环fi  # 根目录判断echo  ${row} BLACK_LIST_FLAG IS ${BLACK_LIST_FLAG} >> ${DELETE_FILE_LOG}  echo  ${row} WHITE_LIST_FLAG IS ${WHITE_LIST_FLAG} >> ${DELETE_FILE_LOG}  if [[ ${BLACK_LIST_FLAG} == "NOT" ]] && [[ ${WHITE_LIST_FLAG} == "YES" ]];then# 执行删除操作unlink ${rows} && echo  ${rows} delete success >> ${DELETE_FILE_LOG}echo  ${rows} deletefidone < ${DELETE_FILE_LIST}echo -e "\n----------------- $(date +%F\ %T) END -----------------"echo -e "\n================= $(date +%F\ %T) END =================" >> ${DELETE_FILE_LOG}