自动化备份全网服务器数据平台

项目说明

概述

• 该项目共分为2个子项目，由环境搭建和实施备份两部分组成。

• 该项目旨在复习巩固系统服务部署使用、shell编程等知识，旨在让学生增加知识面。

总体需求

某企业里有一台Web服务器，里面的数据很重要，但是如果硬盘坏了数据就会丢失，现在领导要求把数据做备份，这样Web服务器数据丢失在可以进行恢复 – 要求如下：   – 每天00点整在Web服务器上按日期打包备份系统配置文件、网站程序目录及访问日志文件   – 通过rsync命令推送到备份服务器上保存   – 备份服务器定时清除旧记录   – 搭建邮件告警平台

 备份需求

– 所有服务器的备份目录必须都为/backup。

– 要备份的系统配置文件包括但不限于：

  – 定时任务服务的配置文件（/var/spool/cron/root）  （适合Web和NFS服务器）。

  – 开机自启动的配置文件（/etc/rc.local）  （适合Web和NFS服务器）。

  – 日常脚本的目录  （/server/scripts）。

– Web服务器要求   – Web站点目录假定为/var/html/www，如果没有，可以先模拟创建。   – Web服务器访问日志路径假定为/app/logs，如果没有，可以先模拟创建。   – Web服务器本地保留打包后的7天备份数据即可（本地留存不能多于7天，因为数据太多硬盘会满）。 – 备份服务器要求   – 保留最近7天所有备份数据，保留6个月内每周一的所有数据副本。   – 要按照备份数据服务器内网IP为目录名称，备份的文件按照时间、名称为文件名称。   – 需要确保备份的数据尽量完整准确，在备份服务器上对备份的数据是否完整进行检查。   – 备份服务器每天早晨8:00把备份成功或失败结果信息发送到系统管理员邮箱里。

实施步骤

环境搭建

web01服务器环境搭建 

• 安装Centos7.9系统，替换yum源，连接xshell

• 

• 

• 关闭防火墙和selinux，设置主机名

 设置静态ip 

注意：保存完后记得用以下指令重启，否则就会报未知错误！！！

[root@web01 ~]# systemctl restart network

安装所有软件

Tip1：可以在此刻进行快照的拍摄，环境基本准备完毕 。

部署网站示例 

[root@web01 ~]# wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo [root@web01 ~]# yum  ma [root@web01 ~]# yum  install  nginx  -y [root@web01 ~]# mkdir  -p  /www/sczl [root@web01 ~]# cd  /www/sczl

nfs01服务端操作

• web01客户端操作：

查看挂载信息

查看远程挂载目录 

 backup服务器环境搭建

– 安装Centos7.9系统，替换yum源，连接xshell，过程略 – 关闭防火墙和selinux，设置主机名

• 修改rsync配置文件

• 根据配置文件设置
• 创建rsync账户及共享目录并修改目录属主为rsync

• 开机并启动服务

• 创建rsync虚拟账户名和密码,并赋予密码文件600权限

配置备份脚本

配置web01客户端本地备份脚本

– web01客户端主机需要打包备份的内容

[root@web01 nginx]# tree  /var/log/nginx   # 日志 /var/log/nginx ├── access.log └── error.log 0 directories, 2 files

[root@web01 nginx]# tree /www      # 网站主数据 /www ├── sczl │   ├── css │   │   ├── animate.min.css │   │   ├── common.min.css ………………………………

# 以及定时任务和备份脚本源文件 ：/var/spool/cron/root、/etc/rc.local、/server/scripts

• 编写备份web01服务器的脚本

 [root@web01 ~]# mkdir  /backup [root@web01 ~]# mkdir -p  /server/scripts

[root@web01 ~]# vim  /server/scripts/backup.sh

#!/bin/bash # Date:2025-2-19 # Author:Andy # Mail:andy@126.com # Function: Regularly backup data from web servers # Version: V1.0

Date=$(date +%F_Week0%w)          # 定义时间方式   Host_IP=$(ifconfig ens32 | awk '/inet / {print $2}')  # 获取IP,注意网卡名 Backup_Dir="/backup/"             # 本地备份路径 Backup_Server_IP=192.168.88.202   # 备份服务器的IP

# 创建指定目录和IP的目录 [ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IP

# 输出提示信息 echo ${Date} ${Host_IP} start backup ……

# 按要求打包备份所有本地重要文件 cd / &&\\ tar cf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz var/spool/cron &&\\ tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\\ tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz server/scripts/ &&\\ tar zcf $Backup_Dir$Host_IP/www_${Date}_tar.gz www/ &&\\ tar zcf $Backup_Dir$Host_IP/nginx_logs_${Date}_tar.gz var/log/nginx/ &&\\

# 给所有备份的压缩文件建立指纹，放入指纹库flag，后面会验证完整性 find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" |xargs md5sum >$Backup_Dir/$Host_IP/${Date}.flag

# 把备份推送到备份服务器 rsync -az $Backup_Dir rsync@${Backup_Server_IP}::backup –password-file=/etc/rsync.password

# 删除7天以前的所有本地备份数据 find ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7|xargs rm -f

echo "Local backup successful, the backup files have been pushed to the backup server"

 客户端建立认证的文件密码如下：

注意：[root@web01 ~]# chmod 600 /etc/rsync.password   # 密码认证文件必须为600 

• 测试

• 在backup服务器中可以看到推送的数据

配置nfs01客户端本地备份脚本

• nfs01客户端主机需要打包备份的内容：

编写备份nfs01服务器的脚本 

[root@nfs01 ~]# mkdir  /backup [root@nfs01 ~]# mkdir -p  /server/scripts 

• 客户端建立认证的文件密码如下：

同上一样，略 

• 密码认证文件必须为600

• 测试

配置定时任务

• web01服务器编辑定时任务，实现每天00:00定时备份本地数据，并推送到Rsync服务器上

# 编辑定时任务 

[root@web01 ~]# crontab  -e                    # 添加:

# crond-id-001:data backup 00 00 * * * /bin/sh /server/scripts/backup.sh >/dev/null 2>&1

# 若出现定时任务如下信息不用处理： no crontab for root – using an empty one crontab: installing new crontab

• backup服务器配置定时任务，实现服务端180天前数据自动删除

数据传输完整性验证与监控告警

验证数据完整性

• backup服务端针对客户端备份时的md5指纹数据，利用MD5命令进行验证，完成数据传输过程完整性验证。

[root@backup scripts]# vim send_mail.sh 

#!/bin/bash # Date:2025-2-20 # Author:Andy # Mail:andy@126.com # Function: Verify the integrity of backup files # Version: V1.0

Date=$(date +%F_Week0%w) Backup_Dir="/backup/" Check_Log="/tmp/bak.log_$(date +%F)"    # 定时检查备份结果的文件 Admin_Mail=17674044@qq.com    # 管理员邮箱

find $Backup_Dir -type f -name "${Date}.flag"|xargs md5sum -c >> $Check_Log

if [ -n "cat $Check_Log" ] then     mail -s "$Date backup data info" $Admin_Mail < $Check_Log else     echo "$Date backup data error,pls check it." > $Check_Log    # 如果结果文件不存在，日志信息变化，报错     mail -s "$Date backup data info" $Admin_Mail < $Check_Log fi cp $Check_Log{,.ori} && > $Check_Log

配置邮件告警

• 安装邮件服务

 [root@backup ~]# yum  install  mailx  -y

配置qq邮箱ssl证书

配置邮件服务  set from=3459814218@qq.com set smtp=smtps://smtp.qq.com:465         # ssl端口默认465 set smtp-auth-user=3459814218@qq.com set smtp-auth-password=doc****qdubqbibj  # 授权码 set smtp-auth=login set nss-config-dir=/root/.certs/     # 设置证书路径 set ssl-verify=ignore                # 启用加密ssl传输in

• 测试邮件服务