自动化备份全网服务器数据平台

1.项目说明

1.1概述

• 该项目共分为2个子项目，由环境搭建和实施备份两部分组成

• 该项目旨在复习巩固系统服务部署使用、shell编程等知识，旨在让学生增加知识面，提高项目实习经历，充实简历

1.2项目组织方式及时间

• 时间：建议一周内完成所有的项目搭建、压力测试、问题总结

• 方式：通过VmWare17虚拟机实现平台搭建

• 人数：3人小组

2.项目背景知识

2.1总体需求

• 某企业里有一台Web服务器，里面的数据很重要，但是如果硬盘坏了数据就会丢失，现在领导要求把数据做备份，这样Web服务器数据丢失在可以进行恢复

• 要求如下：

  • 每天00点整在Web服务器上按日期打包备份系统配置文件、网站程序目录及访问日志文件

  • 通过rsync命令推送到备份服务器上保存

  • 备份服务器定时清除旧记录

  • 搭建邮件告警平台

2.2备份需求

• 所有服务器的备份目录必须都为/backup。

• 要备份的系统配置文件包括但不限于：

  • 定时任务服务的配置文件（/var/spool/cron/root） （适合Web和NFS服务器）。

  • 开机自启动的配置文件（/etc/rc.local） （适合Web和NFS服务器）。

  • 日常脚本的目录 （/server/scripts）。

• Web服务器要求

  • Web站点目录假定为/var/html/www，如果没有，可以先模拟创建。

  • Web服务器访问日志路径假定为/app/logs，如果没有，可以先模拟创建。

  • Web服务器本地保留打包后的7天备份数据即可（本地留存不能多于7天，因为数据太多硬盘会满）。

• 备份服务器要求

  • 保留最近7天所有备份数据，保留6个月内每周一的所有数据副本。

  • 要按照备份数据服务器内网IP为目录名称，备份的文件按照时间、名称为文件名称。

  • 需要确保备份的数据尽量完整准确，在备份服务器上对备份的数据是否完整进行检查。

  • 备份服务器每天早晨8:00把备份成功或失败结果信息发送到系统管理员邮箱里。

3.Rsync概述

3.1作用：

• rsync：remote sync(远程同步)，是一个在 Linux 和其他 Unix-like 系统上一个非常强大的命令行工具，用于计算机之间进行数据同步，可以当做文件复制工具，替代cp和mv命令，主页：https://rsync.samba.org/

3.2特点

• 同步速度快：由于使用sync算法，其只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

• 可以镜像保存整个目录树和文件系统

• 可以很容易做到保持原来文件的权限、时间、软硬链接等

• 无须特殊权限即可安装

• 优化的流程，文件传输效率高

• 可以使用rsh、ssh等方式来传输文件，当然也可以通过直接的socket连接

• 支持匿名传输。

语法

   标准结构

rsync [选项] 源目录/文件 目标目录/文件

-a, –archive：归档模式，保留所有文件属性。
-v, –verbose：详细输出。
-r, –recursive：递归地同步目录。
-z, –compress：使用压缩传输数据，可以减少网络带宽。
-e, –rsh=COMMAND：指定远程 shell 程序（例如 SSH）。
–delete：删除目标中不在源中的文件。
–exclude=PATTERN：排除符合指定模式的文件或目录。

本地同步

rsync -a source destination

# -a包含-r的递归功能同时可以同步修改时间、权限等元信息，常用

远程同步

# 默认使用ssh协议传输

rsync -av source/ username@remote_host:destination # 本地内容同步到远程即推送

rsync -av username@remote_host:source/ destination # 远程内容同步到本地即拉取
# 若两端都有rsync进程，可以使用rsync协议传输
rsync -av source/ 192.168.122.32::module/destination # 有2个冒号

增量备份

# 只复制变动的内容

rsync -a –delete –link-dest /compare/path /source/path /target/path

# 分析
# –link-dest参数指定基准目录/compare/path
# 源目录/source/path跟基准目录进行比较
# 之后找出变动的文件，将其拷贝到目标目录/target/path，未变动的文件会生成硬链接。
# 该命令的第一次备份时为全量备份，之后为增量备份

3.项目环境

3.1项目拓扑结构

3.2软硬件环境清单

• 已知3台服务器主机名分别为web01、backup、nfs01，主机信息建下表。

Centos7.9的iso下载链接：https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2207-02.iso

4.任务清单

4.1项目环境搭建

• 可以使用iventoy网启安装3台centos7.9服务器

• 按照规划，最小化部署系统，关闭防火墙，禁用SELinux，确保能够联网。

4.2服务器部署

4.2.1Web服务器搭建部署

• 验证Rsync服务能否推送成功。

• 开发脚本实现打包备份、推送、校验、删除。

• 配置定时任务每天0点定时推送（0时是时间的一个分割点）。

4.2.2NFS服务器搭建部署

• 验证Rsync服务能否推送成功。

• 开发脚本实现打包备份、推送、校验、删除。

• 配置定时任务每天0点定时推送（0时是时间的一个分隔点）。

• 配置脚本和web服务器类似，过程略。

4.2.3搭建备份服务器

• rsync服务器搭建部署。

• 开发脚本实现校验、删除、报警。

• 配置实时任务每天6点实时执行。

• 配置告警邮件发送平台

5.实施步骤

5.1环境搭建

5.1.1web01服务器环境搭建

• 安装Centos7.9系统，替换yum源，连接xshell

• 关闭防火墙和selinux，设置主机名

[root@localhost~]# cd /etc/yum.repos.d/
[root@localhost yum.repos.d]# ls
[root@localhost yum.repos.d]# cd ..
[root@localhost etc]# rm -rf yum.repos.d
[root@localhost etc]#mkdir /etc/yum.repos.d
[root@localhost etc]#cd yum.repos.d/
进入之后用xftp传送一个新的Centos-7.repo
[root@localhost yum.repos.d]#vi /etc/selinux/config
在里面把这个修改成SELINUX=disabled
[root@localhost ~]# vi /etc/selinux/config
SELINUX=disabled
[root@localhost ~]# hostnamectl set-hostname web01
[root@localhost ~]# reboot

 5.1.2设置静态ip

[root@web01 ~]#vi /etc/sysconfig/network-scripts/ifcfg-ens32

[root@web01 ~]# systemctl restart network

# 安装所有软件
[root@web01 ~]# yum install vim tree tar net-tools rsync nfs-utils -y

 5.1.3部署网站示例

[root@web01 ~]# wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
[root@web01 ~]# yum ma
[root@web01 ~]# yum install nginx -y
[root@web01 ~]# mkdir -p /www/sczl
[root@web01 ~]# cd /www/sczl
# 使用xftp将web源文件上传至/www/sczl，如图：

# 修改nginx配置文件

[root@web01 ~]# vim /etc/nginx/nginx.conf # 修改第42行之后的路径
42 root /www/sczl;
[root@web01 ~]# systemctl start nginx
[root@web01 ~]# systemctl enable nginx

# 测试：打开windows端浏览器输入服务端IP地址

5.2nfs服务器环境搭建

• 安装Centos7.9系统，替换yum源，连接xshell，和web01修改不同

• 关闭防火墙和selinux，设置主机名

• [root@localhost ~]# systemctl stop firewalld
  [root@localhost ~]# systemctl disable firewalld
  [root@localhost ~]# vi /etc/selinux/config
  SELINUX=disabled
  [root@localhost ~]# hostnamectl set-hostname nfs01
  [root@localhost ~]# reboot

  5.2.1设置静态ip

[root@nfs01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens32
[root@nfs01 ~]# systemctl restart network

[root@nfs01 ~]# yum install vim tree tar net-tools rsync -y

5.2.2 部署共享存储，nfs01为服务端，web01为客户端

# nfs01服务端操作
[root@nfs01 ~]# yum install rpcbind -y
[root@nfs01 ~]# yum install nfs-utils -y
[root@nfs01 ~]# mkdir /nfsfile
[root@nfs01 ~]# echo "welcome to www.openlab.com" > /nfsfile/readme
[root@nfs01 ~]# chmod -Rf 777 /nfsfile
[root@nfs01 ~]# vim /etc/exports # 编辑nfs配置文件，添加如下内容
/nfsfile 192.168.208.0/24(rw,sync,all_squash)

[root@nfs01 ~]# systemctl start rpcbind
[root@nfs01 ~]# systemctl enable rpcbind
[root@nfs01 ~]# systemctl start nfs-server
[root@nfs01 ~]# systemctl enable nfs-server
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.

# web01客户端操作：

[root@web01 ~]# showmount -e 192.168.208.201
Export list for 192.168.208.201:
/nfsfile 192.168.208.0/24
[root@web01 ~]# mkdir /web_nfs01
[root@web01 ~]# mount -t nfs 192.168.208.201:/nfsfile /web_nfs
[root@web01 ~]# cd /web_nfs01
[root@web01 web_nfs01]# ls
readme
[root@web01 web_nfs01]# cd ~
[root@web01 web_nfs01]# vim /etc/fstab # 永久挂载
192.168.208.201:/nfsfile /web_nfs nfs defaults 0 0

[root@web01 web_nfs01]# mount -a
[root@web01 web_nfs01]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 900M 0 900M 0% /dev
tmpfs 910M 0 910M 0% /dev/shm
tmpfs 910M 9.4M 901M 2% /run
tmpfs 910M 0 910M 0% /sys/fs/cgroup
/dev/sda3 17G 1.9G 16G 12% /
/dev/sda1 1014M 144M 871M 15% /boot
tmpfs 182M 0 182M 0% /run/user/0
192.168.208.201:/nfsfile 17G 1.6G 16G 9% /web_nfs01

5.3backup服务器环境搭建

• 安装Centos7.9系统，替换yum源，连接xshell，跟web01一样

• 关闭防火墙和selinux，设置主机名

• [root@localhost ~]# systemctl stop firewalld
  [root@localhost ~]# systemctl disable firewalld
  [root@localhost ~]# vi /etc/selinux/config
  SELINUX=disabled
  [root@localhost ~]# hostnamectl set-hostname backup
  [root@localhost ~]# reboot

 5.3.1设置静态ip

[root@backup ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens32

[root@backup ~]# systemctl restart network

[root@backup ~]# yum install vim tree tar net-tools rsync mailx -y

5.3.2修改rsync配置文件

# 注意：配置文件中下列注释要删除
[root@backup ~]# vim /etc/rsyncd.conf

5.3.3 根据配置文件设置

# 创建rsync账户及共享目录并修改目录属主为rsync
[root@backup ~]# useradd -M -s /sbin/nologin rsync
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync /backup

# 开机并启动服务
[root@backup ~]# systemctl enable –now rsyncd
[root@backup ~]# ps -ef | grep rsync
root 661 1 0 10:49 ? 00:00:00 /usr/bin/rsync –daemon –no-detach
root 1473 1435 0 11:22 pts/0 00:00:00 grep –color=auto rsync

# 创建rsync虚拟账户名和密码,并赋予密码文件600权限
[root@backup ~]# echo "rsync:rsync123" > /etc/rsync.password
[root@backup ~]# chmod 600 /etc/rsync.password

5.4配置备份脚本

5.4.1配置web01客户端本地备份脚本

web01客户端主机需要打包备份的内容：

[root@web01 ~]# cd /www/sczl
[root@web01 sczl]# cd
[root@web01 ~]# tree /var/log/nginx
/var/log/nginx
├── access.log
└── error.log

0 directories, 2 files
[root@web01 ~]# tree /www
/www
└── sczl
├── css
│   ├── animate.min.css
│   ├── common.min.css
│   ├── font-awesome.css
│   ├── fonts
│   │   ├── FontAwesome.otf
│   │   ├── fontawesome-webfont.eot
│   │   ├── fontawesome-webfont.svg
│   │   ├── fontawesome-webfont.ttf
│   │   └── fontawesome-webfont.woff
│   ├── style.css
│   └── swiper-3.3.1.min.css
├── dingban.mp4
├── img
│   ├── 1.jpg
│   ├── aperture.png
│   ├── bg11.png
│   ├── bg1.png
│   ├── bg22.png
│   ├── bg2.jpg
│   ├── bg2.png
│   ├── bg33.png
│   ├── bg3.jpg
│   ├── bg3.png
│   ├── bg44.png
│   ├── bg4.jpg
│   ├── bg4.png
│   ├── bg55.png
│   ├── bg5.jpg
│   ├── bg5.png
│   ├── bg6.jpg
│   ├── bg7.jpg
│   ├── flag.gif
│   ├── logo.png
│   ├── page2_1_1.jpg
│   ├── page2_1_2.jpg
│   ├── page2_1_3.jpg
│   ├── page2_1_4.jpg
│   ├── page2_1_5.jpg
│   ├── page2_1bg.jpg
│   ├── page2_1.png
│   ├── page2_2bg.jpg
│   ├── page2_2.jpg
│   ├── page3left_bg.png
│   ├── page3lefttop.png
│   ├── page3right_1.png
│   ├── page3right_2.png
│   ├── page3right_3.png
│   ├── page3right_4.png
│   ├── page3right_bg.png
│   ├── page4_1.jpg
│   ├── page4_2.jpg
│   ├── page4_3.jpg
│   ├── page4_4.jpg
│   ├── page4_5.jpg
│   ├── page4_6.jpg
│   ├── page4_7.jpg
│   ├── page4_8.jpg
│   ├── page5_right.png
│   ├── page5_title.png
│   ├── page6_right.png
│   ├── page7_middle.png
│   ├── shade.png
│   ├── shubiao.png
│   ├── title1.png
│   ├── title2d.png
│   ├── title2pbg.png
│   ├── title2.png
│   ├── title3.png
│   └── title4.png
├── index.html
├── js
│   ├── fullpage_js.js
│   ├── jquery-1.10.1.min.js
│   ├── swiper-3.3.1.jquery.min.js
│   └── swiper.animate1.0.2.min.js
└── temp
└── index.html

6 directories, 73 files
# 以及定时任务和备份脚本源文件 ：/var/spool/cron/root、/etc/rc.local、/server/scripts

5.4.2 编写备份web01服务器的脚本

[root@web01 ~]# mkdir /backup
[root@web01 ~]# mkdir -p /server/scripts
[root@web01 ~]# vim /server/scripts/backup.sh

[root@web01 ~]# vim /etc/rsync.password # 客户端建立认证的文件密码如下：
rsync123 # 注意：只写密码

[root@web01 ~]# chmod 600 /etc/rsync.password # 密码认证文件必须为600

5.4.3测试

[root@web01 ~]# bash /server/scripts/backup.sh
2025-04-11_Week05 192.168.208.200 start backup ……
Local backup successful, the backup files have been pushed to the backup server
[root@backup ~]# ls /backup/192.168.208.200/
2025-04-10_Week04.flag nginx_logs_2025-04-10_Week04_tar.gz sys_file_bak_2025-04-10_Week04_tar.gz www_2025-04-10_Week04_tar.gz
2025-04-11_Week05.flag nginx_logs_2025-04-11_Week05_tar.gz sys_file_bak_2025-04-11_Week05_tar.gz www_2025-04-11_Week05_tar.gz

5.5配置nfs01客户端本地备份脚本

• 5.5.1nfs01客户端主机需要打包备份的内容：

• [root@nfs01 ~]# tree /nfsfile/
  /nfsfile/
  └── readme

  0 directories, 1 file
  # 以及/var/log/message文件、mount -l 挂载信息

  5.5.2编写备份nfs01服务器的脚本

• [root@nfs01 ~]# mkdir /backup
  [root@nfs01 ~]# mkdir -p /server/scripts [root@nfs01 ~]# vim /server/scripts/backup.sh

  

[root@nfs01 ~]# vim /etc/rsync.password # 客户端建立认证的文件密码如下：
rsync123 # 注意：只写密码

[root@nfs01 ~]# chmod 600 /etc/rsync.password # 密码认证文件必须为600
[root@nfs01 ~]# ls -ld /etc/rsync.password
-rw-r–r– 1 root root 9 Apr 10 09:13 /etc/rsync.password

5.5.3测试

[root@nfs01 ~]# bash /server/scripts/backup.sh
2025-04-11_Week05 192.168.208.201 start backup ……
Local backup successful, the backup files have been pushed to the backup server
# 在backup服务器中可以看到推送的数据
[root@backup ~]# ls /backup/
192.168.208.200 192.168.208.201

5.6配置定时任务

5.6.1web01服务器编辑定时任务，实现每天00:00定时备份本地数据，并推送到Rsync服务器上

[root@web01 ~]# systemctl status crond
● crond.service – Command Scheduler
Loaded: loaded (/usr/lib/systemd/system/crond.service; enabled; vendor preset: enabled)
Active: active (running) since Fri 2025-04-11 10:49:27 EDT; 47min ago
Main PID: 704 (crond)
CGroup: /system.slice/crond.service
└─704 /usr/sbin/crond -n

Apr 11 10:49:27 web01 systemd[1]: Started Command Scheduler.
Apr 11 10:49:27 web01 crond[704]: (CRON) INFO (RANDOM_DELAY will be scaled with factor 34% if used.)
Apr 11 10:49:27 web01 crond[704]: (CRON) INFO (running with inotify support)
# 注意若未安装可执行：
[root@web01 ~]# yum install crontabs
# 编辑定时任务

[root@web01 ~]# crontab -e # 添加:

• 5.7nfs01服务器过程同上

• 5.7.1backup服务器编写脚本，实现删除180天前的所有备份数据，但保存每周一的

[root@backup ~]# mkdir -p /server/scripts
[root@backup ~]# cd /server/scripts/
[root@backup scripts]# vim /server/scripts/del_bak_data.sh

5.7.2 backup服务器配置定时任务，实现服务端180天前数据自动删除

[root@backup ~]# crontab -e

5.8数据传输完整性验证与监控告警

5.8.1验证数据完整性

• backup服务端针对客户端备份时的md5指纹数据，利用MD5命令进行验证，完成数据传输过程完整性验证。

• [root@backup scripts]# vim send_mail.sh

• 

5.8.2配置邮件告警

• 安装邮件服务

• [root@backup ~]# yum install mailx -y

  配置qq邮箱ssl证书

• [root@backup ~]# mkdir -p /root/.certs
  [root@backup ~]# cd /root/.certs

  [root@backup .certs]# echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > ~/.certs/qq.crt

  [root@backup .certs]# certutil -A -n "GeoTrust SSL CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt

  [root@backup .certs]# certutil -A -n "GeoTrust Global CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt

  [root@backup .certs]# certutil -A -n "GeoTrust SSL CA – G3" -t "Pu,Pu,Pu" -d ./ -i qq.crt
  Notice: Trust flag u is set automatically if the private key is present.

  配置邮件服务

• [root@backup .certs]# vim /etc/mail.rc
  # 最后一行后添加以下内容：
  set from=yourmail@qq.com
  set smtp=smtps://smtp.qq.com:465
  set smtp-auth-user=yourmail@qq.com
  set smtp-auth-password=uebrl****eodhff
  set smtp-auth=login
  set nss-config-dir=/root/.certs/
  set ssl-verify=ignore

  测试邮件服务

• [root@backup ~]# echo "testmail" | mail -s "testmail" yourmail@qq.com

  [root@backup ~]# bash /server/scripts/send_mail.sh