手机版 欢迎访问it开发者社区(www.mfbz.cn)网站

当前位置: > 开发

2021-05-21

时间:2021/5/21 23:40:47|来源:|点击: 次

rsync 基本概述

rsync命令是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。

rsync功能

作为命令,实现本地-远程文件同步
作为服务,实现本地-远程文件同步

rsync特点

  • 可以镜像保存整个目录树和文件系统
  • 可以保留原有的权限(permission,mode),owner,group,时间(修改时间,modify time),软硬链接,文件acl,文件属性(attributes)信息等
  • 传输效率高,使用同步算法,只比较变化的
  • 支持匿名传输,方便网站镜像;也可以做验证,加强安全

rsync端口和运行模式

  • rsync 监听端口: 873
  • rsync 运行模式: C/S

rsync应用场景

备份方式

  • 完全备份
    假设客户端上有file1 file2 file3文件,服务端上有file1 文件,现要将客户端上的数据备份至服务端,完整备份就会把3个文件再传一遍
  • 增量备份
    假设客户端上有file1 file2 file3文件,服务端上有file1 文件,现要将客户端上的数据备份至服务端,增量备份只会传file1和file2,已经有的就不会再传

三种架构

  • 单层架构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2bbhw496-1621611474560)(33D7528E332B4AD88572D3EEBB3EFAD0)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QCtZYs2x-1621611474562)(CCD9541E5A394384B6B0468F64357852)]

  • 多层架构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ElLtVxec-1621611474564)(8CEE391B15414F48B924D5C19B7690C9)]

  • 异地架构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aC5mUgmT-1621611474567)(1A3AF7542C98482DA2DF5D9ED15118EA)]

实现文件内容传输方法

  • 第一阶段
    • lrzsz传输
    • 查看文件,复制粘贴
    • wget下载
  • 第二阶段
    • scp命令
    • rsync远程传输
  • scp传输方法
  1. 传输本地文件到目录服务器
    scp 本地文件名 远程服务器IP:目录
  2. 远程服务器文件存储到本地
    scp 远程服务器IP:绝对路径文件 本地目录
  3. 传输目录
    scp -r 目录 远程服务器IP:目录
  4. 指定用户和端口号
    scp -r -P(大写) 端口号 文件名 用户名@IP:目录路径
    scp参数:
    -P(大写):指定远程主机的端口号;
    -p:保留文件的最后修改时间,最后访问时间和权限模式
    -q:不显示复制进度;
    -r:以递归方式复制

rsync三种模式

命令参数解释

-a #归档模式传输, 等于-tropgDl
-v #详细模式输出, 打印速率, 文件数量等
-z #传输时进行压缩以提高效率
-r #递归传输目录及子目录,即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-P #显示同步的过程及传输时的进度等信息
-D #保持设备文件信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代 rsh 的 shell 程序
--exclude=PATTERN #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100 #限速传输,单位为M,不用写单位
--partial #断点续传
--delete #让目标目录和源目录数据保持一致

本地模式

  • 本地复制,类似于cp命令
[root@nfs backup]#ls 
test.txt
[root@nfs backup]#rsync /data/ss.txt  /backup/ 
[root@nfs backup]#ls 
ss.txt  test.txt

远程模式

  • 远程下载
rsync -avz root@10.0.1.31:/root/test.txt /tmp
  • 上传文件
rsync -avz test.txt  root@10.0.1.31:/tmp
  • 复制目录下所有文件及文件夹
rsync -avz root@172.16.1.31:/data/mydir/ /backup/   

注意mydir有/和没有/区别,如果没有/就会把mydir目录递归复制到backup文件夹内

危险命令.谨慎使用
有可能会清空 / 或数据目录

rsync -avz 172.16.1.31:/data/ /

后台服务模式

  • 优势
    • 不需要使用系统用户账户(安全)
    • 不会出现普通用户账户权限不足问题
    • 守护进程传输方式

后台服务模式

服务端配置

  • 安装服务rsync
yum -y install rsync 
  • 修改配置文件
uid = www 
gid = www 
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup

[data]
path = /data

粘贴配置文件注意

  • rsync服务配置文件不要带中文

  • 注释行单独成行,不能再配置后面

  • vim中粘贴会注释掉从注释行开始的所有行

  • 配置文件参数含义

uid = www # 运行进程的用户  
gid = www # 运行进程的用户组  
port = 873 # 监听端口  
fake super = yes # 无需让 rsync 以 root 身份运行,允许接收文件的完整属性
use chroot = no # 禁锢推送的数据至某个目录, 不允许跳出该目录
max connections = 200 # 最大连接数
timeout = 600 # 超时时间
ignore errors # 忽略错误信息
read only = false # 对备份数据可读写
list = false # 不允许查看模块信息
auth users = rsync_backup # 定义虚拟用户,作为连接认证用户
secrets file = /etc/rsync.passwd # 定义 rsync 服务用户连接认证密码文件路径
[backup] # 定义模块信息
comment = commit # 模块注释信息
path = /backup # 定义接收备份数据目录
  • 创建虚拟用户以及数据目录
useradd -M -s /sbin/nologin www -u 666
mkdir /backup
chown -R www.www /backup/
  • 创建虚拟用户密码文件并授权
echo "rsync_backup:oldboy" >/etc/rsync.passwd
chmod 600 /etc/rsync.passwd
  • 开机启动
systemctl start rsyncd
systemctl enable rsyncd
systemctl status rsyncd

客户端配置

  • 安装服务
yum -y install rsync
  • 配置密码文件及授权
  1. 使用密码文件
echo "oldboy" > /etc/rsync.pass
chmod 600 /etc/rsync.pass
  1. 使用rsync变量-脚本中推荐使用
export RSYNC_PASSWORD=oldboy #注意是临时的

rsync出错排查步骤

  • 服务端检查步骤:
    1.rsync服务端有没有启动
    2.配置文件有没有错误
    3,密码文件有没有创建
    4.密码文件格式是否正确 虚拟用户:密码
    5.密码文件是否为600 用户是root
    6.www用户是否创建了
    7.数据目录是否创建并且更改为www用户
  • 客户端检查:
    1.密码文件是否创建
    2.密码文件是否600

应用实践

备份数据到服务器

export RSYNC_PASSWORD=oldboy
rsync -avz /data/ rsync_backup@172.16.1.41::backup

恢复数据到本地

export RSYNC_PASSWORD=oldboy
rsync -avz rsync_backup@172.16.1.41::backup /data/

rsync实现数据无差异同步

#拉取远端数据:远端与本地保持一致,远端没有本地有会被删除, 造成客户端数据丢失
export RSYNC_PASSWORD=oldboy
rsync -avz --delete rsync_backup@172.16.1.41::backup /data/
#推送数据至远端:本地与远端保持一致, 本地没有远端会被删除, 造成服务器端数据丢失
export RSYNC_PASSWORD=oldboy
rsync -avz --delete /data/ rsync_backup@172.16.1.41::backup

rsync的bwlimit限速

#企业案例: 某 DBA 使用 rsync 拉取备份数据时,由于文件过大导致内部交换机带宽被占满,导致用户的请求无法响应
export RSYNC_PASSWORD=oldboy
rsync -avz --bwlimit=1 rsync_backup@172.16.1.41::backup /data/

全网备份案例

1.客户端 每天凌晨1点在服务器本地打包备份(系统配置文件\日志文件\其他目录\应用配置等文件)
2.客户端备份的数据必须存放至以主机名_ip地址_当前时间命名的目录中
3.客户端最后通过rsync推送本地已经打包好的备份文件至backup服务器
4.客户端服务器本地保留最近7天的数据,避免浪费磁盘空间

客户端脚本

# create test environment 
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
for i in {01..17} 
do
	date -s "2019-07-${i}" >/dev/null 2>&1;
	dest=$(hostname)_$(ifconfig eth1 |awk 'NR==2{print $2}')_$(date +%F);
	mkdir -p /backup/${dest};
	path=/backup/${dest}/;
	cd / && tar -czf ${path}back.tar.gz  etc/passwd  var/log/* >/dev/null 2>&1;
	cd ${path} && md5sum ${path}back.tar.gz >md5.txt;
#	echo $path;
done

# upload to server:172.16.1.41
rsync -avz  /backup/  rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.pass;
echo "upload successed";

#check the file 
find /backup/ -type f -name "md5.txt" |xargs -n1 md5sum -c;
find /backup/ -type f -mtime +7 -exec rm {} \;

注意
我们的备份脚本最终会以定时任务的形式实现,而定时任务能识别的PATH变量有限,所以最好在脚本里添加PATH变量,或者脚本里命令写绝对路径。

服务端步骤

  • 服务端的需求
    1.服务端部署 rsync,用于接收客户端推送过来的备份数据
    2.服务端需要每天校验客户端推送过来的数据是否完整
    3.服务端需要每天校验的结果通知给管理员
    4.服务端仅保留 6 个月的备份数据,其余的全部删除
    注意:所有服务器的备份目录必须都为/backup
  1. 需要用到的变量
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Host=$(hostname)
Addr=$(ifconfig eth1|awk 'NR==2{print $2}')
Date=$(date +%F)
Dest=${Host}_${Addr}_${Date}
Path=/backup
  1. 校验md5数据并保存到文件
find $Path/ -type f -name "flag_$Date"|xargs md5sum -c >$Path/result_${Date}
  1. 发送邮件
mail -s "Rsync Backup $Date" 526195417@qq.com <$Path/result_${Date}
  1. 删除文件
find $Path/ -type f -name "result*" -mtime +7|xargs rm -f
find $Path/ -type d -mtime +180|xargs rm -rf

安装配置mailx

  1. 安装mailx
yum install mailx -y
  1. 邮件配置文件
[root@backup ~]# cat /etc/mail.rc 
set from=583880189@qq.com
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=583880189@qq.com
set smtp-auth-password=vesdmochpwzrbffe 
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/

  1. 不使用加密协议配置
    与上面比较修改了:smtp=smtp://smtp.qq.com:25
[root@gerrit ~]#cat /etc/mail.rc 
set from=583880189@qq.com
set smtp=smtp://smtp.qq.com:25
set smtp-auth-user=583880189@qq.com
set smtp-auth-password=oabhgkccdozobbig
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/
  • 配置注意:
    set smtp-auth-password的值需要进QQ里面找,修改邮件地址.其他的都是默认.
    smtp-auth-password查找方法:
    进入QQ邮件系统–最上方设置–切换到账户–找到POP3/SMTP服务和IMAP/SMTP服务–每一个都有一个字符串码,只需要把第一个(POP3/SMTP服务)开启的码填入即可–经测试,只需要开启POP3/SMTP服务即可

Copyright © 2002-2019 某某自媒体运营 版权所有