正文
rsync 数据同步
小程序：扫一扫查出行【扫一扫了解最新限行尾号】
复制小程序
什么是Rsync？
Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地货远程数据同步备份的优秀工具。适用于unix/linux/windows等多种操作系统平台。
Rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似SSH带scp命令，但又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝，当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令，但同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。同样，rsync还可以实现删除文件或目录的功能，这又相当于rm命令。
在同步备份数据时，默认情况下，Rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生的文件或目录，当然也可根据权限，属主等属性的变化同步，但需要指定相应的参数，甚至可以实现只同步一个文件里有变化的内部部分，所有，可以实现快速的同步备份数据。
提示：传统的cp，scp工具拷贝每次均为完整的拷贝，而rsync除了可以完整拷贝外，还具备增量拷贝的功能，因此，从同步数据的性能及效率上，rsync工具更胜一筹。
Rsync的工作方式：
第一种工作模式：local（类似于cp命令的功能）
测试如下：将t1目录下所有文件同步到 /tmp/目录下
rsync -avz ./ /tmp/ //-avz:保持文件属性不变,此命令相当于cp
用t1目录将/tmp/目录清空，可以用--delete参数配合。（尽量不要用，危险）
rsync -avz --delete /null/ /tmp/ //-avz:保持文件属性不变,此命令相当于rm
第二种工作模式：remote shell （类似于scp命令功能）
push:
通过隧道远程备份： 将本机t1目录下所有文件同步到192.168.43.118机器/tmp/目录下。
rsync –avzP -e ‘ssh –p 22’ /t1/ root@192.168.43.200:/tmp //-e通过隧道方式ssh 22端口模式
pull:
将192.168.43.118机器/tmp/目录下所有增量文件同步到192.168.43.117/t1/目录下。
在192.168.43.118机器/tmp/目录下新建一个118.log文件
将192.168.43.118机器/tmp/目录下所有增量文件同步到192.168.43.117/t1/目录下。
rsync –avzP -e ‘ssh –p 22’ root@192.168.43.118:/tmp/ /t1/ //-e通过隧道方式ssh 22端口模式
rsync –avzP /本地目录 –e ‘ssh –p 22’ root@192.168.43.118:/远端目录
rsync –avzP –e ‘ssh –p 22’ root@192.168.43.118:/远端目录 本地目录
-P :大写的，接端口，默认22端口时可以省略-P22
-r :递归，表示拷贝目录
-p :小写，表示在拷贝前后保持文件或目录属性。
-l :limit 限制速度
------------------------------------------------------------------------------------------
第三种模式：以守护进程（socket）的方式传输数据（这个是rsync自身的重要的功能）
测试：服务端ip:192.168.43.200 客户端1ip:192.168.43.119 客户端2ip:192.168.43.118
rsync-server服务端配置：
①vi /etc/rsyncd.conf 添加如下代码↓↓↓↓↓↓
#Rsync server
#created by bqh 21:30 2018-12-05
#rsyncd.conf start
uid = rsync //客户端连备份服务器具备rsync的用户权限
gid = rsync //客户端连备份服务器具备rsync的用户权限
use chroot = no //程序出现bug会定向为一个空目录，安全方面。
max connections = 2000 //客户端连接数。一般设置大于连接数。
timeout = 600 //设置客户端连接超时600秒，超时剔除。
pid file = /var/run/rsyncd.pid //pid进程号
lock file = /var/run/rsync.lock //锁文件
log file = /var/log/rsyncd.log //rsync日志文件
ignore errors //忽略错误
read only = false //只读，true为可读写
list = false //可以远程列表
hosts allow = 192.168.43.0/24 //允许什么网段访问
hosts deny = 0.0.0.0/32 //一般局域网不用，公网可能用，但一般用vpn
auth users = rsync_backup //认证用户名，远程连接的用户。
secrets file = /etc/rsync.password //存放用户和密码的文件，远程用户的密码
#####################################
[backup] //共享模块调用path服务
comment = backup server by bqhboy 21:40 2018-12-05
path = /backup //共享目录地址
②创建一个虚拟用户：
useradd rysnc –s /sbin/nologin –M
③创建共享目录及属主:
mkdir /backup
chown –R rsync /backup
④给虚拟用户名设置密码并存放文件中:
echo “rsync_backup:bqh123” >/etc/rsync.password
⑤给服务端虚拟用户密码文件设置权限：
chmod 600 /etc/rsync.password
⑥启动服务：rsync --daemon
查看服务：ss -lntup|grep rsync
netstat -lntup|grep rsync
ps -ef|grep rsync|grep -v grep
lsof -i :873
⑦加入开机自启动：
echo "rsync --daemon" >>/etc/rc.local
cat /etc/rc.local
客户端1配置如下：
①创建密码文件
echo "bqh123" >/etc/rsync.password
cat /etc/rsync.password
chmod 600 /etc/rsync.password
ll /etc/rsync.password
②rsync
Push:
rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
将客户端1/tmp/目录下所有文件 推送 到服务端/backup/目录下：
rsync -avz /tmp/ rsync_backup@192.168.43.200::backup --password-file=/etc/rsync.password
从服务端backup目录下所有增量文件 拉拽 到客户端端/tmp/目录下：
在服务端/backup/下新建一个增量文件4.txt
rsync -avz rsync://rsync_backup@192.168.43.200/backup /tmp/ --password
-file=/etc/rsync.password
如果想每次访问用密码去掉 --password-file=/etc/rsync.password
③echo $? //如果结果为0的话正确。
客户端2配置同客户端1(...具体略)
客户端rsync同步排除文件参数： --exclude
排除多个文件：
--exclude={a,b,c}
--exclude={a..c}
--exclued-from=paichu.log
--exclude=a --exclude=b --exclude=c
例如：
将客户端2/tmp/目录下所有文件（排除123.txt） 推送 到服务端/backup/目录下：
在服务端查看推送的文件如下：
-----------------------------------------------------------------------------------------------
无差异同步： --delete 尽量不用此参数。
推送：本地有，远端就有；本地没有，删除远端独有的。备份远端数据
拉取：远端有，本地就有；远端没有，删除本地独有的。备份本地数据。
Rsync优点：
增量备份同步，支持socket（daemon模式），集中备份
Rsync缺点：
1.大量小文件时候同步的时候，比对时间较长，有的时候，rsync进程停止。
解决：a.打包大量小文件。 b.drbd（文件系统同步复制block）
2. 同步大文件，10G这样的大文件有时候也会有问题，中断，未完整同步前，是隐藏文件。同步完成后改为正常文件。
