13518219792
rsync 就是远程同步的意思remote sync.
创新互联公司主要从事网站设计、成都网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务安福,十年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575
rsync 被用在UNIX / Linux执行备份操作操作.
rsync 工具包被用来从一个位置到另一个位置高效地同步文件和文件夹. rsync可以实现在同一台机器的不同文件直接备份,也可以跨服务器备份.
rsync 语法如下
从语法结构我们可以看出, 源和目标即可以在本地也可以在远端. 如果是远端的话,需要指明登录用户名, 远端服务器名, 和远端文件或目录. 同时源可以是多个, 目标位置只能是一个.
说明:
-z: --compress 使用压缩机制
-v: --verbose 打印详细信息
-r: --recursive 以递归模式同步子目录
注意: 同步完成后, 我们会发现文件的时间戳timestamps发生了改变.
有时我们希望拷贝或同步时, 时间戳不要发生变化, 源文件是什么时间戳,目标文件就是什么时间戳, 这时我们需要使用 -a --archive 归档模式选项. -a 选项相当于7个选项的组合 -rlptgoD
-r, --recursive: 递归模式Recursive mode
-l, --links: 将符号链接当作符号链接文件拷贝, 不拷贝符合链接指向的文件内容.
-p, --perms: 保留文件权限
-t, --times: 保留修改时间戳
-g, --group: 保留用户组信息
-o, --owner: 保留用户信息(需要超级用户权限)
-D, 相当于 --devices --specials 的组合, 保留设备文件, 保留特殊文件.
同步完成后, 我们再来看文件属性, 时间戳信息得到了保留, 不仅如此文件的所有者 和所在组也得到保留.
说明: Pubkeys 是一个普通文件
使用rsync, 也可以从本地拷贝多个文件或目录到远端, 以下即为示例:
注意:
与本地文件拷贝不同的地方在于, 当拷贝文件到远程服务器时, 我们指定远程主机上的用户名, 服务器地址, 路径等信息, 类是于使用scp命令拷贝, 如果没有设置ssh免密码登录我们还需要提供远程用户的密码等信息.有时你不想频繁输入密码, 或者rsync运行在一个无人执守的脚本里面, 这是需要预先设置ssh免密登录, 或者使用结合expect命令,自动输入密码, 但是出于安全考虑, 密码需要加密. 所以在条件许可的情况下, 还是推荐设置ssh免密登录.
与示例 4 稍有不同, 这时远端目录或文件作为源位置, 本地目录或文件作为目标位置, 示例如下:
rsync 允许指定远程主机上运行shell命令.
这时需要使用 -e 选项:
-e, --rsh=COMMAND 指定远端使用的shell命令
Use rsync -e ssh to specify which remote shell to use. In this case, rsync will use ssh.
在一下特殊的使用场景中, 我们不希望拷贝文件时, 我们不希望拷贝过程覆盖掉目标位置中用户做出的修改. 这时我们需要使用 -u 选项明确的告诉rsync命令保留用户在目标文件中作出的修改. 在下面的例子中, 文件Basenames是用户基于上次的拷贝, 修改过的文件, 当我们使用了-u 选项后, 该文件中的修改将不会被覆盖掉.
在某些特殊场景中, 我们只需要远程服务器上的目录结构, 而不希望花大量时间, 带宽拷贝文件内容, 这时我们可以使用 -d, --dirs选项来达到目的.
有时我们希望拷贝文件时, 能实时的显示拷贝进度, 以及传输速率等信息. 尤其是拷贝大文件时, 程序不输出信息, 用户往往无法区分程序是在响应中, 还是已经挂起, 在这种情况下如果使用 –progress 就会非常有帮助.
rsync –progress option displays detailed progress of rsync execution as shown below.
你也可以使用rsnapshot工具 (rsnapshot会调用rsync)来备份本地linux服务器, 或者备份远程linux服务器.
有时我们希望目标文件和源文件保持严格一致, 不要多文件也不要少文件, 这是我们可能需要使用 -delete 选项来达到目的. 如果使用 -delete 选项, rsync将删除目标位置多余的文件或文件夹. 此选项还可以结合--delete-excluded 选项一起使用, 添加一些例外的文件.
上述示例中, new-file.txt 是源文件中没有的文件, 其将会在拷贝时被删除掉.
在某些特殊的场景下, 我们只想更新, 目标位置已经存在的文件或目录, 而不关心源位置的新文件, 这时我们可以使用-existing 选项仅仅更新已经存在的文件.
让我们来验证一下这个选项的功能, 首先在源端添加一个新文件 new-file.txt.
从上面的例子可以看到, 由于加了--existing选项新文件new-file.txt没有被拷贝到目标位置
选项-i, --itemize-changes 非常有用, 当我们想了解目标位置和源位置的文件差异时.
在源端:
在目标端:
注意: 在上面的例子中, 源位置和目标位置有两处差异. 第一, 源文件Basenames的所有者和组 与 目标文件不同, 第一Dirnames文件大小也不一样.
现在让我们来看看rsync会怎样显示这些差异
输出信息只在相应文件前面显示了9个字母来标识改变, 这些字母具体是什么意思呢? 请参考以下详细说明
rsync 可以使用--include 和 --exclude 选项结合通配符进行文件或文件夹过滤
在上面的示例中, 仅仅以P打头的文件和文件夹被包含了进来, 其他的文件都被过滤在拷贝的过程中被排除在外了.
可以使用--max-size 告诉rsync 不要拷贝大小超过某个值的文件, 可以使用K, M, G指定文件大小, M for megabytes and G for gigabytes.
rsync 有个重要优点就是, 可以做到在拷贝的过程中, 只拷贝发生变化了的部分, 而不是发送整个文件.
但是在某些场景中, 比如文件较少, 文件size较小时, 我们的带宽又足够大, cpu资源相对又贫乏, 我们不希望它这样做, 因为毕竟计算源端和目标端的checksum, 并做对比, 也需要额外cpu开销. 这时我们可以使用 -W, --whole-file 选项, 让rsync不用计算那么多, 一上来就直接开始传送文件. 我们可以像下面这么做.
15个Rsync命令实例
scp和rsync 均可实现文件的复制，但相比较，scp占用系统资源较小，rsync速度较快。当小文件众多时，rsync会导致硬盘I/O非常高，而scp基本不影响系统正常使用。可根据需要这俩选其一实现文件复制。
scp 是secure copy的缩写，scp是Linux系统下基于ssh登录进行安全的远程文件拷贝命令。
可以实现本地文件复制到远程服务器，也可以将远程文件复制到本地。
rsync 是remote sync的缩写。使用rsync备份数据时，不会直接覆盖以前的数据（如果数据已经存在），而是先判断已存在的数据和新数据的差异（默认规则是文件大小或修改时间有差异），只有数据不相同时才会把不相同的部分覆盖。在仅作增量数据的copy时比scp灵活。
一般CentOS默认安装rsync，若使用 rsync -v 提示找不到命令，可使用 yum install -y rsync 安装。
单个冒号和双冒号的区别 ：使用rsync在远程传输数据前，是需要进行登陆认证的，这个过程可使用ssh协议也可以使用rsync协议完成。单冒号（:）使用的是ssh协议；双冒号（::）使用的是rsync协议。
默认情况下，rsync只确保源文件的所有内容（明确排除的文件除外）都复制到目标目录。它不会使两个目录保持不同，并且不会删除文件。如果要使目标目录成为源目录的镜像副本，则使用--delete选项。可删除只存在目标目录，不存在于源目录的文件。
增量备份算是一个经常使用的场景了。两台服务器之间进行文件定期备份，无需所有文件都copy一遍，仅复制有变动的文件。
具体做法是，第一次同步是全量备份，所有文件在基准目录里面同步一份。以后每一次同步都是增量备份，只同步源目录与基准目录之间有变动的部分，将这部分保存在一个新的目标目录。这个新的目标目录之中，也是包含所有文件，但实际上，只有那些变动过的文件是存在于该目录，其他没有变动的文件都是指向基准目录文件的硬链接。
--link-dest 参数用来指定同步时的基准目录。
上面命令中， --link-dest 参数指定基准目录 /compare/path ，然后源目录 /source/path 跟基准目录进行比较，找出变动的文件，将它们拷贝到目标目录 /target/path 。那些没变动的文件则会生成硬链接。这个命令的第一次备份时是全量备份，后面就都是增量备份了。
一般服务器之间复制文件都比较大，为防止误操作，最好在后台运行。但因为需要和远程服务器之间的ssh通讯多是需要密码的，所以不能直接使用nohup 放置于后台。无论是scp还是rsync都可操作如下：
后台和前台任务的切换
scp不支持断点续传，挂起scp进程可能导致数据缺失。倾向于使用rsync。
如果有其他任务需要使用nohup后台运行，但执行时却忘记了使用nohup，也可参照此方法进行设置。
参考：1. Linux之scp命令及后台运行scp
科技时代，任何行业都离不开数据的分析以及统筹，如果掌握了最关键的数据及技术，那成功就指日可待，所以数据对于一个企业来说，就是最无形的财富，而一个企业的数据基本都有服务器保存及管理着，如何保证数据安全，实现数据同步及备份？诚恺科技小编就同大家一起来看看在Linux服务器中利用rsync配合inotify实现数据实时同步及备份的方法。
rsync:可以镜像保存整个目录树和文件系统。可以很容易做到保持原来文件的权限、时间、软硬链接等等。第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。
方案：起初用rsync进行数据备份是利用计划任务，定时执行一下命令实现rsync的同步，但最近开发这边修改比较频繁，看来需要实时同步备份来完善备份机制！所以需要利用inotify触发器来改善！达到一旦指定的位置有了新的变动就将其同步！
环境：
CentOS 6.4 64位
rsync-3.0.9
inotify-tools-3.14
说明：
10.10.1.6 (rsync+inotify)----------网站程序(/data0/htdocs/)
10.10.1.9 (rsync)------------------网站程序备份(/data0/htdocs/)
目的：
实现10.10.1.6的/data0/htdocs/目录下发生任何变动都将实时同步到10.10.1.9的/data0/htdocs/上（另，这两台都跑有keepalived+nginx，来实现出现故障自动切换的容灾，详细配置会在后面补上）
一、web服务器10.10.1.6 (rsync+inotify)
1、准备软件包
2、安装Rsync
1)、1234 tar-zxvf rsync-3.0.9.tar.gz
2)、cdrsync-3.0.9
3)、./configure--prefix=/usr/local/rsync
4)、make;makeinstall
建立密码认证文件
[root@ftp ~]# echo "111111"/etc/rsyncd/rsyncd.secrets建立密码认证文件
*其中111111可以自己设置密码，rsyncd.secrets名字也可以自己设置；
权限：要将/etc/rsyncd/rsyncd.secrets设置为root拥有, 且权限为600。
# chmod 600 /etc/rsyncd/rsyncd.secrets
3、安装inotify
1)、1234 tar-zxvf inotify-tools-3.14.tar.gz
2)、cdinotify-tools-3.14
3)、./configure--prefix=/usr/local/inotify
4)、make;makeinstall
4、创建rsync复制脚本
此项功能主要是将ftp端的目录/data0/htdocs/里的内容，如果修改了（无论是添加、修改、删除文件）能够通过inotify监控到，并通过rsync实时的同步给10.10.1.9的/data0/htdocs里，下面是通过shell脚本实现的。
[root@web ~]# vim /root/shell/rsync.sh
[root@web ~]# chmod u+x /root/shell/rsync.sh
[root@web ~]# setsid /root/shell/rsync.sh
#后台运行脚本,关闭shell终端继续后台运行
rsync.sh脚本加入开机启动项
# echo "/root/shell/rsync.sh" /etc/rc.local
防火墙开启rsync端口：873
添加：
iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 873 -jACCEPT
重启：
# /etc/init.d/iptables restart
二、备份服务器10.10.1.9(rsync)
1、准备工作
创建备份目录：
# mkdir /data0/htdocs
2、安装rsync（备份主机只安装rsync）
1)、1234 tar-zxvf rsync-3.0.9.tar.gz
2)、cdrsync-3.0.9
3)、./configure--prefix=/usr/local/rsync
4)、make;makeinstall
3、建立用户与密码认证文件
[root@backup ~]# echo "root:111111" /etc/ rsyncd/rsyncd.secrets
[root@backup ~]# less /etc/rsyncd/rsyncd.secrets
root:111111
注意：
请记住，在10.10.1.6端建立的密码文件，只有密码，没有用户名；而在10.10.1.9里建立的密码文件，用户名与密码都有。
权限：要将/etc/rsyncd/rsyncd.secrets设置为root拥有, 且权限为600。
#chmod 600 /etc/rsyncd/rsyncd.secrets
4、建立rsync配置文件
[root@backup ~]# vim /etc/rsyncd/rsyncd.conf
启动rsync服务
# /usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf
# ps -ef |grep rsync
Rsync服务加入开机启动项
# echo "/usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf" /etc/rc.local
防火墙开启rsync端口：873
添加：
iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 873 -jACCEPT
重启：
# /etc/init.d/iptables restart
完成,其实这个时候数据已经同步了！
测试一下：
由于/data0/htdocs/下涉及到一些公司信息，所以就以/data0/htdocs/tmp/为例
主机名可以区别是两台机器，里面的内容完全一直，连文件的属性都一样
再对里面修改一下试试，创建一个文件，然后删除user目录试试
一、rsync简介
用于替代rcp的一个工具，rsync可以通过rsh或ssh使用，也能以daemon模式去运行，在以daemon方式运行时rsync
server会开一个873端口，等待客户端去连接，连接时，rsync
server会检查口令是否相符，若通过口令查核，则可以通过进行文件传输，第一次连通完成时，会把整份文件传输一次，以后则就只需进行增量备份；
二、rsync常用参数
-v,--verbose 详细模式输出；
-a,--archive 归档模式，表示以递归的方式传输文件，并保持所有文件属性不变，相当于使用了组合参数-rlptgoD;
-r, --recursive 对子目录以递归模式处理;
-l, --links 保留软链结;
-p, --perms 保持文件权限;
-t, --times 保持文件时间信息;
-g, --group 保持文件属组信息;
-o, --owner 保持文件属主信息;
-D, --devices 保持设备文件信息;
-H, --hard-links 保留硬链结;
-S, --sparse 对稀疏文件进行特殊处理以节省DST的 空间;
--delete 删除那些DST中SRC没有的文件;
-z, --compress 对备份的文件在传输时进行压缩处理；
三、rsync的六种不同的工作模式；
1）拷贝本地文件；
当SRC和DES路径信息中不包含冒号":"分隔符时，就启用这种工作模式：
[root@cmmailapp1 /]# rsync -avSH /home/coremail/ /cmbak/
2）使用一个远程shell程序（如rsh、ssh）来实现将本地机器的内容拷贝到远程机器，当DST路径地址包括冒号":"分隔符时启动该模式；
[root@cmmailapp1 /]# rsync -avSH /home/coremail/ 192.168.11.12:/home/coremail/
3）使用一个远程shell程序（如rsh、ssh）来实现将远程机器的内容拷贝到本地机器，当SRC地址路径包括冒号":"分隔符时启动该模式；
[root@cmmailapp2 /]# rsync -avSH 192.168.11.11:/home/coremail/ /home/coremail/
4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。
如：rsync -av root@172.16.78.192::www /databack
5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。
如：rsync -av /databack root@172.16.78.192::www
6)列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。
如：rsync -v rsync://192.168.11.11/data
四、rsync服务端的配置；
环境：192.168.11.11为生产机；192.168.11.12为备份机；
那么需要192.168.11.11需要作为rsync的client；
192.168.11.12作为rsync的service端；
1、192.168.11.12_service端的配置；
1）[root@cmmailapp2 data]# touch /etc/rsyncd.conf //此文件为rsync的主配置问题，默认不存在需要手动创建；
2）定义同步的配置；
[root@cmmailapp2 data]# cat /etc/rsyncd.conf
[data]
path = /data/
auth users = coremail
uid = root
gid = root
secrets file = /etc/rsyncd.secrets
read only = no
[mysql]
Path = /home/coremail/var/mysql
auth users = coremail
uid = root
gid = root
secrets file = /etc/rsyncd.secrets
read only = no
[cmxt]
Path = /home/coremail/
auth users = coremail
uid = root
gid = root
secrets file = /etc/rsyncd.secrets
read only = no
3）定义密码文件/etc/rsyncd.secrets
[root@cmmailapp2 data]# cat /etc/rsyncd.secrets
coremail:coremail
4）启动rsync启动服务
[root@cmmailapp2 data]# cat /etc/xinetd.d/rsync
# default: off
# description: The rsync server is a good addition to an ftp server, as it \
# allows crc checksumming etc.
service rsync
{
disable = yes //需要修改为no；
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = --daemon
log_on_failure += USERID
}
[root@cmmailapp2 data]# chkconfig --level 2345 rsync on
[root@cmmailapp2 data]# chkconfig rsync on
[root@cmmailapp2 data]# chkconfig --level 2345 xinetd on
[root@cmmailapp2 data]# service xinetd restart
Stopping xinetd: [ OK ]
Starting xinetd: [ OK ]
2、192.168.11.11_client端的配置；
[root@cmmailapp1 /]# cat /etc/rsyncd.secrets
coremail
[root@cmmailapp1 /]# rsync -aSvH --password-file=/etc/rsyncd.secrets /home/coremail/coremail@192.168.11.12::data
[root@cmmailapp1 /]# rsync -aSvH --password-file=/etc/rsyncd.secrets /home/coremail/coremail@192.168.11.12::mysql
[root@cmmailapp1 /]# rsync -aSvH --password-file=/etc/rsyncd.secrets /home/coremail/coremail@192.168.11.12::cmxt
五、定义定时自行rsync同步，指定同步的日志所在的路径/var/log/rsync/下；
[root@cmmailapp1 log]# cat /root/rsync.sh
DATE=`date +%Y%m%d%H%M`
rsync -aSvH --password-file=/etc/rsyncd.secrets /home/coremail/ coremail@192.168.11.12::data/var/log/rsync.date.$DATE
rsync -aSvH --password-file=/etc/rsyncd.secrets /home/coremail/ coremail@192.168.11.12::mysql/var/log/rsync.mysql.$DATE
rsync -aSvH --password-file=/etc/rsyncd.secrets /home/coremail/ coremail@192.168.11.12::cmxt/var/log/rsync.cmxt.$DATE
chmod u+x /root/rsync.sh
[root@cmmailapp1 log]# crontab -l
0 3 * * * /root/rsync.sh
执行时候的日子记录文件：
[root@cmmailapp1 log]# ls |grep 'rsync'
rsync.cmxt.201110180915
rsync.date.201110180915
rsync.mysql.201110180915
2、执行 rsync -a --delete 把 SRC 目录下的内容传输到 backups_delete 目录，backups_delete 以镜像形式保存 SRC 目录的内容。backups_delete 目录的内容和 SRC 目录的内容保持一致。
3、第 2 点通过 -a --delete 完成了 SRC 目录文件的备份，可能没有突显镜像备份的形式。现在 backups_delete 增加一些内容，然后用 -a --delete 再传输一次数据作一个对比就会清晰了。
backups_delete 目录下新增两个目录 directory1 和 directory2，directory1目录新增一个 file3.txt 文件，directory2目录新增一个 file4.txt 文件。操作 和 目录结构如下：
-a --delete 再传输一次数据，可以发现刚才新建的目录和文件都被删除了，backups_delete 目录只保存和 SRC 源目录一致的内容。形成一个 SRC 目录内容的镜像。
4、同理，把 backups_delete 的 file1.txt 文件删除，再用 -a --delete 再传输一次数据。
由上述实验可以看出 --delete 作用于接收端，把目标目标以镜像模式备份源目录的数据。目标目录比源目标多出的内容将会被删除。对比源目录，比源目录少的内容会补上。
