CentOS 7 配置rsync|lsyncd实现海量文件实时同步

rsync是一个非常好用的文件同步工具, 但是无法进行实时同步, 但通过lsyncd+rsync可以完美的解决海量文件实时备份, lsyncd其实可以理解为inotify + rsync的重新打包整合, 现在参考部分教程简单记录一下.

 

主要目的
从主服务器上实时增量备份文件到另外一台服务器上.

先在主服务器上创建无密码的ssh证书.

cd /root/
ssh-keygen -t rsa

一直按回车就会得到两个ssh证书文件, 一个id_rsa秘钥, 一个id_rsa.pub公钥.

查看公钥证书

cat /root/.ssh/id_rsa.pub

然后去备份服务器上

cd /root/
mkdir /root/.ssh
vi id_rsa.pub

然后把之前在主服务器上创建的公钥id_rsa.pub内容复制到这里

把公钥增量添加到~/.ssh/authorized_keys里面

cat /root/id_rsa.pub >> /root/.ssh/authorized_keys

再更改公钥文件权限

chmod 600 /root/.ssh/authorized_keys

更改sshd配置文件

vi /etc/ssh/sshd_config

把#AuthorizedKeysFile .ssh/authorized_keys前面的#去掉, 让其保持为

AuthorizedKeysFile .ssh/authorized_keys

然后重启备份服务器的ssh

service sshd restart

设置完成后再会主服务器
先测试一下是否可以免密码登录备份服务器

ssh root@备份服务器的ip

如果能正常登录就可以.

然后在备份服务器上操作

vi /etc/rsyncd.conf

配置如下

[backup]
# destination directory for copy
path = /home/backup
# hosts you allow to access
hosts allow = 1.1.1.1
hosts deny = *
list = true
uid = root
gid = root
read only = false

再设置rsync自动启动

systemctl enable rsyncd.service
systemctl start rsyncd.service

从再退出, 返回主服务器.

exit

返回主服务器后
安装lua lua-devel

yum install lua lua-devel -y
yum install lsyncd -y

编辑配置lsyncd的配置文件

vi /etc/lsyncd.conf

参考配置文件如下

settings {
    logfile = "/var/log/lsyncd.log",          --日志路径
    statusFile = "/var/log/lsyncd.status",    --状态文件
    pidfile = "/var/run/lsyncd.pid",          --pid文件路径
    statusInterval = 1,                       --状态文件写入最短时间
    nodaemon = false,                         --daemon运行
    maxProcesses = 1,                         --最大进程
    maxDelays = 1,                            --最大延迟
}
sync {
    default.rsyncssh,      --默认rsync+ssh,rsync版本需要升级3以上版本
    source = "/home/backup/",                 --源目录
    delete = true,                            --保持完全同步        
    host = "root@11.22.33.44",                
    targetdir = "/home/backup/",              --目标目录
    exclude={                 
             ".txt"            --需排除的文件
    },
rsync = {
    binary = "/usr/bin/rsync", --需先安装好rsync
    archive = true,            --归档
    compress = false,          --压缩
    owner = true,              --属主
    perms = true,              --权限
    whole_file = false
    },
ssh = {
    port = 22
    }
}

设置开机启动并运行

systemctl enable lsyncd.service
systemctl start lsyncd.service

然后去原服务器的/home/backup目录下创建一个文件看看会不会自动同步到备份服务器的/home/backup目录下

如果无法运行, 查看状态:

systemctl status lsyncd.service

提示

Error: Terminating since out of inotify watches Consider increasing
/proc/sys/fs/inotify/max_user_watches

 

这个是超过实例可监听的最大上限, 编辑sysctl.conf文件

vi /etc/sysctl.conf 

把监听值改大一点, 在下面添加

fs.inotify.max_user_watches = 999999999

再重启lsyncd服务

sysctl -p
systemctl restart lsyncd.service

本教程参考以下链接
https://www.jianshu.com/p/0ecac4f6baf2
https://renwole.com/archives/1001
https://linux.cn/article-5849-1.html
https://github.com/axkibe/lsyncd
https://axkibe.github.io/lsyncd/
http://seanlook.com/2015/05/06/lsyncd-synchronize-realtime/