Rsync企业实战之异地自动化备份

   

认真的测试过网上的大多数文章和版本,真正能一次性测试通过的文章太少了,需要反复的推敲,反复的查阅资料,才能真正的测试成功,所以,在此背景下,总结了Rsync,加上自己的理解分享出来;

1、 原理篇

Rsync, 故名思议,是一个远程数据同步工具,可以镜像整个目录树和文件系统,也可以保持源文件的权限,时间和软硬链接,可以优化数据,文件重复数据的删除,也可以 在LAN/WAN之间快速的同步多台主机的数据,这主要得益于Rsync的压缩和Rsync的核心算法,其算法,是本地和远程两台主机之间的文件达到同步 并保持一致,并且只传送两个文件的不同部分,而不是整个数据进行传送,所以,速度非常快;

一个Rsync server能够同时备份多个客户端数据,也可以一个客户端备份多个Rsync server的数据;

Rsync 支持搭配scp,ssh和daemon模式,默认端口是873,当第一次连接的时候,会对数据进行完整备份,之后的所有备份,都是进行增量备份,只备份又变化的数据;

Rsync只支持单向备份,不支持双向,如果需要双向同步的,可以使用Unison;如果需要实时同步的,可以结合Rsync+inotify;

Rsync服务以只读方式提供要备份的数据,避免破坏生产环境的数据;


在这里,有必要对Rsync的核心算法,进行讲解:

假定在名为 α 和 β 的两台计算机之间同步相似的文件 A 与 B,其中 α 对文件A拥有访问权,β 对文件 B 拥有访问权。并且假定主机 α 与 β 之间的网络带宽很小。那么 Rsync 算法将通过下面的五个步骤来完成:

β 将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块。最后一块可能会比 S 小。  
β 对每一个分割好的数据块执行两种校验:一种是32位的滚动弱校验,另一种是128位的 MD4 强校验。    
β 将这些校验结果发给 α。    
α 通过搜索文件 A 的所有大小为 S 的数据块(偏移量可以任选,不一定非要是 S 的倍数),来寻找与文件B 的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。    
α 发给 β 一串指令来生成文件 A 在 β 上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证明,要么是一个数据块,这个数据块肯定是没有与文件 B 的任何一个数据块匹配上的。

Rsync适用于linux、solaris和bsd,在windows平台下,有cwRsync。

本文,将以Linux的Rsync和以window的cwRsync为例讲解。

2、 Rsync服务端

2.1、 安装

源码安装

下载rsync服务端程序,

tar zxvf rsync-2.6.9.tar.gz

cd rsync-2.6.9

./configure --prefix=/usr/local/rsync

make

make install

rpm安装

yum install rsync

本文以yum来安装

2.2、 服务器运行模式

模式选择

对于负载比较重的,选择独立服务启动

对于负载比较轻的,选择以xinet.d启动,选择此模式,记得要安装xinet.d (yum install xinet.d)

独立运行模式

/usr/bin/rsync --daemon --config=/etc/rsyncd.conf (本例选择此方法)

如果需要系统开机启动,可以把上面命令加入到/etc/rc.local文件中。

2.3、 服务器配置

创建配置文件和口令文件

touch /etc/rsyncd.conf 主要配置文件

touch /etc/rsync.pas 口令文件,此文件需要注意客户端和服务器端的格式,后续会讲解

关于配置文件rsyncd.conf讲解

Rsync的配置文件,分为两个部分,全局配置和模块配置,

#全局设置

uid = root 指定模块以root用户来传输文件,如果匿名用户的话,这里填写nobody

gid = root 指定模块以root用户组来传输文件,如果匿名传输的话,这里填写nobody

use chroot = yes 设置为YES,表示在传输文件之前,定位到根目录下,即PATH指定的目录,这样做,主要是出于安全考虑

pid file = /var/run/rsyncd.pid Rsync守护进程把其PID写入的文件

lock file = /var/run/rsync.lock 指定支持max connections的锁文件

log file = /var/log/rsyncd.log 指定Rsync守护进程产生的日志文件,而不是传送给syslog

#模块设置

[Jindie] 模块名称,后续上传下载文件配置时,直接使用此名称名来指定

path = /sda1/JDdatabase 指定此模块的根目录,即文件上传下载都是在此目录下进行

ignore errors 指定在 rsync 服务器上运行 delete 操作时是否忽略 I/O 错误

read only = false 指定是否允许上传,false代表允许上传。

write only = false 指定是否允许下载,false代表允许下载。

list = true 指定当客户请求列出可以使用的模块,该模块是否被列出。如果false,可以创建隐藏的模块。

hosts allow = 192.168.1.65 指定哪些客户端可以访问连接此模块,可以指定单个IP,整个网段,比如此例为单个IP

hosts deny = 0.0.0.0/0 指定哪些客户端不允许连接此模块,此例为0.0.0.0/0网段,代表整个网络

通常表示客户端表示方式,有如下:

单个IP:192.168.1.65

网段IP:192.168.1.0/24

可解析的主机地址:www.baidu.com

域内主机:*.wine9.com

所有主机:*

多个列表项,要用空格隔开;

auth users = xy 指定认证用户名,通常由空格或者逗号分隔用户名列表,只有这些用户可以连接此模块,用户名和密码,以明文形式,保存在口令文件中

syslog facility = local5 指定日志等级,一般指发送给rsyslog的日志等级;

secrets file = /etc/rsync.pas 指定Rsync认证口令文件,只有配置了auth users,此配置才生效,这里要注意客户端和服 务器端的配置格式。

ignore nonreadable 指定 rysnc 服务器完全忽略那些用户没有访问权限的文件,这对于在需要备份的目录中有些不应该被备份者获取的文件时非常有意义

timeout 600 设置客户端连接超时时间,确保服务器不会永远等待一个奔溃的客户端。

dont compress=*.gz 指定哪些文件在传输之前,不需要进行压缩的文件。

max connections = 4 指定此模块最大的并发连接数为4,超过的告知随后再试

exclude指定多个由空格隔开的多个文件或目录(相对路径),并将其添加到 exclude 列表中。这等同于在客户端命令中使用

本页内容版权归属为原作者,如有侵犯您的权益,请通知我们删除。
实战自制Linux操作系统 本文主要通过裁剪现有Linux系统,打造一个属于自己的Linux小系统,让其能够装载网卡驱动,并配置IP地址,实现网络功能。 自制linux系统 步骤概述: 1 、新建一个硬盘 2 、在该新硬盘上新建两个分区,一个当boot分区,一个当/分区 3 、格式化并且挂载两个分区 4 、安装grub至目标磁盘 5 、为grub提供配置文件 6 、复制内核文件和initrd文件 7 、创建目标主机根文件系统 8 、移植bash命令和其库文件到根文件系统 9 、装载模块,实现网络功能 10
Kickstart+PXE自动部署 目录: 无人值守安装简介 实战:PXE批量部署linux操作系统 前言 部署dhcp服务 HTTP服务 TFTP服务 复制PXE启动时需要的文件 修改引导启动菜单 配置kickstart自动安装文件(ks.cfg) 装机测试 无人值守安装简介 无人值守安装(Unattended Setup)指软件安装时无需任何用户干预,直接按默认或通过应答文件设置安装,这对于无特殊需求的用户或企业大批量部署安装操作系统及软件时非常方便。无人值守安装也称为静默安装,在安装过程中可以静默安
一、CentOS 6 的启动流程 第一步:加电自检(POST) 主要检查硬件设备是否存在并能正常运行,如:CPU、内存、硬盘、风扇、输入输出设备等。自检功能主要是通过BIOS来实现的,BIOS程序是装载在一个硬件芯片CMOS上的,加电过程就是给CMOS通电,然后启动BIOS程序,BIOS程序会根据CMOS上面的一些配置信息区读取其他的硬件设备信息并检测其是否存在并能正常运行,之后进行硬件设备的初始化。 第二步:选择启动顺序,加载MBR 按照BIOS中设置的Boot Sequence查找Boot Loade
前几天我博客记录了zabbix安装《 Ubuntu系统LNMP环境下安装配置zabbix3.04 》这里我们给大家分享一下zabbix-proxy安装配置。阿里云zabbix-service ,公司内网zabbix-proxy 下面开始: zabbix-proxy 服务器配置 1 、配置 zabbix 源 #wget http://repo.zabbix.com/zabbix/3.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_3.0-1+trusty
WEB 服务器的架设 , 在 linux 有一个很著名的架构叫 lamp : linux+apache+mysql+php,就知道apache的分量了。 在搭建 apache 服务钱需要做 DNS 服务器 DNS的搭建 http://wt7315.blog.51cto.com/10319657/1852795 http的详解 http://wt7315.blog.51cto.com/10319657/1837595 apache 后台进程: httpd 脚本: /etc/rc.d/init.d/httpd
1、路由配置 路由是互联网络的核心,没有路由的网络如同一座孤岛,掌握路由的配置是IT人员的必备技能。 例如:现在有三台主机需要通信,其中A和B在同一网段,C在另一网段,这两个网段有三个路由相隔,如何实现他们之间的通信呢? 主机A:IP=192.168.1.100/24 主机B:IP=192.168.1.63/24 主机C:IP=10.2.110.100/16 R1的接口0:IP=192.168.1.1/24,接口1:IP=110.1.24.10/24 R2的接口0:IP=110.1.24.20/24,接口

linux下使用quagga配置ospf协议 - 2016-09-12 18:09:22

环境:三台redhat6.5(VM虚拟机) 一、ospf协议 OSPF(Open Shortest Path First开放式最短路径优先)是一个内部网关协议(Interior Gateway Protocol,简称IGP),用于在单一自治系统(autonomous system,AS)内决策路由。是对链路状态路由协议的一种实现,隶属内部网关协议(IGP),故运作于自治系统内部。 PS:这里不过多讲解ospf协议,可在网上自行查找学习 二、配置 首先下载安装软件包,其他yum源以及网络配置就不再介绍了,三

远程桌面排错(已解决) - 2016-09-12 18:09:20

最近遇到了一个比较棘手的问题,用户远程桌面无法连接,我的博文中之前也写到了一篇远程桌面排错,但是这次的和之前的大不相同 = = 原因排查步骤 1)首先当然是查看报错,这个是我自己机器上截图的,报错信息都一样 2)首先查看服务器是否开启了远程访问 3)查看目标是否可以ping通 4)查看服务是否正常启动 5)如果要正常远程到目标必须可以telnet到目标的远程端口,默认为3389,这个端口不通,我们之前已经将防火墙关闭了 6)本机上telnet 127.0.0.1 3389,这么做的话可以排除外界因素的干扰
随着php脚本语言使用的普及,目前webserice服务大部分都在用nginx+(php-fpm)的结构,了解了其工作过程后才可以在各个方面想办法做调整优化和故障排查,从以下几点总结一下这种模型。 一、nginx 和 php-fpm 的关系和分工 nginx 是 web 服务器, php-fpm 是一个 PHPFastCGI 进程管理器,两者遵循 fastcgi 的协议进行通信, nginx 负责静态类似 html 文件的处理, php-fpm 负责 php 脚本语言的执行,这么设计的目的是为了解耦前端
数据库的运维中,经常会遇到delete drop truncate的操作,那么如何去把握它们的用法和区别呢? 比如当数据库空间爆满,已经增长到存储空间单个存储文件的最大值 32G 。你需要通过一些办法释放掉表空间或者扩容表空间来解决问题。 一般当系统中大量使用分区表,而针对分区表清除数据,是不会释放表空间的,必须把分区 drop 掉,才会释放空间。 下面我们具体了解一下这三个命令: 一、delete 1、delete是DML,执行delete操作时,每次从表中删除一行,并且同时将该行的的删除操作记录在re