数据备份技术------概述与总结

数据备份技术的概述与总结

备份技术的发展（组网方式）

备份是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。在存储备份技术的发展过程中，衍生了下面几种主流的组网方式，包括Host、LAN、LAN-free、Server-free和Server-less

1、Host备份方式

最原始的备份技术，是在生产服务器上将备份数据直接拷贝至备份介质中，称之为Host备份方式

注释：Host备份类似将C盘数据备份到D盘，该组网优点是数据传输速度快，备份管理简单；缺点是不利于备份系统的共享，不适合于现在大型的数据备份要求。

2、LAN备份方式

紧随其后出现的是LAN备份方式。在这种备份组网中，所有生产系统都需要安装备份客户端，并和备份服务器通过网络连接。备份服务器（也是主控服务器）控制整个系统的备份，数据备份时负责将数据通过网络传输到备份介质中。

注释：LAN备份组网解决了Host备份方式中的备份系统共享的问题，但是它对网络传输资源和备份服务器的资源依赖大，容易发生堵塞。

3、LAN-free备份方式（SAN）

针对这种情况，衍生出第三种组网：LAN-free备份组网。在LAN-free备份组网中，生产系统安装有相关的备份客户端（负责与备份服务器通信）和备份介质管理软件（负责管理和使用备份介质）。备份时，备份服务器（主控服务器）只需要发送指令给生产系统，生产系统就会自动将相关的数据传输至备份介质中。

注释：相比于LAN备份，LAN-free备份彻底解放了网络资源，对备份服务器的压力也有所降低，但是对生产系统的压力依旧比较大。如果数据能够不通过生产系统就直接传递到备份介质上，LAN-free的问题不就可以解决了吗？Server-free备份就是在这种情况下应运而出的

4、Server-free备份方式

使用Server-free备份方式时，一般会结合阵列的快照功能一起使用。备份的时候，先创建该时间点下生产数据的快照并将其映射给备份服务器，然后由备份服务器将该快照挂载起来，最后将快照数据拷贝至备份介质。由于快照创建的时间非常短，所以这种组网下，备份窗口基本为零，对生产系统没有任何压力，所以称为Server-free备份

注释：点评: 前面的几种备份方式中，都有一个共性，就是都会占用生产服务器或者备份服务器的资源。那么有没有一种技术，能否彻底解放服务器资源呢？这就是Server-less备份方式

5、Sever-less备份方式

在Server-less备份模式下，数据在源存储介质和备份介质之间直接传输，通常是存储系统和磁带库之间。备份过程中，服务器只需要下发相应的命令给源存储介质即可，不需要再缓存数据，可以明显的降低对资源的占用。而且，由于存储系统的资源配置一般都要高于服务器的资源配置，这种备份方式下的性能很高。

Server-less备份通常有2种实现方式。借助SCSI-3命令的实现方式，Extend Copy实现自动将存储备份到磁带中。借助NDMP实现方式，备份过程中，通过该协议把命令从服务器传递给NAS存储设备，NAS存储设备自动将数据传递给备份介质。

注释: 借助SCSI-3命令的实现方式下，对存储设备要求高，兼容性较差，而且由于其只能实现卷或者磁盘一级的备份和恢复，颗粒度太大，不够灵活和使用，实际使用较少。NDMP则是基于TCP/IP的行业标准协议，专为NAS环境中的备份而设计，是业界非常流行的一种备份实现方式，后面我们会有专题介绍该种备份技术。

备份技术的发展（主流备份软件）

1、NBU

NBU是一个跨平台的产品，可用于复杂的异构平台，属于Symantec的高端产品，备份服务器可以装在各种主流平台如Windows、Linux、各种Unix等，几乎支持市面所有常见的各种平台和数据库的备份。Unix和Linux除了支持文件备份还支持各种数据库的在线备份，支持的功能全面，数据库种类广泛，支持LAN-FREE和SAN-FREE备份方式。NBU支持备份和归档，相对价格较贵些。

NBU软件各模块分为三层体系，分别是Clients/Agents、Master Server和Media Servers。备份过程中，数据从Clients/Agents传递给Media Servers，Media Servers将数据存放到备份介质上

2、Commvault备份软件

Simpana
Simpana提供了数据保护、归档、复制、资源管理和搜索模块，这些模块利用一套源代码被无缝地结合在一起，并能共享相同的服务功能。

Simpana软件各模块分为三层体系，分别是主控服务器CommServe、介质服务器Media Agent、客户端服务器iDataAgent。各个模块可以安装在相同的计算机上，也可以安装在不同的计算机上。备份过程中，iDataAgent负责将备份数据传递给Media Agent，Media Agent将数据存放到备份介质上。备份介质可以是本地硬盘、磁带库、网络共享空间等。

备份软件功能分析

备份归档功能

备份是将数据备份到存储介质中，用于数据的恢复，可以保存多个历史版本。归档是将不常用、不需要长期保留在生产环境上的数据迁移到更廉价的存储介质上，用于数据检索发现。

Symantec BE备份软件本身仅提供备份的功能，如果需要提供归档功能，则需要集成Symantec的另外一款软件Enterprise Vault。NetWorker、Simpana、NBU、TSM均内置了备份和归档的功能。

数据重删

备份过程中，备份的数据存在大量的冗余数据。为了节省更多的空间，数据重删成为备份的一个核心技术点。它是通过查找不同文件中的不同位置的数据块，将重复的数据块通过指示符取代来实现。

EMC NetWorker本身并不具备重删功能。如果需要提供该项功能则需要集成EMC Avamar或者是EMC Data Domain组件。Simpana、BE、NBU、TSM均内置了该功能。

NDMP备份

NetWorker、Simpana、BE、NBU、TSM均支持该项功能，而且均提供了通用NAS NDMP配置，并没有限定NAS设备的厂商型号。

NDMP(Network Data Management Protocol)是一种基于企业级数据管理的开放协议。NDMP中定义了一种基于网络的协议和机制，用于控制备份、恢复、以及在主要和次要存储器之间的数据传输。

NDMP协议是一个管理协议，专注于数据源(以文件系统的形式向NDMP呈现) 和备份设备之间的备份过程管理。

基本概念

1、NDMP服务: NDMP主机上的状态机，可以通过网络协议访问它并且通过NDMP协议来控制它。NDMP服务包括3种服务，数据服务(Data Service)、磁带服务(Tape Service)和转换服务(SCSI Path-through Service)。
2、NDMP服务器: 被一个NDMP控制的一个或者多个独立的NDMP服务的实例。因此，数据/磁带/SCSI服务器是一个NDMP服务器，提供数据、磁带和SCSI服务。
3、NDMP会话: 是一个DMA和2个NDMP服务的配置，用来进行数据操作比如备份和恢复数据。
主存系统:简单来说就是提供备份数据的系统，它要提供数据服务。
4、辅存系统:简单来说就是存储备份数据的系统，它要提供磁带服务，通常也提供SCSI服务。
5、数据流: 一个在NDMP数据连接中传输的单向的字节流。数据连接是建立在2个NDMP服务中的。
MOVER: 磁带服务的一个部分，它负责在磁带和数据流之间传输数据。

备份原理

NDMP中定义了一种基于网络的协议和机制，用于控制备份，恢复，以及在主要和次要存储器之间的数据传输。

NDMP结构基于客户机/服务器模型。文件备份管理软件用作客户机，也就是NDMP数据管理应用程序(DMA)。在一次NDMP会话中，有且只有一个DMA。数据管理会话中的其它每个进程都是一个NDMP服务。DMA将数据服务器和磁带服务器进行分离。NDMP也提供磁带设备和SCSI介质的底层控制。

DMA是用于创建和控制NDMP会话的应用程序。

DMA负责读取、存储并管理所有会话状态(服务器拓扑结构、磁带设置和编号方式、同步点等所有需要继续或后退会话的所有操作，实现备份过程的控制，例如完全或部分恢复一个文件系统)。

在DMA和每个NDMP服务之间有且只有一个连接，即NDMP控制连接(一个双向的TCP/IP连接)。

备份数据流在NDMP服务之间进行传输和复制(如上图，在Primary Storage和Secondary Storage之间)。

磁带备份可以带来许多实际的利益，减小投资成本。可以利用现有的磁带设备作备份介质。而且，磁带介质的单位成本比磁盘要低，根据其存储特性，作为数据备份介质是很适宜的。

操作系统兼容性

TSM、Simpana、NBU对备份软件特性支持均很全面，NetWorker次之，BE最少。

易维护性

TSM的安装配置过程比较复杂，不容易操作。其他备份软件的易用性要好很多。总体来看，各大备份软件在功能上的差异其实并不大，部分缺失的功能均有其它相应的产品可以补充。在客户定位上，Symantec做的好些，针对不同级别的客户提供不同类型的软件，产品售价上灵活很多，而其他厂商都是一刀切。兼容性覆盖上，BE做的少些，这应该跟其定位的客户群相关。操作性上，TSM最不容易上手。

NDMP技术和NAS备份

NDMP最初由NetApp和Legato Systems公司（2003年被EMC收购）联合开发设计，于1996年提出了V1版本，后续不断发展，最新版本为V5，但是得到广泛应用是V4版本。目前，基本上主流的NAS存储厂商都支持NDMP备份协议。很多客户在购买NAS存储的时候，也都会要求NAS存储支持NDMP协议。

传统的NAS存储备份如何实现
在了解NDMP备份之前，我们首先看看传统的NAS存储备份方式是如何实现的。由于NAS设备是个封闭的存储系统，一般很难在NAS设备上安装备份软件的Client Agent(只能安装在生产系统上)，所以传统的网络备份都是先通过CIFS或者NFS共享协议从NAS设备中将需要备份的数据读出，然后再通过网络将这些数据传送到备份服务器上备份