专利名称：数据存储系统、方法以及数据存储和备份系统的制作方法
技术领域：
本发明一般地涉及数据存储，更具体地涉及写操作增强的数据存储系统、方法以
及数据存储和备份系统。
背景技术：
—般来说，数据备份利用磁带、磁盘等存储介质来进行。在例如磁盘备份中，通常备份所用磁盘设置在另外的系统中并通过IP、iSCSI、光纤等网络来执行数据通信。由于在一般使用上，用于备份的磁盘性能会比主机的磁盘性能要低，如生产系统使用SAS磁盘而备份系统使用SATA磁盘，所以如果使用镜像方式的备份，因为磁盘性能的关系，会导致镜像的效率低下，从而影响生产系统的资源。而在生产环境中，系统资源对生产服务器来说是非常重要的，因此系统资源被非自身生产服务的进程所占用是应该避免的。另一方面，如果备份系统的存储设备使用与生产系统相同速度、相同等级的，例如都使用SAS磁盘，这样速度上有提高，但是也使备份系统的成本变得昂贵。另外，如果使用的是远程复制的方式来备份，由于备份窗口会比较长，导致数据丢失量指标也会相应变大，保护未够完善。
发明内容
为解决上述问题，本发明旨在提供一种改进低性能数据存储的系统。
根据本发明的一个方面，提供了一种用于数据处理系统的数据存储方法，包括定义该数据处理系统的本地存储作为日志库(Journal Vault);以日志方式在日志库中存储数据；把数据从日志库传送到转送器(Transmitter);从转送器把数据传输到二次存储(Secondary Storage)。 根据本发明的另一方面，提供了一种用于数据处理系统的数据存储系统，包括日志库，其为数据处理系统的本地存储，用于以日志方式存储数据；转送器，用于接收来自日志库的日志；以及二次存储，用于接收并存储从转送器传送的数据。 根据本发明的另一方面，提供了一种数据存储系统，包括生产系统，具有一次存储；备份系统，具有二次存储，为进行备份在一次存储和二次存储之间建立镜像关系，该备份系统还包括日志库，其为生产系统的本地存储，用于在数据被写入一次存储中的同时以日志方式存储该数据；以及转送器，用于接收来自日志库的日志，其中该二次存储接收并应用从转送器传送的数据，作为一次存储的备份。 通过日志机制和加入本地存储，本发明增强了低性能存储设备的写操作功能。
而且，在本发明应用于备份系统的情况下，因为增强了存储系统写操作性能，而写操作占备份系统大部分的工作时间，因此这可明显改进整个备份系统的性能。同时，通过简单的部署和设置，即可把备份系统延伸到异地。而且， 一旦生产系统存储失效，即可将本发明中的存储系统切换到"生产模式"并以最短的停机时间马上提供服务。
通过结合附图对本发明各个实施例的详细描述，本领域的技术人员可以更好地理 解本发明的上述和其它方面、特点和优点，其中在所有附图中使用相同或相似的附图标记 来表示相同或者相似的部件，在附图中
图1是示出根据本发明一个实施例的数据存储系统的框图； 图2是示出根据本发明另一实施例的数据存储系统的框图； 图3是示出根据本发明一个实施例的数据存储系统用作备份系统的示意图； 图4是示出根据本发明一个实施例的数据存储系统用作多个生产系统的集中备
份系统的示意图； 图5是示出根据本发明一个实施例的数据存储方法的流程图。
具体实施例方式
下面将结合附图详细描述本发明的具体实施例。如果考虑到对某些相关现有技术 的详细描述可能会混淆本发明的要点，则不会在这里提供其详细描述。而且，本发明包含但 不限于下列所有例子的所解析的情况。 在下面的描述中，有关存储介质的术语"低性能"是与另一术语"高性能"相比较而 言的。术语"高"和"低"之间的关系应理解成为彼此相对的，而非绝对的。 一般来说，用于 备份系统的存储设备的性能会较生产系统的为低，例如生产系统使用SAS硬盘而备份系统 使用SATA硬盘。也有可能备份系统使用与生产系统性能相约或更高的设备，但总体来说， 备份系统的存储设备的性能会比生产系统的为低。同样的，当术语"高"和"低"应用于描 述性能时经常是指相对的，因为不同存储介质性能不断改进的特性难以作出一个绝对性的 定义。然而，这并非一个重要的问题，因为这种性能改进是对所有各种各样的存储介质而言 的，所以高性能存储介质会继续地维持其对低性能一方的优势。 另外，本发明中的一次存储(first storage)和二次存储(secondarystorage)是
相对的概念。如本领域公知的， 一次存储一般是指数据处理系统本地的存储系统，而二次存
储一般是指远程的存储系统，但是其也可以为数据处理系统本地的存储系统。另外，一次存
储一般采用高性能的存储介质，用作生产系统的存储，而二次存储一般采用相对低性能的
存储介质，用作备份系统的存储。而且，当一次存储出现故障的时候，此时可以直接向二次
存储写入数据和从二次存储读取数据，这时二次存储就成为了一次存储。 此外，在本说明书中，有时采用了将日志"应用"到二次存储的陈述，这里的"应用"
包括把日志传送到二次存储，以及根据日志当中所记录的改变，比如，所记录的位置L和内
容C，而把内容C写到位置L。 首先阐述根据本发明实施例实现的数据存储系统。 图1是示出根据本发明一个实施例的数据存储系统100的框图。数据存储系统 100包括日志库120，其为数据处理系统110的本地存储，用于以日志方式存储数据；转送器 130，用于接收来自日志库120的日志；以及二次存储140，用于接收并存储从转送器130传 送的数据。 这里的数据处理系统110可以由台式机、便携机、工作站等实现。从网络的意义 上，其既可以为客户端，也可以为服务器，或者同时为此两者。
5
日志库(Journal Vault) 120为数据处理系统110的本地存储。本地存储包括所 有可被数据处理系统的操作系统直接访问的存储设备，如USB指盘、软盘、固态磁盘、复合 闪存盘、本地直连硬盘、外置硬盘、远程磁碟、内存空间等等。此外，用作日志库的本地存储 可以是新加入到数据处理系统中的，或者也可以采用数据处理系统中原有的或者虚拟的存 储。优选地，采用新加入的本地存储作为日志库。 数据处理系统110与日志库120相连(箭头111)，相连方式可以是直接相连的USB 闪存驱动器、本地硬盘驱动器、RAM Disk(内存模拟磁盘)等或通过光纤通道、SATA、 SAS、 SCSI、 iSCSI、 IP等方式，只要数据处理系统的操作系统能直接以本地存储方式访问日志库 即可。数据处理系统的数据通过驱动以日志方式写入到日志库120中。由于日志库是利用 本地存储作存储设备，因此写入速度有保证。由于是采用日志的方式直接写入，写入操作不 需要消耗磁盘寻道时间，而且日志方式数据体积小，传输比完全数据的传输要快，因此增强 了数据处理系统110的写操作性能。 这里所指的日志包括所有能记录磁盘数据写入的日志方式，例如，包括但不限于， 加密/不加密，不除重覆/除重覆(nondedupliate/deduplicate)，简单直接方式/间接方 式，把至少位置和内容以"顺序/非顺序"的方式记录下来。日志内容至少记录了数据写入 的位置和内容，其他记录的内容可以包括但不限于，日期，时间，被改前的内容。
转送器130为日志库120和二次存储140之间的居间部件。日志向日志库120写 入后，转送器130会按照预定义的时间策略读取日志(箭头121)。转送器130可以由软件、 硬件、固件或者它们的组合实现，只要可以实现接收日志、传输日志并将其应用到二次存储 的功能即可。转送器130可以为数据处理系统110内部的一部件、其他数据处理系统内部 的部件或者为一独立的硬件实现。当以硬件实现时，转送器130与日志库120之间可通过 光纤通道、SATA、 SAS、 iSCSI或IP等方式相连。可替代地，转送器可以以软件实现，这时转 送器130可以为一个程序过程，它可于数据处理系统110或其他系统中运行，只要求其能接 收日志、传输日志据并将其应用到二次存储。另外在转送器130对日志的操作过程中，可进 行数据压縮，数据加密，以及重复数据删除的功能，即只保留足够生产当前数据最终状态的 日志。 转送器130可以按照预定义的时间策略，如连续地或定期地，把日志应用到二次 存储140中(箭头131)，形成数据的最终存储。 另外，由于日志库容量有限，转送器130可以依照预定策略定期或不定期地删除 日志库中已应用到二层低性能存储140的日志。 二次存储140 —般为相对于数据处理系统110的一次存储而言低性能的存储介 质，例如为SATA磁盘、磁带、磁碟等等，但其不限于此，其也可为性能等同于或在特殊情况 下性能高于一次存储的存储介质，二次存储140既可以在数据处理系统110的本地，也可以 为位于远程地址。而且，二次存储140还可以利用存储本身的特性支持快照功能，从而获得 多个版本的数据映像。此后，当数据处理系统需要获得数据时将从此二次存储140中读取。 一般地，由于二次存储140的性能相对较低，因而存储系统100总体上形成一个低性能存储 系统，但通过日志方式增强了数据处理系统110向存储系统100的写操作功能。
图2示出了根据本发明另一实施例的数据存储系统100。此实施例与图1所示实 施例的不同在于还包括归档日志库150。根据此实施例，转送器130会把接收到的日志同时
6发送到归档日志库150中(箭头151)。归档日志库150除了作为日志的长期存档外，还可以实现数据持续保护(Continuous DataProtection)功能，找到任一时间点的数据状态。
图3是示出根据本发明一个实施例的数据存储系统用作备份系统的示意图，其展示了本发明的其中一种可适用于备份系统的应用。数据处理系统110和一次存储219通过直连或光纤/IP/iSCSI方式相连(直线200)，另外也与存储系统100连接(箭头lll)。存储系统100的构成如图1所示，这里对其不再重复叙述。为本地磁盘201和存储系统100之间建立了一个镜像关系210，任何向数据处理系统110的一次存储200的数据写入同时会以日志的方式写入存储系统100，如图1所示，进入数据会日志在日志库130，并最终存储到存储系统100的二次存储140中。。由于应用了日志库120存储以及二次存储140相结合的模式，因此备份镜像数据写入存储系统100的性能相对的比传统方式备份方式需先读取磁盘数据再写入备份存储系统的模式要快。 图4是示出根据本发明一个实施例的数据存储系统用作多个生产系统的集中备份系统的示意图，其展示了对图2所示的本发明用于备份系统中的扩展。多个数据处理系统110之间通过网络300进行连接通信。各数据处理系统110可如图3的方式与存储系统IOO进行连接(箭头111)，把数据都镜像到存储系统100中，形成一个写操作增强的集中备份应用。在此情况下，存储系统100中具有多个日志库，该多个日志库分别为多个数据处理系统110的相应镜像本地存储。 应用了日志库方式的生产系统由于增强了写操作功能，因此在备份应用中可促进性能加强，这可成为本系统的"备份模式"。当生产系统的存储失效，需要使用备份存储时，可将本存储系统中的日志库120、转送器130等功能停下，生产系统可选择直接读取和写入二次存储的数据，这种工作模式下，本系统称之为"生产模式"，"生产模式"即停止"增强写功能"，变回正常的低性能存储的模式。 本发明的应用方法是遵循平台无关性的，只要数据处理系统110能够通过任何方法与存储系统100建立连接即可应用本发明。 图5是示出根据本发明一个实施例的数据存储方法的流程图。 一种用于数据处理
系统的数据存储方法，包括步骤501，定义该数据处理系统的本地存储作为日志库，该本
地存储可以是新加入或原有的或虚拟的；步骤502，以日志方式在日志库中存储数据；步骤
503，把数据从日志库传送到转送器；步骤504，从转送器把数据传输到二次存储。 根据本发明的另一个实施例，所述本地存储为由数据处理系统的操作系统直接访
问的存储设备，包括USB盘、软盘、固态磁盘、闪存盘、本地直连硬盘、外置硬盘、远程磁碟、
内存空间中的至少一种。 根据本发明的另一个实施例，其中，数据处理系统与日志库通过光纤通道、SATA、SAS、 SCSI、 iSCSI或IP相连接。 根据本发明的另一个实施例，所述日志记录该数据处理系统的磁盘数据的写入，其中顺序记录了数据写入位置和内容。 根据本发明的另一个实施例，所述转送器位于该数据处理系统中或者位于其他数据处理系统，用于接收日志、传输日志并将其应用到二次存储。 根据本发明的另一个实施例，其中，所述转送器连续地或定期地将日志从日志库应用到二次存储。
根据本发明的另一个实施例，在转送器的操作过程中，进行数据压縮、数据加密以 及重复数据删除操作中的一种或多种。 根据本发明的另一个实施例，转送器还把接收到的日志发送到归档日志库，归档 日志库对日志进行长期存储，进行数据持续保护。 根据本发明的另一个实施例，转送器定期删除日志库中已经被应用到二次存储中 的日志。 根据本发明的另一个实施例，该二次存储支持快照功能。 根据本发明的另一个实施例，所述日志库记录多个数据处理系统的磁盘数据写 入，进而在二次存储中集中备份多个一次存储的数据。 本发明，通过增加日志库和转送器的结构，增强了低性能数据存储系统的写操作 性能。 而且，在本发明应用于备份系统的情况下，因为增强了备份系统写操作性能，而写 操作占备份系统大部分的工作时间，因此这可明显改进了整个备份系统的性能。同时，通过 简单的部署和设置，即可把备份系统延伸到异地。 本发明可以通过使用日志的方式提供生产系统存储的二层镜像来实现对数据更 好的保护，它的优势包括1.提供更好的数据保护使数据丢失等于O(RPO = 0)2.节省开 销用于二次存储的设备只需符合较低的性能要求即可。3.高可用性一旦生产系统存储 失效，即可将本发明中的存储系统切换到"生产模式"并以最短的停机时间马上提供服务。
虽然上面已经结合附图示出并描述了本发明的一些实施例，但是本领域的技术人 员应当理解，在不偏离本发明的原则和精神的情况下，可以对这些实施例进行变化和修改， 但它们仍然落在本发明的权利要求及其等价物的范围之内。
8
权利要求
一种用于数据处理系统的数据存储方法，包括定义该数据处理系统的本地存储作为日志库；以日志方式在日志库中存储数据；把数据从日志库传送到转送器；从转送器把数据传输到二次存储。
2. 如权利要求1所述的方法，所述本地存储为由数据处理系统的操作系统直接访问的 存储设备，包括USB盘、软盘、固态磁盘、闪存盘、本地直连硬盘、外置硬盘、远程磁碟、内存 空间中的至少一种。
3. 如权利要求1所述的方法，其中，数据处理系统与日志库通过光纤通道、SATA、 SAS、 SCSI、 iSCSI或IP相连接。
4. 如权利要求1所述的方法，所述日志记录该数据处理系统的磁盘数据的写入，其中 顺序记录了数据写入位置和内容。
5. 如权利要求1所述的方法，所述转送器位于该数据处理系统中或者位于其他数据处 理系统中，用于接收日志、传输日志并将其应用到二次存储。
6. 如权利要求1所述的方法，其中，所述转送器连续地或定期地将日志从日志库应用 到二次存储。
7. 如权利要求1所述的方法，在转送器的操作过程中，进行数据压縮、数据加密以及重 复数据删除操作中的一种或多种。
8. 如权利要求1所述的方法，转送器还把接收到的日志发送到归档日志库，归档日志 库对日志进行长期存储，进行数据持续保护。
9. 如权利要求1所述的方法，转送器定期删除日志库中已经被应用到二次存储中的日志o
10. 如权利要求1所述的方法，该二次存储支持快照功能。
11. 如权利要求1所述的方法，该方法同时支持多于一个数据处理系统。
12. —种用于数据处理系统的数据存储系统，包括日志库，其为数据处理系统的本地存储，用于以日志方式存储数据； 转送器，用于接收来自日志库的数据；以及 二次存储，用于接收并存储从转送器传送的数据。
13. 如权利要求12所述的数据存储系统，所述本地存储为由数据处理系统的操作系统 直接访问的存储设备，包括USB盘、软盘、固态磁盘、闪存盘、本地直连硬盘、外置硬盘、远程 磁碟、内存空间中的至少一种。
14. 如权利要求12所述的数据存储系统，其中，数据处理系统与日志库通过光纤通道、 SATA、 SAS、 SCSI、 iSCSI或IP相连接。
15. 如权利要求12所述的数据存储系统，所述日志记录该数据处理系统的磁盘数据的 写入，其中顺序记录了数据写入的位置和内容。
16. 如权利要求12所述的数据存储系统，所述转送器位于该数据处理系统中或者位于 其他数据处理系统中，用于接收日志、传输日志并将其应用到二次存储。
17. 如权利要求12所述的数据存储系统，其中，所述转送器连续地或定期地将日志从 日志库应用到二次存储。
18. 如权利要求12所述的数据存储系统，在转送器中，进行数据压縮、数据加密以及重复数据删除操作中的一种或多种。
19. 如权利要求12所述的数据存储系统，还包括归档日志库，转送器还把接收到的日志发送到归档日志库，归档日志库对日志进行长期存储，进行数据持续保护。
20. 如权利要求12所述的数据存储系统，转送器定期删除日志库中已经被应用到二次存储中的日志。
21. 如权利要求12所述的数据存储系统，该二次存储支持快照功能。
22. 如权利要求12所述的数据存储系统，该数据存储系统同时支持多个数据处理系统。
23. —种数据存储系统，包括生产系统，具有一次存储；备份系统，具有二次存储，为进行备份在一次存储和二次存储之间建立镜像关系，该备份系统还包括日志库，其为生产系统的本地存储，用于在数据被写入一次存储中的同时以日志方式存储该数据；以及转送器，用于接收来自日志库的数据；以及其中，该二次存储接收并存储从转送器传送的数据，作为一次存储的备份。
24. 如权利要求23所述的数据存储系统，所述日志库记录多个生产系统的一次存储数据写入，进而在二次存储中集中备份多个一次存储的数据。
25. 如权利要求23或24所述的数据存储系统，当一次存储失效时，将备份系统切换为生产系统。
全文摘要
提供了一种数据存储系统、方法以及数据存储和备份系统。该数据存储方法包括定义数据处理系统的本地存储作为日志库；以日志方式在日志库中存储数据；把数据从日志库传送到转送器；从转送器把数据传输到二次存储。本发明利用日志机制增强了低性能存储设备的写操作功能。在本发明应用于备份的情况下，可明显改进了整个系统于备份时的性能，容易地把备份系统延伸到异地，且在生产系统的存储失效的情况下，可将本发明中的存储系统切换到“生产模式”并以最短的停机时间提供服务。
文档编号G06F21/62GK101751307SQ200810186708
公开日2010年6月23日 申请日期2008年12月12日 优先权日2008年12月12日
发明者李德豪, 沈平, 郑嘉杰, 陈冠学 申请人:比兹肯解决方法有限公司