一种非结构化数据快速备份系统和方法与流程

本发明涉及声数据备份技术领域，具体来说，涉及一种非结构化数据快速备份系统和方法。

背景技术：

随着计算机、互联网和数字媒体等的进一步普及，以办公文档、文本、图片、xml,html、各类报表、图像和音频/视频信息等数据结构不规则，没有预定义数据模型的非结构化数据为主的信息急剧增加，面对如此巨大的信息海洋，特别是非结构化数据信息，如何快速备份、存储这些海量信息资源就显得尤为关键。

数据备份是容灾的基础。现代数据保护的趋势对于非结构化的数据的备份在细粒度、频繁快速备份、数据分类和归档等方面还缺少的保护手段。

针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现要素：

针对相关技术中的上述技术问题，本发明提出一种非结构化数据快速备份系统和方法，针对海量非结构化数据，可提升其备份和归档的效率。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种非结构化数据快速备份系统，包括：

数据源服务器，其存放有非结构化数据；

客户端模块，其用于接收快速备份消息、用于读取和发送所述非结构化数据以及用于根据所述非结构化数据的所在位置记录生成位置目录索引信息；

主备份模块，其用于生成并发送所述快速备份消息、用于接收和发送所述位置目录索引信息以及用于根据所述位置目录索引信息将接收到的整个目录下的所述非结构化数据发送出去；

数据库，其用于接收和存放所述主备份模块发送过来的所述位置目录索引信息；

存储设备，其用于接收和存放所述主备份模块发送过来的所述非结构化数据。

进一步地，所述主备份模块包括快速备份模块，所述快速备份模块用于生成所述快速备份消息。

进一步地，所述数据库为postgres数据库。

进一步地，所述客户端模块安装在所述数据源服务器上。

进一步地，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络连接，所述网络为lan或lan-free。

进一步地，所述非结构化数据包括内容数据和元数据；

本发明还公开了一种非结构化数据快速备份方法，包括以下步骤：

s1主备份模块生成快速备份信息并发送出去；

s2客户端模块接收到所述快速备份信息，读取数据源服务器中存放的非结构化数据，根据所述非结构化数据的所在位置记录生成位置目录索引信息并将所述非结构化数据和所述位置目录索引信息发送出去；

s3所述主备份模块接收到所述非结构化数据和所述位置目录索引信息，根据所述位置目录索引信息将整个目录下的所述非结构化数据发送给存储设备，并将所述位置目录索引信息发送给数据库。

进一步地，所述非结构化数据包括内容数据和元数据。

进一步地，所述数据库为postgres数据库。

进一步地，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络进行数据传输，所述网络为lan或lan-free。

本发明的有益效果：大大提高了海量非结构化数据的备份效率，节省了备份时间窗口，减化用户对非结构化数据的容灾管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例所述的非结构化数据快速备份系统的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，根据本发明实施例所述的一种非结构化数据快速备份系统，包括：

数据源服务器，其存放有非结构化数据；

客户端模块，其用于接收快速备份消息、用于读取和发送所述非结构化数据以及用于根据所述非结构化数据的所在位置记录生成位置目录索引信息；

主备份模块，其用于生成并发送所述快速备份消息、用于接收和发送所述位置目录索引信息以及用于根据所述位置目录索引信息将接收到的整个目录下的所述非结构化数据发送出去；

数据库，其用于接收和存放所述主备份模块发送过来的所述位置目录索引信息；

存储设备，其用于接收和存放所述主备份模块发送过来的所述非结构化数据。

在本发明的一个具体实施例中，所述主备份模块包括快速备份模块，所述快速备份模块用于生成所述快速备份消息。

在本发明的一个具体实施例中，所述数据库为postgres数据库。

在本发明的一个具体实施例中，所述客户端模块安装在所述数据源服务器上。

在本发明的一个具体实施例中，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络连接，所述网络为lan或lan-free。

在本发明的一个具体实施例中，所述非结构化数据包括内容数据和元数据；

本发明还公开了一种非结构化数据快速备份方法，包括以下步骤：

s1主备份模块生成快速备份信息并发送出去；

s2客户端模块接收到所述快速备份信息，读取数据源服务器中存放的非结构化数据，根据所述非结构化数据的所在位置记录生成位置目录索引信息并将所述非结构化数据和所述位置目录索引信息发送出去；

s3所述主备份模块接收到所述非结构化数据和所述位置目录索引信息，根据所述位置目录索引信息将整个目录下的所述非结构化数据发送给存储设备，并将所述位置目录索引信息发送给数据库。

在本发明的一个具体实施例中，所述非结构化数据包括内容数据和元数据。

在本发明的一个具体实施例中，所述数据库为postgres数据库。

在本发明的一个具体实施例中，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络进行数据传输，所述网络为lan或lan-free。

为了方便理解本发明的上述技术方案，以下通过具体使用方式对本发明的上述技术方案进行详细说明。

本发明涉及到两个主要功能模块，一是主备份模块，是整个快速备份系统的核心，负责整个快速备份系统的消息通信、读写快速备份信息，控制备份与恢复的运行。二是客户端模块（备份代理），安装在数据源服务器上，负责将要备份的非结构化数据发送到主备份模块和接收恢复的数据。其中快速备份模块内嵌在主备份模块中，postgres数据库用于记录非结构化数据的位置目录索引信息。备份模式主要采用lan、lan-free混合备份模式。

数据源服务器中存放有非结构化数据，客户端模块预先安装在数据源服务器上。

内容数据与元数据组成非结构化数据，均放在数据源服务器存储设备上。

客户端模块负责读取非结构化数据的内容数据和元数据。

客户端模块会将数据源服务器上想要备份的非结构化数据的等内容通过网络发送消息队列给主备份模块。

在主备份模块通过开启快速备份模块来实现快速备份功能。提高非结构化数据备份效率。

主备份模块获取到客户端模块发送的消息队列，将客户端获取到的非结构化数据调用lan网络或者光纤网络（lan-free）方式传输数据。

主备份模块会与客户端模块实时通信，保证消息队列传输正常，获取客户端模块所在的数据源服务器上的非结构化数据。

主备份模块将获取到的非结构化数据发送给存储设备。

具体使用时，开启主备份模块中内嵌的快速备份模块以实现快速备份功能。此时客户端模块接收到主备份模块发出的快速备份消息后，客户端模块对非结构化数据所在位置进行记录生成非结构化数据的位置目录索引信息，客户端模块不再对非结构化的元数据和内容数据的文件索引、路径、大小和时间戳等进行记录以提高整体效率。

客户端将位置目录索引信息发送给主备份模块，主备份模块将其记录到postgres数据库中保存。同时主备份模块根据位置目录索引信息，将客户端模块获取到的整个目录下的所有非结构化数据通过网络发送到存储设备中，以完成备份。

综上所述，借助于本发明的上述技术方案，大大提高了海量非结构化数据的备份效率，节省了备份时间窗口，减化用户对非结构化数据的容灾管理。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。