非结构化数据归档方法、装置、设备及存储介质与流程

本发明涉及数据处理技术领域，具体而言，涉及一种非结构化数据归档方法、装置、设备及存储介质。

背景技术：

随着非结构化数据越来越多，当前非结构化数据归档存储产品也越来越多。而各种各样的非结构化数据的存储产品，虽然可以提供高可用的方案，但是，也会因为网络故障或者存储产品进程故障等，导致存储产品不可用。

现有技术中，并没有一种有效的技术手段，可以解决上述网络故障或者存储产品进程故障等所导致的存储产品不可用的问题。

技术实现要素：

本发明提供一种非结构化数据归档方法、装置、设备及存储介质，可以解决网络故障或者存储产品进程故障等所导致的存储产品不可用的问题。

第一方面，本发明实施例提供一种非结构化数据归档方法，所述方法应用于服务端，所述方法包括：

服务端接收客户端发送的待归档数据；

服务端将所述待归档数据落地至网络附属存储nas；

服务端异步将所述nas中的待归档数据归档至存储产品。

可选地，所述服务端异步将所述nas中的待归档数据归档至存储产品之后，所述方法还包括：

服务端删除所述nas中已被归档至存储产品的待归档数据。

可选地，所述服务端维护有待归档数据记录表；所述方法还包括：

服务端分别根据落地至所述nas的待归档数据、归档至所述存储产品的待归档数据、以及所述nas中删除的待归档数据，对所述待归档数据记录表进行更新。

可选地，所述服务端将所述待归档数据落地至nas之前，所述方法还包括：

确定所述待归档数据的数据类型；

相应地，所述服务端将所述待归档数据落地至nas，包括：

若所述待归档数据的数据类型满足预设要求，则将所述待归档数据落地至nas。

可选地，所述方法还包括：

若所述待归档数据的数据类型不满足预设要求，则将所述待归档数据直接归档至存储产品。

可选地，所述服务端与至少一个存储产品连接，且所述服务端为各所述存储产品提供统一的数据访问接口。

第二方面，本发明实施例提供一种非结构化数据归档装置，所述装置应用于服务端，所述装置包括：

接收模块，用于服务端接收客户端发送的待归档数据；

落地模块，用于服务端将所述待归档数据落地至网络附属存储nas；

归档模块，用于服务端异步将所述nas中的待归档数据归档至存储产品。

可选地，所述装置还包括：清理模块，在所述服务端异步将所述nas中的待归档数据归档至存储产品之后，用于服务端删除所述nas中已被归档至存储产品的待归档数据。

可选地，所述服务端维护有待归档数据记录表；所述装置还包括：

更新模块，用于服务端分别根据落地至所述nas的待归档数据、归档至所述存储产品的待归档数据、以及所述nas中删除的待归档数据，对所述待归档数据记录表进行更新。

可选地，所述装置还包括：确定模块，用于所述服务端将所述待归档数据落地至nas之前，确定所述待归档数据的数据类型；

相应地，所述落地模块，具体用于若所述待归档数据的数据类型满足预设要求，则将所述待归档数据落地至nas。

可选地，所述落地模块，具体还用于若所述待归档数据的数据类型不满足预设要求，则将所述待归档数据直接归档至存储产品。

可选地，所述服务端与至少一个存储产品连接，且所述服务端为各所述存储产品提供统一的数据访问接口。

第三方面，本发明实施例提供一种非结构化数据归档设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述非结构化数据归档设备运行时，所述处理器与所述存储介质之间通过所述总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的非结构化数据归档方法。

第四方面，本发明实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的非结构化数据归档方法。

本发明的有益效果是：

本发明实施例中，服务可以接收客户端发送的待归档数据，将待归档数据落地至nas，并异步将nas中的待归档数据归档至存储产品。其中，由于nas可以对待归档数据进行缓存，所以，当后端存储产品故障时，仍然可以继续新增待归档数据，同时还可以查询nas中缓存的数据，从而可以在提供高可用的非结构化数据实时归档方案的同时，解决网络故障或者存储产品进程故障等所导致的存储产品不可用的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的非结构化数据归档方法的流程示意图；

图2示出了本发明实施例提供的非结构化数据归档方法的另一流程示意图；

图3示出了本发明实施例提供的非结构化数据查询方法的流程示意图；

图4示出了本发明实施例提供的非结构化数据归档装置的结构示意图；

图5示出了本发明实施例提供的非结构化数据归档装置的另一结构示意图；

图6示出了本发明实施例提供的非结构化数据归档装置的又一结构示意图；

图7示出了本发明实施例提供的非结构化数据归档装置的又一结构示意图；

图8示出了本发明实施例提供的非结构化数据归档设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。还需要说明，“第一”、“第二”、“第三”等描述在本发明中仅仅用于区分功能，而不能表示相对重要性。

本发明实施例提供一种非结构化数据归档方法，可以解决网络故障或者存储产品进程故障等所导致的存储产品不可用的问题。该非结构化数据归档方法可以应用于服务端，例如，服务端可以是服务器、计算机或其他数据处理设备。也即，该非结构化数据归档方法的执行主体可以是服务器或计算机，或者，也可以是服务器或计算机中的某一个或多个处理器等，本发明对此不作限制。

图1示出了本发明实施例提供的非结构化数据归档方法的流程示意图。

如图1所示，该非结构化数据归档方法，可以包括：

s101、服务端接收客户端发送的待归档数据。

s102、服务端将所述待归档数据落地至网络附属存储(networkattachedstorage，nas)。

可选地，一些实施方式中，也可以将nas替换为存储区域网路(storageareanetwork，san)；或者也可以是同时设置nas和san，本发明对此不作限制。

nas可以缓存预设时长内，服务端落地的待归档数据。例如，预设时长可以是15天、1个月等。也即，nas可以缓存近1个月的热数据。

s103、服务端异步将所述nas中的待归档数据归档至存储产品。

其中，存储产品可以包括：hadoop、对象存储等，本发明对存储产品的具体类型不作限制。

可选地，服务端可以与至少一个存储产品连接，且所述服务端可以为各所述存储产品提供统一的数据访问接口。通过为各所述存储产品提供统一的数据访问接口，可以屏蔽底层存储产品的差异，使得接入的客户端无需关注底层细节，使用更加方便。

由上所述，本发明实施例中，服务可以接收客户端发送的待归档数据，将待归档数据落地至nas，并异步将nas中的待归档数据归档至存储产品。其中，由于nas可以对待归档数据进行缓存，所以，当后端存储产品故障时，仍然可以继续新增待归档数据，同时还可以查询nas中缓存的数据，从而可以在提供高可用的非结构化数据实时归档方案的同时，解决网络故障或者存储产品进程故障等所导致的存储产品不可用的问题。

图2示出了本发明实施例提供的非结构化数据归档方法的另一流程示意图。

可选地，如图2所示，上述服务端异步将所述nas中的待归档数据归档至存储产品之后，该非结构化数据归档方法，还可以包括：

s104、服务端删除所述nas中已被归档至存储产品的待归档数据。

也即，当nas中缓存的待归档数据，已经归档至存储产品中，可以将其在nas中删除。或者，也可以等预设时长后，将其在nas中删除。

可选地，所述服务端维护有待归档数据记录表；该非结构化数据归档方法还可以包括：

服务端分别根据落地至所述nas的待归档数据、归档至所述存储产品的待归档数据、以及所述nas中删除的待归档数据，对所述待归档数据记录表进行更新。

例如，若nas中新增数据1，则待归档数据记录表中记录数据1在nas中的状态信息；当数据1归档至存储产品后，还需要数据1归档至存储产品的状态信息在待归档数据记录表中进行更新。类似的，当数据1在nas中删除后，同样要在待归档数据记录表中对数据1的记录进行更新。

可选地，所述服务端将所述待归档数据落地至nas之前，该非结构化数据归档方法，还可以包括：确定所述待归档数据的数据类型。

相应地，所述服务端将所述待归档数据落地至nas，可以包括：

若所述待归档数据的数据类型满足预设要求，则将所述待归档数据落地至nas。若所述待归档数据的数据类型不满足预设要求，则将所述待归档数据直接归档至存储产品。

可选地，可以在服务端与客户端连接的接口中设定参数(也即，预设要求)，决定待归档数据是否需要在服务端落地。部分归档的系统没必要在服务端落地，则可直接归档至存储产品中。

基于前述方法实施例中所述的非结构化数据归档方法，本发明实施例还提供一种非结构化数据查询方法，该非结构化数据查询方法可以应用于服务端，图3示出了本发明实施例提供的非结构化数据查询方法的流程示意图。

如图3所示，该非结构化数据查询方法，可以包括：

s301、服务端接收客户端发起的用于查询目标数据的查询请求。

s302、服务端根据客户端发送的查询请求，查询存储产品的锁表中是否存在目标数据的记录。

s303、若锁表中存在目标数据的记录，则直接返回目标数据至客户端。

s304、若锁表中不存在目标数据的记录，则查询待归档数据记录表。

s305、若待归档数据记录表中存在目标数据的记录，则从nas中读取目标数据并返回至客户端。

容易得知，当待归档数据记录表中也不存在目标数据的记录时，则可以直接返回查询失败的结果。

基于前述方法实施例中所述的非结构化数据归档方法，本发明实施例还对应提供一种非结构化数据归档装置，所述装置应用于服务端。

图4示出了本发明实施例提供的非结构化数据归档装置的结构示意图。

如图4所示，该非结构化数据归档装置，可以包括：接收模块10，用于服务端接收客户端发送的待归档数据；落地模块20，用于服务端将所述待归档数据落地至网络附属存储nas；归档模块30，用于服务端异步将所述nas中的待归档数据归档至存储产品。

图5示出了本发明实施例提供的非结构化数据归档装置的另一结构示意图。

可选地，如图5所示，该非结构化数据归档装置，还可以包括：清理模块40，在所述服务端异步将所述nas中的待归档数据归档至存储产品之后，用于服务端删除所述nas中已被归档至存储产品的待归档数据。

可选地，所述服务端维护有待归档数据记录表。

图6示出了本发明实施例提供的非结构化数据归档装置的又一结构示意图。

如图6所示，该非结构化数据归档装置，还可以包括：更新模块50，用于服务端分别根据落地至所述nas的待归档数据、归档至所述存储产品的待归档数据、以及所述nas中删除的待归档数据，对所述待归档数据记录表进行更新。

图7示出了本发明实施例提供的非结构化数据归档装置的又一结构示意图。

可选地，如图7所示，该非结构化数据归档装置，还可以包括：确定模块60，用于所述服务端将所述待归档数据落地至nas之前，确定所述待归档数据的数据类型。

相应地，所述落地模块20，具体可以用于若所述待归档数据的数据类型满足预设要求，则将所述待归档数据落地至nas。

可选地，所述落地模块20，具体还可以用于若所述待归档数据的数据类型不满足预设要求，则将所述待归档数据直接归档至存储产品。

可选地，所述服务端与至少一个存储产品连接，且所述服务端为各所述存储产品提供统一的数据访问接口。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中方法的对应过程，本发明中不再赘述。

本发明实施例提供的非结构化数据归档装置对应于前述方法实施例中所述的非结构化数据归档方法，因此，装置实施例中所述的非结构化数据归档装置，具有前述方法实施例中所述的非结构化数据归档方法所具备的全部有益效果，在此亦不再赘述。

本发明实施例还提供一种非结构化数据归档设备，该非结构化数据归档设备可以是服务器或计算机，图8示出了本发明实施例提供的非结构化数据归档设备的结构示意图。

如图8所示，该非结构化数据归档设备可以包括：处理器100、存储介质200和总线(图中未标出)，存储介质200存储有处理器100可执行的机器可读指令，当非结构化数据归档设备运行时，处理器100与存储介质200之间通过总线通信，处理器100执行机器可读指令，以执行如前述任一方法实施例中所述的非结构化数据归档方法。具体实现方式和技术效果类似，在此不再赘述。

为了便于说明，在上述非结构化数据归档设备中仅描述了一个处理器。然而，应当注意，本发明中的非结构化数据归档设备还可以包括多个处理器，因此本发明中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，非结构化数据归档设备的处理器执行步骤a和步骤b，则应该理解，步骤a和步骤b也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤a，第二处理器执行步骤b，或者第一处理器和第二处理器共同执行步骤a和b等。

在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(s)或多核处理器(s))。仅作为举例，处理器可以包括中央处理单元(centralprocessingunit，cpu)、专用集成电路(applicationspecificintegratedcircuit，asic)、专用指令集处理器(applicationspecificinstruction-setprocessor，asip)、图形处理单元(graphicsprocessingunit，gpu)、物理处理单元(physicsprocessingunit，ppu)、数字信号处理器(digitalsignalprocessor，dsp)、现场可编程门阵列(fieldprogrammablegatearray，fpga)、可编程逻辑器件(programmablelogicdevice，pld)、控制器、微控制器单元、简化指令集计算机(reducedinstructionsetcomputing，risc)、或微处理器等，或其任意组合。

本发明实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行如前述任一方法实施例中所述的非结构化数据归档方法。具体实现方式和技术效果类似，在此同样不再赘述。

可选地，该存储介质可以是u盘、移动硬盘、rom、ram、磁碟或者光盘等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。