网络数据的管理方法、网络附属存储网关及存储服务系统与流程

本发明属于计算机存储技术领域，涉及一种管理方法及系统，特别是涉及一种网络数据的管理方法、网络附属存储网关及存储服务系统。

背景技术：

常规的网络附加存储(NAS)能够满足一般的文件存储和管理需求，但是在存储的可靠性、可扩展性方面做了大幅的让步。

而基于对象存储的分布式对象文件系统，则提供了更好的可扩展性和可靠性。但是分布式对象文件系统的访问延迟较高，并且不支持随机写入，无法直接向客户计算机提供网络文件服务，而且分布式对象文件系统一般情况下都是通过Restful API提供给应用程序使用，对于大量的业务系统，重新调整存储接口是非常困难的。但是简单的在分布式对象文件系统添加NAS存储协议，因为访问和存储模式的不同，往往适配后的NAS存储性能不高。

因此，如何提供一种网络数据的管理方法、网络附属存储网关及存储服务系统，以解决现有技术在分布式对象文件系统上无法建立一个可以被客户端直接挂载和方法的高性能网关，导致对分布式对象文件系统访问性能低，无法实现统一存储和管理各类网络数据等缺陷，实以成为本领域从业者亟待解决的技术问题。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种网络数据的管理方法、网络附属存储网关及存储服务系统，用于解决现有技术中在分布式对象文件系统上无法建立一个可以被客户端直接挂载和方法的高性能网关，导致对分布式对象文件系统访问性能低，无法实现统一存储和管理各类网络数据的问题。

为实现上述目的及其他相关目的，本发明一方面提供一种网络数据的管理方法，应用于包括多组客户端，多个网络附属存储网关组，及分布式对象文件系统集群的网络数据存储服务系统；每组网络附属存储网关组包括若干网络附属存储网关，每组客户端与一个网络附属存储网关组相连接，多个网络附属存储网关组与所述分布式对象文件系统集群连接；其中，所述分布式对象文件系统集群中存储有网络数据，该分布式对象文件系统集群将其存储的网络数据映射至所述网络附属存储网关组中的网络附属存储网关，以令其缓存该网络数据，，所述网络数据的管理方法包括以下步骤：接收与之绑定的所述客户端发送的网络数据的访问请求；根据所述网络数据的访问请求，执行与该网络数据的访问请求相关联的网络数据管理操作。

于本发明的一实施例中，所述网络数据包括元数据和文件数据；所述网络数据的访问请求包括：网络数据中文件数据的读取请求、网络数据中文件数据的写入请求、和/或网络数据中元数据的操作请求。

于本发明的一实施例中，所述分布式对象文件系统集群包括用于存储网络数据中元数据的元数据存储模块和用于存储网络数据中文件数据的对象存储模块；每个所述网络附属存储网关包括用于缓存网络数据中元数据的元数据缓存单元、用于缓存网络数据中文件数据的文件数据缓存单元、及与不同虚拟IP地址绑定，并探测该组网络附属存储网关组中每一网络附属存储网关的心跳的高可用管理单元。

于本发明的一实施例中，与所述网络数据中文件数据的读取请求相关联的网络数据读取操作包括：待接收到所述网络数据的读取请求后，判断该网络附属存储网关是否已缓存过发送读取请求所要读取的网络数据中文件数据；若已缓存过，则从所述网络附属存储网关的文件数据的数据缓存单元读取文件数据，并将读取到的文件数据反馈至客户端；若未缓存过，则将所述网络数据的读取请求转发至所述分布式对象文件系统集群，通过随机访问，获取并下载网络数据，缓存已下载的网络数据，并将该网络数据的文件数据反馈至所述客户端。

于本发明的一实施例中，与所述网络数据中文件数据的写入请求相关联的网络数据写入操作包括：待接收到所述网络数据的写入请求后，打开该网络附属存储网关的文件数据缓存单元，随机将所述网络数据的文件数据写入该文件数据缓存单元，以缓存写入的文件数据，直至该网络数据全部写完；待该网络数据全部写完，关闭该网络附属存储网关的文件数据缓存单元，并将写入的文件数据上传至所述分布式对象文件系统；同时，反馈文件数据缓存单元已关闭的信息至所述客户端。

于本发明的一实施例中，与所述网络数据中元数据的操作请求相关联的网络数据中元数据的文件/目录操作包括：待接收到所述网络数据中元数据的文件/目录操作请求后，执行文件/目录操作，并反馈文件/目录操作的操作结果至所述客户端；其中，所述网络数据中元数据的文件/目录操作请求包括所述网络数据中元数据的文件/目录读取操作请求和所述网络数据中元数据的文件/目录更新请求；所述网络数据的文件/目录操作包括所述网络数据中元数据的文件/目录读取操作和所述网络数据中元数据的文件/目录修改操作。

于本发明的一实施例中，所述网络数据的文件/目录读取操作包括：待接收到所述网络数据中元数据的文件/目录读取操作请求后，直接从所述网络附属存储网关的元数据缓存单元中读取元数据，并反馈已读取到的元数据至客户端；且周期性地从所述分布式对象文件系统的元数据存储模块读取未缓存在元数据缓存单元中的元数据，以更新其缓存的元数据。

于本发明的一实施例中，所述网络数据的文件/目录修改操作包括：当更新所述网络附属存储网关的元数据缓存单元中的元数据时，将更新过的元数据写入分布式对象文件系统的元数据存储模块，同时反馈所述网络附属存储网关的元数据缓存单元中的元数据以更新的操作结果至客户端。

本发明另一方面提供一种网络附属存储网关，应用于包括多组客户端，多个网络附属存储网关组，及分布式对象文件系统集群的网络数据存储服务系统；每组网络附属存储网关组包括若干网络附属存储网关，每组客户端与一个网络附属存储网关组相连接，多个网络附属存储网关组与所述分布式对象文件系统集群连接；其中，所述分布式对象文件系统集群中存储有网络数据，该分布式对象文件系统集群将其存储的网络数据映射至所述网络附属存储网关组中的网络附属存储网关，以令其缓存该网络数据，，所述网络附属存储网关包括：元数据缓存单元，用于缓存网络数据中元数据；对象缓存单元，用于缓存网络数据中文件数据；操作单元，接收与之绑定的所述客户端发送的网络数据的访问请求；根据所述网络数据的访问请求，执行与该网络数据的访问请求相关联的网络数据管理操作。

本发明又一方面还提供一种网络数据的存储服务系统，所述网络数据的存储服务系统包括多组客户端，多个网络附属存储网关组，及分布式对象文件系统集群的网络数据存储服务系统；每组网络附属存储网关组包括若干网络附属存储网关，每组客户端与一个网络附属存储网关组相连接，多个网络附属存储网关组与所述分布式对象文件系统集群连接；其中，所述分布式对象文件系统集群中存储有网络数据，该分布式对象文件系统集群将其存储的网络数据映射至所述网络附属存储网关组中的网络附属存储网关，以令其缓存该网络数据，。

如上所述，本发明的网络数据的管理方法、网络附属存储网关及存储服务系统，具有以下有益效果：

本发明所述的网络数据的存储服务系统，和基于该存储服务系统的网络数据的管理方法、网络附属存储网关，当NAS网关接收到网络数据的访问请求时，并不是直接访问分布式对象文件系统数据，而是通过高性能缓存和元数据缓存来提升客户端的访问性能。因此，本发明有效实现了将分布式对象文件系统映射为NAS存储，在确保存储高可靠性、高可扩展性的同时，实现了NAS存储的高性能、标准文件存储接口，使得网络文件系统具备很高性能、可靠行和可扩展性。

附图说明

图1显示为本发明的网络数据的存储服务系统于一实施例中的原理结构示意图。

图2显示为本发明的网络数据的管理方法于一实施例中的流程示意图。

图3显示为本发明的与网络数据中文件数据的读取请求相关联的网络数据管理操作的时序流程图。

图4显示为本发明的与网络数据中文件数据的写入请求相关联的网络数据管理操作的时序流程图。

图5A显示为本发明的显示为网络数据中元数据的文件/目录读取操作时序流程图。

图5B显示为本发明的显示为网络数据中元数据的文件/目录修改操作时序流程图。

图6显示为本发明的网络附属存储网关于一实施例中的原理结构示意图。

元件标号说明

1 网络数据的存储服务系统

11 客户端组

12 网络附属存储网关组

13 分布式对象文件系统集群

111A、 客户端

111B、

111C、

112A、

112B、

113A、

113B、

114A、

114B、

114C

121、 网络附属存储网关

122、

123、

124

13A 元数据存储模块

13B 对象存储模块

13C 元数据库

21 元数据缓存单元

22 文件数据缓存单元

23 操作单元

24 高可用管理单元

S1～S10 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例

本实施例提供一种网络数据的存储服务系统，请参阅图1，显示为网络数据的存储服务系统于一实施例中的原理结构示意图。如图1所示，所述网络数据的存储服务系统1包括多组客户端11，多个网络附属存储网关(NAS)组12，及分布式对象文件系统集群13。在本实施例中，每组客户端包括客户端1组，客户端2组，客户端3组，及客户端4组，客户端组11包括客户端111A，111B，111C，客户端2组包括客户端112A和112B，客户端3组包括客户端113A和113B，客户端4组包括客户端114A，114B，和114C。网络附属存储网关组包括网络附属存储网关12包括若干网络附属存储网关121，122，123，124。每组客户端11与一个网络附属存储网关组12相连接，即客户端111A，111B，111C与网络附属存储网关121相连接，客户端112A和112B与网络附属存储网关122相连接，多个网络附属存储网关组12，即网络附属存储网关121，122，123，124与所述分布式对象文件系统集群13连接。在本实施例中，所述分布式对象文件系统集群13中存储有网络数据，该分布式对象文件系统集群13将其存储的网络数据映射至所述网络附属存储网关组12中的网络附属存储网关121，122，123，124，以令其缓存该网络数据。在本时实施例中，所述网络数据包括元数据和文件数据。所述分布式对象文件系统集群1313包括用于存储网络数据中元数据的元数据存储模块13A，用于存储网络数据中文件数据的对象存储模块13B，及与所述元数据存储模块13A连接的用于存储所有元数据的元数据库13C；其中，所述元数据存储模块13A，对象存储模块13B，元数据库13C设置于不同服务器中。因此，分布式对象文件系统集群13也是由不同服务器组成。所述元数据包括数据对象ID，数据对象名称，数据对象类型，存储类型，存储名称，存储服务访问地址，存储访问ID(AccessID)，存储访问值(AccessKey)，数据对象在存储中的路径，数据对象大小，数据对象etag(对象的hash值)，数据对象的状态，数据对象创建时间，数据对象最后修改时间等。所述网络数据的存储服务系统1利用对象存储存放网络数据。基于分布式对象存储集群，可以提供Restful API，上层可实现云盘、文档管理等应用服务。

在本实施例中，所述网络附属存储网关实现了网络文件系统访问协议，包括CIFS/SMB、NFS、FTP、WebDAV、NDMP等协议。NAS网关处理来自客户计算机的文件的访问请求，将随机的读写访问整合，转换到对象存储以数据对象为单位的存取访问；提供高速缓存管理，提升对象存储的访问性能，通过写缓存同步，实现双活网关高可用。

每个所述网络附属存储网关121，122，123，124包括用于缓存网络数据中元数据的元数据缓存单元12A、用于缓存网络数据中文件数据的文件数据缓存单元12B、及与不同虚拟IP地址绑定，并探测该组网络附属存储网关组中每一网络附属存储网关的心跳的高可用管理单元(未予图示)。所述高可用管理单元在两个网关之间相互探测心跳信号，当一个NAS网关下线后，另一个NAS将无法收到对方NAS的心跳信号，另一个NAS网关接管该NAS网关的VIP，继续为客户端提供文件存储服务。

基于所述网络数据的存储服务系统1以下结合图示对本实施例提供的网络数据的管理方法进行详细描述。请参阅图2，显示为网络数据的管理方法于一实施例中的流程示意图。如图2所示，所述网络数据的管理方法具体包括以下几个步骤：

S1，所述网络附属存储网关组接收与之绑定的所述客户端发送的网络数据的访问请求。在本实施例中，所述网络数据包括元数据和文件数据；所述网络数据的访问请求包括：网络数据中文件数据的读取请求、网络数据中文件数据的写入请求、和/或网络数据中元数据的操作请求。

S2，根据所述网络数据的访问请求，执行与该网络数据的访问请求相关联的网络数据管理操作。

于本实施例中，所述网络数据的访问请求为网络数据中文件数据的读取请求时，请参阅图3，显示为与网络数据中文件数据的读取请求相关联的网络数据管理操作的时序流程图。如图3所示，与网络数据的访问请求相关联的网络数据读取操作包括：

S3，待NAS网关接收到源于客户端发送的所述网络数据中文件数据的读取请求后，判断该网络附属存储网关是否已缓存过发送读取请求所要读取的网络数据中文件数据。

S4，若已缓存过，则从所述网络附属存储网关的文件数据缓存单元中读取文件数据，并将读取到的中文件数据反馈至客户端。在本实施例中，所述分布式对象文件系统集群的数据对象内容存储部分支持数据对象内容的随机读取，可以避免第一次读取请求的等待时间。且NAS网关的元数据缓存单元需要实现缓存管理，缓存空间可配置，缓存淘汰算法可以采用包括LRU等算法。

S5，若未缓存过，则将所述网络数据中文件数据的读取请求转发至所述分布式对象文件系统集群的对象存储模块，通过随机访问，获取并下载网络数据中文件数据，缓存已下载的网络数据中文件数据，并将下载的该网络数据的文件数据反馈至所述客户端。

于本实施例中，所述网络数据的访问请求为网络数据中文件数据的写入请求时，请参阅图4，显示为与网络数据中文件数据的写入请求相关联的网络数据管理操作的时序流程图。如图4所示，与所述网络数据中文件数据的写入请求相关联的网络数据写入操作包括：

S6，待NAS网关接收到源于客户端发送的所述网络数据中文件数据的写入请求后，NAS网关打开该网络附属存储网关的文件数据缓存单元，随机将所述网络数据的文件数据写入该文件数据缓存单元，以缓存写入的元数据至文件数据缓存单元，直至该网络数据全部写完。

S7，待该网络数据全部写完，客户端向NAS网关请求关闭文件数据缓存单元，以关闭该网络附属存储网关的文件数据缓存单元，并将写入的文件数据上传至所述分布式对象文件系统集群的对象存储模块；同时，反馈文件数据缓存单元已关闭的信息至所述客户端。

在本实施例中，在将网络数据中文件数据写入到所述网络附属存储网关的文件数据数据缓存单元时，还包括确定所述文件数据的数据缓存单元的缓存空间容量，当缓存空间容量达到预设上限值时，整理缓存空间，淘汰部分以缓存的网络数据的文件数据，释放缓存空间。

于本实施例中，待接收到所述网络数据中元数据的文件/目录操作请求后，执行文件/目录操作，并反馈文件/目录操作的操作结果至所述客户端；其中，所述网络数据中元数据的文件/目录操作请求包括所述网络数据中元数据的文件/目录读取操作请求和所述网络数据中元数据的文件/目录更新请求；所述网络数据中元数据的文件/目录操作包括所述网络数据中元数据的文件/目录读取操作和所述网络数据中元数据的文件/目录修改操作。

所述网络数据中元数据的文件/目录操作请求包括所述网络数据中元数据的文件/目录读取操作请求和所述网络数据中元数据的文件/目录更新请求；所述网络数据中元数据的文件/目录操作包括所述网络数据中元数据的文件/目录读取操作和所述网络数据中元数据的文件/目录修改操作。

当所述网络数据的访问请求为所述网络数据中元数据的文件/目录读取操作请求时，请参阅图5A，显示为网络数据中元数据的文件/目录读取操作时序流程图。如图5A所示，所述网络数据中元数据的文件/目录读取操作包括：

S8，待接收到所述网络数据中元数据的文件/目录读取操作请求后，直接从所述网络附属存储网关的元数据缓存单元中读取元数据，并反馈已读取到的元数据至客户端；

S9，周期性地从所述分布式对象文件系统集群的元数据存储模块读取未缓存在元数据缓存单元中的元数据，以更新其缓存的元数据。在本实施例中，元数据缓存的更新是基于状态一致性的更新，所以读取元数据缓存时，可以通过判断一致性状态判断，决定是否立即启动指定文件或目录的元数据缓存更新。

当所述网络数据的访问请求为所述网络数据中元数据的文件/目录修改操作请求时，请参阅图5B，显示为网络数据中元数据的文件/目录修改操作时序流程图。如图5B所示，所述网络数据中元数据的文件/目录修改操作包括：

S10，当更新所述网络附属存储网关的元数据缓存单元中的元数据时，将更新过的元数据写入分布式对象文件系统集群的元数据存储模块，同时反馈所述网络附属存储网关的元数据缓存单元中的元数据以更新的操作结果至客户端。

本实施例所述的网络数据的存储服务系统，和基于该存储服务系统的网络数据的管理方法，当NAS网关接收到网络数据的访问请求时，并不是直接访问分布式对象文件系统集群数据，而是通过高性能缓存和元数据缓存来提升客户端的访问性能。因此，本发明有效实现了将分布式对象文件系统集群映射为NAS存储，在确保存储高可靠性、高可扩展性的同时，实现了NAS存储的高性能、标准文件存储接口，使得网络文件系统具备很高性能、可靠行和可扩展性。

本实施例还提供一种网络附属存储网关2，请参阅图6，显示为网络附属存储网关于一实施例中的原理结构示意图。如图6所示，具体所述网络附属存储网关2包括：元数据缓存单元21、文件数据缓存单元22、操作单元23、及高可用管理单元24。

元数据缓存单元21用于缓存网络数据中元数据。

文件数据缓存单元22用于缓存网络数据中文件数据。

与所述元数据缓存单元21和文件数据缓存单元22连接的操作单元23用于接收与之绑定的所述客户端发送的网络数据的访问请求；根据所述网络数据的访问请求，执行与该网络数据的访问请求相关联的网络数据管理操作。也就是说，所述操作单元23用于响应响应客户端的元数据查询、更新操作，与分布式对象文件系统集群的元数据模块进行更新、同步；及响应客户端的文件数据读取、更新写入操作，与分布式对象文件系统集群存储的文件数据进行同步和更新。

具体地，所述操作单元23待接收到所述网络数据中文件数据的读取请求后，用于判断该网络附属存储网关是否已缓存过发送读取请求所要读取的网络数据中文件数据；若已缓存过，则从所述网络附属存储网关的文件数据缓存单元读取文件数据数据，并将读取到的文件数据反馈至客户端；若未缓存过，则将所述网络数据中文件数据的读取请求转发至所述分布式对象文件系统集群的对象存储模块，通过随机访问，获取并下载网络数据中文件数据，缓存已下载的网络数据中文件数据，并将该网络数据的中文件数据反馈至所述客户端。

与所述元数据缓存单元21和所述对象缓存单元22连接的操作单元23待接收到所述网络数据中文件数据的写入请求后，用于打开该网络附属存储网关的文件数据缓存单元，随机将所述网络数据的文件数据写入该文件数据缓存单元，以缓存写入的文件数据，直至该网络数据中文件数据全部写完；待该网络数据文件数据全部写完，关闭该网络附属存储网关的文件数据缓存单元，并将写入的文件数据上传至所述分布式对象文件系统集群；同时，反馈文件数据缓存单元已关闭的信息至所述客户端。

所述操作模块23待接收到所述网络数据中元数据的文件/目录操作请求后，执行文件/目录操作，并反馈文件/目录操作的操作结果至所述客户端；其中，所述网络数据中元数据的文件/目录操作请求包括所述网络数据中元数据的文件/目录读取操作请求和所述网络数据中元数据的文件/目录更新请求；所述网络数据中元数据的文件/目录操作包括所述网络数据中元数据的文件/目录读取操作和所述网络数据中元数据的文件/目录修改操作。

其中，所述操作单元23待接收到所述网络数据中元数据的文件/目录读取操作请求后，用于直接从所述网络附属存储网关的元数据缓存单元中读取元数据，并反馈已读取到的元数据至客户端；且周期性地从所述分布式对象文件系统集群的元数据存储模块读取未缓存在元数据缓存单元中的元数据，以更新其缓存的元数据。所述操作单元23当更新所述网络附属存储网关的元数据缓存单元中的元数据时，用于将更新过的元数据写入分布式对象文件系统集群的元数据存储模块，同时反馈所述网络附属存储网关的元数据缓存单元中的元数据以更新的操作结果至客户端。

与所述操作单元23连接的高可用管理单元24用于与不同虚拟IP地址绑定，并探测该组网络附属存储网关组中每一网络附属存储网关的心跳。

综上所述，本发明所述的网络数据的存储服务系统，和基于该存储服务系统的网络数据的管理方法、网络附属存储网关，当NAS网关接收到网络数据的访问请求时，并不是直接访问分布式对象文件系统集群的数据，而是通过高性能缓存和元数据缓存来提升客户端的访问性能。因此，本发明有效实现了将分布式对象文件系统集群映射为NAS存储，在确保存储高可靠性、高可扩展性的同时，实现了NAS存储的高性能、标准文件存储接口，使得网络文件系统具备很高性能、可靠行和可扩展性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。