一种数据存储管理方法及相关组件与流程

本发明涉及分布式存储管理，特别是涉及一种数据存储管理方法及相关组件。

背景技术：

1、支持多协议互访互通的分布式存储系统也称作分布式非结构化融合互通存储系统，其实现了s3(simple storage service，简单存储服务)、nas(network attachedstorage，网络附属存储)和hdfs(hadoop distributed file system，分布式文件系统)协议间的融合互通，支持多协议同时共享一份数据并互访互通，例如，通过nas协议写入的文件，后续可以通过s3或者hdfs协议操作，通过s3写入的数据后续也可以通过nas或者hdfs协议操作。

2、现有技术中，常见的分布式非结构化融合互通存储系统的实现方案主要为，以分布式存储系统为底座，实现s3和nas之间的互访互通。具体的，数据在底层中以文件存储的方式进行存储，但同时接受以s3对象存储的方式进行的数据写入及读取操作，实现依据为建立对象存储与文件存储之间的映射关系，对象存储中的桶实质上即为文件存储中的目录，也即在该映射关系中，把对象存储的用户与文件存储的用户进行映射、把对象存储的桶与文件存储的目录进行映射、把对象存储的对象和文件存储的文件进行映射，实现对象存储和文件存储在用户和存储结构上的映射互通。请参照图1，图1为现有技术中一种分布式非结构化融合互通存储系统的映射关系示意图，在映射关系建立的基础上，实现了权限互通。

3、但是，当前的分布式非结构化融合互通存储系统，其融合互通场景并没有对象存储的元数据池，底层为文件系统，文件系统的元数据保存及管理方式和对象存储完全不同；底座是文件存储方式，仅支持普通文件的上传和下载，向一个桶内上传的同名文件会被覆盖，且对象存储没有回收站功能，即最终与桶对应的底层文件中，同名文件只保存上传的最新版本的文件，这导致一些异常操作发生后，数据无法恢复，给用户带来不便，也导致s3语义功能的缺失。

4、因此，如何提供一种解决上述技术问题的方案是本领域的技术人员目前需要解决的问题。

技术实现思路

1、本发明的目的是提供一种数据存储管理方法及相关组件，在仍以分布式文件存储方式为底座的情况下，实现了身份标识对应的多版本数据存储，避免了同身份标识文件直接覆盖而仅保留最新版本的文件，支持了s3多版本功能；且多版本文件存储的设计对于用户来讲无感知，在便于用户使用的基础上，丰富了非结构化融合互通存储系统的产品功能，提升了产品的易用性及竞争力。

2、为解决上述技术问题，本发明提供了一种数据存储管理方法，应用于分布式非结构化融合互通存储系统，所述数据存储管理方法，包括：

3、获取与待存储数据对应的身份标识；

4、生成此次版本下与所述身份标识对应的唯一版本标识；

5、基于所述身份标识，判断是否存在与所述身份标识对应的、且用于非实际显示的内部多版本汇总文件，所述内部多版本汇总文件中包括至少一个历史版本的实际存储文件；

6、若是，基于所述身份标识及所述唯一版本标识，在所述内部多版本汇总文件中建立新的实际存储文件，以将所述待存储数据存入所述新的实际存储文件；

7、判断是否存在与所述内部多版本汇总文件对应的、且用于实际显示的外部可查看文件；

8、若是，将所述外部可查看文件中存储的最新版本属性信息更改为所述待存储数据对应的存储属性信息。

9、优选的，所述身份标识包括第一桶标识及第一对象标识；

10、在判定不存在与所述身份标识对应的、且用于非实际显示的内部多版本汇总文件时，包括：

11、新建文件名称为所述第一桶标识-所述第一对象标识、且用于非实际显示的内部多版本汇总文件；

12、基于所述第一对象标识及所述唯一版本标识，在所述新建的内部多版本汇总文件中建立当前的实际存储文件，以将所述待存储数据存入所述当前的实际存储文件；

13、新建文件名称为所述第一对象标识、且用于实际显示的外部可查看文件；

14、将所述待存储数据对应的存储属性信息作为最新版本属性信息存入所述新建的外部可查看文件。

15、优选的，所述身份标识包括第一对象标识；所述数据存储管理方法，还包括：

16、确定当前时刻的时刻值；

17、基于所述身份标识及所述唯一版本标识，在所述内部多版本汇总文件中建立新的实际存储文件，包括：

18、在所述内部多版本汇总文件中建立新的实际存储文件；

19、设置所述新的实际存储文件的文件名称为所述时刻值-所述第一对象标识-所述唯一版本标识。

20、优选的，所述内部多版本汇总文件中各所述实际存储文件的排列顺序基于其各自的文件名称中的时刻值确定；

21、所述数据存储管理方法，还包括：

22、获取表征进行多版本数据汇总的列举标识；

23、基于所述列举标识，确定与所述列举标识对应的第一目标内部多版本汇总文件；

24、控制所述第一目标内部多版本汇总文件中所有的实际存储文件输出。

25、优选的，所述内部多版本汇总文件的文件名称基于对应的第二对象标识及存储位置情况确定；所述实际存储文件的文件名称基于所述第二对象标识及对应的唯一版本标识确定；

26、所述数据存储管理方法，还包括：

27、获取表征指定数据版本执行目标处理动作的第一动作对象信息；

28、基于各所述内部多版本汇总文件的文件名称及各所述实际存储文件的文件名称，确定与所述第一动作对象信息对应的目标实际存储文件；

29、对所述目标实际存储文件执行所述目标处理动作。

30、优选的，当所述目标处理动作为删除时；

31、对所述目标实际存储文件执行所述目标处理动作之后，还包括：

32、判断所述目标实际存储文件所属的第二目标内部多版本汇总文件的存储情况是否为空；

33、若是，删除所述第二目标内部多版本汇总文件；

34、删除与所述第二目标内部多版本汇总文件对应的第一目标外部可查看文件。

35、优选的，还包括：

36、获取表征不指定数据版本执行删除动作的删除对象信息；

37、基于各所述内部多版本汇总文件的文件名称，确定与所述删除对象信息对应的第三目标内部多版本汇总文件；

38、在所述第三目标内部多版本汇总文件中建立空版本文件；

39、删除与所述第三目标内部多版本汇总文件对应的第二目标外部可查看文件。

40、优选的，还包括：

41、获取表征不指定数据版本执行下载动作的下载对象信息；

42、基于各所述内部多版本汇总文件的文件名称，确定与所述下载对象信息对应的第三目标外部可查看文件；

43、将基于所述第三目标外部可查看文件中存储的最新版本属性信息定位到的实际存储文件，作为与下载对象信息对应的目标待下载文件。

44、为解决上述技术问题，本发明还提供了一种分布式非结构化融合互通存储系统，包括：

45、存储器，用于存储计算机程序；

46、处理器，用于执行所述计算机程序时实现如上述所述的数据存储管理方法的步骤。

47、为解决上述技术问题，本发明还提供了一种计算机可读存储介质，包括：

48、所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的数据存储管理方法的步骤。

49、本技术提供了一种数据存储管理方法及相关组件，获取与待存储数据对应的身份标识并生成此次版本下对应的唯一版本标识，在判定存在与身份标识对应的内部多版本汇总文件时，在其中进一步建立新的实际存储文件，以将待存储数据存入新的实际存储文件，而对应的内部多版本汇总文件中包括至少一个历史版本的实际存储文件，进而在仍以分布式文件存储方式为底座的情况下，实现了身份标识对应的多版本数据存储，避免了同身份标识文件直接覆盖而仅保留最新版本的文件，避免s3语义功能的缺失，利于异常操作发生的补救处理，支持了s3多版本功能；且在判定存在与该内部多版本汇总文件对应的外部可查看文件时，将外部可查看文件中存储的最新版本属性信息更改为待存储数据对应的存储属性信息，外部可查看文件作为实际显示给用户的文件，内部多版本汇总文件为非实际显示给用户的文件，使得多版本文件存储的设计对于用户来讲无感知，用户感知到的仍为最新版本的文件信息，在便于用户使用的基础上，丰富了非结构化融合互通存储系统的产品功能，提升了产品的易用性及竞争力。