一种基于存储节点状态感知的动态云数据副本管理方法与流程

本发明属于云数据存储，具体涉及一种基于存储节点状态感知的动态云数据副本管理方法、系统、电子设备。

背景技术：

1、数据副本策略对分布式云存储系统的可用性和可靠性至关重要。在机动环境下，由于单节点可用性低，资源有限等特征，利用移动节点构造分布式云存储系统，能够提供灵活的数据存储服务。在移动分布式存储系统中，由于节点的资源异构且有限，节点所处的网络环境恶劣，现有的在固定环境下的数据副本冗余策略难以直接应用。因此，如何以低代价的方式实现高可靠的存储是移动分布式存储系统面临的首要难题。

2、数据副本策略分为静态副本策略和动态副本策略。静态副本策略是在预设数据副本数量下，通过优化算法来决策副本放置位置，以提高文件可用性、均衡存储节点负载、提高访问速率等。hadoop distributed file system(hdfs)和google file system(gfs)都默认文件副本数为3，并通过round-robin算法来为每个数据节点上的数据选择存储磁盘。静态副本策略是在分布式存储系统为同构的前提下实现负载均衡。而分布式存储系统中存储资源的和数据访问往往是异构的，故动态副本策略相继提出。动态副本策略依据文件访问特征、用户需求和存储空间等因素周期性地调整文件的副本数量，更有效地提高云存储系统的性能，减少文件的响应时间，为用户提供高质量的存储服务。而在移动环境下，由于存储数据节点的动态性以及所处环境的复杂性，显著降低节点的可用性，因此数据可用性是移动分布式存储系统的更重要指标。针对移动环境下分布式存储系统的数据副本策略，姜春茂等人[9]针对单个节点能耗大、可用性低的问题，提出了考虑存储负载和并行传输，提出了一种适合移动节点的数据分布策略。

3、在移动云存储环境中，影响数据节点可用的因素包括基础资源环境因素和网络资源环境因素。而现有的关于分布式存储系统在动态副本策略中所考虑的数据可用性主要关注节点自身的故障，缺乏考虑对节点移动性以及所处的通信环境对数据节点可用性的影响。除此之外，数据的动态副本策略在动态调整副本时需要额外传输大量数据。频繁的数据传输会造成巨大的网络开销，这对于通信环境复杂，节点资源受限的移动分布式数据存储系统而言，更是不可接受。基于此，本发明提出了一种基于存储节点状态感知的动态云数据副本管理方法。

技术实现思路

1、为了解决现有技术中的上述问题，即为了解决现有数据副本策略没有考虑在移动云存储环境中节点移动性、节点可用性，而且在动态调整副本时需要频发传输大量数据，造成节点负载不均衡，进而导致移动分布式云存储系统的可用度不稳定、存储效率以及性能较低的问题，本发明提出了一种基于存储节点状态感知的动态云数据副本管理方法，应用于移动分布式云存储系统，该方法包括：

2、获取所述移动分布式云存储系统中各移动节点的基础资源环境因素、网络资源环境因素，作为输入数据；

3、基于所述输入数据，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度；所述基于状态感知的服务可用性评估模型为基于预设的基础资源环境因素、网络资源环境因素以及各因素对应的可用度的权重，计算移动节点的可用度的模型；

4、根据各移动节点的可用度，计算在当前时间周期内各数据块的可用度；

5、基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除。

6、在一些优选的实施方式中，所述基础资源环境因素包括移动节点的计算能力、存储能力、电源能力；所述网络资源环境因素包括带宽、时延率、节点连通性、节点移动性；

7、在一些优选的实施方式中，移动节点的计算能力，其获取方法为：

8、

9、其中，f11表示移动节点的计算能力，ωl表示设定的常数，li表示第i个移动节点的已用磁盘空间的大小，lm表示在不降低性能的条件下，第i个移动节点的磁盘空间负载的最大值。

10、在一些优选的实施方式中，移动节点的存储能力，其获取方法为：

11、

12、其中，f12表示移动节点的存储能力，ωp表示设定的常数，pi表示第i个移动节点的并发访问次数，lm表示在不降低性能的条件下，第i个移动节点的并发访问次数的最大值。

13、在一些优选的实施方式中，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度，其方法为：

14、

15、其中，rn表示移动节节点的可用度，wij为通过两层的层次分析法进行确定的相应因素fij可用度的权重，代表了该因素对移动节点可用度的影响程度，且

16、在一些优选的实施方式中，计算在当前时间周期内各数据块的可用度，其方法为：

17、

18、其中，rd表示数据块的可用度。

19、在一些优选的实施方式中，基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除，其方法为：

20、若当前时间周期内数据块的可用度低于设定的低可用度阈值，则在关键节点中选取可用度最大的移动节点，对数据副本进行数据写入；所述关键节点为度大于设定的度阈值的移动节点；

21、若当前时间周期内数据块的可用度高于设定的高可用度阈值，则在该数据块所有副本中选择最小可用度的移动节点，对数据副本进行数据删除。

22、本发明的第二方面，提出了一种基于存储节点状态感知的动态云数据副本管理系统，该系统包括：数据获取模块、节点可用度计算模块、数据块可用度计算模块、数据副本选取模块；

23、所述数据获取模块，配置为获取所述移动分布式云存储系统中各移动节点的基础资源环境因素、网络资源环境因素，作为输入数据；

24、所述节点可用度计算模块，配置为基于所述输入数据，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度；所述基于状态感知的服务可用性评估模型为基于预设的基础资源环境因素、网络资源环境因素以及各因素对应的可用度的权重，计算移动节点的可用度的模型；

25、所述数据块可用度计算模块，配置为根据各移动节点的可用度，计算在当前时间周期内各数据块的可用度；

26、所述数据副本选取模块，配置为基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除。

27、本发明的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于存储节点状态感知的动态云数据副本管理方法。

28、本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于存储节点状态感知的动态云数据副本管理方法。

29、本发明的有益效果：

30、本发明提高移动分布式云存储系统的可用性，提升了存储效率以及存储性能。

31、本发明从移动节点的基础资源环境因素和网络资源环境因素两个方面对节点的可用度进行评估。通过选择高可用的节点进行数据存储。在对数据进行副本复制时，同样选择高可用的节点进行存储。针对动态变化的网络环境，周期性地对数据可用性进行评估。对于低可用的数据进行副本复制，对于高可用的数据进行副本删除。由于数据可用性随网络环境的变化而频繁变化，为避免频繁的数据操作，本发明增大节点可用性的区分度，且对于一个周期的数据可用性评估，只对节点进行一次最优操作，即将节点可用度最低的副本删除，或向节点可用度最高的节点复制副本，能够显著提高分布式云存储系统的可用性。