弱连接机动环境下跨节点数据单元多副本管理方法与流程

本发明涉及数据虚拟化管理技术，特别是涉及一种应用于弱连接机动环境下跨节点数据单元多副本管理方法。

背景技术：

1、副本技术可以提高数据的访问效率，增强数据的可用性，但是多副本之间数据复制频率高、数据更新量大、不恰当的副本组织结构会恶化局部通信网络，增加网络通信时延、降低网络性能，还会增加副本管理难度。目前，副本创建策略的研究主要集中在静态创建策略、基于热点访问副本创建以及基于用户历史访问记录统计，这些副本创建策略都忽略存储系统内部运行状态对用户副本数据的影响。机动信息服务中心的运行特征表现为：数据处理流量大、网络结构复杂以及网络关键节点负载压力大。另外，数据访问特征差异很大，访问热点副本不断发生转移。不恰当的副本放置会造成某些通信链路负载较大，造成网络阻塞。

2、机动信息服务中心的数据可靠性保障主要通过多副本技术实现。釆用多副本技术，数据需要在多个数据节点中复制。不同数据节点的副本拷贝一般需要通过网络进行，这样会增加一致性处理时延。不恰当的副本一致性维护策略一定程度上会对qos造成比较大的负面影响。在实际的副本处理中，由于副本节点在不同时刻任务负载相差较大。对同一数据更新任务设定相同的一致性副本数量，系统处理完成的时间不尽相同。所以，影响响应时间的主要因素为存储结果响应前的一致性副本数量。但一致性处理时间与副本数量不是简单的线性管理。考虑到实际副本系统负载情况，副本的一致性处理应该在保障数据基本可靠性的基础上，能够自适应地根据系统负载动态的调整一致性程度来优化系统对用户数据存储的响应时间。

技术实现思路

1、本发明的目的是克服现有技术的缺陷，提供一种弱连接机动环境下跨节点数据单元多副本管理方法，通过基于临近特征的副本创建策略和基于qos的副本一致性策略，解决多节点机动信息服务中心的高效访问和高可靠存储问题。

2、为了解决上述技术问题，本发明提供一种弱连接机动环境下跨节点数据单元多副本管理方法，包括以下步骤：

3、(1)副本创建步骤，具体包括：

4、(1a)固定节点选择：按照多节点机动信息服务中心运行状况，系统选择若干存储区域，并在存储区域中指定相应的副本创建的固定节点；

5、(1b)计算固定节点副本组邻近程度：固定节点发送邻域探测请求并接受相应响应信息，通过逐步扩大邻域探测范围计算出固定节点邻域内副本组邻近程度；

6、(1c)副本节点选定及副本创建初始化：对比固定节点邻域副本组邻近程度，选定邻近程度最低的组作为最终的副本初始化组，并完成响应的副本节点的初始化过程，将相关元数据存储至元数据管理节点；

7、(2)副本一致性维护处理步骤。

8、进一步地，所述步骤(1b)具体包括：

9、固定节点选择：按照多节点机动信息服务中心运行状况，系统选择若干存储区域，并在存储区域中指定相应的副本创建的固定节点。

10、固定节点领域副本组邻近程度计算：固定节点发送邻域探测请求并接受相应响应信息；固定节点通过逐步扩大邻域探测范围计算出固定节点邻域内副本组邻近程度；

11、副本节点选定及副本创建初始化：对比固定节点邻域副本组邻近程度，选定邻近程度最低的组作为最终的副本初始化组，并完成相应的副本节点的初始化过程，将相关元数据存储至元数据管理节点。

12、更进一步地，所述步骤(2)具体包括：

13、(2a)通过用户对任务的恰当的qos需求的描述实现保证存储初始阶段qos；

14、(2b)在系统中设置用户响应时间tuserresponse，用户容忍时间tuserout，系统最大超时时间tsysout时，副本数据达到最小一致性的副本数量min和系统需要完成的最终副本的副本数量sum，且0tuserresponse＜tuserout；在保证数据最低可靠性的基础上，在tuserresponse时间范围内，机动信息服务中心一直在增加—致性副本数量；当处于tuserresponse至min{tuserout,tsysout}的时间范围内，达到最小的一致性的副本数量min时，就返回存储结果；若是在任务最大超时时间tsysout范围内仍然无法达到最小可靠性的副本，就返回存储失败信息；

15、当任务设置tuserout＝+∞和min＝sum时，副本的一致性维护策略转变为强一致副本维护策略；此时副本系统的所有副本都达到数据一致后，才会给用户输出数据处理成功结果；当在系统最大超时时间tsysout内，无法完成所有副本的一致性操作才会返回处理失败；当用户将存储任务处理参数设置tuserout＝0和min＝0时，表示采用最终一致性维护策略，在用户存储任务到达系统立刻返回任务接收成功结果。

16、相较于现有技术，本发明的有益效果在于：

17、本发明的副本管理方法，通过副本创建步骤和副本一致性维护步骤的优化设计，解决了多节点机动信息服务中心数据的高效访问和高可靠存储问题；

18、基于临近特征的副本创建策略，根据节点网络拓扑的临近特征进行副本节点的选择和创建，进而减少副本更新过程数据传输范围，避免数据副本间相互通信而造成对数据链路的长时间占用；

19、基于qos的副本一致性策略，在保证响应时间的基础上，动态自适应调整需要完成的一致性副本的操作的数量，在用户容忍时间范围内尽可能的完成更多的副本一致性处理，能满足不同的存储qos需求。

技术特征：

1.一种弱连接机动环境下跨节点数据单元多副本管理方法，包括以下步骤：

2.根据权利要求1所述的弱连接机动环境下跨节点数据单元多副本管理方法，其特征在于，所述步骤(1b)具体包括：

3.根据权利要求2所述的弱连接机动环境下跨节点数据单元多副本管理方法，其特征在于，所述步骤(1b)还包括：

4.根据权利要求3所述的弱连接机动环境下跨节点数据单元多副本管理方法，其特征在于，所述步骤(1b)还包括：副本节点选定及副本创建初始化：对比固定节点邻域副本组邻近程度，选定邻近程度最低的组作为最终的副本初始化组，并完成相应的副本节点的初始化过程，将相关元数据存储至元数据管理节点。

5.根据权利要求1所述的弱连接机动环境下跨节点数据单元多副本管理方法，其特征在于，所述步骤(2)具体包括：

6.根据权利要求5所述的弱连接机动环境下跨节点数据单元多副本管理方法，其特征在于：当任务设置tuserout＝+∞和min＝sum时，副本的一致性维护策略转变为强一致副本维护策略；此时副本系统的所有副本都达到数据一致后，才会给用户输出数据处理成功结果；当在系统最大超时时间tsysout内，无法完成所有副本的一致性操作才会返回处理失败；当用户将存储任务处理参数设置tuserout＝0和min＝0时，表示采用最终一致性维护策略，在用户存储任务到达系统立刻返回任务接收成功结果。

技术总结
本发明涉及数据虚拟化管理技术，特别是涉及一种应用于弱连接机动环境下跨节点数据单元多副本管理方法。通过基于临近特征的副本创建策略和基于QoS的副本一致性策略，解决多节点机动信息服务中心的高效访问和高可靠存储问题。其中，副本创建的步骤包括：固定节点选择；计算固定节点副本组邻近程度；副本节点选定及副本创建初始化。本发明根据节点网络拓扑的临近特征进行副本节点的选择和创建，减少了副本更新过程数据传输范围，避免数据副本间相互通信而造成对数据链路的长时间占用。满足了机动边缘网络环境下，解决多节点机动信息服务中心的高效访问和高可靠存储问题。

技术研发人员：李子星,李武刚,张浩港,万端胜
受保护的技术使用者：霖济智云科技（苏州）有限公司
技术研发日：
技术公布日：2024/1/15