基于对等网络的网络架构的异构存储调度方法与流程

本技术涉及大数据领域，尤其涉及一种基于对等网络的网络架构的异构存储调度方法、基于对等网络的网络架构、设备及存储介质。

背景技术：

1、在数字化转型过程中，数据价值被放大，大数据应用成为现阶段发展的主要方向；其中，针对海量数据的数据存储应用成为目前发展的重点。

2、在现有的数据存储技术中，数据存储应用主要包括：通过云盘存储技术实现中心云和本地设备之间的存储备份，并利用网络实现数据管理；基于p2p网络实现分布式存储，将数据分散在多个节点上，通过分布式算法实现数据的冗余备份和负载均衡。

3、现有技术中，由于云盘存储技术对服务器高度依赖，在服务器的网络接入能力不足或单机性能低时，存在数据备份的延迟和性能下降；同时，不同的本地存储设备和服务器之间的带宽会制约数据存储的效率，在带宽较低时，数据的传输速率会受到限制，从而影响数据的备份效率。在基于p2p网络实现的分布式存储中，文件的重复率取决于上传的文件内容，带宽取决于节点之间的网络连接量和网络拓扑结构，二者皆属于不可控因素，会影响p2p的数据的备份效率；因此在现有的数据存储技术中，存在数据存储效率低的技术问题。

技术实现思路

1、本技术提供一种基于对等网络的网络架构的异构存储调度方法、基于对等网络的网络架构、设备及存储介质，用以解决现有的数据存储技术中存在的数据存储效率低的技术问题。

2、第一方面，本技术提供一种基于对等网络的网络架构，网络架构包括：数据节点和节点管理模块，

3、其中，数据节点包括第一节点和第二节点，第一节点用于对第二节点之间的文件分配以及文件存储进行管理；

4、节点管理模块，用于基于第二节点的节点特征确定第二节点的目标业务分组，基于第二节点特征和目标业务分组对第二节点进行分组并确定对应的目标第一节点，并调整第二节点通信的网络服务质量策略。

5、可选地，第一节点包括云存储服务器和资源索引服务器，

6、其中，资源索引服务器，用于建立并更新文件索引，以及建立文件的分组；

7、云存储服务器，用于对文件进行云端存储，以及根据第二节点之间的网络关系确定文件在第二节点之间的分配原则，并基于分配原则完成文件分配。

8、可选地，节点管理模块包括：节点管理单元、业务管理单元以及网络管理单元，

9、业务管理单元，用于基于第二节点的节点特征对确定第二节点的目标业务分组；

10、节点管理单元，用于基于第二节点的节点特征以及第二节点所属的目标业务分组对第二节点进行分组并确定第二节点对应的目标第一节点；

11、网络管理单元，用于调整第二节点和第一节点之间的网络服务质量策略。

12、第二方面，本技术提供了一种基于对等网络的网络架构的异构存储调度方法，基于第一方面任一项的基于对等网络的网络架构进行异构存储调度，方法包括：

13、在基于对等网络的网络架构中的第二节点符合第一预设条件时，获取第二节点的注册请求，并基于节点管理单元和业务管理单元确定第二节点的目标业务分组，并为第二节点分配对应的第一节点；

14、在第二节点发起文件上传请求时，获取第二节点的备份文件，并基于资源索引服务器和云存储服务器确定备份文件的分块，并对分块进行分配和存储；

15、在第二节点发起文件下载请求时，基于资源索引服务器，获取下载请求对应的下载文件的文件标识以及对应的节点网址列表，基于节点网址列表获取下载文件对应的分块，并将分块发送至第二节点。

16、可选地，基于节点管理单元和业务管理单元确定第二节点的目标业务分组，并为第二节点分配对应的第一节点，包括：

17、基于节点管理单元获取第二节点的节点特征，并将节点特征发送至业务管理单元；

18、基于业务管理单元分析第二节点的节点特征，并确定第二节点对应的目标业务分组，将第二节点的节点特征和目标业务分组发送至节点管理单元；

19、基于节点管理单元和目标业务分组给第二节点分配对应的第一节点，将第二节点新增至第一节点的节点索引中，并将需要第二节点存储的子节点索引发送至第二节点。

20、可选地，基于节点管理单元和目标业务分组给第二节点分配对应的第一节点，包括：

21、在目标业务分组中的第一节点的数量大于预设阈值时，获取第一节点的负荷率，并确定负荷率列表；

22、基于负荷率列表依照负荷率递增的方式为第二节点分配第一节点，并判断第一节点和第二节点之间的网络关系是否符合第二预设条件，若是，

23、则基于负荷率列表依照负荷率递增的方式将第一节点更换为下一个第一节点。

24、可选地，在第二节点发起文件上传请求时，获取第二节点的备份文件，并基于资源索引服务器和云存储服务器确定备份文件的分块，并对分块进行分配和存储，包括：

25、在第二节点发起文件上传请求时，基于云存储服务器获取资源索引服务器中第二节点对应的节点索引；

26、基于节点索引获取节点索引中的节点数量，并基于节点数量确定预设分割数量；

27、基于预设分割数量将备份文件分割为符合预设数量的分块，并将分块按照一一对应的方式发送至节点索引对应的所有第二节点以及第二节点对应的第一节点进行存储。

28、可选地，在第二节点发起文件下载请求时，基于资源索引服务器，获取下载请求对应的下载文件的文件标识以及对应的节点网址列表，基于节点网址列表获取下载文件对应的分块，并将分块发送至第二节点，包括：

29、在第二节点发起文件下载请求时，基于第二节点将文件下载请求发送至第二节点对应的第一节点的资源索引服务器，基于资源索引服务器解析下载请求对应的下载文件，并获取文件标识；

30、基于资源索引服务器将文件标识发送至云存储服务器，并基于云存储服务器获取下载文件的存储信息，基于存储信息将目标第二节点和云存储服务器中的分块发送至第二节点。

31、可选地，在基于资源索引服务器将文件标识发送至云存储服务器之前，还包括：

32、基于资源索引服务器获取存储了文件标识的的所有节点网址，并确定为节点网址列表，将节点网址列表和开始传输信息发送至网络管理单元；

33、基于网络管理单元维护节点网址列表中所有目标第二节点和目标第二节点对应的第一节点之间的网络服务质量策略。

34、可选地，在基于存储信息将目标第二节点和云存储服务器中的分块发送至第二节点之后，还包括：

35、基于第二节点将分块合并为目标下载文件，并将文件下载完毕信息发送至资源索引服务器；

36、基于资源索引服务器将节点网址列表和文件传输完毕信息发送至网络管理单元；

37、基于网络管理单元重置节点网址列表中所有目标第二节点和目标第二节点对应的第一节点之间的网络服务质量策略。

38、第三方面，本技术提供一种基于对等网络的网络架构的异构存储调度设备，基于对等网络的网络架构包括：数据节点和节点管理模块，其中，数据节点包括第一节点和第二节点，异构存储调度设备包括：

39、获取模块，用于在基于对等网络的网络架构中的第二节点符合第一预设条件时，获取第二节点的注册请求，并基于节点管理单元和业务管理单元确定第二节点的目标业务分组，并为第二节点分配对应的第一节点；

40、第一处理模块，用于在第二节点发起文件上传请求时，获取第二节点的备份文件，并基于资源索引服务器和云存储服务器确定备份文件的分块，并对分块进行分配和存储；

41、第二处理模块，用于在第二节点发起文件下载请求时，基于资源索引服务器，获取下载请求对应的下载文件的文件标识以及对应的节点网址列表，基于节点网址列表获取下载文件对应的分块，并将分块发送至第二节点。

42、可选地，该设备还用于：

43、基于节点管理单元获取第二节点的节点特征，并将节点特征发送至业务管理单元；

44、基于业务管理单元分析第二节点的节点特征，并确定第二节点对应的目标业务分组，将第二节点的节点特征和目标业务分组发送至节点管理单元；

45、基于节点管理单元和目标业务分组给第二节点分配对应的第一节点，将第二节点新增至第一节点的节点索引中，并将需要第二节点存储的子节点索引发送至第二节点。

46、可选地，该设备还用于：

47、在目标业务分组中的第一节点的数量大于预设阈值时，获取第一节点的负荷率，并确定负荷率列表；

48、基于负荷率列表依照负荷率递增的方式为第二节点分配第一节点，并判断第一节点和第二节点之间的网络关系是否符合第二预设条件，若是，

49、则基于负荷率列表依照负荷率递增的方式将第一节点更换为下一个第一节点。

50、可选地，该设备还用于：

51、基于云存储服务器获取资源索引服务器中第二节点对应的节点索引；

52、基于节点索引获取节点索引中的节点数量，并基于节点数量确定预设分割数量；

53、基于预设分割数量将备份文件分割为符合预设数量的分块，并将分块按照一一对应的方式发送至节点索引对应的所有第二节点以及第二节点对应的第一节点进行存储。

54、可选地，该设备还用于：

55、在第二节点发起文件下载请求时，基于第二节点将文件下载请求发送至第二节点对应的第一节点的资源索引服务器，基于资源索引服务器解析下载请求对应的下载文件，并获取文件标识；

56、基于资源索引服务器将文件标识发送至云存储服务器，并基于云存储服务器获取下载文件的存储信息，基于存储信息将目标第二节点和云存储服务器中的分块发送至第二节点。

57、可选地，该设备还用于：

58、基于资源索引服务器获取存储了文件标识的的所有节点网址，并确定为节点网址列表，将节点网址列表和开始传输信息发送至网络管理单元；

59、基于网络管理单元维护节点网址列表中所有目标第二节点和目标第二节点对应的第一节点之间的网络服务质量策略。

60、可选地，该设备还用于：

61、基于第二节点将分块合并为目标下载文件，并将文件下载完毕信息发送至资源索引服务器；

62、基于资源索引服务器将节点网址列表和文件传输完毕信息发送至网络管理单元；

63、基于网络管理单元重置节点网址列表中所有目标第二节点和目标第二节点对应的第一节点之间的网络服务质量策略。

64、本技术的第四方面，提供了一种基于对等网络的网络架构的异构存储调度设备，包括：

65、处理器和存储器；

66、存储器存储计算机执行指令；

67、处理器执行存储器存储的计算机执行指令，使得基于对等网络的网络架构的异构存储调度设备执行第二方面中任一项的基于对等网络的网络架构的异构存储调度方法。

68、第五方面，本技术提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第二方面中任一项的基于对等网络的网络架构的异构存储调度方法。

69、本技术提供的一种基于对等网络的网络架构、基于对等网络的网络架构的异构存储调度方法、设备和存储介质。网络架构包括：数据节点和节点管理模块，方法包括：在基于对等网络的网络架构中的第二节点符合第一预设条件时，获取第二节点的注册请求，并基于节点管理单元和业务管理单元确定第二节点的目标业务分组，并为第二节点分配对应的第一节点；在第二节点发起文件上传请求时，获取第二节点的备份文件，并基于资源索引服务器和云存储服务器确定备份文件的分块，并对分块进行分配和存储；在第二节点发起文件下载请求时，基于资源索引服务器，获取下载请求对应的下载文件的文件标识以及对应的节点网址列表，基于节点网址列表获取下载文件对应的分块，并将分块发送至第二节点。通过获取第二节点的节点特征，并基于节点特征对第二节点进行分组，并给第二节点分配第一节点，从而利用第一节点进行第二节点的管理；利用第一节点对第二节点的注册请求文件上传请求、文件下载请求进行处理，并结合节点管理模块实现第一节点和第二节点之间网络服务质量策略的调整；从而提升节点之间文件的上传以及下载的数据传输效率，并根据第二节点的业务分组对第二节点进行分组管理，利用第一节点之间的互联可以实现大范围存储网络的构建；和现有技术相比，本技术通过调整第一节点和第二节点之间的网络服务质量策略，保障了节点之间通信的速率和稳定性，通过第二节点分组的形式，实现第二节点的高效管理；从而实现了提升数据存储效率的技术效果。