一种基于SDN的分布式存储数据中心网络及读取复制方法与流程

本发明主要涉及一种基于sdn的分布式存储数据中心网络及读取复制方法。

背景技术：

1、随着互联网行业的发展，人们对存储的需求越来越大，采用集中式的存储成为数据中心系统的瓶颈，不能满足大规模存储应用的需要。受益于服务器技术的发展和成熟，与标准服务器的分布式存储开始出现，分布式存储开始被广泛的应用起来。分布式存储就是将数据分散存储到多个存储服务器上，并将这些分散的存储资源构成一个虚拟的存储设备，实际上数据分散的存储在各个角落。分布式存储的好处是提高了系统的可靠性、可用性和存取效率，还易于扩展。

2、分布式存储系统是建立在网络上的软件系统，因此分布式存储网络对分布式存储数据的分布、高效传输有重大的影响。在特定的场景下，如突发的大量数据读写、有故障节点时的数据恢复工作、新增节点时的负载均衡操作时，需要完成大量数据短时间内在网络中进行传输，往往容易成为分布式存储系统性能的瓶颈，影响系统的读写性能。

技术实现思路

1、针对分布式存储系统可能出现的网络瓶颈，本发明旨在提出一种基于sdn的分布式存储数据中心网络及读取复制方法，基于sdn控制器对网络和存储服务器状态的感知，将存储数据读写复制按传输场景进行分类，创建分布式存储专属虚拟网络，提供数据传输qos保障服务，提高数据读写的传输效率。

2、为了达成上述目的，本发明的解决方案是：

3、一种基于sdn的分布式存储数据中心网络，所述分布式存储数据中心采用sdn网络架构模式部署，包括控制平面、数据转发平面以及分布式存储节点资源池；

4、所述控制平面上层构建分布式存储感知网络系统，利用sdn控制器对数据转发平面上的sdn交换机以及分布式存储节点资源池中的存储节点进行控制和管理。

5、进一步地，所述分布式存储感知网络系统包括网络资源感知单元、链路状态感知单元和分布式存储网络状态可视化单元；其中，所述网络资源感知单元利用sdn控制器感知分布式存储节点资源池的实时变化，所述实时变化包括拓扑信息和存储节点的变化；所述链路状态感知单元利用sdn控制器对链路带宽、时延、丢包率、抖动指标以及数据传输流量进行实时监控；所述分布式存储网络状态可视化单元将当前网络状态以可视化图、表的方式进行展示。

6、进一步地，所述拓扑信息的变化包括新增存储节点和下架故障节点时的变化。

7、一种基于上述分布式存储数据中心的数据读取与复制方法，该方法包括：

8、对不同的存储数据传输场景进行分类标记，分为数据读取类、数据写入类、数据写入复制类、新增节点时数据复制类、故障节点时数据复制类；

9、按上述分类，在控制平面创建存储专属虚拟网络，为数据读取、复制提供网络服务质量保障。

10、进一步地，所述存储专属虚拟网络的创建，以保障存储节点间负载均衡为前提，选择最优存储节点和网络路径。

11、进一步地，在规划专属虚拟网络和选取最佳节点、最佳链路后，调用sdn控制器对相关链路上的交换设备做对应流表下发操作，完成分布式存储专属虚拟网络实体创建；

12、同时，分布式存储感知网络系统还以存储专属虚拟网络为单位，监控存储专属虚拟网络的实时数据传输状态，确认qos保障效果，以对存储专属虚拟网络的参数进行调整。

13、进一步地，最优存储节点和网络路径的选择具体为：

14、1)设置衡量存储节点服务器负载的指标以及相应的权重，所述指标包括：服务器cpu、内存、磁盘剩余空间、磁盘io、网络io；

15、2)对步骤1)中各指标做标准化处理后，对各存储节点服务器负载的权值进行计算：

16、w1＝α*c+β*r+γ*d+δ*dio+ε*nio

17、其中，w1表示服务器负载的权值，c、r、d、dio、nio分别为服务器cpu、内存、磁盘剩余空间、磁盘io、网络io的标准化处理结果，α、β、γ、δ、ε分别为服务器cpu、内存、磁盘剩余空间、磁盘io、网络io的权重，α+β+γ+δ+ε＝1，γ≥δ≥ε＞α＞β；

18、3)通过步骤2)中权值的计算，获取服务器负载权值的排序，取服务器负载权值最低的2n个存储节点作为备选节点；其中，n为副本数；

19、4)设置衡量链路状态信息的指标以及相应的权重，所述指标包括：存储节点服务器负载、可用带宽、带宽利用率、丢包率、时延信息；

20、5)对步骤4)中各指标做标准化处理后，对通向备选节点的各链路的权值进行计算：

21、w2＝a*a-b*p-c*l-d*t-e*s

22、其中，w2表示链路的权值，s、a、p、l、t分别为存储节点服务器负载、可用带宽、带宽利用率、丢包率、时延信息的标准化处理结果，a、b、c、d、e分别为存储节点服务器负载、可用带宽、带宽利用率、丢包率、时延信息的权重，a+b+c+d+e＝1，e>d>a>b>c；

23、6)通过步骤5)中权值的计算，获取各链路的权值的排序，取权值最高且通向备选节点数量等于n链路作为最优路径，最优路径通向的备选节点即为最优节点。

24、一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如上所述的数据读取与复制方法。

25、一种电子设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述的数据读取与复制方法的指令。

26、本发明与现有技术相比，其显著优点是：本发明基于sdn控制器对网络和存储服务器状态的感知，将存储数据读写复制按传输场景进行分类，创建分布式存储专属虚拟网络，按需进行节点选择和路径规划，保障关键存储数据的网络传输质量保障，均衡链路负载，避免后续更多复杂的负载均衡保障处理，提高数据传输效率，同时降低存储系统设计的复杂度。

技术特征：

1.一种基于sdn的分布式存储数据中心网络，其特征在于，所述分布式存储数据中心采用sdn网络架构模式部署，包括控制平面、数据转发平面以及分布式存储节点资源池；

2.根据权利要求1所述的一种基于sdn的分布式存储数据中心网络，其特征在于，所述分布式存储感知网络系统包括网络资源感知单元、链路状态感知单元和分布式存储网络状态可视化单元；其中，所述网络资源感知单元利用sdn控制器感知分布式存储节点资源池的实时变化，所述实时变化包括拓扑信息和存储节点的变化；所述链路状态感知单元利用sdn控制器对链路带宽、时延、丢包率、抖动指标以及数据传输流量进行实时监控；所述分布式存储网络状态可视化单元将当前网络状态以可视化图、表的方式进行展示。

3.根据权利要求1所述的一种基于sdn的分布式存储数据中心网络，其特征在于，所述拓扑信息的变化包括新增存储节点和下架故障节点时的变化。

4.基于权利要求1所述的分布式存储数据中心的数据读取与复制方法，其特征在于，该方法包括：

5.根据权利要求4所述的数据读取与复制方法，其特征在于，所述存储专属虚拟网络的创建，以保障存储节点间负载均衡为前提，选择最优存储节点和网络路径。

6.根据权利要求4所述的数据读取与复制方法，其特征在于，在规划专属虚拟网络和选取最佳节点、最佳链路后，调用sdn控制器对相关链路上的交换设备做对应流表下发操作，完成分布式存储专属虚拟网络实体创建；

7.根据权利要求4所述的数据读取与复制方法，其特征在于，最优存储节点和网络路径的选择具体为：

8.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，其特征在于，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求4至7中任一所述的方法。

9.一种电子设备，其特征在于，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求4至7中任一所述方法的指令。

技术总结
本发明公开了一种基于SDN的分布式存储数据中心网络及读取复制方法，基于SDN控制器对网络和存储服务器状态的感知，将存储数据读写复制按传输场景进行分类，创建分布式存储专属虚拟网络，提供数据传输QoS保障服务，提高数据读写的传输效率。

技术研发人员：颜友军,程雯,崔恒香,何杰,史煜凯,魏亮
受保护的技术使用者：江苏省未来网络创新研究院
技术研发日：
技术公布日：2024/3/31