一种远程监控流量融合负载的计算方法与流程

1.本发明涉及视频监控技术领域，具体为一种远程监控流量融合负载的计算方法。


背景技术：

2.大数据时代，分布式存储系统是应对数据激增的一种有效方式，系统的负载均衡极大的影响着分布式存储系统的性能，现有负载均衡策略基本上都会产生保存数据存储位置的索引元数据，这极大的影响了分布式存储系统的性能和可扩展性，在视频监控场景下，写请求的数据需要切片后保存，产生的大量索引元数据会导致大量存储空间浪费；同时目前现有的网络节点流量负载均衡控制方法控制效果不够明显，在实际应用中平均传输时延较大，已经无法满足网络节点流量负载均衡控制需求。因此，设计提高系统整体性能和提升负载均衡效果的一种远程监控流量融合负载的计算方法是很有必要的。


技术实现要素：

3.本发明的目的在于提供一种远程监控流量融合负载的计算方法，以解决上述背景技术中提出的问题。
4.为了解决上述技术问题，本发明提供如下技术方案：一种远程监控流量融合负载的计算方法，该方法包括：
5.在视频监控场景信息中采用负载分配算法，并对算法中的哈希环进行初始化操作；
6.对系统的读写请求进行分配；
7.对视频监控场景信息存储中所有服务器的负载进行等级判断；
8.当服务器个数发生变化时对虚拟节点进行相应操作。
9.根据上述技术方案，所述在视频监控场景信息中采用负载分配算法，并对算法中的哈希环进行初始化操作的步骤包括：
10.收集视频监控分布式存储内容中所有服务器的配置信息；
11.对服务器进行分组；
12.通过哈希随机法进行哈希环的初始化。
13.根据上述技术方案，所述对系统的读写请求进行分配包括：将读写请求分配给负载最轻的服务器。
14.根据上述技术方案，所述对视频监控场景信息存储中所有服务器的负载进行等级判断的步骤包括：
15.计算服务器的负载值；
16.根据设定的阈值判断负载等级。
17.根据上述技术方案，所述当服务器个数发生变化时对虚拟节点进行相应操作包括：当服务器宕机时，将丢失数据恢复为副本或者调整异常组对应虚拟节点的状态值。
18.根据上述技术方案，所述一种远程监控流量融合负载的计算系统，该系统包括：
19.负载分配初始化模块，用于对信息进行初始化操作；
20.负载均衡模块，用于实现服务器的负载均衡。
21.根据上述技术方案，所述负载分配初始化模块包括：
22.信息收集模块，用于收集视频监控信息；
23.服务器分组模块，用于对服务器进行分组；
24.哈希环初始化模块，用于对哈希环进行初始化操作。
25.根据上述技术方案，所述负载均衡模块包括：
26.读写请求分配模块，用于对读写请求进行分配；
27.负载值计算模块，用于计算服务器的负载值；
28.等级判断模块，用于判断服务器的负载等级；
29.异常处理模块，用于对异常情况进行处理。
30.与现有技术相比，本发明所达到的有益效果是：本发明，通过设置有负载分配初始化模块和负载均衡模块，在视频监控场景信息中采用负载分配算法，并对算法中的哈希环进行初始化操作；通过md5哈希函数，并根据虚拟节点状态管理策略，对读写请求执行了不同的分配操作，将读请求分配给组内负载最轻的服务器，以达到实现负载均衡的目的；计算服务器的负载值对视频监控场景信息存储中所有服务器的负载进行等级判断，通过对比相邻周期的负载等级，进行相应的虚拟节点调整操作，实现负载的均衡分配，在保证读请求处理效率的同时，避免了调整负载，同时满足副本分配要求时产生的数据迁移与识别开销；当系统中有服务器宕机时，将丢失数据恢复为副本或者调整异常组对应虚拟节点的状态值。
附图说明
31.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
32.图1是本发明实施例一提供的一种远程监控流量融合负载的计算方法的流程图；
33.图2是本发明实施例二提供的一种远程监控流量融合负载的计算系统的模块构成示意图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.实施例一：
36.图1为本发明实施例一提供的一种远程监控流量融合负载的计算方法的流程图，本实施例可应用于远程监控的环境中，该方法可以由本发明实施例提供的一种远程监控流量融合负载的计算系统来执行，该系统由多个软硬件模块组成，该方法具体包括以下步骤：
37.s101、在视频监控场景信息中采用负载分配算法，并对算法中的哈希环进行初始化操作；
38.在本发明的一些实施例中，收集视频监控分布式存储内容中所有服务器的配置信
息，并保存作为初始化的输入参数，获得分布式存储系统中所有服务器的相关信息，统计服务器分布的地区；对分布式存储中的服务器进行分组，计算每个组对应的初始虚拟节点个数，将所有的虚拟节点映射到哈希环上，通过哈希随机法完成哈希环的初始化。
39.示例性的，在本发明实施例中，服务器分组规则具体为：将所有服务器按照地域划分为独立的两组服务器，并从两组服务器中挑选存储容量相近、固有服务能力相近的三个服务器归为一组，由于组内的三个服务器保存相同的数据，因此当系统中存在服务器宕机时，可通过所在组内其他服务器直接确定待恢复的数据，从而避免了数据识别开销，同时选择组内负载最轻的服务器处理对应的读写请求，以进一步增强负载均衡效果。
40.通过哈希随机法完成哈希环的初始化具体为：服务器分组完成后，确定每个组对应的初始虚拟节点个数，通过对该服务器计算，获得该组的初始虚拟节点个数，构造哈希环，其中：n为该组的初始虚拟节点个数，l为该服务器的负载值，s为该服务器的固有服务能力，u为该服务器当前周期内的可用存储容量，k为常数值，为虚拟节点个数的控制参数，以保证分布式存储系统中服务器的虚拟节点个数适中，根据公式可知，每个组中可用存储容量最少的服务器代表该组的最大处理能力；
41.通过哈希函数，将任意长度的输入转换成固定长度的输出，给定虚拟节点名称，通过组内所有服务器ip地址的组合加编号生成，得到每个虚拟节点的索引值后，将其放置在哈希环上对应的位置，完成虚拟节点到哈希环的映射，即完成初始化操作；在视频监控分布式存储系统中，业务量频繁扩增，导致分布式存储系统的规模经常扩大，因此，结合视频监控存储特点，选取哈希随机法以降低系统扩容时的开销。
42.s102、对系统的读写请求进行分配；
43.在本发明的一些实施例中，通过md5哈希函数，计算读写请求的索引值，以确定读写请求在哈希环上的落点，并根据虚拟节点状态管理策略，对读写请求执行了不同的分配操作，在分配的过程中将读请求分配给组内负载最轻的服务器，避免将写请求分配给重载服务器，以达到实现负载均衡的目的。
44.具体的，对写请求分配过程包括：判断哈希环上索引位置是否存在虚拟节点，若不存在则以哈希环上索引位置作为起点，顺时针方向查找虚拟节点，并输出首次查询到的虚拟节点，作为该写请求的目标虚拟节点；若存在虚拟节点则判断判断虚拟节点的状态值是否为开启，若不是则返回重新判断，若是则直接输出该节点，作为该写请求的目标虚拟节点。
45.对读请求分配过程包括：判断哈希环上索引位置是否存在虚拟节点，若不存在则以哈希环上索引位置作为起点，顺时针方向查找虚拟节点，并用其在哈希环上的位置更新索引值，再将该读请求发送给虚拟节点对应组内负载最轻的服务器，保存所需数据并输出；若存在虚拟节点则直接将该读请求发送给虚拟节点对应组内负载最轻的服务器，保存所需数据并输出。
46.s103、对视频监控场景信息存储中所有服务器的负载进行等级判断；
47.在本发明的一些实施例中，每隔时间周期t收集分布式存储系统中所有服务器的负载，对其负载等级进行判断，并做出相应的虚拟节点状态值的调整。
48.示例性的，在本发明实施例中，收集该服务器在当前周期内的cpu利用率内存
利用率网络带宽利用率和可存储容量，选择当前组中可存储容量最小的服务器，通过计算出该服务器的负载值，式中，α、β和γ分别表示该服务器在当前周期内的cpu利用率、内存利用率和网络带宽利用率的权重值，且α+β+γ＝1；根据设定的阈值，将负载值划分为不同的区间，并以此确定该服务器负载值所在等级，即该组的负载等级。
49.在本发明的一些实施例中，通过对比相邻周期的负载等级，进行相应的虚拟节点调整操作；具体的，关闭重载服务器所在组对应的部分虚拟节点，以减小该组接收负载的可能性；打开轻载服务器所在组对应的部分虚拟节点，以增加该组接收负载的可能性。
50.示例性的，在本发明实施例中，记录上一周期的服务器负载等级l1，计算当前周期对应的服务器负载等级l2，若l1》l2，则说明服务器的负载减少，进一步计算该组在当前周期内虚拟节点状态为打开的个数，并打开对应个数的虚拟节点，以增加该组接收负载的可能性；若l1《l2，则说明服务器的负载变重，则进一步计算该组在当前周期内虚拟节点状态为打开的个数，并关闭对应个数的虚拟节点，以减少该组接收负载的可能性；若若l1＝l2，则说明该组服务器的负载变动不大，不需改变对应的虚拟节点状态。
51.s104、当服务器个数发生变化时对虚拟节点进行相应操作；
52.在本发明的一些实施例中，当系统中有服务器宕机时，将丢失数据恢复为副本或者调整异常组对应虚拟节点的状态值；当系统中添加服务器需要添加新分组到哈希环时，完成哈希环的结构调整以及数据迁移操作。
53.具体的，在本发明实施例中，当服务器宕机时，若系统中存在空闲服务器，则挑选出与异常组中宕机服务器容量、配置相近的服务器，并加入该异常组，根据服务器分组策略，可通过异常组内的正常服务器快速确定需要恢复为三个副本的数据，将待恢复数据发送给异常组内新添加的服务器，完成副本的恢复；若不存在空闲服务器，根据虚拟节点状态管理策略，适当地将异常组对应的虚拟节点状态设置为关闭，以降低异常组整组宕机的可能性。
54.实施例二：
55.本发明实施例二提供了一种远程监控流量融合负载的计算系统，图2为本实施例二提供的一种远程监控流量融合负载的计算系统的模块构成示意图，如图2所示，该系统包括：
56.负载分配初始化模块，用于对信息进行初始化操作；
57.负载均衡模块，用于实现服务器的负载均衡。
58.在本发明的一些实施例中，负载分配初始化模块包括：
59.信息收集模块，用于收集视频监控信息；
60.服务器分组模块，用于对服务器进行分组；
61.哈希环初始化模块，用于对哈希环进行初始化操作。
62.在本发明的一些实施例中，负载均衡模块包括：
63.读写请求分配模块，用于对读写请求进行分配；
64.负载值计算模块，用于计算服务器的负载值；
65.等级判断模块，用于判断服务器的负载等级；
66.异常处理模块，用于对异常情况进行处理。
67.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
68.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。