一种视频分析算力调度方法、系统、电子设备及存储介质与流程

1.本发明涉及视频分析算力调度领域，特别是涉及一种视频分析算力调度方法、系统、电子设备及存储介质。


背景技术：

2.智能安防布控场景中很常见的一种场景是前端普通网络摄像机与重算力后端服务器联动，后端服务器需要完成视频流解码、视频分析算法处理以及后续的数据分析汇总。在人员密度低的一些封闭式场景中，摄像头24小时都属于启动拉流状态，会采集到大量冗余无效数据，这些数据传送到后端，会造成后端服务器的算力资源很大程度的浪费。
3.针对这种情况，现有的解决方法是：当检测设备检测到封闭区域有人时，一次性开启整个区域里后端服务器所有摄像头拉流和相应算法，当检测到封闭区域无人时，一次性关闭后端服务所有摄像头拉流和相应算法。如中国专利公开号为cn114257794a，专利名称为“一种视频分析算力调度方法及系统”，公开了将每个监控节点内的摄像头设置为关键摄像头以及与关键摄像头联动的关联摄像头，当关键摄像头检测到兴趣目标时，开启与该关键摄像头联动的所有关联摄像头，并将所有关联摄像头视频流接入视频分析服务器，当关键摄像头在一定时间内没有检测到兴趣目标时，关闭与该关键摄像头联动的所有关联摄像头。这种方法比之前24小时开启摄像头拉流和相应算法的状态要节约算力，但是在一次性开启整个区域里后端服务器所有摄像头拉流和相应算法后，对于没有检测到人的摄像头拉流和相应算法仍有算力资源的浪费。


技术实现要素：

4.本发明的目的是提供一种视频分析算力调度方法、系统、电子设备及存储介质，以在封闭式场景且人员密度小时，优化视频分析算力的调度，节约算力和存储资源。
5.为实现上述目的，本发明提供了如下方案：一种视频分析算力调度方法，所述方法包括：构建安防布控场景中每个监控节点的g(v, e)点边图；所述监控节点为封闭区域；所述g(v, e)点边图以监控节点内的每个摄像头为顶点，顶点相连的边为监控节点内的路径；将每个监控节点内的摄像头划分为关键摄像头和关联摄像头，关闭关联摄像头，同时设置关键摄像头一直处于开启状态并采用异常检测算法实时检测监控节点中的兴趣目标；当关键摄像头检测到兴趣目标进入监控节点内时，开启监控节点内的所有关联摄像头，并将所有关联摄像头的视频流接入视频分析服务器；实时确定当前拍摄到兴趣目标的摄像头在g(v, e)点边图中对应的顶点，并在g(v, e)点边图中确定与所述顶点同边的所有相邻顶点；实时计算兴趣目标到每个相邻顶点的欧氏距离，并开启小于或等于欧氏距离阈值
的欧氏距离所对应的相邻顶点上关联摄像头的兴趣目标检测算法；当已开启兴趣目标检测算法的关联摄像头到兴趣目标的欧氏距离大于欧氏距离阈值时，关闭关联摄像头的兴趣目标检测算法；若监控节点内关键摄像头和关联摄像头在预设时间内均未检测到兴趣目标，则关闭监控节点内的所有关联摄像头。
6.可选的，所述构建安防布控场景中每个监控节点的g(v, e)点边图，具体包括：利用安装好3d视觉相机的智能移动设备在监控节点内自由绕行一圈，获取监控节点的立体图像；根据监控节点的立体图像，利用slam（simultaneous localization and mapping）建图技术构建监控节点的3d点云场景图；以俯视角度将3d点云场景图投影到2d空间形成监控节点的2d图像；根据监控节点的2d图像，以监控节点内的每个摄像头为顶点，把监控节点内所有可以经过的路径的顶点用直线连接起来，构建出监控节点的g(v,e)点边图。
7.可选的，所述构建安防布控场景中每个监控节点的g(v, e)点边图，之后还包括：统计安防布控场景下所有需布控摄像头数量、监控节点数量、同时有人出现的监控节点峰值、监控节点平均算力调度峰值系数和视频分析服务器最大负载；根据安防布控场景下所有需布控摄像头数量、监控节点数量、同时有人出现的监控节点峰值、监控节点平均算力调度峰值系数和视频分析服务器最大负载，利用公式n=(f
×s×
w)/(m
×
k)计算视频分析服务器数量；式中，n为视频分析服务器数量，f为同时有人出现的监控节点峰值，s为所有需布控摄像头数量，m为视频分析服务器最大负载，k为安防布控场景下监控节点总数量，w为安防布控场景下监控节点平均算力调度峰值系数；将所有需布控的摄像头划分到不同监控节点内。
8.可选的，所述异常检测算法包括：目标检测算法和目标跟踪算法；所述目标检测算法用于通过训练好的目标检测深度学习模型获取兴趣目标检测框；所述目标跟踪算法用于根据兴趣目标检测框确认兴趣目标的轨迹是否进入监控节点内。
9.可选的，所述目标跟踪算法具体包括：利用跟踪判别公式s=|rgt ∩ rtr|/|rgt ∪ rtr|计算兴趣目标检测框的交并比s；其中，rgt和rtr为两个兴趣目标检测框；若s大于预设阈值，则判断两个兴趣目标检测框为同一兴趣目标，实时跟踪兴趣目标的位置；根据实时跟踪的兴趣目标位置形成兴趣目标的轨迹，并根据兴趣目标的轨迹确认兴趣目标是否进入监控节点内。
10.一种视频分析算力调度系统，所述系统包括：点边图构建模块，用于构建安防布控场景中每个监控节点的g(v, e)点边图；所述监控节点为封闭区域；所述g(v, e)点边图以监控节点内的每个摄像头为顶点，顶点相连的边为监控节点内的路径；摄像头设置模块，用于将每个监控节点内的摄像头划分为关键摄像头和关联摄像
头，关闭关联摄像头，同时设置关键摄像头一直处于开启状态并采用异常检测算法实时检测监控节点中的兴趣目标；关联摄像头开启模块，用于当关键摄像头检测到兴趣目标进入监控节点内时，开启监控节点内的所有关联摄像头，并将所有关联摄像头的视频流接入视频分析服务器；相邻顶点确定模块，用于实时确定当前拍摄到兴趣目标的摄像头在g(v, e)点边图中对应的顶点，并在g(v, e)点边图中确定与所述顶点同边的所有相邻顶点；检测算法开启模块，用于实时计算兴趣目标到每个相邻顶点的欧氏距离，并开启小于或等于欧氏距离阈值的欧氏距离所对应的相邻顶点上关联摄像头的兴趣目标检测算法；检测算法关闭模块，用于当已开启兴趣目标检测算法的关联摄像头到兴趣目标的欧氏距离大于欧氏距离阈值时，关闭关联摄像头的兴趣目标检测算法；关联摄像头关闭模块，用于若监控节点内关键摄像头和关联摄像头在预设时间内均未检测到兴趣目标，则关闭监控节点内的所有关联摄像头。
11.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述的视频分析算力调度方法。
12.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如前述的视频分析算力调度方法。
13.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明公开一种视频分析算力调度方法、系统、电子设备及存储介质，构建监控节点的g(v, e)点边图，在关键摄像头检测到兴趣目标时，开启监控节点内的所有关联摄像头拉流，并启用g(v, e)点边图预测兴趣目标在监控节点内的轨迹路线，计算预测的轨迹路线上兴趣目标到每个顶点的欧氏距离，只启动欧氏距离小于或等于欧氏距离阈值的关联摄像头的兴趣目标检测算法。本发明不仅通过检测封闭区域有人和没人时开启和关闭后端服务器拉流，还通过构建g(v,e)点边图和计算欧氏距离的方式来实时开启和关闭兴趣目标附近的关联摄像头的兴趣目标检测算法，来达到拉流和算法算力都能实时开启和关闭，从而节约算力和存储资源。并且对于包含多个监控节点的安防布控场景来说，所有封闭区域同时执行本发明的视频分析算力调度方法，可大大节约安防布控场景的算力，明显提高安防布控场景的服务器工作效率。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
15.图1为本发明实施例提供的视频分析算力调度方法的流程图；图2为本发明实施例提供的监控节点的2d空间图；图3为本发明实施例提供的监控节点的g(v, e)点边图。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.本发明的目的是提供一种视频分析算力调度方法、系统、电子设备及存储介质，以在封闭式场景且人员密度小时，优化视频分析算力的调度，节约算力和存储资源。
18.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
19.为了解决在一些封闭式场景且人员密度小时，视频分析算力调度的优化问题，本发明实施例提供了一种视频分析算力调度方法，如图1所示，方法包括以下步骤：步骤s1，构建安防布控场景中每个监控节点的g(v, e)点边图。
20.本发明适用于多个封闭区域且人员密度少的情况，所以安防布控场景中有多个封闭区域，且安防布控场景中每个封闭区域人员密度较少。安防布控场景中每个封闭区域为一个监控节点。
21.g(v, e)点边图以监控节点内的每个摄像头为顶点，顶点相连的边为监控节点内的路径。g(v, e)中的g表示图，英文全拼为graph。v表示顶点集合，英文全拼为vertex。e表示边集合，英文全拼为edge。
22.利用智能化设备构建封闭空间（监控节点）的场景布局。例如，利用安装好3d视觉相机的智能移动设备在封闭式场景（监控节点）自由绕行一圈，再利用slam建图技术构建好监控节点的3d点云场景图，并利用俯视角度投影到2d空间形成监控节点的2d图像，如图2所示为监控节点的2d空间图。图2中，监控节点有一个进出门，16个摄像头，长方形表示障碍物，所以，在障碍物之间的通道两端分别设置了摄像头进行监控。
23.根据监控节点的2d空间图，把所有可以经过的路径用直线连接起来可以构建出整个监控节点的g(v,e)点边图，如图3为构建好的g(v,e)点边图。图3中所有的直线都为通道，小长方形都是通道两边的障碍物。16个顶点对应图2中的16个摄像头。
24.步骤s2，将每个监控节点内的摄像头划分为关键摄像头和关联摄像头，关闭关联摄像头，同时设置关键摄像头一直处于开启状态并采用异常检测算法实时检测监控节点中的兴趣目标。
25.安防布控场景下有多个封闭区域，每个封闭区域都设置有关键摄像头和关联摄像头。
26.首先，统计安防布控场景下所有需布控摄像头数量、监控节点数量、同时有人出现的监控节点峰值、监控节点平均算力调度峰值系数（监控节点内）和视频分析服务器最大负载，来计算所需视频分析服务器数量。
27.视频分析服务器数量的计算公式为：n=(f
×s×
w)/(m
×
k)。其中，n为视频分析服务器数量，f为同时有人出现的监控节点峰值，s为所有需布控摄像头数量，m为视频分析服务器最大负载，k为安防布控场景下监控节点总数量，w为安防布控场景下监控节点平均算力调度峰值系数。
28.其次，将所有需布控的摄像头划分到不同监控节点内，并将每个监控节点内的摄
像头设置为关键摄像头以及与关键摄像头联动的关联摄像头，并利用红黑树映射好相应关键摄像头对应的所有关联摄像头的关系；关键摄像头开启异常检测算法实时检测监控节点中的兴趣目标。
29.关键摄像头一般为一个，位于封闭空间出入口位置，用来检测有无兴趣目标进入封闭空间。例如图2中，设置在进出门处的摄像头为关键摄像头，关联摄像头为封闭空间内其他摄像头。与图2对应地，图3中标号为1的顶点为关键摄像头，标号为2至16的顶点为关联摄像头。
30.关键摄像头对准兴趣目标的卡口位置，关键摄像头一直处于开启状态(状态置为1)并集成异常检测的实时算法。关联摄像头不对准卡口位置，正常状态下处于关闭状态(状态置为0)，通过关键摄像头事件触发去调度关联摄像头开启拉流。
31.每个监控节点中的关键摄像头和关联摄像头都按照步骤s3至步骤s7执行。
32.步骤s3，当关键摄像头检测到兴趣目标进入监控节点内时，开启监控节点内的所有关联摄像头，并将所有关联摄像头的视频流接入视频分析服务器。
33.当关键摄像头异常检测算法，检测到兴趣目标进入密闭空间时，开启与该关键摄像头联动的关联摄像头，并将关联摄像头视频流接入视频分析服务器。异常检测算法包括目标检测、目标跟踪和行为检测等，先通过训练好的目标检测深度学习模型检测出兴趣目标的目标框，再通过目标跟踪确认兴趣目标的轨迹是否进入房间内。目标跟踪主要通过目标检测框的交并比实时跟踪目标位置，主要跟踪判别公式如下：s = |rgt ∩ rtr|/|rgt ∪ rtr|当s大于某个给定阈值时，则判断两个兴趣目标检测框为同一兴趣目标，从而完成跟踪。其中，rgt和rtr为两个兴趣目标检测框。
34.根据实时跟踪的兴趣目标位置形成兴趣目标的轨迹，进而利用兴趣目标的轨迹确认兴趣目标是否进入监控节点内。当判断兴趣目标进入监控节点内时，关联摄像头只开启拉流状态，而兴趣目标检测算法暂时处于关闭状态。
35.步骤s4，实时确定当前拍摄到兴趣目标的摄像头在g(v, e)点边图中对应的顶点，并在g(v, e)点边图中确定与所述顶点同边的所有相邻顶点。
36.关联摄像头开启拉流状态时相关兴趣目标检测算法暂时处于关闭状态，当判断兴趣目标即将进入某一路径时，通过构建好的g(v,e)点边图预测兴趣目标即将进入的关联摄像头路径。
37.兴趣目标路径预测：兴趣目标出现在每个摄像头下都可以根据g(v,e)点边图确定相邻的摄像头。例如，图3中当兴趣目标出现在顶点（摄像头点位）4处，顶点3，5，12和顶点4有边相连接，即可以确定兴趣目标即将进入的关联摄像头路径为4到3的路径、4到5的路径和4到12的路径。所以，顶点3，顶点5和顶点12处的关联摄像头都有可能开启兴趣目标检测算法去检测兴趣目标。
38.步骤s5，实时计算兴趣目标到每个相邻顶点的欧氏距离，并开启小于或等于欧氏距离阈值的欧氏距离所对应的相邻顶点上关联摄像头的兴趣目标检测算法。
39.继续以步骤s4中的例子为例，兴趣目标可能沿着4到3的路径、4到5的路径或者4到12的路径移动，在兴趣目标移动过程中实时检测兴趣目标的位置，并计算兴趣目标的实时位置分别到顶点3、顶点5和顶点12的欧氏距离。若兴趣目标到顶点5的欧氏距离小于或等于
欧氏距离阈值，则说明兴趣目标沿着4到5的路径并向顶点5移动，此时开启顶点5处的关联摄像头的兴趣目标检测算法，顶点3和顶点4处的关联摄像头的兴趣目标检测算法仍处于关闭状态。
40.步骤s6，当已开启兴趣目标检测算法的关联摄像头到兴趣目标的欧氏距离大于欧氏距离阈值时，关闭关联摄像头的兴趣目标检测算法。开启下一段预测路径的关联摄像头兴趣目标检测算法。
41.继续引用步骤s5的例子，若兴趣目标未移动到顶点5就折返，则当兴趣目标到顶点5的欧氏距离大于欧氏距离阈值时，关闭顶点5处关联摄像头的兴趣目标检测算法，重复步骤s4和步骤s5。
42.若兴趣目标已到达顶点5，重复步骤s5，寻找顶点5的相邻顶点为顶点4、顶点6和顶点12。假设兴趣目标从顶点5向顶点6移动，当顶点5到兴趣目标的欧氏距离大于欧氏距离阈值时，关闭顶点5处关联摄像头的兴趣目标检测算法，同时重复步骤s5。
43.步骤s7，若监控节点内关键摄像头和关联摄像头在预设时间内均未检测到兴趣目标，则关闭监控节点内的所有关联摄像头。
44.当兴趣目标离开监控节点后，关闭监控节点内的所有关联摄像头，关键摄像头仍一直处于开启状态并采用异常检测算法实时检测监控节点中的兴趣目标。
45.本发明的关键点如下：(1)智能化构建各个封闭场景g(v, e)点边图，利用移动机器人巡检的方式采用slam建图方式构建封闭空间的示意图，从而构建g(v,e)点边图。
46.(2)动态通过关键摄像头检测到有兴趣目标进入封闭空间时只开启关联摄像头拉流不开启兴趣目标检测算法，封闭区域没兴趣目标时关闭所有关联摄像头拉流。
47.(3)兴趣目标在封闭区域内行走时通过g(v,e)点边算法实时开启兴趣目标附近的关联摄像头的兴趣目标检测算法，兴趣目标离开此区域关闭所有兴趣目标检测算法。通过实时开启关闭摄像头视频流和实时开启关闭兴趣目标检测算法共同优化视频分析算力的调度。
48.本发明基于封闭空间布局和摄像头布控位置构建点边图，在检测设备检测到兴趣目标时，启用点边图预测兴趣目标在封闭区域的轨迹路线，再基于预测的轨迹路线，实时调度轨迹路线附近的相关摄像头拉流和兴趣目标检测算法。也就是说，本发明不仅通过检测封闭区域有无兴趣目标时开启和关闭后端服务器拉流，还通过构建g(v,e)点边图和计算欧式距离的方式来实时开启和关闭封闭区域兴趣目标附近的摄像头的兴趣目标检测算法，来达到拉流和算法算力都能实时开启和关闭，从而节约算力和存储资源。
49.在一个封闭区域中，实时预测兴趣目标的路径，只开启预测路径上欧氏距离小于或等于欧氏距离阈值的关联摄像头的兴趣目标检测算法，节省了算力。对于本发明所适用的安防布控场景来说，安防布控场景中有多个封闭区域，所有封闭区域同时执行本发明的视频分析算力调度方法，可大大节约安防布控场景的算力，明显提高安防布控场景的服务器工作效率。
50.本发明已经在一些机房场景中使用。每个机房相当于一个监控节点，机房的每个通道都布置有摄像头，正对着机房门口的摄像头为关键摄像头，其他摄像头为关联摄像头。当关键摄像头检测到有人进入机房时，打开关联摄像头的拉流服务，并实时打开人员路径
附近的摄像头相关兴趣目标检测算法。在机房这种封闭空间，人员较少的情况采用这种方式可以提高服务器工作效率并降低算力和成本。
51.此外，对应于上述提供的视频分析算力调度方法，本发明实施例还提供了一种视频分析算力调度系统，系统包括：点边图构建模块，用于构建安防布控场景中每个监控节点的g(v, e)点边图；所述监控节点为封闭区域；所述g(v, e)点边图以监控节点内的每个摄像头为顶点，顶点相连的边为监控节点内的路径；摄像头设置模块，用于将每个监控节点内的摄像头划分为关键摄像头和关联摄像头，关闭关联摄像头，同时设置关键摄像头一直处于开启状态并采用异常检测算法实时检测监控节点中的兴趣目标；关联摄像头开启模块，用于当关键摄像头检测到兴趣目标进入监控节点内时，开启监控节点内的所有关联摄像头，并将所有关联摄像头的视频流接入视频分析服务器；相邻顶点确定模块，用于实时确定当前拍摄到兴趣目标的摄像头在g(v, e)点边图中对应的顶点，并在g(v, e)点边图中确定与所述顶点同边的所有相邻顶点；检测算法开启模块，用于实时计算兴趣目标到每个相邻顶点的欧氏距离，并开启小于或等于欧氏距离阈值的欧氏距离所对应的相邻顶点上关联摄像头的兴趣目标检测算法；检测算法关闭模块，用于当已开启兴趣目标检测算法的关联摄像头到兴趣目标的欧氏距离大于欧氏距离阈值时，关闭关联摄像头的兴趣目标检测算法；关联摄像头关闭模块，用于若监控节点内关键摄像头和关联摄像头在预设时间内均未检测到兴趣目标，则关闭监控节点内的所有关联摄像头。
52.本发明实施例还提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如前述的视频分析算力调度方法。
53.此外，上述的存储器中的计算机程序通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
54.进一步地，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被执行时实现如前述的视频分析算力调度方法。
55.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
56.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据
本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。