一种工业智能视频监控系统及多视频流自适应配置方法

1.本发明涉及视觉处理领域，尤其涉及一种工业智能视频监控系统及多视频流自适应配置方法。


背景技术：

2.随着工业智能的不断发展，边缘赋能的工业物联网(iiot)获得空前关注，边缘计算技术在工业物联网的渗透率不断提高，越来越多的感知终端、通信终端、执行终端和边缘设备被部署于工业现场。在大量感知终端中，工业摄像头以其提供信息的不可替代性和丰富性占据了至关重要的地位。基于工业摄像头网络的智能视频监控需要进行多路高维视频流的计算密集型视觉检测任务，对保障工厂执行效率和操作规范与安全具有重大支撑作用。
3.基于摄像头网络的智能视频监控要求多路高维视频流的视觉检测任务快速完成并准确响应，然而，多路视频流竞争边缘设备和摄像头网络之间的有限通信资源，导致视觉检测任务的完成时间推迟，并降低了检测精度，极大地影响了具有低时延、高精度要求的智能视频监控质量。因此，如何在通信资源和端到端时延的约束下尽可能提高视觉检测任务的精度，对工业智能视频监控的研究具有重要意义。
4.此外，由于工业现场需保障正常工业运行，边缘设备的可用计算资源和缓存空间随着时间呈现周期性或非周期性的变化。单个边缘设备的计算资源无法保证视觉检测任务的快速、精确的响应，因此，如何设计有效的边缘协作机制进行智能视频监控是凾待解决的关键问题。
5.经对现有文献检索发现，最相近似的实现方案为中国专利申请号为：202110515718.4，名称为：一种基于深度强化学习的全景视频边缘协作缓存替换方法，具体做法为：全景视频的每个视频帧划分成矩形平铺块，并以两种不同的视频分辨率存储于视频库中。边缘集群中的用户从根基站请求全景视频内容，根据边缘集群的缓存状态矩阵判断是否命中。若无缓存(即未命中)，则边缘集群通过基于深度强化学习的缓存替换或直接缓存该内容，从而使用户获取所请求的视频内容。但是，该方法中边缘协作机制仅实施缓存任务，未能充分利用边缘集群的有效算力。专利申请号为：201910378071.8，名称为：支持d2d通信的分层无线网络下的边缘协作缓存方法，具体做法为：根据内容请求查看本设备的本地缓存中是否包含请求内容，若包含，则命中所述请求内容；若不包含，则基于深度强化学习算法进行路由选择以命中所述请求内容。但是，该方法利用深度强化学习进行路由选择，需要大量样本进行训练，耗费时间较长，在实际运行时无法保证用户所请求内容的快速响应。专利申请号为：202010358386.9，名称为：一种基于边缘协作的任务卸载及资源分配联合优化方法，具体做法为：通过基于软件定义网络的集中式系统架构对网络设备资源进行管理，在用户最大容忍延迟和边缘服务器计算资源约束下，建立时延最小化的理论模型，并基于模拟退火思想的启发式算法进行求解。但是，该方法所采用的启发式迭代算法计算复杂度高，求解缓慢，无法满足用户的实时响应需求，不适用于工业智能视频监控的快速响
应需求。


技术实现要素：

6.有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于边缘协作的工业智能视频监控系统，以满足工业智能视频监控的快速、准确响应需求。
7.为实现上述目的，本发明的一种基于边缘协作的工业智能视频监控系统，所述基于边缘协作的工业智能视频监控系统包括：监控相机层、边缘计算层、工业本地云；
8.所述监控相机层包括若干监控节点，每个监控节点包括相机和第一通信模块，所述相机用于视频流的捕获；
9.所述边缘计算层包括若干边缘集群，每个边缘集群包括若干边缘设备，所述边缘设备包括接入设备、普通设备、第二通信模块，其中所述接入设备用于接收相机捕获的多路视频流并缓存特定时长t的视频块，并根据所述接入设备所属边缘集群的大小将视频块进行划分，并传输给所述普通设备；所述普通设备用于接收从接入设备传输过来的视频块划分，并对其进行处理，得到视觉检测任务结果；
10.所述工业本地云用于接收所述普通设备处理好的视觉检测任务结果，以进行后续的数据分析以及信息分发。
11.本发明的一种基于边缘协作的工业多视频流自适应配置方法，应用于上述的基于边缘协作的工业智能视频监控系统，包括以下步骤：
12.第一步：初始化系统参数，包括：相机的分辨率、每个边缘设备上的目标检测模型、边缘集群分组、边缘集群与相机的匹配关系；
13.第二步：系统开始运行，每个边缘集群内的边缘设备周期监测带宽变化，当带宽的变化超过设定阈值时，重配置程序启动；
14.第三步：重配置程序启动，进行边缘集群的重新分组；
15.第四步：根据第三步得到的边缘集群重新分组信息，重新计算边缘集群与相机的匹配关系；
16.第五步：根据第三步和第四步得到的边缘集群重新分组信息、边缘集群与相机的匹配关系信息，进行边缘设备的视频重配置，优化目标为：最小化多路异构qos视频流的时延，同时最大化所有边缘设备上视觉检测任务的平均精度；
17.第六步：根据第五步得到的边缘设备的视频重配置信息，每个边缘集群的接入设备将视频重配置信息中的目标检测模型确认选项分发给所属边缘集群内的其他普通设备，将视频重配置信息中的视频分辨率信息分发给连接至该边缘集群的所有相机；
18.第七步：每个相机根据接收到的视频重配置的视频分辨率信息进行重新配置；每个普通设备根据接收到的视频重配置的目标检测模型确认选项信息进行重新配置；
19.第八步：重配置程序结束，跳到下一步；
20.第九步：边缘集群协作进行视觉检测任务，并将视觉检测结果上传至工业本地云；
21.第十步：判断多路视频流是否仍在传输，若是，则返回第二步；若否，则系统运行终止。
22.优选的，第一步中，所述目标检测模型为可应用于目标检测模型的深度学习模型，包括通用的骨干网模型或针对于目标检测任务的卷积神经网络模型(cnn)。
23.优选的，第一步中，边缘集群分组将所有边缘设备划分为若干组，每组至少包含一个边缘设备，且任意两组之间无重复的边缘设备。
24.优选的，第二步中，所述重配置程序可分解为以下三个步骤：
25.2.1边缘集群重新分组；
26.2.2边缘集群与相机的匹配关系重新计算；
27.2.3边缘设备视频重配置。
28.优选的，第三步中，边缘集群重新分组问题采用最优组合竞胜标问题(wdp)求解，设：拍卖者(bidders)为s个边缘设备，记为商品(items)为剩余n-s个边缘设备，记为设备，记为商品组合(bubbles)为商品的任意组合且效用函数为拍卖者i拍下商品组合后的减小时延：
[0029][0030]
其中，为减小的处理时延，为增加的通信时延，形式如下：
[0031][0032]
为第i个边缘设备采用第j个检测模型的处理时延，表示该商品组合里的商品数量，s为边缘集群里每个边缘设备接收到的视频块划分的大小，通过视频流码率pi/8*t再除以该边缘集群所包含的边缘设备数目得到；其中，表示拍卖者i拍下商品组合反之为0。
[0033]
优选的，第三步中，所述边缘集群的重新分组问题采用贪婪算法求解，包含以下步骤：
[0034]
步骤1：初始化bi为空集，q＝j；
[0035]
步骤2：当q非空时，进行下一步；
[0036]
步骤3：计算i
*
,j
*
＝argmax{ui(b∪{j})|i∈i,j∈q}；bi＝bi∪{j
*
},q＝q\{j
*
}；返回步骤3.2；
[0037]
步骤4：计算结束，返回{bi|i∈i}；
[0038]
上述求解得到的结果{bi|i∈i}即为边缘集群的重新分组。
[0039]
优选的，第四步中，所述边缘集群与相机的匹配关系的计算通过最优匹配定理得到。
[0040]
优选的，第五步中，所述边缘设备的视频重配置的优化问题的求解算法包括贪婪算法、暴力破解算法。
[0041]
优选的，第六步中，每个边缘集群的接入设备将视频重配置信息中的目标检测模型确认选项通过第二通信模块分发给所属边缘集群内的其他普通设备，将视频重配置信息中的视频分辨率信息通过第一通信模块分发给连接至该边缘集群的所有相机。
[0042]
本发明的有益技术效果：
[0043]
1.根据多路视频流的不同优先级，考虑不同qos要求下的多路视频流的视觉检测任务，有效地解决了视频流存在优先级差异的局限，使得高优先级的视频流可尽量被优先
处理，保障工业智能视频监控的可靠性。
[0044]
2.考虑边缘设备的网络资源和计算资源的时空异质性，设计异构处理能力和动态网络条件下的边缘端协同机制，使得边缘设备可自适应地根据可用的网络资源和计算资源进行动态分组，从而达到视觉检测任务的时延和精度的最优权衡。
[0045]
3.引入视频流和边缘集群的匹配机制，通过最优匹配定理直接进行排序，大大降低了计算复杂度，加快了重配置程序的速度，使得本发明可自适应的调整边缘集群，满足工业智能视频监控的快速响应需求。
[0046]
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
[0047]
图1是本发明的一个较佳实施例的系统结构示意图；
[0048]
图2是本发明的一个较佳实施例的系统功能示意图；
[0049]
图3是本发明的一个较佳实施例的边缘集群和多视频流匹配后的系统运行流程图；
[0050]
图4是本发明的一个较佳实施例的边缘集群的接入设备的运行流程图；
[0051]
图5是本发明的一个较佳实施例的多视频流自适应配置方法流程图；
[0052]
图6是本发明的一个较佳实施例的重配置程序流程图。
具体实施方式
[0053]
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
[0054]
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
[0055]
如图1～6所示，本发明的一种基于边缘协作的工业智能视频监控系统，所述基于边缘协作的工业智能视频监控系统包括：监控相机层、边缘计算层、工业本地云；
[0056]
所述监控相机层包括若干监控节点，每个监控节点包括相机和第一通信模块，所述相机用于视频流的捕获；
[0057]
所述边缘计算层包括若干边缘集群，每个边缘集群包括若干边缘设备，所述边缘设备包括接入设备、普通设备、第二通信模块，其中所述接入设备用于接收相机捕获的多路视频流并缓存特定时长t的视频块，并根据所述接入设备所属边缘集群的大小将视频块进行划分，并传输给所述普通设备；所述普通设备用于接收从接入设备传输过来的视频块划分，并对其进行处理，得到视觉检测任务结果；
[0058]
所述工业本地云用于接收所述普通设备处理好的视觉检测任务结果，以进行后续的数据分析以及信息分发。
[0059]
本发明的一种基于边缘协作的工业多视频流自适应配置方法，应用于上述的基于边缘协作的工业智能视频监控系统，包括以下步骤：
[0060]
第一步：初始化系统参数，包括：相机的分辨率、每个边缘设备上的目标检测模型、边缘集群分组、边缘集群与相机的匹配关系；
[0061]
第二步：系统开始运行，每个边缘集群内的边缘设备周期监测带宽变化，当带宽的变化超过设定阈值时，重配置程序启动；
[0062]
第三步：重配置程序启动，进行边缘集群的重新分组；
[0063]
第四步：根据第三步得到的边缘集群重新分组信息，重新计算边缘集群与相机的匹配关系；
[0064]
第五步：根据第三步和第四步得到的边缘集群重新分组信息、边缘集群与相机的匹配关系信息，进行边缘设备的视频重配置，优化目标为：最小化多路异构qos视频流的时延，同时最大化所有边缘设备上视觉检测任务的平均精度；
[0065]
第六步：根据第五步得到的边缘设备的视频重配置信息，每个边缘集群的接入设备将视频重配置信息中的目标检测模型确认选项分发给所属边缘集群内的其他普通设备，将视频重配置信息中的视频分辨率信息分发给连接至该边缘集群的所有相机；
[0066]
第七步：每个相机根据接收到的视频重配置的视频分辨率信息进行重新配置；每个普通设备根据接收到的视频重配置的目标检测模型确认选项信息进行重新配置；
[0067]
第八步：重配置程序结束，跳到下一步；
[0068]
第九步：边缘集群协作进行视觉检测任务，并将视觉检测结果上传至工业本地云；
[0069]
第十步：判断多路视频流是否仍在传输，若是，则返回第二步；若否，则系统运行终止。
[0070]
本实施例中，第一步中，所述目标检测模型为可应用于目标检测模型的深度学习模型，包括通用的骨干网模型或针对于目标检测任务的卷积神经网络模型(cnn)。
[0071]
本实施例中，第一步中，边缘集群分组将所有边缘设备划分为若干组，每组至少包含一个边缘设备，且任意两组之间无重复的边缘设备。
[0072]
本实施例中，第二步中，所述重配置程序可分解为以下三个步骤：
[0073]
2.1边缘集群重新分组；
[0074]
2.2边缘集群与相机的匹配关系重新计算；
[0075]
2.3边缘设备视频重配置。
[0076]
本实施例中，第三步中，边缘集群重新分组问题采用最优组合竞胜标问题(wdp)求解，设：拍卖者(bidders)为s个边缘设备，记为商品(items)为剩余n-s个边缘设备，记为商品组合(bubbles)为商品的任意组合且效用函数为拍卖者i拍下商品组合后的减小时延：
[0077][0078]
其中，为减小的处理时延，为增加的通信时延，形式如下：
[0079][0080]
为第i个边缘设备采用第j个检测模型的处理时延，表示该商品组合里的
商品数量，s为边缘集群里每个边缘设备接收到的视频块划分的大小，通过视频流码率pi/8*t再除以该边缘集群所包含的边缘设备数目得到；其中，表示拍卖者i拍下商品组合反之为0。
[0081]
本实施例中，第三步中，所述边缘集群的重新分组问题采用贪婪算法求解，包含以下步骤：
[0082]
步骤1：初始化bi为空集，q＝j；
[0083]
步骤2：当q非空时，进行下一步；
[0084]
步骤3：计算i
*
,j
*
＝argmax{ui(b∪{j})|i∈i,j∈q}；bi＝bi∪{j
*
},q＝q\{j
*
}；返回步骤3.2；
[0085]
步骤4：计算结束，返回{bi|i∈i}；
[0086]
上述求解得到的结果{bi|i∈i}即为边缘集群的重新分组。
[0087]
本实施例中，第四步中，所述边缘集群与相机的匹配关系的计算通过最优匹配定理得到。
[0088]
本实施例中，第五步中，所述边缘设备的视频重配置的优化问题的求解算法包括贪婪算法、暴力破解算法。
[0089]
本实施例中，第六步中，每个边缘集群的接入设备将视频重配置信息中的目标检测模型确认选项通过第二通信模块分发给所属边缘集群内的其他普通设备，将视频重配置信息中的视频分辨率信息通过第一通信模块分发给连接至该边缘集群的所有相机。
[0090]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。