基于边云卷积神经网络级联的监控视频目标实时查询方法与流程

[0001]
本发明属于边缘计算/深度学习技术领域，具体涉及一种基于边云卷积神经网络级联的监控视频目标实时查询方法。


背景技术：

[0002]
随着监控摄像头的广泛部署，监控视频数据呈爆发式增长，依赖人工筛查的监控视频分析方法已无法满足实际的需要。一方面，速度慢，人工筛查的方法很难实时地处理大量的视频数据；另一方面，成本高昂，海量视频分析带来巨大的人力成本开销。因此，随着深度学习的发展，尤其是卷积神经网络(cnn)的发展，借助计算机资源和视频分析算法，自动对监控视频数据进行处理分析越来越普及。
[0003]
监控视频中的目标查询任务，由于其在智慧安防、智慧交通等中的重要意义，得到了广泛的关注和发展。监控视频中的目标查询任务指的是，输入查询目标(如摩托车)和监控视频数据，输出该监控视频中含查询目标的帧。目前存在的监控视频目标查询方法主要是将监控视频上传至云端服务器，借助云端服务器丰富的计算资源对视频进行处理分析。但将海量监控视频上传到云端服务器带来了巨大的网络带宽要求和数据传输延迟，难以满足监控视频目标查询任务对实时性的新要求，也给云端服务器带来了巨大的负担。同时，大多数边缘设备的资源都是有限的，只能部署轻量级的cnn模型(如mobilenet)，但不能保证可靠的查询准确性。因此，在边云系统中有两个基本的问题亟待解决：1)如何在保证较高查询准确度的同时，显著降低查询时延，满足实时性的要求；2)如何在保证较高查询准确度的同时，显著降低带宽消耗，进而降低成本。


技术实现要素：

[0004]
本发明的目的在于提供基于边云卷积神经网络级联的监控视频目标实时查询方法，以解决上述问题。
[0005]
为实现上述目的，本发明采用以下技术方案：
[0006]
基于边云卷积神经网络级联的监控视频目标实时查询方法，包括以下步骤：
[0007]
步骤1：接收到查询命令时，基于特异性训练数据集和指定查询目标的特异性卷积神经网络cnn(卷积神经网络)将在云端服务器中进行微调训练，然后将特异性cnn部署到边缘端服务器；
[0008]
步骤2：在边缘端服务器对监控视频中的运动目标进行检测和提取；
[0009]
步骤3：在边缘端服务器为每一个提取出的运动目标选择执行识别任务的边缘端服务器；
[0010]
步骤4：在边缘端服务器上使用轻量级cnn对检测出的运动目标进行快速识别，输出是查询目标的识别置信度，若识别置信度大于α，则认为该运动目标是查询目标；若识别置信度小于β，则认为该运动目标不是查询目标；若置信度在α和β之间，则认为轻量级cnn无法判断该运动目标是否为查询目标，将该运动目标上传到云端服务器；
[0011]
步骤5：对于边缘端服务器上的轻量级cnn无法判断的运动目标，使用高精度cnn进行二次识别，判断是否为查询目标，完成监控视频目标实时查询。
[0012]
进一步的，步骤2中，采用基于帧间差分的目标检测算法对监控视频中的运动目标进行检测和提取。
[0013]
进一步的，步骤3中，采用基于负载的边云任务调度算法为每一个提取出的运动目标选择执行识别任务的边缘端服务器。
[0014]
进一步的，步骤3具体为：
[0015]
对于总数为n的边缘端服务器i，t
i
为边缘端服务器i的推理时间，即边缘端服务器识别一张图像的时延，q
i
为边缘端服务器i的识别任务的队列长度，一张图像由边缘端服务器i处理的查询时延为(q
i
+1)t
i
；当检测到一个运动目标时，立即触发实时任务调度程序，判断哪个边缘端服务器d将以最少的查询时延对该运动目标进行分类，公式如下：
[0016][0017]
将该边缘端服务器d作为执行识别任务的边缘端服务器。
[0018]
进一步的，步骤4中，轻量级cnn采用mobilenet_v2。
[0019]
进一步的，步骤4中，根据整个系统的负载情况，对α、β进行自适应调整，调整公式为：
[0020]
α
new
＝max{min{α
old-γ
1
(q
d
t
d-s),1},0.5}
[0021]
β
new
＝γ
2
(1+α
new
)
[0022]
其中，γ
1
、γ
2
为权重参数，且γ
1
∈(0,1)，γ
2
∈(0,1)，s为查询时延标准，q
d
为边缘端服务器d的识别任务的队列长度，t
d
为边缘端服务器d的推理时间。
[0023]
进一步的，步骤4中，高精度cnn采用resnet152。
[0024]
进一步的，步骤4中，α、β是查询目标的识别置信度的阈值参数，满足0<β<α<1。
[0025]
与现有技术相比，本发明有以下技术效果：
[0026]
本发明公开的基于边云卷积神经网络级联的监控视频目标实时查询方法，边缘端服务器从监控视频中进行运动目标的提取并由其上的轻量级cnn优先识别目标，无法判断的目标上传至云端服务器，用云端服务器上的高精度cnn进行二次识别。同时设置了边云任务调度算法和阈值参数的自适应调整机制，可以有效提高监控视频目标查询任务的性能表现。实验结果表明，与传统的只使用云端服务器的监控视频目标查询方法相比，本系统显著降低了边缘端服务器到云端服务器的带宽消耗，降低了成本，并显著减少了平均查询时延以及查询时延的波动性，满足了实时性的要求，同时保持了较好的查询准确度；与只使用边缘端服务器的监控视频目标查询方法相比，本系统显著提升了查询的准确度。
[0027]
进一步地，采用在线微调的方法为部署在边缘端服务器的cnn进行微调训练，不仅降低了模型复杂度，并且增强了识别特定类型目标的能力。
[0028]
进一步地，采用基于帧间差分的目标检测算法对监控视频中的运动目标进行检测和提取。每隔一定时间提取视频中的两到三个相邻帧，计算相邻帧之间的灰度值差异，如果某个区域的差值接近零，也就是这个区域在这两到三帧的时间里变化不大，可以认为是在这个区域没有值得提取出来的运动目标。反之，如果某个区域的差值比较大，超过了一定的阈值，则认为这个区域存在值得提取的运动目标，于是我们将这个区域提取出来作为检测
到的运动目标，传给任务调度模块。该目标检测算法复杂度低，鲁棒性强，计算资源消耗少，能较快的从视频流中提取出运动目标。
[0029]
进一步地，采用基于负载的边云任务调度算法为每一个提取出的运动目标选择执行识别任务的边缘端服务器，实现了计算资源靠近数据源头、优先本地化处理，有效降低了数据传输时延和上云数据量，同时有效平衡了各边缘端服务器的计算负载。
[0030]
进一步地，边缘端服务器上的cnn采用结构简单，计算资源消耗少但精度相对不足的mobilenet_v2，降低了检测出的运动目标的推理时延；云端服务器上的cnn采用精度高但结构复杂的resnet152，弥补了轻量级cnn带来的精度下降，有效保证了系统的查询准确度。
[0031]
进一步地，根据整个系统的负载情况，对α、β进行自适应调整，当整个系统负载过大时，通过适当减小α的值，增大β的值，减少目标二次识别的概率，以此降低云端服务器的负担，从而减少整个系统的负载，维持较低且稳定的查询时延。当整个系统负载较小时，通过适当增大α的值，减小β的值，增加目标二次识别的概率，以此提高系统的识别准确度。边云任务调度算法和阈值参数自适应调整机制的使用，显著减少了平均查询时延以及查询时延的波动性，平衡了各计算节点的任务负载，平衡了查询延迟和系统负载的矛盾。
附图说明
[0032]
图1为采用本发明的方法的系统整体架构图；
[0033]
图2为本发明的方法的在线查询部分框架图；
[0034]
图3为本发明的方法的流程图；
[0035]
图4为本发明和其他目标查询系统的效果对比柱状图；
[0036]
图5为本发明和其他目标查询系统的查询延时对比折线图。
具体实施方式
[0037]
下面结合附图及实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
[0038]
如图1所示为本发明的流程逻辑框图，本发明的基于边云卷积神经网络级联的监控视频目标实时查询方法，包括以下步骤：
[0039]
步骤1：当接收到一个用户自定义的查询命令时，基于特异性训练数据集和指定查询目标的特异性cnn(卷积神经网络)将在云端服务器中进行微调训练，然后将特异性cnn部署到边缘端服务器；
[0040]
步骤2：在边缘端服务器采用基于帧间差分的目标检测算法，对监控视频中的运动目标进行检测和提取；
[0041]
步骤3：在边缘端服务器采用基于负载的边云任务调度算法为每一个提取出的运动目标选择执行识别任务的边缘端服务器；其具体操作为：
[0042]
对于总数为n的边缘端服务器i，t
i
为边缘端服务器i的推理时间，即边缘端服务器识别一张图像的时延，q
i
为边缘端服务器i的识别任务的队列长度，一张图像由边缘端服务器i处理的查询时延为(q
i
+1)t
i
；当检测到一个运动目标时，立即触发实时任务调度程序，判断哪个边缘端服务器d将以最少的查询时延对该运动目标进行分类，公式如下：
[0043][0044]
将该边缘端服务器d作为执行识别任务的边缘端服务器。
[0045]
步骤4：在边缘端服务器上使用轻量级cnn mobilenet_v2对检测出的目标进行快速识别，输出该目标是查询目标的识别置信度，若识别置信度大于α，则认为该目标是查询目标；若识别置信度小于β，则认为该目标不是查询目标；若置信度在α和β之间，则认为轻量级cnn无法判断该目标是否为查询目标，将该目标上传到云端服务器；α、β是查询目标的识别置信度的阈值参数，满足0<β<α<1；
[0046]
同时，根据整个系统的负载情况，对α、β进行自适应调整，调整公式为：
[0047]
α
new
＝max{min{α
old-γ
1
(q
d
t
d-s),1},0.5}
[0048]
β
new
＝γ
2
(1+α
new
)
[0049]
其中，γ
1
、γ
2
为权重参数，且γ
1
∈(0,1)，γ
2
∈(0,1)，s为查询时延标准，q
d
为边缘端服务器d的识别任务的队列长度，t
d
为边缘端服务器d的推理时间。
[0050]
步骤5：对于边缘端服务器上的轻量级cnn无法判断的目标，使用高精度cnn进行二次识别，判断是否为查询目标，完成监控视频目标实时查询。
[0051]
如图1和图2，考虑到终端设备将海量监控视频上传到云端服务器会带来巨大的网络带宽消耗和数据传输延迟，难以满足监控视频目标查询任务对实时性的要求，所以数据存储在边缘端服务器，用轻量级cnn首先进行目标识别，仅将轻量级cnn无法判断是否为查询目标的图像上传到云端服务器，然后在云端服务器上用高精度cnn进行二次识别，以此平衡查询延迟和查询准确度的关系。
[0052]
如图1，图2和图3，基于边云cnn级联的监控视频目标实时查询系统，边云协同系统细节如下：
[0053]
1)在线微调：当接收到一个新的用户自定义查询命令时，基于特异性训练数据集和指定查询目标的特异性cnn将在云端服务器中进行微调的训练，将特异性cnn部署到边缘端服务器，降低了模型复杂度，并且增强了识别特定类型对象的能力；
[0054]
2)目标检测：该模块每隔一定时间提取视频中的两到三个相邻帧，计算相邻帧之间的灰度值差异，如果某个区域的差值接近零，也就是这个区域在这两到三帧的时间里变化不大，可以认为是在这个区域没有值得提取出来的运动目标。反之，如果某个区域的差值比较大，超过了一定的阈值，则认为这个区域存在值得提取的运动目标，于是我们将这个区域提取出来作为检测到的运动目标，传给任务调度模块；
[0055]
3)任务调度：该模块接受被检测出的运动目标，根据边缘端服务器和云端服务器的负载情况，为每一个提取出的运动目标选择执行识别任务的服务器。比较被检测的目标在边缘端服务器和云端服务器的处理时延，选择处理时延更小的服务器识别该目标；
[0056]
4)轻量级cnn目标识别：在边缘端服务器上使用轻量级cnn(如mobilenet_v2)对该目标进行快速识别，输出该目标是查询目标的识别置信度。若置信度大于α，则认为该目标是查询目标；若置信度小于β，则认为该目标不是查询目标；若置信度在α和β之间，则认为轻量级cnn无法判断该目标是否为查询目标，上传到云端服务器。α、β是阈值参数，满足0<β<α<1；
[0057]
5)高精度cnn目标识别过程：对于任务调度后上传到云端服务器的运动目标和边
缘端服务器上的轻量级cnn无法判断的目标，使用高精度cnn(如resnet152)进行识别，判断是否为查询目标，输出该目标是查询目标的置信度。若置信度超过一定的阈值，则认为该目标是查询目标。
[0058]
如图4和图5，是本发明和其他目标查询系统的效果对比柱状图和查询延时对比折线图。其中，surveiledge是本发明采用的基于边云cnn级联的监控视频目标实时查询系统，surveiledge(fixed)是不使用边云任务调度算法和阈值参数自适应调整机制的边云查询系统，edge-only是所有计算都在边缘端服务器上的纯边目标查询系统，cloud-only是所有计算都在云端服务器上的纯云目标查询系统。通过图3可以发现，与传统的纯云目标查询系统(cloud-only)相比，本系统(surveiledge)带宽开销降低了3倍，查询响应时间缩短了14.56倍，同时保持了较好的查询精度；与纯边目标查询系统(edge-only)相比，该系统的查询准确率提高了27.5％，实现了2.05倍的查询加速。本系统的边云协同结构在查询的准确性和延迟之间做了很好的权衡，在边缘端服务器上对图像首先进行识别和过滤，减少了上传到云端服务器的数据量，从而减少了大量的传输延迟。同时，将一些识别置信度较低的图像上传到云端服务器进行二次识别，弥补了边缘端服务器中使用轻量级cnn进行识别所带来的精度下降。
[0059]
通过图4可以观察出边云任务调度算法和阈值参数自适应调整机制的使用显著地减少了查询的平均延迟。当一个计算节点超载时，边云任务调度算法以相对较小的计算压力将下一个任务分配给另一个节点，避免了等待延迟的不断增加。事实上，当一帧的查询延迟太大时，该帧的查询结果就会过时，查询的结果会失去意义。边云任务调度算法和阈值参数自适应调整机制的使用让云端服务器中的高精度cnn在非繁忙时间内识别出更多的图像，而在繁忙时通过减少二次识别的图像比例来减轻系统的整体负载，显著减少了平均查询时延以及查询时延的波动性，平衡了各计算节点的任务负载。
[0060]
需要说明的是，以上所述仅为本发明实施方式的一部分，根据本发明所做的等效变化，均包括在本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做类似的方式替代，只要不偏离本发明或者超越本权利要求书所定义的范围，均属于本发明的保护范围。