视频目标检测方法、计算机装置、存储介质及程序产品

本发明涉及监控视频目标识别领域，特别是一种视频目标检测方法、计算机装置、存储介质及程序产品。

背景技术：

1、视频监控在社会公共安全中发挥着越来越重要的作用。传统的视频监控系统只能提供实时情况监控，或者通过回看监控视频人工分析案件，监控视频数据应用效率底，难以有效发挥视频监控的巨大作用。人工智能和机器学习技术应用于视频监控系统，能够智能分析视频内容、检测异常行为、发现潜在的危害行为，从而提供更准确、更安全的监控[1]。虽然大型互联网公司发布了一些智能视频监控产品，但是一方面受到软件产品购买、运行、维护成本的限制，监控视频领域缺乏简洁、有效的辅助工具；另一方面受到硬件成本、硬件工艺、拍摄环境等限制，目前监控视频的分辨率低，视觉感知不清晰。

2、传统目标检测算法opencv级联分类器，通过滑动窗口进行区域选择，采用 hog+svm等方法进行特征提取，使用分类器对检测区域进行分类[2,3]。基于深度学习的目标检测算法可分为基于区域建议的目标检测与识别算法和基于回归的目标检测与识别算法两种。基于区域建议的目标检测与识别算法rcnn，首先基于区域建议生成目标候选框，然后对所生成的目标候选框进行筛选，最后精修候选框的大小与位置[4]。基于回归的目标检测与识别算法yolo将目标检测看作是一个回归问题，训练阶段的目的是训练出一组权值，测试时，直接调用已训练好的权值进行目标定位[5]。传统超分辨率方法多是基于插值(如零阶插值法、双线性插值法和双三次插值法)和实例的方法。基于实例的稀疏表示方法通过学习图像块之间的稀疏关联，建立从低分辨率到超分辨率图像之间的映射关系，实现图像的超分辨率重建[6]。基于深度学习的超分辨率算法可以分为基于像素空间的方法和基于特征空间的方法。基于像素空间的超分辨率方法srcnn，首先使用一个9*9卷积层提取图像初始特征，然后使用一个1*1卷积层学习从低分辨率到高分辨的非线性映射，最后使用一个5*5卷积层重建超分辨率图像[7]。基于特征空间的超分辨率方法srgan，通过生成器学习从lr到hr的非线性映射，通过鉴别器在语义和风格上约束生成的超分辨率图像[8]。这些目标检测算法和超分辨率算法在各自领域取得越来越好的效果，但是并不适合直接用于基于视频监控的公共安全领域，将目标检测算法、关键帧选择算法和超分辨率算法融合，并针对公共安全领域设计监控视频综合分析框架，对于提升监控视频侦查人员工作效率，具有重要意义[9]。

技术实现思路

1、本发明所要解决的技术问题是，针对现有技术不足，提供一种视频目标检测方法、计算机装置、存储介质及程序产品，提高视频目标检测精度。

2、为解决上述技术问题，本发明所采用的技术方案是：一种视频目标检测方法，包括以下步骤：

3、s1、提取输入视频帧的特征，融合提取的特征，构建视频目标检测网络；

4、s2、目标检测网络将视频帧划分为n*n个网格，每个网格预测出b个检测框，采用基于检测框中心点距离的非极大值抑制算法去除冗余窗口[10](对于视频帧中重叠的目标，根据检测框中心点位置信息，能够保留重叠目标的检测框，防止重叠目标被屏蔽)，输出去除冗余窗口后的检测框，即目标框的类别信息、数量信息和置信度信息；

5、s3、判断目标框内当前帧视频与上一帧视频的类别信息、数量信息、置信度信息之一是否发生变化，若发生变化，则将当前帧作为关键帧；

6、s4、获取关键视频帧中的目标在图像中的坐标信息，根据坐标信息截取关键帧中的目标，得到监控视频的关键目标。

7、本发明的基于目标检测网络的关键帧选择算法，能够从大量视频帧中，选出类别信息、数量信息、置信度信息发生变化的关键帧，剔除信息相似的大量冗余视频帧，能够有效提升监控视频侦查人员的工作效率，降低人工成本，极大地提高侦查人员目标检测的精度。

8、为了进一步提高目标检测精度，有效提升关键目标的视觉感知质量，协助视频侦查人员识别、追踪目标，本发明的方法还包括：

9、s5、提取关键目标的初始特征，学习初始特征从低分辨率到高分辨率的映射关系，重建出高分辨率关键目标。

10、本发明利用两个级联的卷积层提取所述关键目标的初始特征，从而提取更丰富的初始特征，扩大超分辨率重建网络的感受野。

11、本发明中，学习初始特征从低分辨率到高分辨率的映射关系，重建出高分辨率关键目标的具体实现过程包括：

12、1)将所述初始特征输入第一上采样单元，得到第一上采样特征图；

13、2)将所述第一上采样特征图输入第一下采样单元，得到第一下采样特征图；

14、3)将所述第一下采样特征图输入第二上采样单元，得到第二上采样特征图；将所述第二上采样特征图输入第二下采样单元，得到第二下采样特征图；将所述第二下采样特征图输入第三上采样单元，得到第三上采样特征图；将所述第三上采样特征图输入第三下采样单元，得到第三下采样特征图；

15、4)重复步骤3)n次，将得到的特征图输入第四上采样单元，获得第四上采样特征图；

16、5)将第四上采样特征图输入至输出卷积层，重建出高分辨率关键目标。

17、本发明基于上、下采用单元迭代的超分辨率重建网络，能够充分挖掘低分辨率和高分辨率图像之间的映射关系，递归结构能够在不增加参数量的前提下，增加反投影网络的深度，从而实现高质量视频帧sr重建。

18、所有的上采样单元结构相同，包括依次连接的第一反卷积层、第一卷积层和第二反卷积层；所有的下采样单元结构相同，包括依次连接的第二卷积层、第三反卷积层和第三卷积层。本发明中，上、下采样单元，通过计算上、下采样过程中的投影误差，并使用投影误差修正输出，恢复上、下采样过程中的信息丢失，提升上、下采样单元的输出质量。

19、上采样单元结构的第一反卷积层用于上采样输入特征；第一卷积层用于下采样第一反卷积的输出，并计算与输入特征的差值(投影误差)；第二反卷积层用于上采样投影误差，并与第一反卷积层的输出叠加，得到经过投影误差修正的上采样输出。下采样单元结构的第一卷积层用于下采样输入特征；第一反卷积层用于上采样第一卷积的输出，并计算与输入特征的差值(投影误差)；第二卷积层用于下采样投影误差，并与第一卷积层的输出叠加，得到经过投影误差修正的下采样输出。

20、本发明的方法还包括：根据关键帧的时间序列编号，采用opencv合成监控视频的关键帧，输出监控视频的关键帧视频。opencv是致力于真实世界实时应用的开源计算机视觉库，拥有包括300多个c函数的跨平台的中、高层api，能够方便、快捷地合成关键帧视频。关键帧视频中，删除了大量相似的冗余视频帧，能够有效提升监控视频侦查人员的工作效率。

21、本发明还提供了一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序；其特征在于，所述处理器执行所述计算机程序，以实现本发明所述方法的步骤。

22、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序/指令；其特征在于，所述计算机程序/指令被处理器执行时实现本发明所述方法的步骤。

23、本发明还提供了一种计算机程序产品，包括计算机程序/指令；其特征在于，该计算机程序/指令被处理器执行时实现本发明所述方法的步骤。

24、与现有技术相比，本发明所具有的有益效果为：

25、1、本发明能够辅助监控视频查看人员实时追踪目标，超分辨率算法能够重建出视觉感知清晰的高分辨率视频帧；

26、2、本发明解决了公共安全领域视频数据分析工作量大，容易丢失目标且分辨率低的问题；

27、3、本发明通过基于回归的目标检测与识别算法，对视频目标进行实时识别，便于监控视频查看人员追踪目标，通过设计关键帧选择算法，挑选出监控视频中场景显著变化的帧，降低了视频分析的工作量；

28、4、本发明使用深度递归反投影超分辨率算法对关键帧中的目标进行超分辨率重建，提升关键目标的分辨率，提高监控视频检测目标的视觉感知质量，便于监控视频查看人员侦查办案。