运动物体检测方法及其相关设备与流程

本技术涉及图像处理领域，具体涉及一种运动物体检测方法及其相关设备。

背景技术：

1、运动物体检测是计算机视觉的一个研究热点，它可以为视频分析、视频检索等提供支持，在人机交互、医疗诊断等领域都有着越来越重要的应用前景。

2、现有提供的检测方法大部分是在像素域通过算法对视频像素数据进行计算，估计出视频中的运动对象，然而，随着视频分辨率越来越高，需要处理的视频像素数据越来越庞大，如此操作将要耗费大量的计算资源，计算速度也相应变慢。对此，亟需一种新的运动物体检测方法。

技术实现思路

1、本技术提供一种运动物体检测方法及其相关设备，通过结合压缩域语法元素，利用网络模型进行运动物体检测，从而可以实现保证实时性、适应复杂场景的目的。

2、第一方面，提供了一种运动物体检测方法，该方法包括：

3、获取视频码流数据，并提取压缩域语法元素，所述压缩域语法元素用于指示所述视频码流数据中的变量信息；

4、根据所述压缩域语法元素，利用运动检测网络进行检测，确定目标运动物体。

5、本技术实施例可以直接利用视频编码过程中产生的运动信息，节省了运动信息的计算步骤；另外，又结合了运动检测网络进行检测，从而可以实现高效、快速的视频运动目标检测任务，在保证实时性的基础下，解决相关方法中在复杂场景下的鲁棒性问题。

6、结合第一方面，在第一方面的某些实现方式中，根据所述压缩域语法元素，利用运动检测网络进行检测，确定目标运动物体，包括：

7、根据所述压缩域语法元素，确定运动特征；

8、根据所述运动特征，生成二维矩阵；

9、将所述二维矩阵输入所述运动检测网络进行检测，确定所述目标运动物体。

10、在本技术实施例中，本技术无需解码帧图像数据，可直接从压缩域中提取可靠的压缩域语法元素进行运动分析，因此处理速度容易达到实时性。又结合了运动检测网络进行检测，从而可以实现高效、快速的视频运动目标检测任务，在保证实时性的基础下，解决相关方法中在复杂场景下的鲁棒性弱、性能差的问题。

11、结合第一方面，在第一方面的某些实现方式中，根据所述压缩域语法元素，确定运动特征，包括：

12、根据p帧的压缩域语法元素，确定p帧对应的运动特征，所述视频码流数据包括i帧、p帧和b帧；

13、根据b帧的压缩域语法元素，确定b帧对应的运动特征；

14、根据所述i帧前后相邻的p帧对应的运动特征和/或b帧对应的运动特征，利用插值方法，确定所述i帧对应的运动特征。

15、在本技术实施例中，结合p帧和b帧的运动信息，基于运动物体的时空连贯性，对运动特征进行插值处理，从而可以得到i帧的运动信息，这样就可以确定出每帧对应的运动信息。

16、结合第一方面，在第一方面的某些实现方式中，所述方法还包括：

17、对所述i帧、所述p帧和所述b帧对应的运动特征，进行平滑处理。

18、在本技术实施例中，进行平滑处理后，相邻视频帧之间的运动信息过渡更加自然，可以去除误检区域的噪声，还可以避免出现个别数据异常、差异较大的情况。

19、结合第一方面，在第一方面的某些实现方式中，所述压缩域语法元素包括：编码比特量、运动矢量和残差系数。

20、在本技术实施例中，本技术无需解码帧图像数据，可直接从压缩域中提取可靠的编码比特量、运动矢量和残差系数这三种运动信息进行运动分析，因此处理速度容易达到实时性。

21、结合第一方面，在第一方面的某些实现方式中，所述运动特征包括：运动信息量、运动矢量强度、残差系数密度；

22、所述运动信息量与所述编码比特量对应，所述运动矢量强度与所述运动矢量对应，所述残差系数密度与所述残差系数对应。

23、在本技术实施例中，由于压缩域语法元素具有三种，因此，基于三种压缩域语法元素分别设计了运动信息量、运动矢量强度、残差系数密度三种运动特征来表征视频画面的运动情况。

24、结合第一方面，在第一方面的某些实现方式中，所述运动检测网络包括：darknet神经网络模型和yolov3目标检测模型；

25、将所述二维矩阵输入所述运动检测网络进行检测，确定所述目标运动物体，包括：

26、将所述二维矩阵输入所述darknet神经网络模型，得到多尺度的卷积特征层；

27、将所述多尺度的卷积特征层输入所述yolov3目标检测模型，确定所述目标运动物体对应的边框定位。

28、在本技术实施例中，二维矩阵输入darknet神经网络模型，可以融合不同的运动特征，学习有效且全面的运动语义表征；基于yolo-v3目标检测模型对神经网络模型输出的多尺度特征层进行运动检测，可以预测视频画面中的运动目标。

29、第二方面，提供了一种电子设备，所述电子设备包括：一个或多个处理器、存储器和显示屏；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

30、获取视频码流数据，并提取压缩域语法元素，所述压缩域语法元素用于指示所述视频码流数据中的变量信息；

31、根据所述压缩域语法元素，利用运动检测网络进行检测，确定目标运动物体。

32、结合第二方面，在第二方面的某些实现方式中，根据所述压缩域语法元素，利用运动检测网络进行检测，确定目标运动物体，包括：

33、根据所述压缩域语法元素，确定运动特征；

34、根据所述运动特征，生成二维矩阵；

35、将所述二维矩阵输入所述运动检测网络进行检测，确定所述目标运动物体。

36、结合第二方面，在第二方面的某些实现方式中，根据所述压缩域语法元素，确定运动特征，包括：

37、根据p帧的压缩域语法元素，确定p帧对应的运动特征，所述视频码流数据包括i帧、p帧和b帧；

38、根据b帧的压缩域语法元素，确定b帧对应的运动特征；

39、根据所述i帧前后相邻的p帧对应的运动特征和/或b帧对应的运动特征，利用插值方法，确定所述i帧对应的运动特征。

40、结合第二方面，在第二方面的某些实现方式中，所述方法还包括：

41、对所述i帧、所述p帧和所述b帧对应的运动特征，进行平滑处理。

42、结合第二方面，在第二方面的某些实现方式中，所述压缩域语法元素包括：编码比特量、运动矢量和残差系数。

43、结合第二方面，在第二方面的某些实现方式中，所述运动特征包括：运动信息量、运动矢量强度、残差系数密度；

44、所述运动信息量与所述编码比特量对应，所述运动矢量强度与所述运动矢量对应，所述残差系数密度与所述残差系数对应。

45、结合第二方面，在第二方面的某些实现方式中，所述运动检测网络包括：darknet神经网络模型和yolov3目标检测模型；

46、将所述二维矩阵输入所述运动检测网络进行检测，确定所述目标运动物体，包括：

47、将所述二维矩阵输入所述darknet神经网络模型，得到多尺度的卷积特征层；

48、将所述多尺度的卷积特征层输入所述yolov3目标检测模型，确定所述目标运动物体对应的边框定位。

49、应理解，在上述第一方面中对相关内容的扩展、限定、解释和说明也适用于第二方面中相同的内容。

50、第三方面，提供了一种运动物体检测装置，包括用于执行第一方面中任一种运动物体检测方法的单元。

51、在一种可能的实现方式中，当该运动物体检测装置是电子设备时，该处理单元可以是处理器，该输入单元可以是通信接口；该电子设备还可以包括存储器，该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该电子设备执行第一方面中的任一种方法。

52、第四方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面中的任一种运动物体检测方法。

53、第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种运动物体检测方法。

54、第六方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种运动物体检测方法。