高空抛物的检测方法、装置、存储介质和电子设备与流程

本技术涉及图像处理技术，特别涉及一种高空抛物的检测方法、装置、存储介质和电子设备。

背景技术：

1、随着图像处理技术的进步，有人提出利用监控图像实现高空抛物的自动检测。

2、目前，进行高空抛物自动检测的方法步骤主要包括：在监控图像中进行移动目标的跟踪，根据移动目标在监控图像中的像素坐标对移动目标的运动特性进行分析，再根据运动特性分析结果判断是否属于高空抛物。但是经实践发现，目前高空抛物检测方法的检测准确性不高。

3、因此，当前需要一种检测准确性更高的高空抛物检测方法。

技术实现思路

1、本技术提供一种高空抛物的检测方法、装置、存储介质和电子设备，能够有效提高高空抛物的检测准确性。

2、为实现上述目的，本技术采用如下技术方案：

3、一种高空抛物的检测方法，包括：

4、对设定时间段内的图像帧进行移动目标的跟踪，确定所述移动目标在图像坐标系下的移动轨迹；

5、确定所述图像帧的采集设备的内参矩阵和外参矩阵；

6、利用所述内参矩阵和所述外参矩阵，将所述移动目标在图像坐标系下的移动轨迹进行畸变矫正后转换到世界坐标系下；

7、基于世界坐标系下的移动轨迹，识别所述移动目标是否为高空抛物。

8、较佳地，所述确定所述图像帧的采集设备的内参矩阵和外参矩阵，包括：

9、在所述设定时间段内的图像帧中选择参考图像帧；

10、获取在所述参考图像帧中识别的直线，并在通过所述识别的直线计算出的消失点中选择最佳消失点；其中，所述最佳消失点使所述识别的直线中相交于所述最佳消失点指定范围内的直线的长度和最大，且在所述相交于所述最佳消失点指定范围内的直线中选择部分或全部直线作为建筑物轮廓直线；

11、基于所述最佳消失点，确定最佳视场角；其中，所述最佳视场角为使所有去畸变后的建筑物轮廓直线经过去畸变后的最佳消失点的误差和最小的视场角；

12、基于所述最佳视场角计算所述内参矩阵；

13、基于所述内参矩阵确定所述外参矩阵；其中，所述外参矩阵保证去畸变后的建筑物轮廓直线垂直于地面。

14、较佳地，确定所述最佳消失点的方式，包括：

15、在所述参考图像帧中识别的直线组成的直线簇中，对于前p条最长的直线中每两条直线组成的直线对，计算所述直线对的交点，将所述交点作为所述直线对的消失点；其中，所述p为预设的正整数；

16、对于每个所述直线对，基于消失点原理在所述直线簇中选择有效直线，并将选择出的所有有效直线组成所述直线对对应的有效直线簇；

17、对于每个所述直线对，对该直线对对应的有效直线簇中的所有直线计算长度和，将其作为所述直线对对应的权值；

18、在所有直线对中，选择对应的权值最大的直线对作为最佳直线对，并将所述最佳直线对的消失点作为所述最佳消失点。

19、较佳地，所述对于每个所述直线对基于消失点原理在所述直线簇中选择有效直线，包括：

20、针对所述直线簇中除所述直线对外的每条第一当前直线，确定在所述第一当前直线上的任一点与所述直线对的消失点间的第一连线，并计算所述第一连线与所述第一当前直线间的夹角；选择所述夹角小于设定阈值的所述第一当前直线，作为所述直线对对应的有效直线。

21、较佳地，将所述最佳直线对对应的有效直线簇中的直线作为所述建筑物轮廓直线。

22、较佳地，所述基于所述最佳消失点确定最佳视场角，包括：

23、对于每条建筑物轮廓直线，将视场角作为自变量确定所述建筑物轮廓直线进行去畸变处理后的第一表达式，并确定在去畸变后的所述建筑物轮廓直线上的任一点与去畸变后的所述最佳消失点间的第二连线，基于所述第一表达式，确定所述第二连线与去畸变后的所述建筑物轮廓直线间的夹角表达式，作为所述建筑物轮廓直线对应的夹角表达式；

24、将所有所述建筑物轮廓直线对应的夹角表达式求和得到求和结果，求解使所述求和结果最小的视场角，将该视场角作为所述最佳视场角。

25、较佳地，所述基于所述内参矩阵确定所述外参矩阵，包括：

26、以所述采集设备的欧拉角作为自变量，确定所述采集设备的旋转矩阵的表达式；

27、基于所述旋转矩阵的表达式和所述内参矩阵，确定所述参考图像帧映射到世界坐标系下的投影矩阵表达式；

28、对每条按照所述最佳视场角去畸变后的矫正建筑物轮廓直线，基于所述投影矩阵的表达式，确定所述矫正建筑物轮廓直线上的任意两点在世界坐标系下的坐标表达式，并基于所述坐标表达式计算所述矫正建筑物轮廓直线在世界坐标系下的斜率表达式；

29、对所有矫正建筑物轮廓直线在世界坐标系下的斜率表达式求和，求解使斜率表达式求和结果最大的欧拉角；

30、基于求解得到的欧拉角确定所述外参矩阵。

31、较佳地，所述识别所述移动目标是否为高空抛物，包括：

32、对于所述世界坐标系下的移动轨迹分别进行世界坐标系下的x轴方向和y轴方向的曲线拟合；

33、计算所述x轴方向的曲线拟合结果与一次曲线的第一相关性，并计算所述y轴方向的曲线拟合结果与二次曲线的第二相关性；

34、基于所述第一相关性和所述第二相关性确定所述移动轨迹与抛物轨迹的相关性；

35、若所述移动轨迹与抛物轨迹的相关性小于预设的抛物阈值，则确定所述移动目标不是高空抛物，结束本方法流程；否则，将所述世界坐标系下的移动轨迹输入用于抛物检测的神经网络，确定所述移动目标是否为高空抛物。

36、较佳地，在进行所述曲线拟合后，该方法进一步包括：

37、当基于所述x轴方向的曲线拟合结果确定所述移动目标在所述x轴方向的加速度大于设定的第一加速度阈值时，确定所述移动目标不是高空抛物，结束本方法流程；

38、和/或，

39、当基于所述y轴方向的曲线拟合结果确定所述移动目标在所述y轴方向的加速度超过设定的加速度阈值范围时，确定所述移动目标不是高空抛物，结束本方法流程；

40、和/或，

41、当所述移动轨迹在相邻两个图像帧中的位置差大于设定的位置差阈值时，确定所述移动目标不是高空抛物，结束本方法流程。

42、较佳地，所述识别所述移动目标是否为高空抛物，包括：

43、基于所述世界坐标系下的移动轨迹，从所述设定时间段内畸变矫正且转换到世界坐标系后的各图像帧中提取所述移动轨迹在相应图像帧中对应的移动目标，并将提取出的所有移动目标拼接到目标检测帧中；

44、在所述各图像帧中，确定将所述移动目标作为前景时相应图像帧的掩码图；

45、将所述各图像帧的掩码图拼接到同一帧，并裁减为与所述目标检测帧相同大小的目标权重帧；

46、将所述目标检测帧和所述目标权重帧的像素取值输入用于抛物检测的神经网络，确定所述移动目标是否为高空抛物。

47、一种高空抛物的检测装置，包括：目标检测单元、矩阵计算单元、坐标转换单元和抛物识别单元；

48、所述目标检测单元，用于对设定时间段内的图像帧进行移动目标的跟踪，确定所述移动目标在图像坐标系下的移动轨迹；

49、所述矩阵计算单元，确定所述图像帧的采集设备的内参矩阵和外参矩阵；

50、所述坐标转换单元，用于利用所述内参矩阵和所述外参矩阵，将所述移动目标在图像坐标系下的移动轨迹进行畸变矫正后转换到世界坐标系下；

51、所述抛物识别单元，用于基于世界坐标系下的移动轨迹，识别所述移动目标是否为高空抛物。

52、较佳地，所述矩阵计算单元包括最佳消失点确定子单元、内参矩阵计算子单元和外参矩阵计算子单元；

53、所述最佳消失点确定子单元，用于在所述设定时间段内的图像帧中选择参考图像帧；还用于获取在所述参考图像帧中识别的直线，并在通过所述识别的直线计算出的消失点中选择最佳消失点；其中，所述最佳消失点使所述识别的直线中相交于所述最佳消失点指定范围内的直线的长度和最大，且在所述相交于所述最佳消失点指定范围内的直线中选择部分或全部直线作为建筑物轮廓直线；

54、所述内参矩阵计算子单元，用于基于所述最佳消失点，确定最佳视场角，并基于所述最佳视场角计算所述内参矩阵；其中，所述最佳视场角为使所有去畸变后的建筑物轮廓直线经过去畸变后的最佳消失点的误差和最小的视场角；

55、所述外参矩阵计算子单元，用于基于所述内参矩阵确定所述外参矩阵；其中，所述外参矩阵保证去畸变后的建筑物轮廓直线垂直于地面。

56、较佳地，在所述最佳消失点确定子单元中，所述确定所述最佳消失点的方式，包括：

57、在所述参考图像帧中识别的直线组成的直线簇中，对于前p条最长的直线中每两条直线组成的直线对，计算所述直线对的交点，将所述交点作为所述直线对的消失点；其中，所述p为预设的正整数；

58、对于每个所述直线对，基于消失点原理在所述直线簇中选择有效直线，并将选择出的所有有效直线组成所述直线对对应的有效直线簇；

59、对于每个所述直线对，对该直线对对应的有效直线簇中的所有直线计算长度和，将其作为所述直线对对应的权值；

60、在所有直线对中，选择对应的权值最大的直线对作为最佳直线对，并将所述最佳直线对的消失点作为所述最佳消失点。

61、较佳地，在所述最佳消失点确定子单元中，所述对于每个所述直线对基于消失点原理在所述直线簇中选择有效直线，包括：

62、针对所述直线簇中除所述直线对外的每条第一当前直线，确定在所述第一当前直线上的任一点与所述直线对的消失点间的第一连线，并计算所述第一连线与所述第一当前直线间的夹角；选择所述夹角小于设定阈值的所述第一当前直线，作为所述直线对对应的有效直线。

63、较佳地，将所述最佳直线对对应的有效直线簇中的直线作为所述建筑物轮廓直线。

64、较佳地，在所述内参矩阵计算子单元中，所述基于所述最佳消失点确定最佳视场角，包括：

65、对于每条建筑物轮廓直线，将视场角作为自变量确定所述建筑物轮廓直线进行去畸变处理后的第一表达式，并确定在去畸变后的所述建筑物轮廓直线上的任一点与去畸变后的所述最佳消失点间的第二连线，基于所述第一表达式，确定所述第二连线与去畸变后的所述建筑物轮廓直线间的夹角表达式，作为所述建筑物轮廓直线对应的夹角表达式；

66、将所有所述建筑物轮廓直线对应的夹角表达式求和得到求和结果，求解使所述求和结果最小的视场角，将该视场角作为所述最佳视场角。

67、较佳地，在所述外参矩阵计算子单元中，所述基于所述内参矩阵确定所述外参矩阵，包括：

68、以所述采集设备的欧拉角作为自变量，确定所述采集设备的旋转矩阵的表达式；

69、基于所述旋转矩阵的表达式和所述内参矩阵，确定所述参考图像帧映射到世界坐标系下的投影矩阵表达式；

70、对每条按照所述最佳视场角去畸变后的矫正建筑物轮廓直线，基于所述投影矩阵的表达式，确定所述矫正建筑物轮廓直线上的任意两点在世界坐标系下的坐标表达式，并基于所述坐标表达式计算所述矫正建筑物轮廓直线在世界坐标系下的斜率表达式；

71、对所有矫正建筑物轮廓直线在世界坐标系下的斜率表达式求和，求解使斜率表达式求和结果最大的欧拉角；

72、基于求解得到的欧拉角确定所述外参矩阵。

73、较佳地，在所述抛物识别单元中，所述识别所述移动目标是否为高空抛物，包括：

74、对于所述世界坐标系下的移动轨迹分别进行世界坐标系下的x轴方向和y轴方向的曲线拟合；

75、计算所述x轴方向的曲线拟合结果与一次曲线的第一相关性，并计算所述y轴方向的曲线拟合结果与二次曲线的第二相关性；

76、基于所述第一相关性和所述第二相关性确定所述移动轨迹与抛物轨迹的相关性；

77、若所述移动轨迹与抛物轨迹的相关性小于预设的抛物阈值，则确定所述移动目标不是高空抛物，结束本方法流程；否则，将所述世界坐标系下的移动轨迹输入用于抛物检测的神经网络，确定所述移动目标是否为高空抛物。

78、较佳地，所述抛物识别单元在进行所述曲线拟合后，进一步用于：

79、当基于所述x轴方向的曲线拟合结果确定所述移动目标在所述x轴方向的加速度大于设定的第一加速度阈值时，确定所述移动目标不是高空抛物，结束本方法流程；

80、和/或，

81、当基于所述y轴方向的曲线拟合结果确定所述移动目标在所述y轴方向的加速度超过设定的加速度阈值范围时，确定所述移动目标不是高空抛物，结束本方法流程；

82、和/或，

83、当所述移动轨迹在相邻两个图像帧中的位置差大于设定的位置差阈值时，确定所述移动目标不是高空抛物，结束本方法流程。

84、较佳地，在所述抛物识别单元中，所述识别所述移动目标是否为高空抛物，包括：

85、基于所述世界坐标系下的移动轨迹，从所述设定时间段内畸变矫正且转换到世界坐标系后的各图像帧中提取所述移动轨迹在相应图像帧中对应的移动目标，并将提取出的所有移动目标拼接到目标检测帧中；

86、在所述各图像帧中，确定将所述移动目标作为前景时相应图像帧的掩码图；

87、将所述各图像帧的掩码图拼接到同一帧，并裁减为与所述目标检测帧相同大小的目标权重帧；

88、将所述目标检测帧和所述目标权重帧的像素取值输入用于抛物检测的神经网络，确定所述移动目标是否为高空抛物。

89、一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现上述任一项所述的高空抛物的检测方法。

90、一种电子设备，该电子设备至少包括计算机可读存储介质，还包括处理器；

91、所述处理器，用于从所述计算机可读存储介质中读取可执行指令，并执行所述指令以实现上述任一项所述的高空抛物的检测方法。

92、由上述技术方案可见，本技术中，首先，对设定时间段内的图像帧进行移动目标的跟踪，确定移动目标在图像坐标系下的移动轨迹。接下来，确定图像帧的采集设备的内参矩阵和外参矩阵，并利用内参矩阵进行移动轨迹的畸变矫正，再利用外参矩阵，将畸变矫正后的移动轨迹转换到世界坐标系下。这样，一方面通过畸变矫正克服图像坐标系下由于畸变等因素影响而导致的移动轨迹不准确的问题，另一方面由于世界坐标系是代表物体在现实世界中的真实坐标，因此坐标系转换后的移动轨迹可以有效体现真实世界中的轨迹特性，有助于提高运动分析的准确性。最后，基于世界坐标系下的移动轨迹，识别相应的移动目标是否为高空抛物。由于世界坐标系下的移动轨迹准确性更高，并能够体现在真实世界中的轨迹特性，因此基于该移动轨迹进行的高空抛物的识别准确性也更高，由此本技术的方法可以有效提高高空抛物的检测准确性。