一种烟火检测方法、装置、电子设备及存储介质

本技术涉及烟火检测和森林火灾监测的，具体而言，涉及一种烟火检测方法、装置、电子设备及存储介质。

背景技术：

1、目前的烟火检测通常是通过无人机巡逻的方式来烟火检测的，例如：通过无人机在天空中巡逻，从而监测地面是否有森林火灾或者自然山火等等现象。然而，在实践过程中发现，无人机容易受到气象的遮挡、光照、设备或者地面反射光等影响，导致无人机的误报概率较高。

技术实现思路

1、本技术实施例的目的在于提供一种烟火检测方法、装置、电子设备及存储介质，用于改善无人机的误报概率较高的问题。

2、本技术实施例提供了一种烟火检测方法，包括：对目标对象的双目图像进行烟火检测，获得双目检测结果，双目图像是使用双目相机对目标对象进行拍摄获得的；对目标对象的无人机图像进行烟火检测，获得无人机检测结果，无人机图像是使用无人机相机对目标对象进行拍摄获得的；对无人机检测结果和双目检测结果进行融合，获得烟火检测结果。在上述方案的实现过程中，通过对无人机图像检测的结果和双目图像检测的结果进行融合，有效地融合了多种监测来源的图像检测结果，且多种监测来源图像的检测结果可以相互验证，从而减小了烟火检测的误报概率，提高了烟火检测的准确率。

3、可选地，在本技术实施例中，双目检测结果，包括：目标对象在世界坐标系下的三维坐标；对目标对象的双目图像进行烟火检测，包括：对双目图像进行特征点提取和匹配，获得匹配的多个特征点对；根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标。在上述方案的实现过程中，通过根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标，从而减少了不匹配的特征点对计算三维坐标的干扰，有效地提高了确定目标对象在世界坐标系下的三维坐标的准确率。

4、可选地，在本技术实施例中，双目检测结果，还包括：双目相机确定目标对象是烟火的第一概率；在根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标之前，还包括：对双目图像进行目标检测，获得第一概率，以及目标对象在双目图像中的检测框；根据检测框对匹配的多个特征点对进行筛选，获得检测框之内的特征点对，检测框之内的特征点对用于确定目标对象在世界坐标系下的三维坐标。在上述方案的实现过程中，通过根据检测框对匹配的多个特征点对进行筛选，获得检测框之内的特征点对，检测框之内的特征点对用于确定目标对象在世界坐标系下的三维坐标，从而减少了检测框之外的特征点对计算三维坐标的干扰，有效地提高了确定目标对象在世界坐标系下的三维坐标的准确率。

5、可选地，在本技术实施例中，根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标，包括：针对匹配的多个特征点对中的每个特征点对，根据该特征点对的视差和双目相机的相机参数确定目标对象的一个三维空间坐标，获得多个三维空间坐标；将多个三维空间坐标的中位数或者平均值确定为三维坐标。在上述方案的实现过程中，通过将多个三维空间坐标的中位数或者平均值确定为三维坐标，从而改善了三维空间坐标中的偏差值影响最终结果的情况，有效地提高了确定目标对象在世界坐标系下的三维坐标的准确率。

6、可选地，在本技术实施例中，无人机检测结果，包括：目标对象在相机坐标系下的像素坐标；对目标对象的无人机图像进行烟火检测，包括：获取目标对象在无人机图像中的候选框；将无人机图像中的候选框的中心点坐标确定为像素坐标。在上述方案的实现过程中，通过将无人机图像中的候选框的中心点坐标确定为像素坐标的简化处理，排除了空地不同源中目标大小不同对于实际融合的干扰，从而提高了烟火检测的准确率。

7、可选地，在本技术实施例中，无人机检测结果，还包括：无人机相机确定目标对象是烟火的第二概率；获取目标对象在无人机图像中的候选框，包括：对无人机图像进行目标检测，获得第二概率，以及目标对象在无人机图像中的候选框。在上述方案的实现过程中，通过对无人机图像进行目标检测得到目标对象在无人机图像中的候选框，从而改善了候选框之外的背景像素点影响烟火检测结果的情况，有效地提高了烟火检测的准确率。

8、可选地，在本技术实施例中，烟火检测结果，包括：融合坐标；对无人机检测结果和双目检测结果进行融合，包括：对双目检测结果中的三维坐标和无人机检测结果中的像素坐标进行融合，获得融合坐标。在上述方案的实现过程中，通过对双目检测结果中的三维坐标和无人机检测结果中的像素坐标进行融合，由于多种监测来源图像的检测结果可以相互验证，从而减小了烟火检测的误报概率，提高了烟火检测的准确率。

9、可选地，在本技术实施例中，对双目检测结果中的三维坐标和无人机检测结果中的像素坐标进行融合，包括：将双目检测结果中的三维坐标转换为无人机视角像素坐标系下的像素坐标，获得转换后的像素坐标；对转化后的像素坐标和无人机检测结果中的像素坐标进行融合。在上述方案的实现过程中，通过将双目检测结果中的三维坐标转换为无人机视角像素坐标系下的像素坐标；对转换后的像素坐标和无人机检测结果中的像素坐标进行融合，从而改善了不同维度的坐标难以融合的情况，且由于多种监测来源图像的检测结果可以相互验证，从而减小了烟火检测的误报概率，提高了烟火检测的准确率。

10、可选地，在本技术实施例中，烟火检测结果，还包括：融合概率；对无人机检测结果和双目检测结果进行融合，还包括：使用改进贝叶斯模型对双目检测结果中的第一概率和无人机检测结果中的第二概率进行融合，获得融合概率。在上述方案的实现过程中，通过使用改进贝叶斯模型对双目检测结果中的第一概率和无人机检测结果中的第二概率进行融合，从而有效地利用了改进贝叶斯模型的条件独立特性，且多种监测来源图像的检测结果可以相互验证，从而减小了烟火检测的误报概率，提高了烟火检测的准确率。

11、可选地，在本技术实施例中，对无人机检测结果和双目检测结果进行融合，包括：根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合。在上述方案的实现过程中，通过根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合，由于多种监测来源图像的检测结果可以相互验证，从而减小了烟火检测的误报概率，提高了烟火检测的准确率。

12、可选地，在本技术实施例中，根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合，包括：若双目检测结果中的第一概率大于第一预设阈值，且无人机检测结果中的第二概率大于第二预设阈值，则对无人机检测结果和双目检测结果进行融合。

13、可选地，在本技术实施例中，根据所述双目检测结果中的第一概率和所述无人机检测结果中的第二概率，对所述无人机检测结果和所述双目检测结果进行融合，包括：若双目检测结果中的第一概率小于或等于第一预设阈值，且无人机检测结果中的第二概率大于第二预设阈值，则向双目相机发送无人机检测结果，以使双目相机在确认无人机检测结果之后，对无人机检测结果和双目检测结果进行融合。

14、可选地，在本技术实施例中，根据所述双目检测结果中的第一概率和所述无人机检测结果中的第二概率，对所述无人机检测结果和所述双目检测结果进行融合，包括：若双目检测结果中的第一概率大于第一预设阈值，且无人机检测结果中的第二概率小于或等于第二预设阈值，则向无人机相机发送双目检测结果，以使无人机相机在确认双目检测结果之后，对无人机检测结果和双目检测结果进行融合。

15、本技术实施例还提供了一种烟火检测装置，包括：第一烟火检测模块，用于对目标对象的双目图像进行烟火检测，获得双目检测结果，双目图像是使用双目相机对目标对象进行拍摄获得的；第二烟火检测模块，用于对目标对象的无人机图像进行烟火检测，获得无人机检测结果，无人机图像是使用无人机相机对目标对象进行拍摄获得的；检测结果融合模块，用于对无人机检测结果和双目检测结果进行融合，获得烟火检测结果。

16、可选地，在本技术实施例中，双目检测结果，包括：目标对象在世界坐标系下的三维坐标；第一烟火检测模块，包括：特征提取匹配子模块，用于对双目图像进行特征点提取和匹配，获得匹配的多个特征点对；三维坐标确定子模块，用于根据匹配的多个特征点对确定目标对象在世界坐标系下的三维坐标。

17、可选地，在本技术实施例中，双目检测结果，还包括：双目相机确定目标对象是烟火的第一概率；第一烟火检测模块，还包括：第一概率获得子模块，用于对双目图像进行目标检测，获得第一概率，以及目标对象在双目图像中的检测框；特征点对筛选子模块，用于根据检测框对匹配的多个特征点对进行筛选，获得检测框之内的特征点对，检测框之内的特征点对用于确定目标对象在世界坐标系下的三维坐标。

18、可选地，在本技术实施例中，三维坐标确定子模块，包括：空间坐标确定单元，用于针对匹配的多个特征点对中的每个特征点对，根据该特征点对的视差和双目相机的相机参数确定目标对象的一个三维空间坐标，获得多个三维空间坐标；三维坐标确定单元，用于将多个三维空间坐标的中位数或者平均值确定为三维坐标。

19、可选地，在本技术实施例中，无人机检测结果，包括：目标对象在相机坐标系下的像素坐标；第二烟火检测模块，包括：候选框获取子模块，用于获取目标对象在无人机图像中的候选框；像素坐标确定子模块，用于将无人机图像中的候选框的中心点坐标确定为像素坐标。

20、可选地，在本技术实施例中，无人机检测结果，还包括：无人机相机确定目标对象是烟火的第二概率；候选框获取子模块，包括：第二概率获得单元，用于对无人机图像进行目标检测，获得第二概率，以及目标对象在无人机图像中的候选框。

21、可选地，在本技术实施例中，烟火检测结果，包括：融合坐标；检测结果融合模块，包括：融合坐标获得子模块，用于对双目检测结果中的三维坐标和无人机检测结果中的像素坐标进行融合，获得融合坐标。

22、可选地，在本技术实施例中，融合坐标获得子模块，包括：相机坐标转换单元，用于将双目检测结果中的三维坐标转换为无人机视角像素坐标系下的像素坐标，获得转换后的像素坐标；相机坐标融合单元，用于对转换后的像素坐标和无人机检测结果中的像素坐标进行融合。

23、可选地，在本技术实施例中，烟火检测结果，还包括：融合概率；检测结果融合模块，还包括：融合概率获得子模块，用于使用改进贝叶斯模型对双目检测结果中的第一概率和无人机检测结果中的第二概率进行融合，获得融合概率。

24、可选地，在本技术实施例中，检测结果融合模块，包括：检测概率融合子模块，用于根据双目检测结果中的第一概率和无人机检测结果中的第二概率，对无人机检测结果和双目检测结果进行融合。

25、可选地，在本技术实施例中，检测概率融合子模块，包括：第一结果融合单元，用于若双目检测结果中的第一概率大于第一预设阈值，且无人机检测结果中的第二概率大于第二预设阈值，则对无人机检测结果和双目检测结果进行融合。

26、可选地，在本技术实施例中，检测概率融合子模块，包括：第二结果融合单元，用于若双目检测结果中的第一概率小于或等于第一预设阈值，且无人机检测结果中的第二概率大于第二预设阈值，则向双目相机发送无人机检测结果，以使双目相机在确认无人机检测结果之后，对无人机检测结果和双目检测结果进行融合。

27、可选地，在本技术实施例中，检测概率融合子模块，包括：第三结果融合单元，用于若双目检测结果中的第一概率大于第一预设阈值，且无人机检测结果中的第二概率小于或等于第二预设阈值，则向无人机相机发送双目检测结果，以使无人机相机在确认双目检测结果之后，对无人机检测结果和双目检测结果进行融合。

28、本技术实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。

29、本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。