基于红外图像与可见光图像的火源识别定位方法

本技术属于消防，尤其是涉及一种基于红外图像与可见光图像的火源识别定位方法。

背景技术：

1、火灾是最普遍地威胁公众安全和社会发展的主要灾害之一。火灾不仅毁坏物质财产，造成社会秩序的混乱和破坏，还直接或间接危害生命。随着城市化进程的加速，大型购物中心以及地下空间等复杂环境，传统的消防方式面临着诸多挑战，同时传统灭火方式也对消防人员的生命安全造成严重威胁。

2、传统的火源识别大多使用单一的温度特征或者光流特征亦或轮廓特征等，这些识别方法无法排除其他高温物体或者轮廓类似火源物体的干扰；利用火源光流特征通常需要较高的计算资源，对实时处理来说是一个挑战同时其他环境因素导致的动态变化可能影响光流模式，从而影响火源识别的准确性。在火源的定位方面，使用激光直接进行测距的方法简单有效但由于激光特性容易受到烟雾的干扰从而影响准确性而且激光距离有限同时需要较为复杂的分析处理性价比不高；采用图像处理技术涉及机器学习和深度学习非常复杂，需要大量的数据来训练和验证。当前消防机器人的火源识别大多基于小场景下实现，火源明确集中且使用更好控制的水炮进行灭火，识别灭火精准高效。但是，对于大范围的火灾场景识别成功率低，对于灭火效果更高更好的涡喷细水雾的有效自主灭火控制技术缺乏，难以实现高效自主灭火且现有自主消防作业系统局限性。

3、申请内容

4、本技术实施例提供了一种基于红外图像与可见光图像的火源识别定位方法，包括以下步骤：

5、步骤1，捕获目标物的红外图像，记录场景的热特性；同时捕获相同场景下目标物的可见光图像，记录视觉信息；

6、步骤2，对目标物是否存在火源进行识别；若存在火源，执行步骤3；若不存在火源，执行步骤1；

7、步骤3，对火源进行定位；

8、步骤4，建立火场环境下涡喷细水雾传播模型，使火源在涡喷细水雾覆盖下热能传递，实现对目标物温度场的控制。

9、可选地，步骤2中，火源识别包括以下步骤：

10、步骤s201，通过特征匹配技术对红外图像与可见光图像进行空间配准，确保同一目标物在两个图像的位置相同；

11、步骤s202，对可见光图像进行预处理；

12、步骤s203，将红外图像转为伪彩色图像；

13、步骤s204，采用平均值特征融合将可见光图像与伪彩色图像融合，获取合成图像；

14、步骤s205，对合成图像进行处理；

15、步骤s206，使用深度学习网络训练火源检测模型；将处理好的合成图像与训练好的权重文件输入到训练好的火源检测模型中，最终得到带有识别框的合成图像；

16、步骤s207，从可见光图像中提取火源视觉特征，采用sobel算子计算可见光图像的梯度值，执行非极大值抑制并使用边缘跟踪算法生成二值化边缘图像；

17、步骤s208，采用findcoutours函数提取火源轮廓，并通过形状描述符过滤，初步排除不规则形状的干扰物体；

18、步骤s209，创建与伪彩色图像相同的掩码图像，遍历每个检测到的轮廓，并初始化为零，在掩码图像上绘制当前轮廓后，计算轮廓内部像素的平均温度值，并使用相同的温度值填充轮廓；

19、步骤s210，根据火源实际温度设置温度阈值，并结合深度学习网络识别结果及提取的火源轮廓，进行火源识别。

20、可选地，步骤s201中，对于红外图像和可见光图像进行空间配准，两个图像并排配置的配准误差δx的数学表达式为：

21、

22、其中，lpix为像素大小，f为焦距，dc为基线长度，dtarget为最佳理想距离，doptimal为目标距离。

23、可选地，步骤s201中，红外图像和可见光图像在时间和空间上对齐需进行图像融合，首先，对红外图像与可见光图像进行标定，获得相机参数及图像尺度因子；然后，求红外图像相对于可见光图像的偏移，获得图像偏移(x，y)；最后，进行图像叠加。

24、可选地，红外图像和可见光图像采用opencv中的标定方法进行标定，标定方法的标定过程为：计算标定板两两圆心之间的在红外和可见光图像间的像素差，得到图像的缩放比例，将空间目标物在两种图像上的尺寸统一，计算公式为：

25、

26、其中，thermalpoint和visiblepoint为圆心n红外和可见光图像上的x或者y像素坐标值，根据求得的缩放比例，即可将空间目标物在红外图像和可见光图像的尺寸统一；

27、红外图像相对于可见光图像的偏移：先将红外图像和可见光图像缩放到同一大小，再将小尺寸的红外图像移动到可见光图像，红外图像移动到可见光图像的偏移距离(x，y)；

28、偏移方法为：根据标定板中圆形的坐标位置在红外图像和可见光图像的像素坐标位置，计算对应点的像素差，则可将红外图像与可见光像素对齐，公式如下：

29、

30、

31、x和y分别为同一个圆心分别在红外图像和可见光图像中的像素坐标值。

32、可选地，步骤s202中，对红外图像的温度数据进行归一化处理，具体为：

33、normalized_infrared_image＝((infrared_image-min_temperature)/(max_temperature-min_temperature)*255).astype(np.uint8)

34、其中，normalized_infrared_image中的像素值表示归一化后的温度信息，可以在伪彩色图像中使用，与可见光图像进行融合，以表示温度信息的可视化；infrared_image是加载的红外图像，表示图像的灰度值，其中灰度值对应于温度；min_temperature和max_temperature分别为图像中的最低温度与最高温度，最终将温度值映射到0到255之间，得到具有8位灰度深度的图像。

35、可选地，步骤3中，火源定位包括以下步骤：

36、步骤s301，从红外图像和可见光图像中提取已识别火源的特征点；

37、步骤s302，计算每个特征点的描述符；

38、步骤s303，对红外图像和可见光图像提取特征点进行匹配，计算匹配特征点在红外图像和可见光图像中的位置差异，即视差；

39、步骤s304，计算火源在双目相机坐标系的定位坐标；解算出火源世界坐标系，得到实际坐标；

40、步骤s305，对比火源的定位坐标与实际坐标，判断定位的准确性。

41、可选地，步骤s304中，根据视差和摄像头的标定参数，利用仿射几何和相似原理，计算得到火源在双目相机坐标系的定位坐标；

42、根据匹配好的特征点进行双目视觉立体空间定位，定位坐标根据空间仿射几何原理与相似原理，得到世界坐标系下的特征点：

43、

44、式中，ul和vl为左相点的图像坐标；ur和vr为右相点的图像坐标；xl和xr为相点在两个相机坐标系下的水平x向坐标，xl＝ul；yl和yr为相点在两个坐标系下的垂直y向坐标，vl＝yl；p(xc,yc,zc)为p点在左眼坐标系的坐标；t为基线长度；f为相机焦距；右眼坐标系采用左眼坐标系同样方法获得；

45、根据世界坐标系的火源特征点坐标可以在双目相机内参矩阵m2后解算获得，获得火源在世界坐标系下的坐标，得到实际坐标。

46、可选地，步骤4中，涡喷细水雾传播模型包括单一水元运动动力学模型、涡喷细水雾物理学特性与涡喷技术参数之间的影响参数模型；

47、单一水元运动动力学模型为：

48、其中，为流体微元的物质导数，它表示随着流体微元移动而测得的速度变化率，为由于压力梯度产生的力，为粘性力，；为科里奥利力，是由于旋转参考系引起的表观力；表示流体力，它指水流的压力或动力学作用力，使水粒子沿着旋转路径运动，为每个水粒子都受到向圆心的重力。

49、可选地，涡喷细水雾物理学特性与涡喷技术参数之间的影响关系模型中，液滴的流速与压力的关系由伯努利方程得：其中p为压力，ρ为流体密度，v为流速，h为相对于参考点高度，c为常数；

50、喷嘴流量由连续性方程：q＝a·v算得，q为流量大小，a为喷嘴截面积；

51、液滴破碎大小由雷诺数(re)与韦伯数(we)确认：l是喷嘴直径，v是动力粘度，σ为表面张力。

52、本技术提供了一种基于红外图像与可见光图像的火源识别定位方法，能够准确的进行火源的识别与定位，实现主动消防作业。

技术实现思路