基于红外成像与单线激光雷达的火源识别定位方法

1.本发明涉及消防技术领域，尤其涉及一种基于红外成像与单线激光雷达的火源识别定位方法。


背景技术：

2.伴随我国经济的快速发展，城市建筑分布密集，大型商超、体育中心、工业车间等结构复杂的建筑物中人员密集，一旦发生火灾极易在短时间内发展为重大火灾。在火灾发生初期对火势进行探测，有效为消防机器人提供准确的火点位置，控制水炮装置，及时扑灭火灾，就能够有效地保障人员的安全，避免更多的财产损失。传统消水炮在执行灭火作业的过程中，火点的定位依赖于消防员的经验和对火场的观察，不仅使得灭火效率大大降低，同时消防员面对的危险也大大增加。
3.传统的仅仅依靠高温特征来确定火源，不能排除其他高温物体的干扰，如：高温的锅炉等。多线激光雷达虽然性能较高并且能够适应目前的需求，但是其售价昂贵，实现成本很高，并且角频率及灵敏度的上限也较低；相比利用多线激光雷达来定位火源，单线激光雷达成本更低且在角频率及灵敏度上反应更快捷，但单线雷达只能平面式扫描，获得稀疏点云，无法获得目标的高度，因此实际使用过程中还是受到了相当的限制。


技术实现要素：

4.本发明的实施例提供一种基于红外成像与单线激光雷达的火源识别定位方法，能够以较低的成本来提高火源识别的稳定性和准确性。
5.为达到上述目的，本发明的实施例采用如下技术方案：
6.所述方法用于消防机器人，在所述消防机器人上安装的红外成像仪和单线激光雷达，所述消防机器人上设置有云台，所述单线激光雷达安装在所述云台上；所述方法包括：
7.s1、对红外成像仪和单线激光雷达进行联合标定，并建立红外图像数据与激光雷达点云数据之间的对应关系；
8.s2、从红外成像仪采集的红外图像中提取静态特征和动态特性，并综合利用静态特征和动态特性识别火源；
9.s3、所述云台从初始角度开始，以预设的角速度并按照预设的方向均速转动，其中，在所述单线激光雷达的每一个扫描断面中，重复s2的过程，直至第一次在扫描断面中识别到火源，并记录为火源的根部。
10.本发明实施例提供的基于红外成像与单线激光雷达的火源识别定位方法，通过将主动成像的单线激光雷达与被动成像的红外成像仪的数据融合，采用光流动态特性弥补单一温度静态特性，减少了火源识别的误判概率。传统的仅仅依靠高温特征来确定火源，不能排除其他高温物体的干扰，如：高温的锅炉等。火源会随气流呈现波动，根据火焰光流的一个重要特征：从上到下火焰的不规则运动强度逐步递减，通过计算固定大小的矩形区域的像素点光流方向，如果上半部分的方差大于下半部分的方差，说明目标下半部分的运动方
向更一致，而上半部分的运动更加的随机。可以通俗的理解为，火焰的外焰总是摇曳的且摇曳的幅度相对较大，而火焰的根部则是相对稳定的，本实施例即根据这个特点，通过光流法表示像素点运动的强烈程度，从而识别出火焰的根部；本实施例激光雷达定位火源部分，采用单线激光雷达和云台代替多线激光雷达，成本更低，分辨率更高，在获得目标的距离和精度上都更加精准。由于目前市面上的多线激光雷达，比如说常用的16线，32线价格比单线贵的多，并且多线激光雷达主要用于环境建图之类的场景，对于比较近的物体分辨率就比较高，远的物体分辨率就比较低(距离远的地方点云很稀疏)。本实施例中将单线激光雷达安装在云台上，可以通过设置云台运动的细致程度，比如调小云台的步长，即可以实现比多线光雷达更高的分辨率。
附图说明
11.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
12.图1为本发明实施例提供的基于红外成像仪与激光雷达的火源识别和定位方法流程图；
13.图2为本发明实施例提供的红外成像仪与激光雷达联合标定示意图；
14.图3为本发明实施例提供的红外成像仪与激光雷达坐标转换示意图；
15.图4为本发明实施例提供的单线激光雷达定位原理示意图；
16.图5为本发明实施例提供的方法流程示意图。
具体实施方式
17.为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
18.本发明实施例提供一种基于红外成像与单线激光雷达的火源识别定位方法，如图
5所示，所述方法用于消防机器人，如图2所示的，在所述消防机器人上安装的红外成像仪和单线激光雷达，所述消防机器人上设置有云台，所述单线激光雷达安装在所述云台上。其中，红外成像仪可以不安装在云台上，而单线激光雷达可以安装在云台上。云台和红外成像仪的相对位置通过联合标定得到的旋转矩阵r和平移向量t得到，各个传感器都要连接在上位机，通过上位机控制云台，以及处理数据。
19.所述方法包括：
20.s1、对红外成像仪和单线激光雷达进行联合标定，并建立红外图像数据与激光雷达点云数据之间的对应关系；
21.s2、从红外成像仪采集的红外图像中提取静态特征和动态特性，并综合利用静态特征和动态特性识别火源；
22.s3、所述云台从初始角度开始，以预设的角速度并按照预设的方向均速转动，其中，在所述单线激光雷达的每一个扫描断面中，重复s2的过程，直至第一次在扫描断面中识别到火源，并记录为火源的根部。
23.本实施例将单线激光雷达与云台结合，实现单线激光雷达在3d空间中的扫描与定位。通过单线激光雷达和云台代替昂贵的多线激光雷达，单线激光雷达只能获得单独一个平面的到激光雷达中心的距离信息，加上可以上下左右、左上左下、右上右下得移动的云台，实现了激光雷达扫描3d空间的功能。
24.具体的，传感器标定是传感器数据融合的前提，对红外成像仪和单线激光雷达进行联合标定，使得红外图像和激光雷达点云数据达到空间和时间同步，为二者数据融合做准备。联合标定的目的在于让两个传感器知道他们之间的相对位置，方面后面匹配红外成像仪的图像数据和激光雷达的点云数据。就能知道某个点的温度，以及某个点距离整个机械结构中心的距离，实现火源的识别与定位。本实施例的具体实现流程如图1所示，对红外成像仪和激光雷达进行联合标定，使得红外图像和点云数据达到空间和时间同步，为二者数据融合做准备。具体的，由于红外成像仪和激光雷达不可能处于同一个位置，导致采集到的数据在空间上存在一定的偏差，所以红外成像仪和激光雷达首先进行联合标定，建立激光雷达点云和红外图像像素之间的对应关系。红外图像数据(u，v)，激光雷达点云数据(x，y，z)，通过联合标定矩阵m，将三维点云数据映射到二维图像数据上。在s1中，包括：
25.通过联合标定矩阵m，将红外图像数据(u，v)和激光雷达点云数据(x，y，z)，映射到二维图像数据上，其中映射关系表示为：
[0026][0027][0028]
(u0，v0)为红外图像中心的坐标，fu和fv分别为所述红外成像仪水平向和垂直方向的尺度因子，为相机的内部参数，r表示旋转矩阵，t表示平移矢量，为相机的外部参数，v、u分别表示红外图像的横纵坐标，x，y，z表示激光雷达点云数据的三维坐标。具体的，公式中的矩阵中的元素m11至m34，分别表示的是前面两个矩阵的乘积，即按照矩阵相乘计算的一
般方式理解即可。m建立起了二维图像和三维激光雷达点云的对应关系，因此可以称之为联合标定矩阵，可以简单得理解为m本质上就是由相机参数(fu，fv，u0，v0)和旋转矩阵r，平移矩阵t求得的。
[0029]
通过一系列矩阵变换后，可以得到红外图像数据(u，v)和激光雷达点云数据(x，y，z)之间的转换关系。红外图像数据(u，v)和激光雷达点云数据(x，y，z)之间的转换关系表示为：
[0030][0031][0032]
其中，在进行联合标定后，红外成像仪和相机的相对位置保持不变。实际应用中，根据不同姿态下定标板平面，可得到一系列的线性方程，解得标定矩阵m。从而实现将激光雷达数据映射到红外图像上。联合标定以后，红外成像仪和相机的相对位置不可以改变，即红外成像仪和激光雷达一起转动。
[0033]
本实施例中，在s2中，包括：通过红外成像仪采集红外图像；从所采集的红外图像中提取红外图像特性；根据所述红外图像特性识别火源。其中，所提取的红外图像特征包括：单一帧的温度分布静态特征，和，相邻帧之间的光流动态特性。红外成像仪实时采集红外图像，分别提取图像单一帧的温度分布静态特征以及图像相邻帧之间的光流动态特性，经过图像处理，确定合适的阈值，获得红外图像的最小外接矩形目标区域，实现火源的识别。红外成像仪识别火源部分，创新的点就是一般直接设置一个温度阈值，高于这个阈值那么我就认定他是火源，这个我称它为温度分布的静态特征。本实施例在静态特性的基础上，进一步融合并采用了动态特征，从而包含了帧与帧之间的信息。实际应用中，温度高的不一定是火源，但火焰不是静止的，其燃烧过程中存在抖动，因此本实施例利用火焰的这个特点来改进识别方式，提高对火源识别的准确性。
[0034]
所述从所采集的红外图像中提取红外图像特性，包括：
[0035]
将所采集的红外图像转换为灰度图像并分解为单一帧的图像。
[0036]
按照预设的阈值，将单一帧的图像转换为二值化图像，并进一步对二值化图像进行分割得到目标区域。其中，所述将单一帧的图像转换为二值化图像，例如可以将大于阈值的部分灰度值设为255，小于阈值的部分灰度值设为0，其中：包括：二值图像t(u，v)为图像对应的温度，-t
th
表示温度阈值的经验值。具体来说，目标区域只是二值图像的部分像素区域，此处还没有进行分割，后面对目标区域的操作，相当于对二值图像的分割。
[0037]
对于目标区域中的像素点，获取像素点在横纵坐标轴的x和y两个方向上的速度分量，之后根据所述速度分量获取像素点对应的光流，并进一步获取像素点光流方向的方差。其中，所述根据所述速度分量获取像素点对应的光流，包括：
[0038][0039][0040]
其中，u，v为像素点(x，y)在x和y两个方向上的速度分量，ii表示第i个像素的像素值，xi表示第i个像素的横坐标，yi表示第i个像素的纵坐标，t表示时间，n表示以像素点(x，y)为中心的窗口内的像素点的个数，i表示像素的编号通常为正整数。
[0041]
所述获取像素点光流方向的方差，包括：获取像素点光流方向所述获取像素点光流方向的方差，包括：获取像素点光流方向θi∈[-π，π]。获取光流方向的方差其中，ρ2为像素点光流方向的方差，表示像素点光流方向的平均值，σ2的值的大小与目标区域中的像素点的运动方向的一致性呈负相关关系。
[0042]
将所述目标区域分割为上半部分和下半部分，若上半部分中的像素点光流方向的方差，大于下半部分中的像素点光流方向的方差，则判定所述目标区域中存在火源。
[0043]
具体举例来说，红外成像仪可以识别物体的温度信息，获取环境的红外图像，温度越高的区域在图像上表现为高亮，温度越低的区域在图像上表现为暗淡。基于该特性，取图像单一帧，首先将图像转换为灰度图像。根据环境的不同，通过测试设置合适的阈值，将图像转换为二值图像，具体的大于阈值的部分灰度值设为255，小于阈值的部分灰度值设为0。接着通过opencv库提供的的图像处理函数如膨胀操作(dilate())对灰度二值化图像内部的干扰信息进行滤波，使得灰度二值化图像中的火焰内部联通。令a为红外图像，t(u，v)为图像对应的温度，则分割以后得到的二值图像b(u，v)，分割得到目标区域c(u，v)；
[0044][0045]
但在环境复杂的情况下，单独使用温度特征判断火源位置，容易被环境内的其他高热物体干扰，影响判断。根据火源会随气流呈现波动，利用光流法提取火源的动态特征。光流是物体或者摄像头的运动导致的两个连续帧之间的图像对象的视觉运动的模式。构造一个窗口函数，使得该窗口函数在图像上平移，观察窗口内区域像素点运动方向的一致程度，具体地，根据光流法基本方程：
[0046][0047]
其中u，v为像素点(x，y)在x和y两个方向上的速度分量，ii表示第i个像素的像素值，xi表示第i个像素的横坐标，yi表示第i个像素的纵坐标，t表示时间，lucas-kanade算法假设光流方程在像素点周围的一个小窗口内成立即满足空间一致性假设。利用最小二乘法
求解超定方程：
[0048][0049]
其中，i
x1
至i
xn
分别表示窗口内n个像素值在x轴方向上的微分，i
y1
至i
yn
分别表示窗口内n个像素值在y轴方向上的微分，i
t1
至i
tn
分别表示窗口内n个像素值对时间的微分，
[0050]
可以求得像素点(x，y)对应地光流(u，v)，n表示以像素点(x，y)为中心的窗口内的像素点的个数，
[0051][0052]
接着计算目标区域c(x，y)内的像素点光流的方向表示为：
[0053][0054]
通过以下方法计算方差，表示光流方向的平均值，：
[0055][0056]
式中ρ2为像素点光流方向的方差，ρ2越接近0，表明目标区域c(u，v)内像素点的运动方向越一致，ρ2越大，表明像素点的运动方向变化越大。根据火焰光流的一个重要特征：从上到下火焰的不规则运动强度逐步递减，故将c(u，v)分割为上下两部分，如果上半部分的方差大于下半部分的方差，那么就认为该区域为火源，否则就判定该区域为非火源区域，通过动态特性排除其他高温干扰以后的目标区域设为d(u，v)。
[0057]
本实施例中，所述以预设的角速度并按照预设的方向均速转动，包括：所述云台以预设的角速度均速上仰转动，其中，所述初始角度为所述云台俯视45
°
。实际应用中，角速度是通过云台协议设定，由两位16进制数确定，00表示最低速，3f表示最高速，可以设置为与火源的距离值呈正相关，即距离比较近则速度可以低一点，离得比较远则速度可以高一点。优选方案中，角速度可以设置为3
°
/秒～6
°
/秒。
[0058]
进一步的，在s3之前，所述云台先水平转动360
°
，并且在水平转动的过程中，通过所述红外成像仪识别疑似火源的方位，其中，所述红外成像仪在随所述云台旋转的过程中，实时获取拍摄视野中的温度，并将温度最高的方向作为所述疑似火源的方位为。
[0059]
其中，可以先水平巡航也就是水平转一圈，通过红外成像仪先确定最有可能出现火源的方位，因为红外成像仪他的视野相对较大，然后再垂直方向上按照一个固定的角速度，让云台再垂直方向上扫描，直到扫描到火源的根部停止。具体的，单线激光雷达固定在云台上，给定云台俯视45
°
的初始角度，通过给定云台一个固定的角速度，控制云台均速上
仰。扫描每个断面，利用步骤二的方法，判断每个断面上是否存在火源，云台匀速上仰，直到断面上任意一点出现在步骤二获得的矩形区域内，认为该点就为火源的根部，实现火源的定位。例如：单线激光雷达固定安装在可以实现360
°
无限位旋转的云台上，考虑到实际需要进行火源定位的情况均为火源距离消防员较远，仅仅靠人来判断位置不够精确时，才利用激光雷达进行火源的定位，故将云台初始姿态设置为俯视角度45
°
，通过给定云台一个固定的角速度，控制云台均速上仰。单束激光发射器在激光雷达内部进行匀速的旋转，每旋转一个小角度即发射一次激光，轮巡一定的角度后，就生成了一帧完整的数据。因此，单线激光雷达的数据可以看做是同一高度的一排点阵。步骤一已经实现单线激光雷达数据与红外图像的融合，此时可以获得同一高度的一排点阵每个点在红外图像中的位置(u，v)以及每个点对应的温度t。通过步骤二中的方法识别火源区域，若当前不存在火源目标区域即任意排列阵点(u，v)都不在d(u，v)内，则继续进行扫描，直到存在(u，v)出现d(u，v)内，则认为该点为火源根部点。
[0060]
本实施例的主要优点在于：本实施例通过将主动成像的单线激光雷达与被动成像的红外成像仪的数据融合，由于传感器的工作原理不同，可以抑制不同的噪声，增强了火源识别定位的稳定性与准确性。单线激光雷达通过发射红外激光，通过计算飞行时间(tof)来获得目标的距离信息，从而实现定位。同时区别于传统的感温感烟传感器适用于小空间的火源定位，无法提供准确的火场内部信息，本实施例提出的方法，在室外、大型建筑、光线不佳等复杂环境下仍有良好的火源识别与定位能力；本实施例红外图像处理部分，采用光流动态特性弥补单一温度静态特性，减少了火源识别的误判概率。传统的仅仅依靠高温特征来确定火源，不能排除其他高温物体的干扰，如：高温的锅炉等。火源会随气流呈现波动，根据火焰光流的一个重要特征：从上到下火焰的不规则运动强度逐步递减，通过计算固定大小的矩形区域的像素点光流方向，如果上半部分的方差大于下半部分的方差，说明目标下半部分的运动方向更一致，而上半部分的运动更加的随机。可以通俗的理解为，火焰的外焰总是摇曳的且摇曳的幅度相对较大，而火焰的根部则是相对稳定的，本实施例即根据这个特点，通过光流法表示像素点运动的强烈程度，从而识别出火焰的根部；本实施例激光雷达定位火源部分，采用单线激光雷达和云台代替多线激光雷达，成本更低，分辨率更高，在获得目标的距离和精度上都更加精准。由于目前市面上的多线激光雷达，比如说常用的16线，32线价格比单线贵的多，并且多线激光雷达主要用于环境建图之类的场景，对于比较近的物体分辨率就比较高，远的物体分辨率就比较低(距离远的地方点云很稀疏)。本实施例中将单线激光雷达安装在云台上，可以通过设置云台运动的细致程度，比如调小云台的步长，即可以实现比多线光雷达更高的分辨率。
[0061]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。