一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法

1.本发明涉及森林火灾智能监测技术领域，具体而言，涉及一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法。


背景技术：

2.近年来，我国森林火灾频繁发生，为了有效预防和及时扑灭森林火灾，保障人民生命财产安全，维护生态安全和保护森林资源，国家不断出台相关政策。随着无人机技术的快速发展，搭载着激光雷达和红外相机等传感器的无人机在森林火灾智能监测领域发挥的作用日益显著。相对于传统的森林火灾监测方式，无人机可以实时准确地获取遥感数据和影像数据，提升森林火灾监测效率和监测水平，满足智慧林业的建设需求。机载激光雷达和红外相机在森林火灾监测领域应用广泛，激光雷达可以稳定快速地获取周围环境的空间信息，但缺乏感知其他属性的能力，红外相机可以在夜间和恶劣的环境下工作。激光雷达和红外相机的联合使用为森林消防员快速确定火情提供了很大帮助。
3.目前激光雷达和红外相机的标定方法大多使用一些具有空间几何特征的标定物，利用激光雷达在边缘点处的深度不连续性，提取距离突变处的点作为边缘点，以用作标定的特征点，并和图像中提取的边缘信息进行配准。需要投入人工成本和时间成本，不能依靠火场环境信息完成自动实时标定。因此，研究面向森林火灾监测的机载激光雷达和红外相机的实时标定具有非常重要的意义。


技术实现要素：

4.本发明要解决的技术问题是：
5.现有技术无法利用火场信息对机载激光雷达和红外相机进行实时地、准确地标定的问题。
6.本发明为解决上述技术问题所采用的技术方案为：
7.为解决上述问题，本发明提出了一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法，包括如下步骤：
8.步骤一、通过搭载激光雷达和红外相机的无人机采集火场数据，获得激光雷达点云数据和红外相机图像数据；
9.步骤二、利用步骤一中的激光雷达点云数据提取火场的点云轮廓；
10.步骤三、利用步骤一中的红外相机图像数据提取火场的图像轮廓；
11.步骤四、对步骤二中的火场点云轮廓和步骤三中的火场图像轮廓进行匹配和优化，求解激光雷达和红外相机之间的外参结果；
12.且每隔t秒钟执行一次上述步骤，将w次外参结果求取平均值作为激光雷达和红外相机之间的外参。
13.进一步地，步骤二中提取火场点云轮廓时，首先对获得的稀疏的激光雷达点云数
据进行实时配准拼接，构建密集的火场点云地图；然后对密集的火场点云地图进行滤波处理，获得规则平滑的火场点云地图；再根据火场点云地图中火场点云强度值发生突变处的若干激光雷达点确定火场点云轮廓。
14.进一步地，步骤二中具体为采用balm算法对激光雷达点云数据进行实时配准拼接。
15.进一步地，步骤二中分别采用统计滤波、高斯滤波、双边滤波和直通滤波对密集的火场点云地图进行滤波处理。
16.进一步地，步骤三中提取火场图像轮廓时，首先对获得的红外相机图像数据进行直方图均衡化获取红外图像的像素值分布，根据像素值分布判断是否存在燃烧区域；然后通过otsu自适应阈值分割算法对红外相机图像数据进行二值化处理，增强燃烧区域和未燃烧区域之间的区分度；再通过canny算法提取火场图像轮廓。
17.进一步地，步骤三中红外图像的像素值分布有超过85％位于1～55和200～255两个范围内时，则认为存在燃烧区域。
18.进一步地，步骤四中对步骤二中的火场点云轮廓和步骤三中的火场图像轮廓进行匹配和优化，求解激光雷达和红外相机之间的外参的具体过程为：
19.步骤四一、在火场的点云轮廓上采样多个激光雷达点，把每个采样点转换到红外相机坐标系中，得到
20.步骤四二、根据红外相机针孔模型，把转换后的点投影到相机图像平面，得到对应的预期投影点根据红外相机畸变模型校正预期投影点，得到实际投影点
21.步骤四三、构建红外图像轮廓像素的k-d tree，搜索的k最近邻点作为采样点对应的红外图像轮廓像素点；
22.步骤四四、根据已知的相机内参，点云轮廓的采样点坐标及与之对应的红外图像轮廓像素点坐标，构建外参矩阵求解方程如下：
[0023][0024]
式中，[u,v,1]
t
表示红外图像轮廓的像素点的坐标，[x,y,z,1]
t
表示点云轮廓的采样点的坐标，k3×4为已知的红外相机的内参矩阵，t4×4为激光雷达和红外相机之间的外参矩阵，si为比例因子，f
x
为以像素表示的轴方向的焦距，fy为以像素表示的y轴方向的焦距，c
x
为主点x坐标，cy为主点y坐标，r3×3为激光雷达和红外相机之间的旋转矩阵，t3×1为激光雷达和红外相机之间的平移矩阵；根据方程求得初始外参矩阵t
′
；
[0025]
步骤四五、根据初始外参矩阵t
′
，把采样点重新投影到相机图像平面得到重
投影点迭代计算当重投影点与红外图像轮廓像素点之间的像素差值小于设定值δ时即可认为精度满足要求。
[0026]
相较于现有技术，本发明的有益效果是：
[0027]
一、标定精度高：本发明分别通过点云配准拼接和点云滤波实现点云的密集化和平滑化，并将火场点云强度值发生突变处的若干激光雷达点作为火场点云轮廓，保证了火线点云轮廓的提取精度；通过直方图均衡化和otsu自适应阈值分割实现是否存在燃烧区域的判断和火场图像有效分割，并通过canny算法提取火线图像轮廓，保证了火线图像轮廓的提取精度；进一步地保障了所求解的外参矩阵的标定精度。
[0028]
在确定点云采样点三维坐标在红外相机图像平面对应的红外图像轮廓像素点时，采用了利用了k-d tree搜索k最近邻点的方法，在优化匹配误差时，采用了利用最小化重投影误差迭代求解的方法，提高了标定的准确度。
[0029]
二、标定过程简单：当发生火灾时，无人机起飞至合适高度获取火场信息并进行实时标定，整个过程完全由无人机搭载的传感器自主完成，无需人工提前设置标定板等参照物进行标定，节约了人工成本，为无人机监测森林火灾提供了便利。尤其针对突发火灾情况，激光雷达与红外相机的自主实时标定更能够体现其突出的优势。
附图说明
[0030]
图1为本发明实施例中的技术流程图；
[0031]
图2为本发明实施例中数据采集的火场现场图；
[0032]
图3为本发明实施例中激光雷达得到的火场点云图和火场点云轮廓；
[0033]
图4为本发明实施例中的火场红外相机图像和火场图像轮廓；
[0034]
图5为本发明实施例中火场点云轮廓与火场图像轮廓融合效果图；
[0035]
图6为本发明实施例中本发明标定方法与人工提取标定板角点的标定方法效果对比图，其中图(a)为人工提取标定板角点的标定方法的标定的结果，图(b)为本发明方法的标定结果；
[0036]
图7为本发明实施例中数据采集设备图。
具体实施方式
[0037]
在本发明的描述中，应当说明的是，在本发明的实施例中所提到的术语“第一”、“第二”、“第三”仅用于描述目的，并不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者多个该特征。
[0038]
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
[0039]
如图1所示，利用如图7所示的安装有激光雷达(型号为vlp-16)和红外相机(型号为为zx-irv)以及工控机等设备的大疆t16无人机飞至如图2所示的火场上空30m处采集火场激光雷达点云数据和红外相机图像数据，数据采集时间为3～5分钟，采样频率为10hz，激
光雷达和红外相机的时间校准已事先完成。
[0040]
通过balm算法提取激光雷达点云数据中的点、线、面特征，然后根据这些特征将新的一帧点云注册到由之前若干帧点云构成的地图中，并利用自适应体素图对过程进行加速，以此实现对步骤一中稀疏的激光雷达点云数据进行实时配准拼接，从而构建密集的火场点云地图。
[0041]
对密集的火场点云地图进行直通滤波以去除火场以外无用的环境点云，进行统计滤波、高斯滤波和双边滤波以获得规则平滑的火场点云地图，保证点云轮廓的提取精度。
[0042]
如图3所示，火场点云图中燃烧区域和未燃烧区域的点云强度值不同，将火场点云强度值发生突变处的若干激光雷达点作为火场点云轮廓，即燃烧区域最外侧的一圈激光雷达点。
[0043]
如图4所示，火场红外相机图像中，燃烧区域像素值较高，未燃烧区域较像素值较低。为判断红外图像中是否存在燃烧区域，需要先对获得的红外相机图像进行直方图均衡化获取红外图像的像素值分布，当红外图像的像素值有超过85％位于1～55和200～255时，即可认为红外图像中存在燃烧区域；然后通过otsu自适应阈值分割算法对红外相机图像数据进行二值化处理，增强燃烧区域和未燃烧区域之间的区分度，便于提取火线；最后通过canny算法即可提取出以像素信息表达的火场图像轮廓。
[0044]
通过红外图像的像素值有超过85％位于1～55和200～255，判断红外图像中是否存在燃烧区域的方法，是发明人通过对大量采集数据进行统计分析得到的结论，且本方法判断的准确率可达到98％以上。
[0045]
将火场点云轮廓和火场图像轮廓进行匹配和优化，求解激光雷达和红外相机之间的外参，具体过程为：
[0046]
在火场的点云轮廓上采样多个激光雷达点，把每个采样点转换到红外相机坐标系中，得到
[0047]
根据红外相机针孔模型，把转换后的点投影到相机图像平面，得到对应的预期投影点根据红外相机畸变模型校正预期投影点，得到实际投影点
[0048]
构建红外图像轮廓像素的k-d tree，搜索的k最近邻点作为采样点对应的红外图像轮廓像素点；
[0049]
根据已知的相机内参，点云轮廓的采样点坐标及与之对应的红外图像轮廓像素点坐标，构建外参矩阵求解方程如下：
[0050][0051]
式中，[u,v,1]
t
表示红外图像轮廓的像素点的坐标，[x,y,z,1]
t
表示点云轮廓的采样点的坐标，k3×4为已知的红外相机的内参矩阵，t4×4为激光雷达和红
外相机之间的外参矩阵，si为比例因子，f
x
为以像素表示的x轴方向的焦距，fy为以像素表示的y轴方向的焦距，c
x
为主点x坐标，cy为主点坐标，r3×3为激光雷达和红外相机之间的旋转矩阵，t3×1为激光雷达和红外相机之间的平移矩阵；根据方程求得初始外参矩阵t
′
；
[0052]
根据初始外参矩阵t
′
，把采样点重新投影到相机图像平面得到重投影点迭代计算当重投影点与红外图像轮廓像素点之间的像素差值小于设定值δ时即可认为精度满足要求。
[0053]
每隔10秒钟执行一次上述标定过程，将5次外参结果求取平均值作为激光雷达和红外相机之间的外参。
[0054]
如图5所示，利用外参标定结果进行激光雷达和红外相机的数据融合，不难看出，融合效果能够满足火灾监测的需求，较好地解决了现有技术无法利用火场信息进行激光雷达和红外相机标定的技术难题。
[0055]
如图6所示，针对同一标定板，分别采用现有的人工提取标定板角点的方法对激光雷达和红外相机进行标定和采用本发明方法进行标定，可以看出，通过人工提取标定板角点进行标定的方法进行标定时，标定板的激光雷达点云与红外图像存在一定偏差；而采用本发明方法进行标定时，标定板的激光雷达点云与红外图像几乎没有偏差，相较于通过人工提取标定板角点进行标定的方法，本发明所述的激光雷达和红外相机之间外参标定结果具有更高的可靠性和准确性。
[0056]
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本发明领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。