一种基于摄像头的室内火焰定位方法与流程

本发明属于计算机立体视觉领域，特别涉及一种基于图像处理技术的室内火焰定位方法。

背景技术：

室外定位技术，如全球导航卫星系统(gnss)已经广泛应用于人们的日常生活中。近年来，室内环境中的位置感知成为了一个热门话题，不论是行迹追踪，人员位置定位，还是仅仅在陌生的高楼大厦内定位导航，找到自己要找的房间，都对室内定位系统(ips)都有极大的需求。但室内定位与室外定位不同，室外定位系统使用卫星定位会有1-3m的差距，室内不能有效地使用gnss进行位置检测，但1-3m的差距并不是其主要原因。主要原因是信号衰减，由gnss所发出的无线信号会被一些实体(如：墙壁，屋顶等)所遮蔽，这导致信号穿透遮挡物，会发生衰减和散射，所以全球定位系统(gps)等室外定位技术不能提供室内定位所需的精度。

目前大多数主流定位技术有：辅助全球定位技术(a-gps)，红外线定位技术，超声波定位技术，蓝牙定位技术，射频识别定位技术，惯性传感器定位技术等等。这些技术的思路基本是一致的：利用设备发射信号，实现位置测量与物体测距。但，用于发射的信号很容易被其他电波以及遮挡物所干扰，这使得测量结果与实际结果有一定的偏差，而且这些方法都不适用于火焰位置测量。

现如今，大部分公共场所都已安装了摄像头，通过摄像头进行火点定位已成为了越来越迫切的需求。我们的目的是利用深度图与世界坐标的转化来计算火点位置，通过摄像头来找到火点位置，不仅节省了大量的人力物力，还可以进行实时监测，为我们的生活带来了大量的便利的同时，也使我们的生命财产得到很大的保障。

综上所述，基于摄像头的火点定位已经成为了一个十分重要的研究领域。在视频监控下针对办公大楼工厂厂房等公共室内场所，对火点的定位显得尤为重要，受到了国内外研究者的广泛关注。

技术实现要素：

本发明提供了一种可以辅助工作人员查找火源位置的方法，具有鲁棒性强，定位精度高等优点。技术方案如下：

一种基于摄像头的室内火焰定位方法，包括下列步骤：

1)选择待检测区域的视频监控ip地址，确定待检测区域；

2)标定摄像头：采用棋盘格法进行标定，首先用双摄像头拍摄棋盘格标定板，对所拍摄的图片，利用角点检测算法提取角点信息，根据输入图片数据及棋盘图上角点的行列数计算检测到角点的坐标信息；在初步提取的角点信息上进一步提取亚像素信息，以降低相机标定偏差；调用标定函数，得出标定结果，对畸变图片加以校正；

3)利用已经标定好的摄像头拍摄图片，将左右摄像头拍摄到的图片进行图片预处理，采用下采样的方式降低图片分辨率；

4)然后采用sad图像块匹配法对左图片的某一感兴趣区域先进行扫描，再对右图片的对应点位置进行匹配计算，据此找到左图感兴趣区域的最佳匹配位置；以此类推，对全图进行匹配，找到左图与右图最佳的匹配对应区域；对以上数据进行整合，着重将必要的目标信息标识出来，得到完整的视差图；

5)利用如下公式，将视差图转化为深度图，其中，z是深度，b是左右摄像头的间距，f是摄像头的焦距，xr和xt是两个成像点在左右两个像面上与图像左边缘的距离：

6)将深度图中需要定位的目标进行标注与提取，并结合现场参考点的实际测量距离，利用已处理过的数据信息，以及标定过程中得到的相机内外参数，达到对图像中目标物进行尺寸计算、判断相关距离的远近、物体的大小的目的；

7)根据步骤1)计算出对应的左、右摄像机参数矩阵，将摄像机矩阵拆分为旋转矩阵和平移矩阵，并对旋转矩阵进行取逆处理，然后进行合并得到对应摄像头参数矩阵，以及摄像头坐标变换至世界坐标的变换矩阵；

8)利用步骤7)得到的变换矩阵和步骤6)得到的深度图，计算相机坐标系的物理坐标；

9)最后利用最小二乘法对步骤8)得到的物理坐标进行解析，得到目标物体的空间实际坐标(x，y，z)。

附图说明

图1为左右摄像头所拍摄的厂房图片

图2为对左右摄像头所拍摄图片的预处理后的结果

图3为本发明定位程序显示界面；

图4为本发明实施例提供的基于摄像头火焰定位技术的实现流程图

图5为本发明的sad块匹配模块的结构框图

图6为本发明的定位坐标计算的方法流程图

具体实施方式

现在主流的室内定位方法并不适用于火焰定位的情况，因此本发明提出了一种基于摄像头对室内火点定位的方法。具体方法如下：

1)选择待检测区域的视频监控ip地址，确定待检测区域；

2)标定摄像头，本技术采用棋盘格法进行标定，首先用双摄像头拍摄棋盘格标定板，选择其中约二十张图片，利用角点检测算法提取角点信息，根据输入图片数据及棋盘图上角点的行列数计算检测到角点的坐标信息。为了提高精度，需要在初步提取的角点信息上进一步提取亚像素信息，降低相机标定偏差。最后调用标定函数，输入相关参数，得出标定结果，对畸变图片加以校正。

3)利用已经标定好的摄像头拍摄图片，将左右摄像头拍摄到的图片进行图片预处理，由于其分辨率过高，于是先采用下采样的方式降低图片分辨率。

4)然后采用sad(sumofabsolutedifferences)图像块匹配法对左图片的某一感兴趣区域先进行扫描，再对右图片的大概对应点位置进行匹配计算，据此找到左图感兴趣区域的最佳匹配位置。以此类推，对全图进行匹配，找到左图与右图最佳的匹配对应区域。对以上数据进行整合，着重将必要的目标信息标识出来，得到完整的视差图，并充分利用其周围的像素信息，为定点定位技术提供数据基础，提高精度。

5)利用如下公式，将视差图转化为深度图，其中，z是深度，b是左右摄像头的间距，f是摄像头的焦距，xr和xt是两个成像点在左右两个像面上与图像左边缘的距离。

6)将深度图中需要定位的目标进行标注与提取，并结合现场参考点的实际测量距离，充分利用已处理过的数据信息，以及标定过程中得到的相机内外参数，达到对图像中目标物进行尺寸计算、判断相关距离的远近、物体的大小等目的。

7)根据步骤1)计算出对应的左、右摄像机参数矩阵，将摄像机矩阵拆分为旋转矩阵和平移矩阵，并对旋转矩阵进行取逆处理，然后进行合并得到对应摄像头参数矩阵，以及摄像头坐标变换至世界坐标的变换矩阵。

8)利用步骤7)得到的变换矩阵和步骤6)得到的深度图，通过调用cvreprojectimageto3d函数，计算相机坐标系的物理坐标。

9)最后利用最小二乘法对步骤8)得到的物理坐标进行解析，得到目标物体的空间实际坐标(x，y，z)。

下面以一具体实例为例，简单描述该发明实现火焰定位的过程。

1)利用安装在某工厂厂房内的海康威视网络高清摄像头，利用棋盘标定板对摄像头进行标定，用双摄像头拍摄棋盘格标定板，选择其中约二十张图片，利用角点检测算法提取角点信息，基于findchessboardcorners函数，根据输入图片数据及棋盘图上角点的行列数计算检测到角点的坐标信息；

2)利用已经标定好的摄像头，对检测区域进行拍摄，将左右摄像头拍摄到的图像进行分帧处理，得到图片，如图1；

3)对图片进行预处理，采用下采样的方式降低将图片分辨率从1920*1080降为630*380，如图2所示；

4)程序开始运行，找到画面中的火焰并对图像中的火焰，然后采用sad(sumofabsolutedifferences)图像块匹配法对左图片的某一感兴趣区域先进行扫描，再对右图片的大概对应点位置进行匹配计算；

5)将深度图中需要定位的目标进行标注与提取；

6)程序实际运行如图3所示，确定其为火焰其中红色矩形框标出的区域为火焰区域，计算火点的世界坐标。