本发明涉及计算机视觉领域，特指一种红外光和可见光图像的疑似火焰区域提取方法。
背景技术：
近年来，大空间建筑火灾、矿井火灾、森林火灾、隧道火灾等频繁发生不仅使人类的生命和财产受巨大损失，也对人类生态环境造成了极大的破坏。随着科学的不断进步，人们开始着眼于智能视频分析的研究来防范火灾，因此基于图像视频分析的火焰检测和识别方法得到了快速的推广。
疑似火焰区域的提取是火焰识别的前提，将火焰图像从背景中分离出来是火灾探测的基础，关系到后续特征提取的可靠性和目标识别的准确度。在现有技术中，所属领域技术人员常常采用基于背景模型的差分法的疑似火灾区域提取，该算法通过基于背景模型实现对火焰的有效检测，结合区域聚类增长的算法，最终实现区域提取。但该方法是假定初始化背景不包含运动目标的训练序列，限制了背景模型的使用条件；还有一些算法往往结合焰色模型的运动检测进行干扰源排除，灵敏度受图像采集设备好坏和运动检测算法优劣的局限，并且一般可见光图像的焰色模型只针对偏红、偏黄的焰色设计，局限性较大；再有，火焰燃烧时本身的物理特性，例如热度、亮度等信息无法得以充分应用，在一定程度上影响了检测效率；同时，在夜间环境下的疑似区域的检测容易受到影响，无法保证全天候监控。
技术实现要素：
本发明的目的在于克服上述现有技术的不足，提出一种基于红外光和可见光图像的疑似火焰目标提取方法，该方法结合了红外光图像和可见光图像信息特性，充分利用了火焰的物理特性，能够有效地提取更加精确的疑似火焰区域，便于后续的火焰识别，同时该方法能保证夜间环境下的疑似火焰区域的检测，有利于进行全天候的火焰检测。
为实现上述目的，本发明技术方案具体如下：
一种基于红外光和可见光图像的疑似火焰区域提取方法，该方法具体包括以下步骤：
s1利用红外摄像机和可见光摄像机同时采集图像；
s2对红外图像其进行亮度阈值分割；
s3对可见光和红外光图像进行配准获得仿射变换矩阵，根据仿射变换矩阵求出步骤s2中疑似高温火焰区域在可见光上的位置；
s4基于ycrcb颜色空间的火焰分割来识别步骤s3.3结果获得最终的疑似火焰区域；
s5利用形态学中的开闭运算对步骤s4的结果进行平滑处理，然后采用连通域标记方法对平滑结果进行处理，标记出各疑似火焰区域。
作为本发明技术方案的进一步改进，所述步骤s2具体包括：
s2.1假设红外图像的最大灰度值为max，则选取
s2.2求解种子点为中心的邻域内像素的平均灰度值，将种子点的邻域内的各个像素点的灰度值与该平均灰度值之差的绝对值与设定的阈值进t行比较；
s2.3若是小于设定的阈值t，则将该像素点与种子点合并，并作为新的种子点；若大于等于设定的阈值t，则不进行该像素点与种子点合并，则继续判定下一个点。
s2.4依次重复步骤s2.2和s2.3直到图像中所有的点都合并到某个区域中，该区域即为疑似高温火焰区域。
作为本发明技术方案的进一步改进，所述步骤s3具体包括：
s3.1对红外光和可见光图像进行多尺度的harris角点检测；
s3.2生成特征点的描述符和特征点的匹配；
s3.3求解仿射变换矩阵，根据仿射变换矩阵求出步骤s2中疑似高温火焰区域在可见光上的位置。
作为本发明技术方案的进一步改进，所述步骤s3.1具体包括：
s3.1.1采用高斯函数分别对红外和可见光图像构建图像尺度空间，通过选择不同尺度空间参数σ来建立图像的不同尺度空间；
假设i(x,y)为输入图像，则一个图像的尺度空间被定义为函数l(x,y,σ)，如下面公式所示：
l(x,y,σ)＝g(x,y,σ)*i(x,y)
其中，*为卷积运算，g(x,y,σ)为尺度可变高斯函数；
s3.1.2分别对红外光和可见光图像进行多尺度空间下的harris角点检测；
首先分别对红外光和可见光图像的两组尺度空间中，利用harris角点提取算法检测出harris角点，然后从小尺度到大尺度方向滤除伪角点。
作为本发明技术方案的进一步改进，所述步骤s3.2具体包括：采用圆来构造特征描述符，对红外光和可见光图像提取的特征点生成特征点描述符之后，利用最近邻方法对特征点进行匹配操作，得到红外光和可见光的相匹配的点。
作为本发明技术方案的进一步改进，所述步骤s3.3具体包括：
根据下面公式求取步骤s2中疑似高温火焰区域在可见光上的位置；
其中，[uv1]为红外光图像中提取的特征点(u,v)的齐次坐标；[u'v'1]为可见光图像中与特征点(u,v)相匹配的特征点(u',v')的齐次坐标；a11、a12、a21、a22、a31和a32为仿射变换模型中的6个参数。
作为本发明技术方案的进一步改进，所述步骤s4具体包括：
根据下面公式的基于ycrcb颜色空间的火焰分割来来识别步骤s3.3结果获取疑似火焰区域：
其中，τ为一个阈值，y(x,y)为步骤s3获得结果中(x,y)处像素点的亮度分量，cb(x,y)和cr(x,y)为该像素点的色度分量；ymean为步骤s3获得结果中所包含的像素点(xi,yi)的亮度分量的平均值；
如果像素点的fτ值为1时，表示该像素点为疑似火焰区域中的像素，否则，表示该像素点不为疑似火焰区域中的像素。
与现有技术相比，本发明具有以下有益效果：
1)本发明方法通过构造多尺度空间，并在多尺度空间上进行harris角点检测，利用圆形结构来构造特征点描述符，再利用最近邻法进行特征点匹配，该方法保证了红外光和可见光的特征点的检测效率，圆形结构的特征点描述符具有旋转不变性，降低了算法的复杂度，算法匹配精确性高；最后通过仿射变换模型确定了红外光和可见光两幅图像之间转换关系，根据仿射变换矩阵获得了高温疑似火焰区域在可见光图像中位置。
2)本发明方法结合了红外光图像的亮度阈值分割、红外光和可见光图像配准以及基于可见光图像的ycrcb空间的颜色分割方法获得了意思火焰区域。该方法结合了红外光图像和可见光图像信息特性，充分利用了火焰的物理特性，同时该方法能保证夜间环境下的疑似火焰区域的检测，有利于进行全天候的火焰检测。
附图说明
图1是本实施例中基于红外光和可见光图像的疑似火焰区域提取方法流程图。
具体实施方式
本发明为一种基于红外光和可见光图像的疑似火焰区域提取方法，该方法可嵌入fpga实现，运用于具有火焰检测的摄像机中。下面将结合本申请说明书附图，对本发明的一种基于红外光和可见光图像的疑似火焰区域提取方法的具体实施例做进一步详细说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本发明的基于红外光和可见光图像的疑似火焰区域提取方法具体包括以下步骤：
s1利用红外摄像机和可见光摄像机同时采集图像；
s2对红外图像其进行亮度阈值分割；
红外线辐射是自然界存在的一种最为广泛的电磁波辐射，它是基于任何物体在常规环境下都会产生自身的分子和原子无规则的运动，并不停地辐射出热红外能量，分子和原子运动愈剧烈，辐射的能量愈大，反之辐射的能量愈小。红外摄像机根据物体发射或反射的红外线成像，不同焰色的火焰在红外视频中均具有较高亮度。火焰发生的过程伴随着发光、发热的现象，火焰发生区域的温度要明显高于周围环境的温度。鉴于其热相图的亮度分布与温度高低成正比的，可以通过采集得到的红外图像进行基于图像亮度的图像分割，从而初步提取出高温物体区域，即高温疑似火焰区域。其亮度阈值分割的步骤如下：
s2.1假设红外图像的最大灰度值为max，则选取
s2.2求解种子点为中心的邻域内像素的平均灰度值，将种子点的邻域内的各个像素点的灰度值与该平均灰度值之差的绝对值与设定的阈值进t行比较；
s2.3若是小于设定的阈值t，则将该像素点与种子点合并，并作为新的种子点；若大于等于设定的阈值t，则不进行该像素点与种子点合并，则继续判定下一个点。
s2.4依次重复步骤s2.2和s2.3直到图像中所有的点都合并到某个区域中，这个区域就是疑似高温火焰区域。
s3对可见光和红外光图像进行配准获得仿射变换矩阵，根据仿射变换矩阵求出步骤s2中疑似高温火焰区域在可见光上的位置；
可见光图像与红外图像的成像机理不同，可见光反映的是景物的反射信息，而红外光反映的景物的辐射信息。两类图像灰度差异很大，且像素灰度之间不具备相关性，不宜使用基于图像灰度的配准方法。因此，本发明采用多尺度的harris角点进行图像配准，其具体步骤如下：
s3.1对红外光和可见光图像进行多尺度的harris角点检测；
s3.1.1分别对红外和可见光图像构建图像尺度空间；
本发明中采用高斯函数来建立图像尺度空间，高斯函数公式如下：
其中，σ为尺度空间参数；g(x,y,σ)为尺度可变高斯函数。
假设i(x,y)为输入图像，则一个图像的尺度空间被定义为函数l(x,y,σ)，如下面公式所示：
l(x,y,σ)＝g(x,y,σ)*i(x,y)(2)
其中，*为卷积运算；尺度空间参数σ越大，描述图像的概貌特征，σ越小，描述图像的细节特征，随着σ的变化，就建立了图像不同的尺度空间。
在本具体实施例中，选择σ＝0.5，利用公式(2)对原图像进行高斯卷积作为第一组尺度空间的第一幅图像，然后逐渐增大σ值，利用公式(2)直至生成第五幅图像，至此第一组尺度空间就建立好了。再建立下一组尺度空间，对上一组尺度空间的第三幅图像进行二分之一采样，得到下一组尺度空间的第一幅图像，然后进行如同建立第一组尺度空间那样的操作，逐渐增大σ直到生成第二组尺度空间的第五幅图像，至此得到了第二组尺度空间。
s3.1.2分别对红外光和可见光图像进行多尺度空间下的harris角点检测；
(1)分别对红外光和可见光图像的两组尺度空间中，利用harris角点提取算法检测出harris角点。
假设尺度空间为σ0，则在该尺度空间下检测到的harris角点的个数记为n0，则尺度空间σ1下检测的harris角点的个数记为n1，直至最大尺度空间σ4，该尺度空间下检测到的harris角点的个数记为n4。
(2)从小尺度到大尺度方向滤除伪角点。
判断(1)提取的角点是否在同一组尺度空间的每个尺度的统一坐标区域(3×3模板范围内)都存在，如果存在，此角点设置为图像配准所用的特征点；如果不存在，则剔除该角点。
多尺度的harris角点提取提高了角点定位的精度和角点检测的可靠性。
s3.2生成特征点的描述符和特征点的匹配；
为了保证特征描述符的旋转不变性，本发明中采用圆来构造特征描述符，圆具有很好的旋转不变性，在图像发生旋转后，特征点周围的区域都不会发生变化，在很大的程度上降低了运算复杂度，提高了角点检测效率。生成特征点描述符的思想为：
(1)以检测出来的特征点为中心，以2个像素大小为半径生成第一个圆形区域，半径依次增大1生成8个同心圆。
(2)计算每个圆环内各个像素的梯度模和方向，相邻两个同心圆组成一个圆环区域，共有7个圆环区域，依次在该7个圆环区域内统计10个方向的梯度累加值，例如在第一个圆和第二个圆组成的圆环区域内统计10个方向的梯度累加值，按角度排序后作为第1到第10个元素；然后在第二个圆和第三个圆组成的圆环区域内统计10个方向的梯度累加值，按角度排序后作为第11到第20个元素；依次统计下去7个圆环区域，共有7×10个元素，这些元素组成的一维向量就为提取的特征点的特征描述符。
(3)将该一维向量进行归一化处理，可减少光照变化的影响。
对红外光和可见光图像提取的特征点生成特征点描述符之后，利用最近邻方法对特征点进行匹配操作，得到红外光和可见光的相匹配的点。
s3.3求解仿射变换矩阵，根据仿射变换矩阵求出步骤s2中疑似高温火焰区域在可见光上的位置。
根据步骤s3.2获得的红外光和可见光的相匹配的点，求得仿射变换矩阵，确定红外光和可见光两图像之间转换关系。仿射变换模型如下：
[u'v'1]＝[uv1]f(3)
其中
其中，[uv1]为红外光图像中提取的特征点(u,v)的齐次坐标；[u'v'1]为可见光图像中与特征点(u,v)相匹配的特征点(u',v')的齐次坐标；f为仿射变换矩阵；a11、a12、a21、a22、a31和a32为仿射变换模型中的6个参数，这六个参数决定了红外光和可见光两幅图像坐标之间的转换关系。只需3对相匹配的点，就可以确定这6个参数，相匹配的点可由步骤s3.2获得。
公式(3)可表示为：
根据公式(5)就可求得步骤s2中疑似高温火焰区域在可见光上的位置。
s4基于ycrcb颜色空间的火焰分割来识别步骤s3.3结果获得最终的疑似火焰区域；
在ycrcb色彩空间中，可以利用像素各分量的范围和关系来识别火焰像素。亮度是火焰的一个重要特征，在亮度图像中，火焰区域亮度很明显高于其他区域。在ycrcb颜色空间中，亮度和色度被分开，有利于充分利于火焰的亮度和色度特征进行火焰的分割。根据下面公式的基于ycrcb颜色空间的火焰分割来来识别步骤s3.3结果获取疑似火焰区域：
其中，τ为一个阈值，本具体实施例中τ取值20；y(x,y)为步骤s3.3获得结果中(x,y)处像素点的亮度分量，cb(x,y)和cr(x,y)为该像素点的色度分量；ymean为步骤s3.3获得结果中所包含的像素点(xi,yi)的亮度分量的平均值。如果公式(6)获得的像素点的fτ值为1时，表示该像素点为疑似火焰区域中的像素，否则，表示该像素点不为疑似火焰区域中的像素。
基于ycrcb颜色空间的火焰分割可以排除一些类似火焰颜色的干扰物体，提取更加精确的疑似火焰区域，有利于提高后续的火焰识别的正确率。
s5利用形态学中的开闭运算对步骤s4的结果进行平滑处理，然后采用连通域标记方法对平滑结果进行处理，标记出各疑似火焰区域。
本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。