基于显著目标区域提取和NSST的异源图像融合方法与流程

文档序号:14748947发布日期:2018-06-22 09:41阅读:246来源:国知局

本发明涉及计算机视觉技术领域,特别是一种基于显著目标区域提取和NSST的异源图像融合方法。



背景技术:

随着传感器技术的发展,不同波段的图像传感器得到了广泛的应用,随之发展的异源图像融合技术也得到了越来越多的关注。异源图像融合能够将同一场景下不同图像传感器采集的图像进行信息融合,获得信息更为丰富的融合图像,在遥感探测、军事侦察、安全监控、医疗健康、工业生产等领域有着重要的应用。

红外图像能够凸显红外热目标区域特征,但往往图像缺乏细节信息,图像对比度降低;而可见光图像可以体现成像区域的纹理和细节,能够提供更好的人眼视觉特性。红外图像和可见光图像融合技术就是将两者的优点相结合,在融合结果中保留更为丰富的红外图和可见光图的特征信息。

近年来,研究者们提出了很多图像融合算法。最直接的融合思路就是直接平均法,但图像的边缘和细节容易被平滑,融合效果有限。目前有一种主流的红外与可见光融合算法是基于变换域的方法,如小波变换,金字塔变换、Curvelet变换和Contourlet变换等,但是这些方法不具备平移不变性,容易导致图像边缘细节模糊。基于非下采样Contourlet变换,其虽然具备平移不变性,融合效果好,但是算法复杂度偏高。红外与可见光图像融合领域普遍存在的问题是:在光线昏暗、背景和目标灰度相近时,融合图像易出现背景细节信息没有充分发掘和目标不够准确、突出的问题。此外,由于红外图像的信噪比比较低,噪声的干扰会影响图像融合质量。



技术实现要素:

为克服现有技术中存在的不足,本发明提供一种基于显著目标区域提取和NSST(英文全称为:Non-subsampled Shearlet Transform,中文名称为:非下采样剪切波变换)的异源图像融合方法,该方法首先提取红外图像的显著目标区域,再结合红外和可见光图像匹配获得显著目标区域在可见光图像中的位置,再针对目标区域和非目标区域采用不同的融合方法,融合的结果能够更好地凸显和保持目标,以及更好的保留可见光图像中非目标区域的背景细节信息。

为此,本发明采用如下技术方案:

一种基于显著目标区域提取和NSST的异源图像融合方法,包括以下步骤:

S1利用在同一水平轴上的红外摄像机和可见光摄像机同时采集图像,用红外摄像机拍摄到的图像为红外图像,用可见光摄像机拍摄到的图像为可见光图像。

S2提取红外图像的显著目标区域;

S3对可见光图像和红外图像进行配准获得仿射变换矩阵,根据仿射变换矩阵求出步骤S2中提取得到的红外图像的显著目标区域在可见光图像上的位置,相应得到可见光图像上的显著目标区域;

S4进行NSST变换分解;

显著目标区域用F来表示,非目标区域用B来表示。利用NSST对红外图像I与可见光图像V进行分解,获得各自的高频分量和低频分量,其中将步骤S2提取的红外图像的显著目标区域的高频分量记为低频分量记为LI,F;与红外图像的显著目标区域相对应的可见光图像的显著目标区域的高频分量记为低频分量记为LV,F;红外图像的非目标区域的高频分量记为低频分量记为LI,B;可见光图像的非目标区域的高频分量记为低频分量记为LV,B。其中j为高频分量的尺度,k为高频分量的方向。

S5将S2中提取的红外图像的显著目标区域和S3求得的可见光图像的显著目标区域进行显著目标区域融合;

S6进行非目标区域融合即将红外图像的非目标区域和可见光图像的非目标区域进行非目标区域融合;

S7利用步骤S5和步骤S6中融合后得到的低频分量和高频分量,进行NSST逆变换获得最终融合图像。

显著性目标区域检测就是找出图像中人类视觉注意焦点区域,再用显著度图进行表示。红外成像取决于景物温度分布,因此在红外图像中,目标区域相对背景区域来说是显著的。本发明的步骤S2中,提取红外图像的显著目标区域的具体方法如下:

S2.1建立方差纹理图;

分别以红外图像中每一个像素点为中心点,分别求取各像素点对应的N×N邻域窗的标准方差,以建立红外图像的方差纹理图。对于红外图像中处于其边缘的像素点即当中心像素点为边缘像素点时,则以像素值为0的方式来扩充其边缘,使得其邻域窗口大小也为N×N,求取其对应的N×N邻域窗的标准方差。其中:N×N邻域窗的大小可以选择3×3、5×5或7×7。在方差纹理图中,各区域的边界点的灰度值比非边界点的灰度值大,因此各区域的边界点就成为“亮”点,而非边界点就成为了“暗”点。方差纹理图能有效反映图像局部特征。

对于红外图像中的任一像素点,将其作为中心像素点(m,n),该像素点(m,n)对应的N×N邻域内的标准方差求解公式为:

式中,x(i,j)为大小为N×N的平滑窗内像素点(i,j)处的灰度值,其中M=N/2。

利用公式(1)求得红外图像中每个像素点对应的N×N邻域内的标准方差,即可得到红外图像的方差纹理图。

S2.2提取显著性区域特征点;

设S1中得到的红外图像的尺寸大小为P×Q,平均标准方差和平均标准方差的偏移量分别如公式(2)和(3)所示:

式中,V(r,s)为红外图像中的任一像素点(r,s)的像素值。

定义阈值在步骤S2.1的方差纹理图中,若红外图像中某一像素点对应的N×N邻域内的标准方差大于阈值T,则该像素点被选为显著性区域特征点。

S2.3对显著性区域特征点进行筛选和聚类;

将步骤S2.2提取的方差纹理图中的“亮”点作为显著性区域特征点,然后对这些显著性区域特征点进行筛选和聚类。

S2.3.1显著性区域特征点筛选;

(1)对于每个显著性区域特征点,用一个指针指向其8邻域中灰度值最大的特征点;

(2)统计指向每个显著性区域特征点的指针数,如果指向显著性区域特征点的指针数多于6个,则保留该显著性区域特征点,否者舍弃该显著性区域特征点。

S2.3.2显著性区域特征点聚类。

对显著性区域特征点进行筛选剔除了某些显著性区域特征点之后进行特征点聚类。相邻的多个显著性区域特征点可能属于同一显著性区域,通过对这些点的聚类可获得各聚类的中心。

假设筛选所得显著性区域特征点记为C(xk,yk)(k=1,2,...,K),xk、yk分别为其纵横坐标,则聚类的步骤:

(1)取第一个显著性区域特征点C(x1,y1)作为第一类w1的聚类中心z1=C(x1,y1)。

(2)计算下一个显著性区域特征点C(x2,y2)到第一类聚类中心z1的欧氏距离d21,如果d21大于设定的阈值D,则建立新的一类w2,新的中心为z2=C(x2,y2),否则,判定C(x2,y2)归属于w1类。

(3)假设已有聚类中心z1,z2,...,zT,相对应的类别记为w1,w2,...,wT。计算还没有确定类别的显著性区域特征点C(xk,yk)到各聚类中心zt(t=1,2,...,T)的欧式距离dkt。如果dkt大于阈值D,则建立新的一类wT+1,由C(xk,yk)作为新的一类wT+1的中心,即zT+1=C(xk,yk);否则,选择显著性区域点C(xk,yk)到各聚类中心zt(t=1,2,...,T)的欧式距离dkt中的最小值,取得最小值时的聚类中心zl(l∈(1,T)),则判定C(xk,yk)属于wl类,并将wl的聚类中心更新为zl和C(xk,yk)的几何中心。

(4)检查是否所有显著性区域特征点都已经分配好类别,如果分配完毕,则结束;否则返回到步骤(3)。

聚类完成之后,各聚类中心即为显著目标区域的中心。

S2.4显著目标区域的分割。

利用区域生长法分割显著性目标区域。将步骤S2.3.2中各聚类中心点作为区域生长的种子点,利用8邻域的区域生长法进行图像分割获得显著目标区域。

可见光图像与红外图像的成像机理不同,可见光反映的是景物的反射信息,而红外光反映的景物的辐射信息。两类图像灰度差异很大,且像素灰度之间不具备相关性,不宜使用基于图像灰度的配准方法。因此在本发明S3中,采用多尺度的harri角点进行可见光图像和红外图像配准。本发明S3的实现步骤如下:

S3.1对红外图像和可见光图像进行多尺度的harris角点检测;

S3.1.1分别对红外图像和可见光图像构建图像尺度空间;

分别将红外图像、可见光图像作为输入图像,采用同样的方法对红外图像和可见光图像分别构建其对应的图像尺度空间,方法如下:

本发明中采用高斯函数来建立图像尺度空间,高斯函数公式如下:

其中,(x,y)为输入图像(输入图像为红外图像或者可见光图像)中的任一像素点,σ为尺度空间参数;G(x,y,σ)为尺度可变高斯函数。

假设I(x,y)为输入图像,输入图像为红外图像或者可见光图像,则输入图像的尺度空间被定义为函数L(x,y,σ),如下面公式所示:

L(x,y,σ)=G(x,y,σ)*I(x,y) (5)

其中,*为卷积运算;σ为尺度空间参数。在本具体实施例中,选择初始尺度空间参数σ0=0.5,利用公式(5)对输入图像进行高斯卷积作为第一组尺度空间的第一幅图像,然后按步长为0.5来逐渐增大σ值,利用公式(5)直至生成第五幅图像(即五幅图像分别对应的尺度空间参数为σ0、σ1......σ4),至此第一组尺度空间就建立好了。再建立下一组尺度空间,对上一组尺度空间的第三幅图像进行二分之一采样,得到下一组尺度空间的第一幅图像,然后进行如同建立第一组尺度空间那样的操作,逐渐增大尺度空间参数直到生成第二组尺度空间的第五幅图像,至此得到了第二组尺度空间。

S3.1.2分别对红外图像和可见光图像进行多尺度空间下的harris角点检测;

(1)分别在红外图像和可见光图像的两组尺度空间中,利用harris角点提取算法检测出harris角点。

假设尺度空间参数为σ0,则在该尺度空间参数下检测到的harris角点的个数记为n0,则尺度空间参数σ1下检测的harris角点的个数记为n1,直至最大尺度空间参数σ4,该尺度空间参数下检测到的harris角点的个数记为n4。

(2)从小尺度到大尺度方向滤除伪角点。

判断(1)提取的harris角点是否在同一组尺度空间的每个尺度的统一坐标区域(即3×3大小范围内的图像坐标区域)都存在,如果存在,此harris角点设置为图像配准所用的特征点;如果不存在,则剔除该harri角点。

多尺度的harris角点提取提高了角点定位的精度和角点检测的可靠性。

S3.2分别生成红外图像和可见光图像中所提取的特征点的特征描述符,然后对红外图像和可见光图像进行特征点的匹配;

分别将红外图像、可见光图像作为输入图像,采用同样的方法分别生成红外图像和可见光图像中所提取的特征点的特征描述符。为了保证特征描述符的旋转不变性,本发明中采用圆来构造特征描述符,圆具有很好的旋转不变性,在图像发生旋转后,特征点周围的区域都不会发生变化,在很大的程度上降低了运算复杂度,提高了角点检测效率。生成特征描述符的思想为:

(1)以输入图像(红外图像或可见光图像)中所提取出来的特征点为中心,以2个像素大小为半径生成第一个圆形区域,然后将半径依次增大1个像素直至生成8个同心圆。

(2)计算每个圆环内各个像素的梯度模和方向,相邻两个同心圆组成一个圆环区域,共有7个圆环区域,依次在该7个圆环区域内统计10个方向的梯度累加值,例如在第一个圆和第二个圆组成的圆环区域内统计10个方向的梯度累加值,按角度排序后作为第1到第10个元素;然后在第二个圆和第三个圆组成的圆环区域内统计10个方向的梯度累加值,按角度排序后作为第11到第20个元素;依次统计下去7个圆环区域,共有7×10个元素,这些元素组成的一维向量就为提取的特征点的特征描述符。

(3)将该一维向量进行归一化处理,可减少光照变化的影响。

对红外图像和可见光图像提取的特征点生成特征描述符之后,利用最近邻方法对红外图像和可见光图像提取的特征点进行匹配操作,得到红外图像和可见光图像的相匹配的点。

S3.3求解仿射变换矩阵,根据仿射变换矩阵求出步骤S2中显著目标区域在可见光图像上的位置。

根据步骤S3.2获得的红外图像和可见光图像的相匹配的点,求得仿射变换矩阵,确定红外图像和可见光图像之间的转换关系。仿射变换模型如下:

其中

其中,[u v 1]为红外图像中提取的特征点(u,v)的齐次坐标;[u' v' 1]为可见光图像中与特征点(u,v)相匹配的特征点(u',v')的齐次坐标;U为仿射变换矩阵;a11、a12、a21、a22、a31和a32为仿射变换模型中的6个参数,这六个参数决定了红外光和可见光两幅图像坐标之间的转换关系。只需3对相匹配的点,就可以确定这6个参数,相匹配的点可由步骤S3.2获得。

公式(6)可表示为:

根据公式(8)就可求得步骤S2提取的红外图像的显著目标区域映射到可见光图像的位置,完成了对可见光图像的显著目标区域和非目标区域的分割。

本发明S5进行目标区域融合是指将S2中提取的红外图像的显著目标区域和S3求得的可见光图像的显著目标区域进行显著目标区域融合,融合后的结果记为Fm。其方法如下:

S5.1目标区域的低频分量融合;

低频占据图像主要能量信息,为了更好地凸显目标和保持目标红外图像的显著目标区域和可见光图像的显著目标区域进行显著目标区域融合后的低频分量选择红外图像的显著目标区域的低频分量,即:

S5.2目标区域的高频分量融合。

为了使目标区域的轮廓和细节特征更清晰,红外图像的显著目标区域和可见光图像的显著目标区域进行显著目标区域融合后的高频分量选择模极大值法,即:

红外图像与可见光图像的目标区域融合后的结果记为Fm。

S6进行非目标区域融合即将红外图像的非目标区域和可见光图像的非目标区域进行非目标区域融合,融合后的结果记为Bm。

S6.1非目标区域的低频分量融合;

为了更好地保留可见光的非目标区域背景信息,红外图像的非目标区域和可见光图像的非目标区域进行融合,两个非目标区域融合后的低频分量选择可见光图像的非目标区域的低频分量,即:

S6.2非目标区域的高频分量融合。

高频分量含有丰富的细节与纹理等信息,考虑邻域像素点之间的相关性,能更好的描述细节信息。利用邻域方差取大法融合红外图像的非目标区域和可见光图像的非目标区域的高频分量。首先利用下面公式分别求得红外图像和可见光图像的邻域均值和方差。

式中,为红外光图像的非目标区域中以像素点(x,y)为中心、窗口大小为M×N的邻域的均值,为与相对应的邻域方差;为可见光图像的非目标区域中以像素点(x,y)为中心、窗口大小为M×N的邻域的均值,为与相对应的邻域方差。

利用邻域方差取最大法融合红外图像的非目标区域和可见光图像的非目标区域的高频分量,即:

S7利用S5.1、S5.2、S6.1和S6.2的结果进行NSST逆变换获得最终融合图像。

与现有技术相比,本发明具有以下有益效果:

1)本发明通过红外图像的方差纹理图以及由平均方差和平均标准方差确定的阈值自适应地提取显著目标区域特征点,对特征点进行筛选和聚类获得显著目标区域的中心点,将中心点作为区域生长法的种子点,通过区域生长法获得红外光的显著目标区域。算法实用性是适应性强。

2)本发明方法通过构造多尺度空间,并在多尺度空间上进行harri角点检测,利用圆形结构来构造特征点描述符,再利用最近邻法进行特征点匹配,该方法保证了红外光和可见光的特征点的检测效率,圆形结构的特征点描述符具有旋转不变性,降低了算法的复杂度,算法匹配精确性高;最后通过仿射变换模型确定了红外光和可见光两幅图像之间转换关系,根据仿射变换矩阵获得了红外光的显著目标区域在可见光图像中位置。

3)本发明首先对红外图像和可见光图像进行NSST分解,再分别对红外和可将光图像的目标区域和非目标区域进行融合。针对目标区域,目标区域融合后的低频分量选择红外图像显著目标低频分量,通过高频分量选择模极大值法对两图像的目标区域的高频分量进行融合;针对非目标区域,非目标区域融合后的低频分量选择可见光目标区域的低频分量,利用邻域方差取最大法融合两图像的非目标区域高频分量。该方法融合后的图像能够更好地凸显和保留目标,更好地保留可见光的非目标区域的背景细节信息。

附图说明

图1为本发明的流程图;

具体实施方式

本发明为一种基于显著目标区域提取和NSST的异源图像融合方法,该方法可嵌入FPGA实现,运用于具有火焰检测的摄像机中。为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。

参见图1,为本发明基于显著目标区域提取和NSST的异源图像融合方法的流程图,包括以下步骤:

S1利用在同一水平轴上的红外摄像机和可见光摄像机同时采集图像,用红外摄像机拍摄到的图像为红外图像,用可见光摄像机拍摄到的图像为可见光图像。

S2提取红外图像的显著目标区域。

显著性目标区域检测就是找出图像中人类视觉注意焦点区域,再用显著度图进行表示。红外成像取决于景物温度分布,因此在红外图像中,目标区域相对背景区域来说是显著的。

S2.1建立方差纹理图;

分别以红外图像中每一个像素点为中心点,分别求取各像素点对应的N×N邻域窗的标准方差,以建立红外图像的方差纹理图。对于红外图像中处于其边缘的像素点即当中心像素点为边缘像素点时,则以像素值为0的方式来扩充其边缘,使得其邻域窗口大小也为N×N,求取其对应的N×N邻域窗的标准方差。其中:N×N邻域窗的大小可以选择3×3、5×5或7×7。在方差纹理图中,各区域的边界点的灰度值比非边界点的灰度值大,因此各区域的边界点就成为“亮”点,而非边界点就成为了“暗”点。方差纹理图能有效反映图像局部特征。

对于红外图像中的任一像素点,将其作为中心像素点(m,n),该像素点(m,n)对应的N×N邻域内的标准方差求解公式为:

式中,x(i,j)为大小为N×N的平滑窗内像素点(i,j)处的灰度值,其中M=N/2。

利用公式(1)求得红外图像中每个像素点对应的N×N邻域内的标准方差,即可得到红外图像的方差纹理图。

S2.2提取显著性区域特征点;

设S1中得到的红外图像的尺寸大小为P×Q,平均标准方差和平均标准方差的偏移量分别如公式(2)和(3)所示:

式中,V(r,s)为红外图像中的任一像素点(r,s)的像素值。

定义阈值在步骤S2.1的方差纹理图中,若红外图像中某一像素点对应的N×N邻域内的标准方差大于阈值T,则该像素点被选为显著性区域特征点。

S2.3对显著性区域特征点进行筛选和聚类;

将步骤S2.2提取的方差纹理图中的“亮”点作为显著性区域特征点,然后对这些显著性区域特征点进行筛选和聚类。

S2.3.1显著性区域特征点筛选;

(1)对于每个显著性区域特征点,用一个指针指向其8邻域中灰度值最大的特征点;

(2)统计指向每个显著性区域特征点的指针数,如果指向显著性区域特征点的指针数多于6个,则保留该显著性区域特征点,否者舍弃该显著性区域特征点。

S2.3.2显著性区域特征点聚类。

对显著性区域特征点进行筛选剔除了某些显著性区域特征点之后进行特征点聚类。相邻的多个显著性区域特征点可能属于同一显著性区域,通过对这些点的聚类可获得各聚类的中心。

假设筛选所得显著性区域特征点记为C(xk,yk)(k=1,2,...,K),xk、yk分别为其纵横坐标,则聚类的步骤为:

(1)取第一个显著性区域特征点C(x1,y1)作为第一类w1的聚类中心z1=C(x1,y1)。

(2)计算下一个显著性区域特征点C(x2,y2)到第一类聚类中心z1的欧氏距离d21,如果d21大于设定的阈值D,则建立新的一类w2,新的中心为z2=C(x2,y2),否则,判定C(x2,y2)归属于w1类。

(3)假设已有聚类中心z1,z2,...,zT,相对应的类别记为w1,w2,...,wT。计算还没有确定类别的显著性区域特征点C(xk,yk)到各聚类中心zt(t=1,2,...,T)的欧式距离dkt。如果dkt大于阈值D,则建立新的一类wT+1,由C(xk,yk)作为新的一类wT+1的中心,即zT+1=C(xk,yk);否则,选择显著性区域点C(xk,yk)到各聚类中心zt(t=1,2,...,T)的欧式距离dkt中的最小值,取得最小值时的聚类中心zl(l∈(1,T)),则判定C(xk,yk)属于wl类,并将wl的聚类中心更新为zl和C(xk,yk)的几何中心。

(4)检查是否所有显著性区域特征点都已经分配好类别,如果分配完毕,则结束;否则返回到步骤(3)。

聚类完成之后,各聚类中心即为显著目标区域的中心。

S2.4显著目标区域的分割。

利用区域生长法分割显著性目标区域。将步骤S2.3.2中各聚类中心点作为区域生长的种子点,利用8邻域的区域生长法进行图像分割获得显著目标区域。

S3对可见光图像和红外图像进行配准获得仿射变换矩阵,根据仿射变换矩阵求出步骤S2中提取得到的红外图像的显著目标区域在可见光图像上的位置,相应得到可见光图像上的显著目标区域;

可见光图像与红外图像的成像机理不同,可见光反映的是景物的反射信息,而红外光反映的景物的辐射信息。两类图像灰度差异很大,且像素灰度之间不具备相关性,不宜使用基于图像灰度的配准方法。因此在本发明S3中,采用多尺度的harri角点进行可见光图像和红外图像配准。本发明S3的实现步骤如下:

S3.1对红外图像和可见光图像进行多尺度的harris角点检测;

S3.1.1分别对红外图像和可见光图像构建图像尺度空间;

分别将红外图像、可见光图像作为输入图像,采用同样的方法对红外图像和可见光图像分别构建其对应的图像尺度空间,方法如下:

本发明中采用高斯函数来建立图像尺度空间,高斯函数公式如下:

其中,(x,y)为输入图像(输入图像为红外图像或者可见光图像)中的任一像素点,σ为尺度空间参数;G(x,y,σ)为尺度可变高斯函数。

假设I(x,y)为输入图像,输入图像为红外图像或者可见光图像,则输入图像的尺度空间被定义为函数L(x,y,σ),如下面公式所示:

L(x,y,σ)=G(x,y,σ)*I(x,y) (5)

其中,*为卷积运算;σ为尺度空间参数。在本具体实施例中,选择初始尺度空间参数σ0=0.5,利用公式(5)对输入图像进行高斯卷积作为第一组尺度空间的第一幅图像,然后按步长0.5来逐渐增大σ值,利用公式(5)直至生成第五幅图像(五幅图像对应的尺度空间参数分别为σ0、σ1......σ4),至此第一组尺度空间就建立好了。再建立下一组尺度空间,对上一组尺度空间的第三幅图像进行二分之一采样,得到下一组尺度空间的第一幅图像,然后进行如同建立第一组尺度空间那样的操作,逐渐增大σ直到生成第二组尺度空间的第五幅图像,至此得到了第二组尺度空间。

S3.1.2分别对红外图像和可见光图像进行多尺度空间下的harris角点检测;

(1)分别在红外图像和可见光图像的两组尺度空间中,利用harris角点提取算法检测出harris角点。

假设尺度空间参数为σ0,则在该尺度空间参数下检测到的harrisi角点的个数记为n0,则尺度空间参数σ1下检测的harris角点的个数记为n1,直至最大尺度空间参数σ4,该尺度空间参数下检测到的harris角点的个数记为n4。

(2)从小尺度到大尺度方向滤除伪角点。

判断(1)提取的harris角点是否在同一组尺度空间的每个尺度的统一坐标区域(3×3模板范围内)都存在,如果存在,此harris角点设置为图像配准所用的特征点;如果不存在,则剔除该harris角点。

多尺度的harris角点提取提高了角点定位的精度和角点检测的可靠性。

S3.2分别生成红外图像和可见光图像中所提取的特征点的特征描述符,然后对红外图像和可见光图像进行特征点的匹配;

分别将红外图像、可见光图像作为输入图像,采用同样的方法分别生成红外图像和可见光图像中所提取的特征点的特征描述符。为了保证特征描述符的旋转不变性,本发明中采用圆来构造特征描述符,圆具有很好的旋转不变性,在图像发生旋转后,特征点周围的区域都不会发生变化,在很大的程度上降低了运算复杂度,提高了角点检测效率。生成特征描述符的思想为:

(1)以输入图像(红外图像或可见光图像)中所提取出来的特征点为中心,以2个像素大小为半径生成第一个圆形区域,然后将半径依次增大1个像素直至生成8个同心圆。

(2)计算每个圆环内各个像素的梯度模和方向,相邻两个同心圆组成一个圆环区域,共有7个圆环区域,依次在该7个圆环区域内统计10个方向的梯度累加值,例如在第一个圆和第二个圆组成的圆环区域内统计10个方向的梯度累加值,按角度排序后作为第1到第10个元素;然后在第二个圆和第三个圆组成的圆环区域内统计10个方向的梯度累加值,按角度排序后作为第11到第20个元素;依次统计下去7个圆环区域,共有7×10个元素,这些元素组成的一维向量就为提取的特征点的特征描述符。

(3)将该一维向量进行归一化处理,可减少光照变化的影响。

对红外图像和可见光图像提取的特征点生成特征描述符之后,利用最近邻方法对红外图像和可见光图像提取的特征点进行匹配操作,得到红外图像和可见光图像的相匹配的点。

S3.3求解仿射变换矩阵,根据仿射变换矩阵求出步骤S2中显著目标区域在可见光图像上的位置。

根据步骤S3.2获得的红外图像和可见光图像的相匹配的点,求得仿射变换矩阵,确定红外图像和可见光图像之间的转换关系。仿射变换模型如下:

其中

其中,[u v 1]为红外图像中提取的特征点(u,v)的齐次坐标;[u' v' 1]为可见光图像中与特征点(u,v)相匹配的特征点(u',v')的齐次坐标;U为仿射变换矩阵;a11、a12、a21、a22、a31和a32为仿射变换模型中的6个参数,这六个参数决定了红外光和可见光两幅图像坐标之间的转换关系。只需3对相匹配的点,就可以确定这6个参数,相匹配的点可由步骤S3.2获得。

公式(6)可表示为:

根据公式(8)就可求得步骤S2提取的红外图像的显著目标区域映射到可见光图像的位置,完成了对可见光图像显著目标区域和非目标区域的分割。

S4进行NSST变换分解;

显著目标区域用F来表示,非目标区域用B来表示。利用NSST(英文全称为:Non-subsampled Shearlet Transform,中文名称为:非下采样剪切波变换)对S1中得到的红外图像I与可见光图像V进行分解,获得各自的高频分量和低频分量。步骤S2求得的红外图像的显著目标区域的高频分量记为低频分量记为LI,F;与红外图像显著目标区域相对应的可见光图像的显著目标区域的高频分量记为低频分量记为LV,F;红外图像的非目标区域的高频分量记为低频分量记为LI,B;可见光图像的非目标区域的高频分量记为低频分量记为LV,B。其中j为高频分量的尺度,k为高频分量的方向。

S5进行目标区域融合即将S2中提取的红外图像的显著目标区域和S3求得的可见光图像的显著目标区域进行显著目标区域融合,融合后的结果记为Fm。

S5.1目标区域的低频分量融合;

低频占据图像主要能量信息,为了更好地凸显目标和保持目标,目标区域融合后的低频分量选择红外图像的显著目标区域的低频分量,即:

S5.2目标区域的高频分量融合。

为了使目标区域的轮廓和细节特征更清晰,目标区域融合后的高频分量选择模极大值法,即:

S6进行非目标区域融合即将红外图像的非目标区域和可见光图像的非目标区域进行非目标区域融合,融合后的结果记为Bm。

S6.1非目标区域的低频分量融合;

为了更好地保留可见光的非目标区域背景信息,红外图像的非目标区域和可见光图像的非目标区域进行融合,两个非目标区域融合后的低频分量选择可见光图像的非目标区域的低频分量,即:

S6.2非目标区域的高频分量融合。

高频分量含有丰富的细节与纹理等信息,考虑邻域像素点之间的相关性,能更好的描述细节信息。利用邻域方差取大法融合非目标区域的高频分量。利用下面公式分别求得红外图像和可见光图像的邻域均值和方差。

式中,为红外光图像的非目标区域中以像素点(x,y)为中心、窗口大小为M×N的邻域的均值,为与相对应的邻域方差;为可见光图像的非目标区域中以像素点(x,y)为中心、窗口大小为M×N的邻域的均值,为与相对应的邻域方差。

利用邻域方差取最大法融合红外图像的非目标区域和可见光图像的非目标区域的高频分量,即:

S7利用步骤S5和步骤S6中获得低频分量和高频分量(即S5.1得到的目标区域融合后的低频分量、S5.2得到的目标区域融合后的高频分量、S6.1得到的非目标区域融合后的低频分量和S6.2中得到的非目标区域融合后的高频分量),进行NSST逆变换获得最终融合图像。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1