一种基于容积拍摄技术的图像融合方法与流程

1.本发明属于图像融合技术领域，特别涉及一种基于容积拍摄技术的图像融合方法。


背景技术：

2.目前，视觉传感器，如深度摄像头、红外线三维扫描仪等是一种类似人眼的信息采集设备，是无人设备获取外界信息的重要部件，多传感器信息融合是一种针对在一个系统中存在多个不同传感器时，将所获取的信息统一处理的方法。针对基于图像的三维重建技术来说，是多个传感器获取的深度信息经过配准等预处理步骤之后进行统一的步骤，处理对象是经过预处理而获得的三维点云数据，三维点云数据的融合是精准的重建三维模型的关键环节，是精准重建三维模型的基础之一。
3.为满足军事、民用等各个领域的需要，各种类型的传感器不断涌现，功能也越发强大，但是每种传感器都有自身的缺陷，比如基于雷达原理的激光测距仪能够非常准确快速地获得被测物体的三维数据，这些数据经过传输、处理后可以得到该物体的真实形态，然而却无法得到物体的颜色、纹理等物理信息，而可见光成像传感器则能获得包括物理特性信息之内的所有环境信息，且通过处理分析可以得到非常高分辨率和清晰度的图像，但是红外传感器对温度越高的物体灵敏度高，并不能反映出被测物体的细微变化，图像清晰度较低。传感器这种不可避免的缺陷制约了传感器发展，怎么将各种传感器所得到的信号很好地融合在一起，实现信息的互补与优化组合是一个亟待解决的问题。


技术实现要素：

4.本发明提出一种基于容积拍摄技术的图像融合方法，解决了现有技术中的问题。
5.本发明的技术方案是这样实现的一种基于容积拍摄技术的图像融合方法，包括：
6.第一步：a和b分别为已配准的可见光与红外图像，使用非采样contourlet变换分别进行分解，得到各种的高频子带和低频子带；
7.第二步：在低频子带上采用低频子带的融合准则，得到的低频子带作为融合图像的低频系数；
8.第三步：选取边缘检测因子，如水平边缘检测因子，垂直边缘检测因子，45
°
边缘检测因子和－45
°
边缘检测因子；分别对变换后的不同层的高频子带在不同方向上进行边缘检测，得到不同层上高频子带边缘图像；
9.第四步：图像经过分解后，高频子带包含了图像丰富的边缘信息，为了融合图像包含的源图像边缘特性，在高频子带上采用高频子带的融合准则，将相应层次上丰富的边缘图像进行或逻辑运算，源图像中所有点都会在融合结果中，得到的高频子带作为融合图像的高频系数；
10.第五步：对已得到的高频系数和低频系数进行逆变换，重构得到最终的融合图像。
11.作为一种优选的实施方式，所述低频子带的融合准则采用区域空间频率取大法，
图像的空间频率定义如下：
[0012][0013][0014][0015]
其中rf和cf分别为空间行频率(row frequency)和空间列频率(colum frequency)，sf为空间频率，m、n表示图像区域的大小，f(i，j)表示在(i，j)处图像灰值。
[0016]
作为一种优选的实施方式，所述区域空间频率取大法中低频系数选取准则如下：
[0017][0018]
其中，cf(i，j)表示融合图像低频系数，ca(i，j)和cb(i，j)分别表示源图像a和b的低频子带系数，sfa(i，j)和sfb(i，j)分别表示源图像a和b在(i，j)处的区域空间频率。
[0019]
作为一种优选的实施方式，采用区域能量法分析融合过程中所述高频子带的融合准则：
[0020][0021][0022]
其中，为加权系数矩阵，ea(i，j)和eb(i，j)分别代表区域窗口的局部能量，aj(i，j)和bj(i，j)分别为源图像a和b在高频子带处的像素值。
[0023]
作为一种优选的实施方式，计算归一化局部能量之差公式如下：
[0024][0025]
设定一个阈值t，当局部能量差m(i，j)＞t时，说明源图像a和b局部能量相差很多，即一幅含有丰富的能量，另一幅则只有少量的能量。。
[0026]
作为一种优选的实施方式，融合图像在第j层高频子带系数为：
[0027][0028]
如果局部能量差m(i，j)＜t时，说明源图像a和b局部含有的能量相当。
[0029]
作为一种优选的实施方式，假设系数采用加权平均值作为融合图像在第j层高频子带：
[0030][0031]
其中，和分别是融合图像f、源图像a和b的第j层高频子带系数。
[0032]
采用了上述技术方案后，本发明的有益效果是：
[0033]
图像融合算法是对图像在像素级上实现的，通过融合算法将源图像进行分解成高频子带和低频子带，低频子带区域空间频率取大法选择图像亮度较大区域，细化了图像低亮度边缘区域，对高频子带采用区域能量法融合图像确保对源图像细节保留的程度，能够更好的检测待融合图像的边缘信息。
附图说明
[0034]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0035]
图1为本发明的结构示意图。
具体实施方式
[0036]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
如图1所示，一种基于容积拍摄技术的图像融合方法，包括：
[0038]
第一步：a和b分别为已配准的可见光与红外图像，使用非采样contourlet变换分别进行分解，得到各种的高频子带和低频子带；
[0039]
第二步：在低频子带上采用低频子带的融合准则，得到的低频子带作为融合图像的低频系数；
[0040]
第三步：选取边缘检测因子，如水平边缘检测因子，垂直边缘检测因子，45
°
边缘检测因子和－45
°
边缘检测因子等，分别对变换后的不同层的高频子带在不同方向上进行边缘检测，得到不同层上高频子带边缘图像；
[0041]
第四步：图像经过分解后，高频子带包含了图像丰富的边缘信息，为了融合图像包
含的源图像边缘特性，在高频子带上采用高频子带的融合准则，将相应层次上丰富的边缘图像进行或逻辑运算，源图像中所有点都会在融合结果中，得到的高频子带作为融合图像的高频系数；
[0042]
第五步：对已得到的高频系数和低频系数进行逆变换，重构得到最终的融合图像。
[0043]
可见光与红外图像中存在着大量图像边缘信息，图像边缘信息虽然占有像素并不多，但却包含了图像的大部分信息，对于分析图像中包含的物体也至关重要。因此，本文采用一种基于边缘检测的非采样contourlet变换图像融合方法。具体融合方法如上所述。
[0044]
图像融合算法是对图像在像素级上实现的，通过融合算法将源图像进行分解成高频子带和低频子带。往往对于不同的融合图像目的，采用的融合准则也不尽相同。在小波融合中，低频子带一般采用的是加权发，对源图像不同的低频子带进行加权，得到新的低频子带。对于高频子带，通常采用绝对值最大法，比较不同源图像的高频子带，选择较大的作为新的高频子带。在contourlet变换和非采样contourlet变换中，低频子带通常采用平均加权法，而对高频子带往往采用的是区域能量最大法。因此，如何选取一个合理的融合准则，对于图像融合效果来说至关重要。
[0045]
所述低频子带的融合准则采用区域空间频率取大法，图像的空间频率定义如下：
[0046][0047][0048][0049]
其中rf和cf分别为空间行频率(row frequency)和空间列频率(colum frequency)，sf为空间频率，m、n表示图像区域的大小，f(i，j)表示在(i，j)处图像灰值。
[0050]
在图像融合中，图像的低频子带一般占据图像的主要能量，反映了图像的轮廓信息。对于低频子带常用的融合准则有平均法、区域方差最大法和区域能量最大法。但是，平均法没有考虑图像亮度和边缘特性，融合图像对比度不好，影响视觉效果。区域方差最大法忽略图像亮度，优先选择边缘纹理丰富区域。区域能量最大法选择图像亮度较大区域，细化了图像低亮度边缘区域。本发明则采用区域空间频率取大法。
[0051]
空间频率能很好的描述图像突变信息，反应图像边缘化程度，融合准则选择空间频率取大法，有利于保存图像边缘和细节信息，所述区域空间频率取大法中低频系数选取准则如下：
[0052][0053]
其中，cf(i，j)表示融合图像低频系数，ca(i，j)和cb(i，j)分别表示源图像a和b的低频子带系数，sfa(i，j)和sfb(i，j)分别表示源图像a和b在(i，j)处的区域空间频率。
[0054]
在图像融合过程中，图像高频子带主要反映图像的纹理与边缘等信息，高频系数融合准则的选取关系到融合图像对源图像细节保留的程度，本发明采用区域能量法分析融合过程中所述高频子带的融合准则：
[0055][0056][0057]
其中，为加权系数矩阵，ea(i，j)和eb(i，j)分别代表区域窗口的局部能量，aj(i，j)和bj(i，j)分别为源图像a和b在高频子带处的像素值。
[0058]
计算归一化局部能量之差公式如下：
[0059][0060]
设定一个阈值t，当局部能量差m(i，j)＞t时，说明源图像a和b局部能量相差很多，即一幅含有丰富的能量，另一幅则只有少量的能量。
[0061]
融合图像在第j层高频子带系数为：
[0062][0063]
如果局部能量差m(i，j)＜t时，说明源图像a和b局部含有的能量相当。
[0064]
假设系数采用加权平均值作为融合图像在第j层高频子带：
[0065][0066]
其中，和分别是融合图像f、源图像a和b的第j层高频子带系数。
[0067]
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0068]
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。