一种基于多尺度分析的异源融合图像互补性计算方法
【专利摘要】本发明公开了一种基于多尺度分析的异源融合图像互补性计算方法，该方法采用多分辨率分析的方法，结合视觉注意机制，从粗尺度视觉显著性和细尺度细节相似性两个角度来比较异源融合图像的相似性与互补性。这种方法能够有效地评价不同种类异源图像的视觉成像特点，有助于选择最佳的异源图像组合、融合算法及其最佳参数组合进行异源图像融合；具有以下优点：第一，从视觉感知的角度评价采用不同成像设备获取的异源图像的差异；第二，通过计算异源融合图像间的互补性，选取具有更大互补性的异源融合图像，从而使得融合结果包含更丰富的信息量；第三，根据异源融合图像互补性的特征，有针对性地选取最佳融合算法及其参数。
【专利说明】一种基于多尺度分析的异源融合图像互补性计算方法
[0001]
【技术领域】 本发明涉及计算机视觉、数字图像处理以及生物视觉计算等多个图像应用领域，具体 涉及一种基于多尺度分析的异源融合图像互补性计算方法。
【背景技术】
[0002] 异源图像融合技术是将对同一场景由不同图像传感器，或同一图像传感器使用不 同工作参数拍摄的图像，通过图像处理的手段组合为一幅图像。该组合结果包含了较任意 一幅原始图像更为丰富的视觉信息。异源融合图像融合技术已经在远程监控、数字医疗、高 动态范围成像、军事侦察等多个方面得到了广泛应用。附图1给出了现有技术中异源图像 融合的过程。
[0003] 在图1中，由于成像设备的特点和性能限制，单独使用红外相机或可见光相机都 无法获取成像场景中的全部信息，因此通过使用图像融合技术将两幅图像中的视觉信息集 成于一幅图像之中，能够获得比单独使用任意一种成像设备更多的视觉信息。目前对异源 图像融合的研究集中于融合算法以及融合质量评价，而对于异源融合图像互补性的研究尚 未见公开发表。
[0004] 对于异源图像融合的结果而言，其所包含的信息量不仅取决于融合算法，同时也 取决于异源融合图像之间的差异化程度。对于确定的某种融合算法，异源融合图像间的差 异化程度越高，则融合结果所包含的信息量越大。
[0005] 使用简单的数学方法，例如均方差（MeanSquareError,MSE)、峰值信噪比（Peak Signal-NoiseRatio,PSNR)、互信息（MutualInformation，MI)等来评价异源融合图像间 的差异，只能提供异源融合图像间的数值差异比较，并不能反映出异源融合图像间的视觉 差异，无助于成像设备以及融合算法的选择。
【发明内容】
[0006] 本发明为了解决从视觉观测的角度来评价异源融合图像间差异性的问题，提供了 一种基于多尺度分析的异源融合图像互补性计算方法。该方法依据生物视觉系统的研究成 果，通过比较两个尺度的视觉差异来评价异源融合图像的互补性。其中粗尺度的视觉显著 度用于模拟人眼在"预注意"阶段对目标大致轮廓和形状敏感的特点，细尺度的细节相似性 模拟人眼在"详细观察"阶段对于纹理、边沿等突变敏感的特点。。
[0007] 为实现上述目的，本发明采用如下的技术方案： 一种基于多尺度分析的异源融合图像互补性计算方法，包括以下步骤：首先，对待比较 异源融合图像进行多尺度多方向的分解变换，将图像分解为粗尺度低频子带和细尺度下多 个方向性带通子带；然后分别从这两个空间尺度对异源融合图像的粗尺度视觉显著性差异 和细尺度细节相似性进行比较。
[0008] 在粗尺度视觉显著性差异的计算过程中，使用NSCT低频系数和根据视觉注意机 制模型获得的视觉显著度图，计算图像中各点的"视觉强度";异源融合图像间同一位置的 "视觉强度差"作为该点的视觉匹配度；视觉匹配度的平均值作为异源图像间的粗尺度视觉 显著度差异。
[0009] 细尺度细节相似性的计算过程如下：逐点计算两幅异源融合图像之间每一对 NSCT对应的带通子带间的细节相似性，然后计算各对带通子带在该位置的细节相似性算术 平均值作为该点的细节相似性。
[0010] 本发明具有的优点和积极效果是： 本发明采用多分辨率分析的方法，结合视觉注意机制，从粗尺度视觉显著性和细尺度 细节相似性两个角度来比较异源融合图像的相似性与互补性。这种方法能够有效地评价不 同种类成像设备的视觉成像特点，有助于选择最佳的成像设备组合、融合算法及其最佳参 数组合进行异源图像融合；具有以下优点：第一，从视觉感知的角度评价不同成像设备的 差异；第二，通过计算异源融合图像间的互补性，选取具有更大互补性的异源融合图像，从 而使得融合结果包含更丰富的信息量；第三，根据异源融合图像互补性的特征，有针对性地 选取最佳融合算法及其参数。
【专利附图】
【附图说明】
[0011] 图1为异源图像融合的流程图； 图2为本发明的Itti视觉注意模型的流程图； 图3为本发明的视觉注意模型的应用实例图； 图4为本发明的异源融合图像互补性计算方法的流程图； 图5为可见光/红外图像互补性比较图； 图6为多聚焦图像互补性比较图。
【具体实施方式】
[0012] 下面结合附图和具体实施例对本发明的基于多尺度分析的异源融合图像互补性 计算方法做进一步说明。下述各实施例仅用于说明本发明而并非对本发明的限制。
[0013] 图1为异源图像融合的流程图，描述了异源图像融合各个阶段的作用或目的。图 中成像场景中包含了隐藏在树丛后面的人体，使用红外相机和可见光相机分别拍摄，获得 两幅异源图像。由图1可见，红外图像获得了场景中具有较强热辐射的目标，而树丛等可见 目标的清晰度很差；可见光图像对可见光范围内的目标清晰成像，但对隐藏人体完全不可 见。通过使用异源图像融合技术，可将上述两幅图像组合为一幅含有更多信息量的图像，供 人眼观察或计算机处理分析。
[0014] 本发明的基于多尺度分析和视觉注意机制的异源融合图像互补性计算方法，其过 程是首先对待比较异源融合图像进行非下采样轮廓波变换（Non-subsampledContourlet Transform,NSCT)分解，将图像分解为粗尺度低频子带和细尺度下多个方向性带通子带，然 后分别从这两个空间尺度对异源融合图像的粗尺度视觉显著性差异和细尺度细节相似性 进行比较。NSCT分解是一种多尺度多方向的分解变换，与传统的小波变换等多尺度分析方 法相比，NSCT具有平移不变性和多方向性，因此可提取更多方向性的细节。
[0015] 在粗尺度视觉显著性差异的评价中，采用低频子带和视觉注意机制相结合的方 法，计算异源融合图像中对应位置的视觉显著性差异。在细尺度细节相似性评价中，通过计 算各方向带通子带对应位置的线性相关性和对比度相似性来得到细节相似性。最后，使用 整幅图像的视觉强度差异和细节相似性的平均值作为异源融合图像互补性的评价指标。具 体为：使用NSCT低频系数和根据视觉注意机制模型获得的视觉显著度图，计算图像中各点 的"视觉强度"。异源融合图像间同一位置的"视觉强度差"作为该点的视觉匹配度。视觉 匹配度的平均值作为异源图像间的粗尺度视觉显著度差。
[0016]在细尺度细节相似性的评价中，使用NSCT带通系数计算异源图像间同一位置的 细节相似度，该相似度由两点间的线性相关度和对比度相似度组成。使用图像中细节相似 度的平均值作为异源融合图像间的细节相似度。
[0017]在本发明中，异源融合图像是指对同一场景使用不同的成像设备、或采用不同配 置参数的同一成像设备所获得的多幅图像。异源融合图像互补性是指异源图像之间，以及 源图像与融合结果之间的视觉差异性。
[0018]图2是Itti视觉注意机制模型图，用来计算视觉显著度，从而生成视觉显著图。具 体实现过程如下： (1) 特征提取：计算源图像的颜色、亮度及方向特征图； (2) 特征整合阶段：将生成的特征显著图进行融合，以形成一幅综合的视觉显著图。
[0019]图3给出了视觉注意模型的应用举例。该例中可见光图像（a)和红外图像（b)分 别对不同性质的目标清晰成像。图3(c)是可见光图像的视觉显著图，箭头标出了其中的主 要显著目标。图3(d)是红外图像的视觉显著图，其中的主要目标(如箭头所示)在可见光图 像中被隐藏。有此例可见，视觉注意模型准确提取了图像中显著目标的位置、范围以及显著 程度。通过比较两幅异源融合图像的视觉显著图，能够获得他们在粗尺度分辨率上的视觉 差异。
[0020] 图4是本发明的异源融合图像互补性计算方法的流程图。如图4所示，本发明的 具体实施过程为：
【权利要求】
1. 一种基于多尺度分析的异源融合图像互补性计算方法，其特征在于，该方法包括以 下步骤：首先，对待比较异源融合图像进行多尺度多方向的分解变换，将图像分解为粗尺度 低频子带和细尺度下多个方向性带通子带；然后，分别从这两个空间尺度对异源融合图像 的粗尺度视觉显著性差异和细尺度细节相似性进行比较。
2. 根据权利要求1所述的基于多尺度分析的异源融合图像互补性计算方法，其特征在 于，在粗尺度视觉显著性差异的计算过程中，使用NSCT低频系数和根据视觉注意机制模型 获得的视觉显著度图，计算图像中各点的"视觉强度";异源融合图像间同一位置的"视觉强 度差"作为该点的视觉匹配度；视觉匹配度的平均值作为异源图像间的粗尺度视觉显著度 差异。
3. 根据权利要求1所述的基于多尺度分析的异源融合图像互补性计算方法，其特征在 于，细尺度细节相似性的计算过程如下：逐点计算两幅异源融合图像之间每一对NSCT对应 的带通子带间的细节相似性，然后计算各对带通子带在该位置的细节相似性算术平均值作 为该点的细节相似性。
【文档编号】G06T7/00GK104392440SQ201410648614
【公开日】2015年3月4日 申请日期:2014年11月17日 优先权日:2014年11月17日
【发明者】胡燕翔 申请人:天津师范大学