专利名称：基于结构相似度和人眼视觉的视频图像融合性能评价方法
技术领域：
本发明涉及图像处理领域，具体说是一种视频融合性能评价方法，该方法用于从空间信息提取及时间一致性和稳定性两个方面综合评价各种融合算法的性能。
背景技术：
图像融合技术已经广泛应用于机器视觉、数码相机、目标识别等领域。然而，目前绝大多数图像融合指标是针对静态图像融合处理而设计的，而有关多传感器视频图像融合研究较少。在安全监视以及战场环境下的目标检测和识别等实际应用中，往往需要对来自多个传感器的视频图像进行融合处理。视频图像融合不仅在空间性能上要满足一般图像融合的基本要求，即融合后视频图像各帧图像应尽可能地保留输入视频图像各帧图像中的有用信息和避免引入虚假信息等；在时间性能上还要满足时间一致性和稳定性，即融合后视频图像中各帧图像之间的灰度值差异仅能由输入视频图像中各帧图像之间的灰度值差异引起，而不能由算法自身融合过程引入(0. Rockinger，"Image sequence fusion using a shift invariant wavelet transform,” IEEE Transactions on Image Processing, Vol. 3，1997，pp. 288-291.)。目前大多数的融合性能评价指标都是针对于静态图像融合性能的评价，例如互信息熵(Du-Yih Tsai, Yongbum Lee, Eri Matsuyama, “ Information Entropy Measure for Evaluation of Image Quality，，，Journal Of Digital Image, Vol. 21, No. 3,2008, pp. 338-347)，基于梯度信息保留的性能评价指标(V. Petrovic, C. Xydeas, "0bjective evaluation of signal-level image fusion performance，，，Optical Engineering, SPIE，Vol. 44，No. 8，2005，pp. 087003.)和基于结构相似度的性能评价指标(G.Piella， H. Hei jmans, "A new quality metric for image fusion，，，IEEE International Conference on Image Processing，2003.)等。可以采用逐帧评价方式将上述静态图像融合性能评价指标用于视频图像融合性能评价中，但这种评价方法只能从空间信息提取一个方面对视频图像融合算法进行评价。为了评价各视频融合算法在时间一致性和稳定性方面的融合性能，Rockinger提出了一种基于帧差图像互信系熵的视频图像融合性能评价指标(0. Rockinger, "Image sequence fusion using a shift invariant wavelet transform，” IEEE Transactions on Image Processing，Vol. 3，1997，pp.288-291.)。 与其它静态图像融合性能评价指标一样，该指标对视频图像融合性能评价时存在片面性。Petrovic等在基于空间梯度信息保留的融合性能评价指标的基础上，设计了一种基于空间-时间联合梯度信息保留的视频图像融合性能评价指标(V. Petrovic，Τ. Cootes, R. Pavlovic, "Dynamic image fusion performance evaluation," IOth International Conference on Information Fusion，2007)，这种指标能够从空间信息提取及时间一致性和稳定性两个方面对视频图像融合性能进行综合评价。然而，该指标是一种基于梯度信息的性能评价指标，易受噪声影响。同时，该指标在设计过程中没有考虑人眼视觉感知特性， 而人眼往往是视频图像融合的最终接收端，从而使得评价结果与主观评价结果相差较大。
发明内容
本发明的目的在于克服上述已有技术的不足，提出一种基于结构相似度和人眼视觉的视频图像融合性能评价方法，以从空间信息提取及时间一致性和稳定性两个方面综合评价视频图像融合的融合性能，同时结合人眼视觉感知特性使得评价结果更接近主观评价。本发明的目的是这样实现的一.技术原理本发明在基于结构相似度SSIM静态图像融合性能评价指标的基础上，根据融合后视频图像与输入视频图像各帧图像之间的SSIM值，构建空间融合性能评价指标；根据融合后视频图像与输入视频图像各帧差图像之间的SSIM值构建时间性能评价指标；将空间性能评价指标和时间性能评价标准结合，构建空间-时间性能评价标准，综合评价各融合算法。同时，根据人眼视觉感知特性设计所需局部和全局参数，从而使得客观评价结果更符合人眼主观评价。其中所根据的人眼视觉感知特性如下(1)人眼视觉系统感知的目的是提取视频图像中显著特征，含有丰富信息的目标更容易引起人眼视觉系统的注意；(2)人眼视觉系统对不同信息感知确定程度不完全相同，在背景图像运动较快的视频图像中，人眼视觉系统对图像中的信息感知确定程度明显不及背景图像运动较慢的视频图像中的信息感知确定程度。二.实现步骤本发明以两个参考输入视频Na、Vb和融合后视频Vf为例，其实现步骤包括如下(1)针对融合后视频图像Vf与输入视频图像Va和Vb之间的当前帧图像构建相应的单帧空间性能评价指标Qs, t (Va, Vb, Vf)
权利要求
1.一种基于结构相似度和人眼视觉的视频图像融合性能评价方法，以两个参考输入视频Va、Vb和融合后视频Vf为例，包括如下步骤(1)针对融合后视频图像Vf与输入视频图像Va和Vb之间的当前帧图像构建相应的单帧空间性能评价指标Qs,t(Va，Vb，Vf)
2.根据权利要求1所述的视频图像融合性能评价方法，其特征在于步骤(1)中单帧空间性能评价指标中涉及的输入视频图像Va在当前窗口下的权值λ a(wffl,n, t)，按如下公式计算
3.根据权利要求1所述的视频图像融合性能评价方法，其特征在于步骤(1)中单帧空间性能评价指标中涉及的输入视频图像Vb在当前窗口下的权值Xb(Wm,n,t)，按如下公式计算
4.根据权利要求1所述的视频图像融合性能评价方法，其特征在于步骤O)中单帧时间性能评价指标中涉及的输入帧差视频图像Da在当前窗口下的权值€a(wm,n,t)，按如下公式计算
5.根据权利要求1所述的视频图像融合性能评价方法，其特征在于步骤O)中单帧时间性能评价指标中涉及的输入帧差视频图像Db在当前窗口下的权值lb(wm,n,t)，按如下公式计算
6.根据权利要求1所述的视频图像融合性能评价方法，其特点在于步骤中全局空间-时间性能评价指标中涉及的全局帧权值P (t)，按如下步骤计算(4a)计算输入视频图像Va和Vb当前帧的全局帧权值Pa(t)和Pb(t)
全文摘要
本发明公开了一种基于结构相似度和人眼视觉的视频图像融合性能评价方法，主要解决现有技术的评价结果与主观评价结果不一致的问题。其实现步骤是根据融合视频各帧图像与输入视频各帧图像之间的结构相似度值，构建空间性能评价指标；根据融合视频图像与输入视频图像各帧差图像之间的结构相似度值，构建时间性能评价指标；将空间性能评价指标和时间性能评价指标结合作为空间-时间性能评价指标；根据人眼视觉感知特性，采用输入视频图像空间对比度和时间运动信息制定指标所需参数。本发明具有评价结果准确且符合人眼视觉主观评价的特性，可用于评价视频图像融合算法性能。
文档编号H04N17/00GK102231844SQ201110205480
公开日2011年11月2日 申请日期2011年7月21日 优先权日2011年7月21日
发明者张强, 王龙, 陈闵利 申请人:西安电子科技大学