专利名称：一种基于视觉任务的彩色融合图像质量评价方法
技术领域：
本发明涉及ー种基于视觉任务的彩色融合图像质量评价方法，属于图像处理中彩色融合技术领域。
背景技术：
近年来，随着多波段图像传感器技术的发展，多波段图像融合算法研究受到人们的普遍重视，其中可见光和红外的彩色(夜视)图像融合方法充分利用人眼彩色视觉特性，可有效提升目视光电成像系统对场景目标的探測、识别能力，减小虚警率和识别错误，在态势感知、目标探测等方面展现出广泛的应用前景，并已有实用的系统和装备获得成功的应用。同时，如何评价融合效果，即如何评价融合图像的质量，成为图像融合技术和系统设计的重要环节。目前，对彩色(夜视)融合图像质量的评价尚没有国内外公认的理论，缺乏相应的评价测试方法及装置，缺乏适用于装备生产的融合质量客观评价系统，直接影响到对彩色夜视成像系统的评价，严重阻碍了彩色夜视系统装备的推广应用。图像质量评价可分为主观评价和客观评价。主观评价由有经验的观察者根据主观感知来评价图像的质量；客观评价方法依据模型给出的量化指标，模拟人类视觉系统感知机制衡量图像质量，达到与主观评价相一致的评价結果。由于人眼是彩色融合图像的最終接受者，主观评价能给出最可靠的图像质量评价結果。通过大量的观察者主观评价得到的平均意见分数，是衡量图像质量最准确的方法。因此，图像质量的主观评价是客观评价模型研究的基础。目前，国际上主要研究基于视觉任务的彩色夜视融合图像质量主观评价，其包括目标探测定位与识别、场景识别和态势感知等。然而，主观评价不适用于大批量装备，需要进ー步发展客观评价模型。观察者对图像质量的主观感觉受到多种因素的影响。前人研究并提出的图像质量客观评价指标，例如对比度、清晰度和顔色协调性等，可以从不同的方面反映图像质量属性，但是难以衡量彩色融合图像的综合质量。红外与可见光彩色融合图像通常具有其特定的应用目的，如何基于视觉任务进行彩色融合图像质量的综合评价是目前亟待解决的难题。
发明内容
本发明的目的是克服现有技术的上述不足，建立一种针对视觉任务的图像质量综合评价方法，该方法提出的两个评价指标具有针对性，能够衡量彩色融合图像的综合质量。该方法包括如下步骤第一歩针对多幅典型场景的可见光与红外彩色融合图像，采用符合国际标准要求的主观评价实验，得到每一幅图像对应的4个单ー质量属性和2个基于视觉任务图像感知质量參数的人眼主观评价分数；其中，所述单ー质量属性包括目标与背景的感知对比度PCTB、清晰度S、颜色协调性CH和颜色自然感CN;所述基于视觉任务图像感知质量參数包括基于目标探测的图像感知质量PQTD和基于场景理解的图像感知质量PQSU ;其中，对PQTD评价时，要求观察者衡量图像中目标的可探測性，以是否有利于观察者快速、准确的发现图像中的目标为评价标准给出评价分数；对PQSU评价吋，要求观察者不考虑目标是否可探測，而是综合考虑各方面图像质量属性，将融合图像是否利于观察者对图像场景内容直观准确的理解为判断标准给出评价分数；第二歩根据实验所得数据，利用回归分析方法建立每个基于视觉任务图像感知质量參数与单ー质量属性之间的线性关系，从而获得PQTD和PQSU的回归模型；其中，在针对PQTD和PQSU分别建立回归模型吋，以4个单ー质量属性为备选的自变量，采用逐步回归法向回归方程逐步引入自变量，并进行共线性诊断，最終得到符合显著性检验标准并且不存在严重多重共线性问 题的最优回归方程；回归模型形式如下 PQTD = Id1 X PCTB+b2 X S+b0PQSU = C1X CH+c2 X S+c0Wlv Cc^CpC2为回归模型中的系数；第三步在对彩色融合图像质量进行评价时，获得最优回归方程中自变量的值，代入回归模型得到PQTD和PQSU。采用上述方法，当第一歩中分别针对植物、海天和城镇建筑物背景的三种典型场景，获得可见光与红外彩色融合的多幅图像并评分时，最終获得PQTD和PQSU的回归模型分别为PQTD = O. 714PCTB+0. 314S-0. 025 (I)式(I)的决定系数R2 = O. 921，表示92. 1%的PQTD变化可用PCTB和S来线性表示；PQSU = O. 675CH+0. 341S-0. 014 (2)；式(2)的决定系数R2 = O. 970，表示97. 0%的PQSU变化可用CH和S来线性表示。从式(I) (2)可以看出，利用PCTB和S可有效地预测PQTD，利用CH和S可有效地预测PQSU。对于典型场景的类型不同，PCTB、S和CH对PQTD和PQSU的影响大小也有所不同，但基本的回归方程形式不变，只是比例系数有所变化。因此，通过PCTB、S和CH可实现综合评价指标PQTD和PQSU的客观量化，所得的PQTD和PQSU的回归预测模型为基于视觉任务的彩色融合图像质量综合评价这ー难提供有效的解决途径。有益效果I)与传统的图像质量评价方法相比，本发明根据彩色融合图像的应用目的，提出基于视觉任务图像质量的两个评价指标具有针对性，能够衡量彩色融合图像的综合质量。2)为了得到基于视觉任务图像质量的客观评价模型，本发明使用的目标背景对比度、清晰度协调性和颜色自然感四个单ー质量属性，建立PQTD和PQSU的预测模型，由于单ー质量属性易于量化，容易获得较准确的数值，因此有利于预测模型建立的简单化和准确性，可以很好的预测基于视觉任务图像感知质量。3)本发明采用了大量的典型场景的融合图像以及足够多的观察者，进行了符合国际标准的主观评价实验，从而保证了综合评价指标的数据以及单ー质量属性评价数据的可信度。
4)通过回归过程可以得知，最终确立的回归模型均通过了显著性检验和共线性诊断，具有统计学意义，能够有效地表征參数间的线性表达关系。
图I是本发明中利用单ー质量属性预测融合图像综合质量的框架图。
具体实施例方式下面结合附图及实施例对本发明做进ー步说明。彩色融合图像有着特定的应用目的，前人的视觉实验已表明彩色融合图像较之单波段图像在目标探测和场景理解方面更具优势。主观评价和客观评价都依赖于具体的图像质量属性，例如清晰度、视彩度和自然感等。这些感知属性从不同的角度反映了图像质量的 某些方面，但是却不能衡量融合图像的综合质量。为了整体评价彩色融合图像在目标探测和场景理解方面的感知质量，总结分析前人的研究結果，并考虑彩色融合图像的具体应用需求，本发明基于视觉任务提出新的综合评价指标，其包含两个分指标基于目标探测的图像感知质量(Perceptual Quality Basedon Target Detectability, PQTD);基于场景理解的图像感知质量(Perceptual QualityBased on bcene Understanding, PQSU)。考虑到直接对其尽量客观量化的困难，同时选择了四个前人研究提出的易于客观量化的单ー图像质量属性目标与背景的感知对比度(Perceptual Contrast between theTarget and Background, PCTB)、清晰度(Sharpness, S)、颜色协调性(Colour Harmony, CH)和颜色自然感(Colour Naturalness, CN)。本发明针对多幅可见光和红外彩色融合图像采用主观评价实验获得上述6个指标的人眼主观评价分数，然后通过回归分析方法获得PQTD和PQSU与4个单ー图像质量属性的线性关系，即回归模型。回归分析结果表明，PQTD与PCTB和S线性相关度高，能够用PCTB和S进行多元线性表示，形成了 PQTD = hXPCTB+l^XS+b。的表达形式。而PQSU与CH和S线性相关度高，能够用CH和S进行多元线性表示，形成了 PQSU = ClXCH+C2XS+C(l，其中，I^bpb2和Cp Cp C2均为回归分析确定的系数。当采用不同的融合图像作为主观评价对象，获得的系数可能略有不同，但是多元线性回归方式的基本形式不会改变。下面对整个回归方程的建立过程进行详细描述。一、在进行融合图像获取和评分之前，先介绍ー下两个基于视觉任务的综合评价指标和4个单ー图像质量属性的含义和评价标准。a)基于目标探测的图像感知质量PQTD评价时，要求观察者衡量图像中目标的可探測性，以是否有利于观察者快速、准确的发现图像中的目标为评价标准给出图像感知质量评价分数。本实验，规定红外图像中的热目标为需要探測的目标。对于一幅图像中存在多个热目标的情况需要观察者综合衡量比较后打分。b)基于场景理解的图像感知质量PQSU评价时，要求观察者不考虑目标是否可探測，而是综合考虑清晰度、顔色等各方面 图像质量属性，将融合图像是否利于观察者对图像场景内容直观准确的理解为判断标准给出评价分数。(I)目标与背景的感知对比度PCTB对于彩色图像，目标背景的感知对比度是指人眼感觉到的图像中目标和背景顔色的差异程度。人眼在很大程度上，依赖目标和背景对比度来发现目标。利用目标背景对比度可以衡量图像中目标的突出程度。目标背景对比度越大，目标在背景上越突出，发现目标所需要的判断时间越短、判断精度越高，即目标探測性越好。对于一幅图像中存在多个热目标的情况需要观察者综合衡量多个目标与背景的对比度来打分。⑵清晰度图像清晰度是观察者评价图像质量时常用的质量属性。可以将清晰度具体的分为两方面，分辨率和锐度。分辨率反映图像细节信息，锐度则表示边缘的清晰程度。清晰度好的图像包含了较丰富的细节信息，表现出边缘和纹理方面较好的辨识性。(3)颜色协调性对于真彩色图像，颜色协调性是影响图像色彩偏好最重要的因素。目前普遍接受的协调性定义为不同的顔色组合产生令人满意、愉快的效果，则认为该颜色组合具有协调性。对于人为赋予色彩的彩色融合图像，不同程度的存在于真实场景的不一致性，为了避免观察者长时间观察产生视觉疲劳以及负面的心理影响，融合图像的颜色协调性显得尤为重要。(4)颜色自然感顔色自然感定义为人们对颜色复制物体颜色逼真度的主观印象，即与记忆色彩的一致程度。对于自然场景图像的重现，顔色的自然感是影响图像感知质量的主要因素之一。人们认为顔色自然感较好的图像与他们长期记忆色相近。可见光和红外彩色融合图像为达到提高目标探测性能的目的，通常会赋予目标鲜亮的色彩，使得目标和背景色彩差异明显，具有较高的色彩对比度。即颜色协调性及自然感是针对目标所在背景环境而言的，并不考虑目标顔色的协调性和自然感。ニ、融合图像获取针对植物、海天和城镇建筑物背景的三种典型场景获取融合图像。针对每ー种典型场景，选取L = 7个地点，每个地点获取可见光图像和红外图像，将相对应的ー对可见光图像和红外图像采用N = 5种不同的融合方法进行融合，融合方法分别为TN01996算法提取源图像中共有成分和独有成分来增强可见光与红外图像特定细节；MIT1997法利用拮抗视觉特性提出的增强可见光和红外图像的独有信息并保留
共有信息；LFinYUV2007算法YUV空间的线性融合算法，使融合图像中热目标成红色，冷目标为蓝色；0FinYUV2008算法利用拮抗视觉模型在YUV空间增强可见光与红外图像的独有
信息；SP2009算法利用控向金宇塔分别将可见光与红外图像分解为18个自带图像，主要在YUV空间的亮度Y通道，利用局部能量和匹配測度来融合；然后再对其中部分融合图像进行M = 3种色彩传递处理，这里是统ー对YUV空间线性组合融合后的图像采用了三种色彩传递处理，色彩传递是指用真彩色图像作为參考图像，对融合图像进行色彩传递处理，例如可以选用YUV空间的全局色彩传递方法、YUV空间的多分辨率色彩传递和RGB空间的多分辨率色彩传递。所述为了使融合图像色彩更丰富，这里3种色彩传递方法使用了不同的參考图像。经过上述处理，每类典型场景7组实验图像共21组，每组包括5种融合方法的图像和3种色彩传递的图像，全部168幅评价图像。21组可见光与红外源图像中，7组城镇建筑物场景的图像为Nigel J. ff. Morris提供的图片こ其余图像为实验室使用可见光CXD和长波红外热像仪采集图像。这些图像中包含明显的热目标，图像背景内容具体，符合典型场景的要求。三、主观评价实验本步骤对三种典型场景获取的共168幅可见光与红外的彩色融合图像，采用符合国际标准的主观评价实验，得到每一幅图像对应的4个单ー质量属性和2个基于视觉任务 图像感知质量參数的人眼主观评价分数。在主观评价实验中，评价者对图像相互比较并等级排队，对上述2个基于视觉任务图像感知质量和4方面质量属性进行1-7分制的评分，采用Torgerson类别评判法给出姆一幅图像的评价分数。具体来说，主观评价实验可以采用特性化阴极射线管显示器(CRT)在暗室中进行实验。显示器是暗室中唯一的光源，其峰值白点亮度调节到lOOcd/m2。实测的显示器白点色度坐标(0.314,0. 329)非常接近D65 (O. 313，O. 329)，这些设置在整个视觉评价实验中保持不变。为确保CRT显示器颜色复制的准确性，使用GOG模型进行实际测量三刺激值与RGB值之间的转换，使用驱动參数R，G, B取0，128，255，一共27个样本进行检验，得到平均色差为I. 8 AEb (CiELAB色差単位)，满足实验要求。评价实验前先对阴极射线管显示器进行约两小时的预热。每个观察者用2min时间适应观察条件，观察距离为50cm，图像大小为320 X 240，显示器分辨率1024X768。根据ITU-R提供的主观评价相关标准，观察者至少为15人。本实验观察者共17人，其中8名女性9名男性。针对彩色夜视系统的主要使用群体特点，所选的观察者年龄范围为20 46，具有正常或经过校正后正常的视力，并经过色觉检查图测试有正常的色视觉。他们虽具有不同的专业背景(其中包括三名军事人员)，但都具有夜视技术基础知识和夜视图像的观察经验。实验开始前，通过对视觉测试目的、实验过程、评价指标的描述和定义及评分标准的介绍，使观察者对所使用的21种场景的评价图像有所必要的了解。为了避免各感知属性评价时相互影响，实验对各个评价指标分别进行，毎次只要求评价者给出彩色融合图像“目标背景的感知对比度”、“清晰度”、“顔色协调性”、“颜色自然感”、“基于目标探測性的图像感知质量”和“基于场景理解的图像感知质量”中ー个属性的评价分数。实验时，每组图像首先显示融合使用的源图像，即可见光与红外图像，以便观察者明确目标位置(红外图像中的热目标)，并对图像内容有所了解，显示器以中等灰度为背景(L* = 50)同时显示随机排列的8(M+N)幅融合图像，评价者对图像相互比较并等级排队，将目标与背景的感知对比度从无法察觉、很小、较小、一般、较大、很大、非常大分为7个等级，其余的五个感知属性从非常不满意、很不满意、不满意、一般、较满意、很满意、非常满意分为7个等级，对应1-7分制的标准，采用Torgerson类别评判法(Torgerson’ s Law ofCategorical Judgement)给出姆一幅图像的评价分数。如果观察者在无法明显区分优劣时，尽可能给出相同分数来避免分数的不准确性。不同观察者针对不同场景图像评价时所使用的度量零点和距离不同，为了将不同分布的各原始分数限制在
范围内并方便进行相互比较，需要把同一地点的采用不同融合方法得到的8( = M+N)幅图像评价分数作为ー组将其变换到0-1，即进行归ー化，使得最大值为1，最小值为O。将17位观察者归ー化后的分数进行平均，得到相应图像6个评价指标的最終分数。四、多元线性回归分析根据实验所得数据，利用回归分析方法确定每个基于视觉任务图像感知质量參数与各单ー质量属性之间的线性关系，从而建立PQTD和PQSU的回归模型。为了建立PQTD和PCTB与4个单ー质量属性之间的表达关系，先来对他们之间的相关性进行研究，6个评价指标的皮尔逊Pearson相关系数见表I，显著性水平都小于O. 01。
权利要求
1.一种基于视觉任务的彩色融合图像质量评价方法，其特征在于，该方法包括 第一步针对多幅典型场景的可见光与红外彩色融合图像，采用符合国际标准要求的主观评价实验，得到每一幅图像对应的4个单一质量属性和2个基于视觉任务图像感知质量参数的人眼主观评价分数； 其中，所述单一质量属性包括目标与背景的感知对比度PCTB、清晰度S、颜色协调性CH和颜色自然感CN; 所述基于视觉任务图像感知质量参数包括基于目标探测的图像感知质量PQTD和基于场景理解的图像感知质量PQSU ;其中，对PQTD评价时，要求观察者衡量图像中目标的可探测性，以是否有利于观察者快速、准确的发现图像中的目标为评价标准给出评价分数；对PQSU评价时，要求观察者不考虑目标是否可探测，而是综合考虑各方面图像质量属性，将融合图像是否利于观察者对图像场景内容直观准确的理解为判断标准给出评价分数； 第二步根据实验所得数据，利用回归分析方法建立每个基于视觉任务图像感知质量参数与单一质量属性之间的线性关系，从而获得PQTD和PQSU的回归模型； 其中，在针对PQTD和PQSU分别建立回归模型时，以4个单一质量属性为备选的自变量，采用逐步回归法向回归方程逐步引入自变量，并进行共线性诊断，最终选取符合显著性检验标准并且不存在严重多重共线性问题的最优回归方程作为最终的回归模型，回归模型形式如下 PQTD = biXPCTB+^XS+bo PQSU = ClXCH+c2XS+c0 cQ、C1^ C2为回归模型中的系数； 第三步在对彩色融合图像质量进行评价时，获得回归模型中自变量的值，代入回归模型得到PQTD和PQSU。
2.如权利要求I所述的方法，其特征在于，该方法包括 所述第一步中，分别针对植物、海天和城镇建筑物背景的三种典型场景，获得可见光与红外彩色融合的多幅图像，并获得每幅图的6个评价指标的人眼主观评价分数； 所述第二步中最终获得PQTD和PQSU的回归模型分别为PQTD = O. 714PCTB+0. 314S-0. 025 (I) 式(I)的决定系数R2 = O. 921，表示92. 1%的PQTD变化可用PCTB和S来线性表示； PQSU = O. 675CH+0. 341S-0. 014 (2) 式(2)的决定系数R2 = O. 970，表示97. 0%的PQSU变化可用CH和S来线性表示。
3.如权利要求I所述的方法，其特征在于，该方法包括 所述第一步中，针对植物背景的场景，获得可见光与红外彩色融合的多幅图像，并获得每幅图的6个评价指标的人眼主观评价分数； 所述第二步中最终获得的PQTD和PQSU的回归模型分别为PQTD = O. 768PCTB+0. 246S-0. 030 (3) 式(3)的决定系数R2 = O. 935，表示93. 5%的PQTD变化可用PCTB和S来线性表示； PQSU = O. 532CH+0. 463S-0. 012 (4) 式(4)的决定系数R2 = O. 944，表示94. 4%的PQSU变化可用CH和S来线性表示。
4.如权利要求I所述的方法，其特征在于，该方法包括所述第一步中，针对海天背景的场景，获得可见光与红外彩色融合的多幅图像，并获得每幅图的6个评价指标的人眼主观评价分数； 所述第二步中最终获得PQTD和PQSU的回归模型分别为PQTD = O. 531PCTB+0. 447S-0. OlO (5) 式(5)的决定系数R2 = O. 928，表示92. 8%的PQTD变化可用PCTB和S来线性表示； PQSU = O. 823CH+0. 201S-0. 015 (6) 式(6)的决定系数R2 = O. 982，表示98. 2%的PQSU变化可用CH和S来线性表示。
5.如权利要求I所述的方法，其特征在于，该方法包括 所述第一步中，针对城镇建筑物背景的场景，获得可见光与红外彩色融合的多幅图像，并获得每幅图的6个评价指标的人眼主观评价分数； 所述第二步中最终获得PQTD和PQSU的回归预测模型分别为PQTD = O. 815PCTB+0. 224S-0. 024 (7) 式(7)的决定系数R2 = O. 952，表示95. 2%的PQTD变化可用PCTB和S来线性表示； PQSU = O. 679CH+0. 347S-0. 015 (8) 式(8)的决定系数R2 = O. 988，表示98. 8%的PQTD变化可用CH和S来线性表示。
6.如权利要求I所述的方法，其特征在于，典型场景的可见光与红外图像彩色融合的多幅图像的获取方法为 针对每一种典型场景，选取L个地点，每个地点获取可见光图像和红外图像，将可见光图像和红外图像采用多种不同的融合算法进行融合，并对其中线性融合结果图像进行多种色彩传递处理，各种色彩传递处理采用不同的参考图像，L为正整数。
7.一种基于视觉任务的典型场景彩色融合图像质量评价方法，其特征在于，设定两个评价指标分别为基于目标探测的图像感知质量PQTD和基于场景理解的图像感知质量PQSU，分别表示为PQTD = biXPCTB+^XS+bo ； 其中，PCTB为图像中目标与背景的感知对比度，S为图像的清晰度，Wb2为预先设定的系数；PQSU = ClXCH+c2XS+c0 ；其中，CH为图像的颜色协调性，S为图像的清晰度，C0, C1, C2为预先设定的系数；在对可见光和红外彩色融合图像进行质量评价时，获得该彩色融合图像的三个质量属性值PCTB、CH和S代入PQTD和PQSU的指标计算公式中，获得两个评价指标PQTD和PQSU。
全文摘要
本发明涉及一种基于视觉任务的典型场景彩色融合图像质量评价方法，属于图像处理中图像融合技术领域。本发明通过主观评价实验，采用回归分析方法建立了基于视觉任务的融合图像综合质量预测模型目标背景感知对比度和图像清晰度可有效预测基于目标探测的图像感知质量；利用颜色协调性和清晰度可以有效预测基于场景理解的图像感知质量。与传统的图像质量评价方法相比，本发明提出基于视觉任务的图像质量评价指标可以针对彩色融合图像的应用目的进行图像质量的综合评价，虽然难以客观量化，但是其预测模型中所包含的目标背景对比度、清晰度和协调性三个基本指标易于量化计算，为融合图像综合质量客观评价的难题提供有效的解决途径。
文档编号G06T7/00GK102663745SQ20121007915
公开日2012年9月12日 申请日期2012年3月23日 优先权日2012年3月23日
发明者王岭雪, 王霞, 路陆, 金伟其, 骆媛, 高绍姝 申请人:北京理工大学