一种基于流形特征相似度的图像质量客观评价方法与流程

文档序号:12970659阅读:311来源:国知局
本发明涉及一种图像质量评价方法,尤其是涉及一种基于流形特征相似度的图像质量客观评价方法。

背景技术:
图像质量的定量评价是图像处理领域中充满挑战性的问题。由于人是观看图像时的最终接收者,因此图像质量评价方法应当和人一样可以有效地预测感知视觉质量。传统的峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)等基于保真度的图像质量评价方法虽能较好地评价具有相同内容和失真的图像质量,但面对多幅图像和多种失真时,其评价结果与主观感知却相差甚远。感知质量评价方法的目的是通过模拟人眼视觉系统的整体感知机制来获取与视觉感知质量具有较高一致性的评价结果。通过对人眼视觉系统的生理响应进行建模获取客观评价方法,可以得到与主观评价有较高一致性的评价结果。近年来,图像质量评价的研究不断深入,人们提出了很多的评价方法。Wang等提出的结构相似度(StructuralSimilarity,SSIM)算法与PSNR等方法相比不仅简单且性能改进明显,引起了学者们的关注;在其后续工作中,Wang等又提出了多尺度的SSIM(Multi-ScaleStructuralSimilarity,MS-SSIM),改进了SSIM的性能。也有学者认为人眼在对局部图像评分时相位一致性和梯度幅值起着相辅相成的作用,提出特征结构相似度(FeatureSimilarity,FSIM)。除了基于结构的图像质量评价方法外,另一些评价方法是从人眼视觉系统的其他特性出发设计的。Chandler等提出视觉信噪比(VisualSignal-to-NoiseRatio,VSNR),该准则先通过视觉阈值确定失真是否可察觉,再对超过视觉阈值的区域进行失真度量。Larson等认为人类视觉系统(HumanVisualSystem,HVS)在评测高质量图像和低质量图像时采用了不同策略,提出最明显失真(MostApparentDistortion,MAD)的质量评价算法。Sheikh等将全参考图像质量评价问题看作信息保真度问题,在信息保真度(InformationFidelityCriterion,IFC)的基础上进行拓展得到视觉信息保真度(VisualInformationFidelity,VIF)评价算法。Zhang等发现质量下降会造成图像显著图的变化且与感知质量失真程度密切,从而提出基于视觉显著性的图像质量评价方法。优异的图像质量评价方法应能很好地反映人眼视觉感知特性。上述基于结构的图像质量评价方法都是从图像的边缘、对比度等结构信息出发获取图像质量的,而从人眼视觉系统特性设计的图像质量评价方法主要是从人眼关注及察觉失真的能力角度出发进行图像质量评价的,它们均为从图像的非线性几何结构以及人眼的感知角度进行质量评价的;但有研究表明针对视觉感知现象,流形是感知的基础,大脑中以流形方式对事物进行感知,而自然场景图像通常包含流形结构,有着流形非线性的本质。因此,传统的图像质量评价方法无法得到与主观感知质量一致性较高的客观评价结果。

技术实现要素:
本发明所要解决的技术问题是提供一种基于流形特征相似度的图像质量客观评价方法,其能够获得与主观感知质量一致性较高的客观评价结果。本发明解决上述技术问题所采用的技术方案为:一种基于流形特征相似度的图像质量客观评价方法,其特征在于包括以下步骤:①选取多幅无失真的自然场景图像;然后将每幅无失真的自然场景图像划分成互不重叠的尺寸大小为8×8的图像块;接着从所有无失真的自然场景图像中的所有图像块中随机选取N个图像块,将选取的每个图像块作为一个训练样本,将第i个训练样本记为xi,其中,5000≤N≤20000,1≤i≤N;再将每个训练样本中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量,将xi中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为xicol,其中,xicol的维数为192×1,xicol中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的R通道的颜色值,xicol中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的G通道的颜色值,xicol中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的B通道的颜色值,之后将每个训练样本对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值,实现对每个训练样本对应的颜色向量的中心化处理,将xicol经中心化处理后得到的颜色向量记为最后将所有中心化处理后得到的颜色向量组成的矩阵记为X,其中,X的维数为192×N,对应表示第1个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、第2个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、第N个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量,符号“[]”为向量表示符号;②利用主成分分析对X进行降维以及白化操作,将降维以及白化操作后得到的矩阵记为XW,其中,XW的维数为M×N,M为设定的低维维数,1<M<192;③利用正交局部保持投影算法对XW中的N个列向量进行训练,获得XW的8个正交基的最佳映射矩阵JW,其中,JW的维数为8×M;然后根据JW和白化矩阵计算原始样本空间的最佳映射矩阵,记为J,J=JW×W,其中,J的维数为8×192,W表示白化矩阵,W的维数为M×192;④令Iorg表示原始的无失真自然场景图像,令Idis表示Iorg经失真后的失真图像,将Idis作为待评价的失真图像;然后将Iorg和Idis分别划分成互不重叠的尺寸大小为8×8的图像块,将Iorg中的第j个图像块记为将Idis中的第j个图像块记为其中,1≤j≤N',N'表示Iorg中的图像块的总个数,N'亦表示Idis中的图像块的总个数;再将Iorg中的每个图像块中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量,将中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为并将Idis中的每个图像块中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量,将中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为其中,和的维数均为192×1,中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的R通道的颜色值,中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的G通道的颜色值,中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的B通道的颜色值,中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的R通道的颜色值,中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的G通道的颜色值,中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的B通道的颜色值;之后将Iorg中的每个图像块对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值,实现对Iorg中的每个图像块对应的颜色向量的中心化处理,将经中心化处理后得到的颜色向量记为并将Idis中的每个图像块对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值,实现对Idis中的每个图像块对应的颜色向量的中心化处理,将经中心化处理后得到的颜色向量记为最后将Iorg对应的所有中心化处理后得到的颜色向量组成的矩阵记为Xref,将Idis对应的所有中心化处理后得到的颜色向量组成的矩阵记为Xdis,其中,Xref和Xdis的维数均为192×N',对应表示Iorg中的第1个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、Iorg中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、Iorg中的第N'个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量,对应表示Idis中的第1个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、Idis中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、Idis中的第N'个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量,符号“[]”为向量表示符号;⑤计算Xref中的每个列向量与Xdis中对应列向量之间的结构差异,将与之间的结构差异记为然后将得到的N'个结构差异按序排列构成一个维数为1×N'维的向量,记为ν,其中,ν中的第j个元素的值为νj,接着获取粗选无失真图像块集合和粗选失真图像块集合,具体过程为:a1、设计一个图像块粗选阈值TH1;a2、从ν中提取出所有值大于或等于TH1的元素;a3、将Iorg中与提取出的元素对应的图像块构成的集合作为粗选无失真图像块集合,记为Yref,并将Idis中与提取出的元素对应的图像块构成的集合作为粗选失真图像块集合,记为Ydis,再获取细选无失真图像块集合和细选失真图像块集合,具体过程为:b1、利用视觉显著计算模型计算Iorg和Idis各自的显著图,对应记为fref和fdis;b2、将fref和fdis分别划分为互不重叠的尺寸大小为8×8的图像块;b3、计算fref中的每个图像块中的所有像素点的像素值的平均值,将fref中的第j个图像块中的所有像素点的像素值的平均值记为并计算fdis中的每个图像块中的所有像素点的像素值的平均值,将fdis中的第j个图像块中的所有像素点的像素值的平均值记为其中,1≤j≤N';b4、获取fref中的每个图像块中的所有像素点的像素值的平均值与fdis中对应图像块中的所有像素点的像素值的平均值的最大值,将与的最大值记为vsj,max,其中,max()为取最大值函数;b5、从粗选无失真图像块集合中细选出部分图像块作为细选无失真图像块,将细选出的所有无失真图像块构成的集合作为细选无失真图像块集合,记为且vsj,max≥TH2,1≤j≤N'};从粗选失真图像块集合中细选出部分图像块作为细选失真图像块,将细选出的所有失真图像块构成的集合作为细选失真图像块集合,记为且vsj,max≥TH2,1≤j≤N'},其中,TH2为设计的一个图像块细选阈值;⑥计算细选无失真图像块集合中的每个图像块的流形特征向量,将细选无失真图像块集合中的第t个图像块的流形特征向量记为并计算细选失真图像块集合中的每个图像块的流形特征向量,将细选失真图像块集合中的第t个图像块的流形特征向量记为dt,其中,1≤t≤K,K表示细选无失真图像块集合中包含的图像块的总个数,K亦表示细选失真图像块集合中包含的图像块的总个数,rt和dt的维数均为8×1,表示细选无失真图像块集合中的第t个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量,表示细选失真图像块集合中的第t个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量;然后将细选无失真图像块集合中的所有图像块的流形特征向量组成一个矩阵,记为R;将细选失真图像块集合中的所有图像块的流形特征向量组成一个矩阵,记为D;其中,R和D的维数均为8×K,R中的第t个列向量为rt,D中的第t个列向量为dt;再计算Iorg与Idis的流形特征相似度,记为MFS1,其中,Rm,t表示R中第m行第t列的值,Dm,t表示D中第m行第t列的值,C1为一个用于保证结果稳定性的很小的常量;⑦计算Iorg与Idis的亮度相似度,记为MFS2,其中,表示细选无失真图像块集合中的第t个图像块中的所有像素点的亮度值的平均值,表示细选失真图像块集合中的第t个图像块中的所有像素点的亮度值的平均值,C2为一个很小的常量;⑧对MFS1和MFS2进行线性加权得到Idis的质量分数,记为MFS,MFS=ω×MFS2+(1-ω)×MFS1,其中,ω用于调节MFS1和MFS2的相对重要性,0<ω<1。所述的步骤②中的XW的获取过程为:②-1、计算X的协方差矩阵,记为C,其中,C的维数为192×192,XT为X的转置矩阵;②-2、对C进行特征值分解,分解为特征值对角矩阵和特征向量矩阵,对应记为Ψ和E,其中,Ψ的维数为192×192,ψ1、ψ2和ψ192对应表示分解得到的第1个、第2个和第192个特征值,E的维数为192×192,E=[e1e2…e192],e1、e2和e192对应表示分解得到的第1个、第2个和第192个特征向量,e1、e2和e192的维数均为192×1;②-3、计算白化矩阵,记为W,其中,W的维数为M×192,ψM表示分解得到的第M个特征值,M为设定的低维维数,1<M<192,ET为E的转置矩阵;②-4、计算降维以及白化操作后得到的矩阵XW,XW=W×X。所述的步骤⑤中其中,符号“||”为取绝对值符号,表示中的第g个元素的值,表示中的第g个元素的值。所述的步骤⑤中的a1步骤中TH1=median(ν),其中,median()为中值选取函数,median(ν)表示选取ν中的所有元素的值中的中值。所述的步骤⑤中的b5步骤中TH2的值为步骤b4中得到的所有最大值按从大到小的顺序排序后在前60%位置处的最大值。与现有技术相比,本发明的优点在于:1)本发明方法是从人眼以流形方式感知的基础出发使用正交局部保持投影算法从自然场景图像上获取降维以及白化操作后的矩阵进行训练获得一个通用的最佳映射矩阵;为了提高评价的准确性和稳定性,本发明方法首先采用了视觉显著和视觉阈值两个策略来去除对于视觉感知不重要的图像块即图像块粗选和细选过程,在完成选块之后利用最佳映射矩阵提取从原始的无失真自然场景图像和待评价的失真图像中选取出的图像块的流形特征向量,然后通过流形特征相似度来衡量失真图像的结构失真;之后考虑了图像亮度变化对人眼的影响,基于图像块的均值求取失真图像的亮度失真,这使得本发明方法具有更高的评价准确性,也扩大了其对各类失真的评价能力,能够客观地反映图像受到各种图像处理和压缩方法影响下视觉质量的变化情况,并且本发明方法的评价性能不受图像内容和失真类型的影响,与人眼的主观感知质量具有较高的一致性。2)本发明方法的评价性能受图像库不同的影响微乎其微,选用不同的训练库得到的性能结果基本相同,因此本发明方法中的最佳映射矩阵是一个通用的流形特征提取器,一旦通过正交局部保持投影算法训练获取后便可以用于所有图像质量的评价,而不需要每次评价都进行耗时的训练过程,并且用于训练的图像和测试的图像是相互独立的,因此可以避免测试结果对训练数据的过度依赖,从而能够有效地提高客观评价结果与主观感知质量之间的相关性。附图说明图1为本发明方法的总体实现框图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。优异的图像质量评价方法应能很好地反映人眼视觉感知特性。针对视觉感知现象,有研究表明流形是感知的基础,人的感知是在认知流形和拓扑连续性的基础上进行的即人类感知局限在低维流形之上,大脑以流形方式对事物进行感知;大脑中神经元群体活动通常可描述为一个神经放电率的集合的结果,所以可表示为一个维数等于神经元数目的抽象空间中的点。研究发现每个神经元在一个神经元群体中的放电率可用一个少数变量的平滑函数表示,这说明神经元群体活动是局限在一个低维流形之上。因此,将图像流形特征应用于视觉质量评价可得到与主观感知质量一致性较高的评价结果。而流形学习则能较好地帮助找到图像等在低维流形中的内在几何结构,体现事物的非线性流形的本质。本发明根据人眼以流形方式感知的视觉特性以及流形学习理论,提出了一种基于流形特征相似度(ManifoldFeatureSimilarity,MFS)的图像质量客观评价方法,其在训练阶段,MFS利用流形学习正交局部保持投影算法得到最佳映射矩阵用于提取图像的流形特征;在质量预测阶段,在将原始的无失真自然场景图像与失真图像划分为图像块后,去除每个图像块的均值使所有图像块对应的颜色向量都具有零均值,在其基础上计算流形特征相似度;而所有图像块的均值则用于计算亮度相似性,其中,流形特征相似性度表征了两幅图像的结构差异,而亮度相似性则度量了失真图像的亮度失真,最后均衡两个相似度得到失真图像的整体视觉质量。本发明的基于流形特征相似度的图像质量客观评价方法的总体实现框图如图1所示,其包括以下步骤:①选取多幅无失真的自然场景图像;然后将每幅无失真的自然场景图像划分成互不重叠的尺寸大小为8×8的图像块;接着从所有无失真的自然场景图像中的所有图像块中随机选取N个图像块,将选取的每个图像块作为一个训练样本,将第i个训练样本记为xi,其中,5000≤N≤20000,1≤i≤N;再将每个训练样本中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量,将xi中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为xicol,其中,xicol的维数为192×1,xicol中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的R通道的颜色值,即xicol中的第1个元素的值为xi中第1行第1列的像素点的R通道的颜色值,xicol中的第2个元素的值为xi中第1行第2列的像素点的R通道的颜色值,依次类推;xicol中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的G通道的颜色值,即xicol中的第65个元素的值为xi中第1行第1列的像素点的G通道的颜色值,xicol中的第66个元素的值为xi中第1行第2列的像素点的G通道的颜色值,依次类推;xicol中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的B通道的颜色值,即xicol中的第129个元素的值为xi中第1行第1列的像素点的B通道的颜色值,xicol中的第130个元素的值为xi中第1行第2列的像素点的B通道的颜色值,依次类推;之后将每个训练样本对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值,实现对每个训练样本对应的颜色向量的中心化处理,将xicol经中心化处理后得到的颜色向量记为中的每个元素的值为xicol中对应位置的元素的值减去xicol中的所有元素的值的平均值;最后将所有中心化处理后得到的颜色向量组成的矩阵记为X,其中,X的维数为192×N,对应表示第1个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、第2个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、第N个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量,符号“[]”为向量表示符号。在此,多幅无失真的自然场景图像的尺寸大小可以全部相同或可以各不相同或可以部分相同,在具体实施时如选取10幅无失真的自然场景图像;N的取值范围是通过大量实验确定的,如果N的取值太小(小于5000个)即图像块个数较少时会大幅影响训练精度,如果N的取值太大(大于20000个)即图像块个数较多时训练精度提升不多但计算复杂度会增加很多,因此本发明将N的取值范围限制为5000≤N≤20000,具体实施时如取N=20000;由于彩色图像有R、G、B三个通道,由此可知每个训练样本对应的颜色向量为长度为8×8×3=192的向量。②利用现有的主成分分析(PrincipalComponentsAnalysis,PCA)对X进行降维以及白化操作,将降维以及白化操作后得到的矩阵记为XW,其中,XW的维数为M×N,M为设定的低维维数,1<M<192,在本实施例中取M=8。在此具体实施例中,步骤②中的XW的获取过程为:②-1、计算X的协方差矩阵,记为C,其中,C的维数为192×192,XT为X的转置矩阵。②-2、采用现有技术对C进行特征值分解,分解为特征值对角矩阵和特征向量矩阵,对应记为Ψ和E,其中,Ψ的维数为192×192,ψ1、ψ2和ψ192对应表示分解得到的第1个、第2个和第192个特征值,E的维数为192×192,E=[e1e2…e192],e1、e2和e192对应表示分解得到的第1个、第2个和第192个特征向量,e1、e2和e192的维数均为192×1。②-3、计算白化矩阵,记为W,其中,W的维数为M×192,ψM表示分解得到的第M个特征值,ΨM×192为由Ψ中的前M行组成的矩阵,即M为设定的低维维数,1<M<192,在本实施例中取M=8,在实验中只取了Ψ的前8行即前8个主成分用于训练,也就是说X经降维以及白化操作后维数从192维降到了M=8维,ET为E的转置矩阵。②-4、计算降维以及白化操作后得到的矩阵XW,XW=W×X。③利用现有的正交局部保持投影算法(OLPP,orthogonalLocalityPreservingProjection)对XW中的N个列向量进行训练,获得XW的8个正交基的最佳映射矩阵JW,其中,JW的维数为8×M;在进行学习之后,最佳映射矩阵应该从白化样本空间转化回到原始样本空间,即然后根据JW和白化矩阵计算原始样本空间的最佳映射矩阵,记为J,J=JW×W,其中,J的维数为8×192,W表示白化矩阵,W的维数为M×192。本发明方法中将J看作是大脑以流形方式感知的一个模型,可以用于提取图像块的流形特征。④令Iorg表示原始的无失真自然场景图像,令Idis表示Iorg经失真后的失真图像,将Idis作为待评价的失真图像;然后将Iorg和Idis分别划分成互不重叠的尺寸大小为8×8的图像块,将Iorg中的第j个图像块记为将Idis中的第j个图像块记为其中,1≤j≤N',N'表示Iorg中的图像块的总个数,N'亦表示Idis中的图像块的总个数;再将Iorg中的每个图像块中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量,将中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为并将Idis中的每个图像块中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量,将中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为其中,和的维数均为192×1,中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的R通道的颜色值,中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的G通道的颜色值,中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的B通道的颜色值,中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的R通道的颜色值,中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的G通道的颜色值,中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的B通道的颜色值;之后将Iorg中的每个图像块对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值,实现对Iorg中的每个图像块对应的颜色向量的中心化处理,将经中心化处理后得到的颜色向量记为并将Idis中的每个图像块对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值,实现对Idis中的每个图像块对应的颜色向量的中心化处理,将经中心化处理后得到的颜色向量记为最后将Iorg对应的所有中心化处理后得到的颜色向量组成的矩阵记为Xref,将Idis对应的所有中心化处理后得到的颜色向量组成的矩阵记为Xdis,其中,Xref和Xdis的维数均为192×N',对应表示Iorg中的第1个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、Iorg中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、Iorg中的第N'个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量,对应表示Idis中的第1个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、Idis中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、Idis中的第N'个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量,符号“[]”为向量表示符号。⑤由于每个图像块对应的颜色向量中的每个元素的值在减平均值后的块包括了对比度和结构等信息,可将得到的块称作结构块,因此本发明利用绝对方差差值(AbsoluteVarianceError,AVE)计算Xref中的每个列向量与Xdis中对应列向量之间的结构差异,将与之间的结构差异记为其中,符号“||”为取绝对值符号,表示中的第g个元素的值,表示中的第g个元素的值。然后将得到的N'个结构差异按序排列构成一个维数为1×N'维的向量,记为ν,其中,ν中的第j个元素的值为νj,接着获取粗选无失真图像块集合和粗选失真图像块集合,具体过程为:a1、设计一个图像块粗选阈值TH1,TH1=median(ν),其中,median()为中值选取函数,median(ν)表示选取ν中的所有元素的值中的中值;a2、从ν中提取出所有值大于或等于TH1的元素;a3、将Iorg中与提取出的元素对应的图像块构成的集合作为粗选无失真图像块集合,记为Yref,并将Idis中与提取出的元素对应的图像块构成的集合作为粗选失真图像块集合,记为Ydis,由于利用结构差异选块只考虑了结构差异大的区域,这些区域一般对应失真图像质量较低的区域但并不一定是人眼最关注的区域,因此还需进行细选,即再获取细选无失真图像块集合和细选失真图像块集合,具体过程为:b1、利用视觉显著计算模型(SaliencyDetectionBased-onSimplePriors,SDSP)计算Iorg和Idis各自的显著图,对应记为fref和fdis;b2、将fref和fdis分别划分为互不重叠的尺寸大小为8×8的图像块;b3、计算fref中的每个图像块中的所有像素点的像素值的平均值,将fref中的第j个图像块中的所有像素点的像素值的平均值记为并计算fdis中的每个图像块中的所有像素点的像素值的平均值,将fdis中的第j个图像块中的所有像素点的像素值的平均值记为其中,1≤j≤N';b4、获取fref中的每个图像块中的所有像素点的像素值的平均值与fdis中对应图像块中的所有像素点的像素值的平均值的最大值,将与的最大值记为vsj,max,其中,max()为取最大值函数,每个图像块中的所有像素点的像素值的平均值能够表征该图像块的视觉重要性,fref和fdis中具有较高平均值的图像块在评价该图像块所在的显著图相似度时具有较大的影响;b5、从粗选无失真图像块集合中细选出部分图像块作为细选无失真图像块,将细选出的所有无失真图像块构成的集合作为细选无失真图像块集合,记为且vsj,max≥TH2,1≤j≤N'};从粗选失真图像块集合中细选出部分图像块作为细选失真图像块,将细选出的所有失真图像块构成的集合作为细选失真图像块集合,记为且vsj,max≥TH2,1≤j≤N'},其中,TH2为设计的一个图像块细选阈值,TH2的值为步骤b4中得到的所有最大值按从大到小的顺序排序后在前60%位置处的最大值。⑥计算细选无失真图像块集合中的每个图像块的流形特征向量,将细选无失真图像块集合中的第t个图像块的流形特征向量记为并计算细选失真图像块集合中的每个图像块的流形特征向量,将细选失真图像块集合中的第t个图像块的流形特征向量记为dt,其中,1≤t≤K,K表示细选无失真图像块集合中包含的图像块的总个数,K亦表示细选失真图像块集合中包含的图像块的总个数,rt和dt的维数均为8×1,表示细选无失真图像块集合中的第t个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量,表示细选失真图像块集合中的第t个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量。然后将细选无失真图像块集合中的所有图像块的流形特征向量组成一个矩阵,记为R;将细选失真图像块集合中的所有图像块的流形特征向量组成一个矩阵,记为D;其中,R和D的维数均为8×K,R中的第t个列向量为rt,D中的第t个列向量为dt。再计算Iorg与Idis的流形特征相似度,记为MFS1,其中,Rm,t表示R中第m行第t列的值,Dm,t表示D中第m行第t列的值,C1为一个用于保证结果稳定性的很小的常量,在本实施例中取C1=0.09。⑦计算Iorg与Idis的亮度相似度,记为MFS2,其中,表示细选无失真图像块集合中的第t个图像块中的所有像素点的亮度值的平均值,表示细选失真图像块集合中的第t个图像块中的所有像素点的亮度值的平均值,C2为一个很小的常量,在本实施例中取C2=0.001。⑧对MFS1和MFS2进行线性加权得到Idis的质量分数,记为MFS,MFS=ω×MFS2+(1-ω)×MFS1,其中,ω用于调节MFS1和MFS2的相对重要性,0<ω<1,在本实施例中取ω=0.8。为进一步说明本发明方法的可行性和有效性,对本发明方法进行试验。实验一:验证本发明方法的性能指标为了验证本发明方法(MFS)的有效性,在四个公开的测试图像库上对本发明方法进行测试,同时对其评价结果进行比较。用于测试的四个测试图像库分别为LIVE测试图像库、CSIQ测试图像库、TID2008测试图像库和TID2013测试图像库;每个测试图像库中包含上千幅失真图像,同时拥有多种失真类型;每一幅失真图像都会给定一个主观分数例如平均主观分(Meanopinionscore,MOS)或平均主观分差值(Differentialmeanopinionscore,DMOS);各个测试图像库的参考图像数目、失真图像数目、失真类型的数量以及主观实验时参与的人数由表1给出。在实验中,仅对失真图像进行了评价而去除了原始图像。最终本发明方法的性能验证是在比较主观评分与客观评价结果基础上进行的。表1应用于图像质量评价方法分析的四个测试图像库测试图像库参考图像数目失真图像数目失真类型数目主观测试人数TID201325300025971TID200825170017838CSIQ30866635LIVE297795161采用4个通用评价指标并根据视频质量评价专家组PhaseI/II(VQEG)提供的标准验证方法来获取图像质量评价方法的评价性能。斯皮尔曼秩相关系数(Spearmanrank-ordercorrelationcoefficient,SROCC)和肯德尔秩次相关系数(Kendallrank-ordercorrelationcoefficient,KROCC)用于评价图像质量评价方法的预测单调性的优劣,这两个指标仅在排序后的数据上进行而忽略数据点之间的相对距离。为了获取另外两个指标皮尔森线性相关系数(Pearsonlinearcorrelationcoefficient,PLCC)和均方根误差(Rootmeansquarederror,RMSE),需要对客观评价值和主观平均评分(MOS)进行非线性映射来去除客观分数的非线性的影响。采用5参数非线性映射函数来进行非线性拟合,其中,q代表原始的客观质量评价分数,Q代表非线性映射后的分数,5个调节参数α1、α2、α3、α4、α5则是由最小化映射后的客观分数与主观评分之间的方差和确定的,exp()为以自然基数e为底的指数函数。PLCC、SROCC和KROCC值越高、RMSE值越小说明本发明方法的评价结果与主观平均评分之间的相关性越好。本发明方法将与具有代表性的10个图像质量评价方法进行比较,包括:SSIM、MS-SSIM、IFC、VIF、VSNR、MAD、GSM、RFSIM、FSIMc和VSI。在本实施例中采用TOY图像数据库中的10幅无失真图像,并随机选取20000个图像块用于训练得到最佳映射矩阵J,随后将其用于后续的图像质量评价。表2给出了每种图像质量评价方法在四个测试图像库上的4个预测性能指标SROCC、KROCC、PLCC和RMSE,表2中对所有图像质量评价方法中指标性能最优的两种图像质量评价方法的指标以黑体标出。从表2所列的数据可知,本发明方法在所有测试图像库上的性能都很好。首先,在CSIQ测试图像库上,本发明方法的性能最优,优于其他所有图像质量评价方法。其次,比起其他所有的图像质量评价方法,本发明方法在最大的两个图像库TID2008和TID2013上的性能较大幅度地优于其他算法,且与VSI算法性能接近。虽然在LIVE测试图像库上本发明方法的性能不是最佳的,但与最佳的图像质量评价方法的评价性能相差甚微。相比之下,现有的图像质量评价方法可能在某些测试图像库上效果不错但是在其他测试图像库上的效果差强人意。例如,VIF算法和MAD算法在LIVE测试图像库上具有很好的评价效果,但在TID2008测试图像库和TID2013测试图像库上的表现却很糟糕。因此,整体上来说,与现有的图像质量评价方法相比,本发明方法的质量预测结果与主观评价更加接近。为了更加综合地评判各种图像质量评价方法预测特定失真引起的图像质量降质的能力,将本发明方法与现有的图像质量评价方法在特定失真下的评价性能进行了测试。选择SROCC作为性能指标,因为SROCC适用于数据点较少的情况而且不会受到非线性映射的影响,当然使用其它的性能指标例如KROCC、PLCC和RMSE也可以得到类似的结论。表3给出了四个测试图像库中52组特定失真子库的评价结果,表3中用黑体标识了每个测试图像库中每种失真类型下的SROCC值前三的图像质量评价方法。从表3中可以看出,VSI算法共31次位于前三,而本发明方法共25次位于前三,其次是FSIMc算法和GSM算法。因此,可以得出如下结论:总的来说,在特定失真类型下,VSI算法的表现最优,而本发明方法紧随其后,其次是FSIMc算法和GSM算法。最重要的是,VSI算法、MFS算法、FSIMc算法和GSM算法均大大优于其他方法。另外,在最大的两个测试图像库TID2008和TID2013上,本发明方法对AGN、SCN、MN、HFN、IN、JP2K、J2TE等失真的评价性能较现有的图像质量评价方法更加优异,而在LIVE和CSIQ测试图像库上则是AGWN、GB两种失真的评价效果最优。表211种图像质量评价方法在四个测试图像库上的整体性能比较表311种图像质量评价方法在特定失真上的SROCC评价值实验二:验证本发明方法的时间复杂度表4给出了11种图像质量评价方法处理一对384×512(取自TID2013图像库)的彩色图像需要的运行时间。实验是在lenovo台式机进行的,其中处理器为Intel(R)core(TM)i5-4590,CPU为3.3GHZ,内存为8G,软件平台为MatlabR2014b。从表4中的数据可知,本发明方法具有一个折中的时间复杂度。特别地,它比IFC算法、VIF算法、MAD算法、FSIMc算法等运行速度更快,但却得到了与其接近甚至更好的评价效果。表411种图像质量评价方法的时间复杂度
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1