一种立体图像质量的客观评价方法与流程

本发明涉及计算机应用领域,具体地说是一种立体图像质量的客观评价方法。

背景技术：
近年来，在娱乐界和科学应用的驱使下，立体图像成为了一个广阔的研究领域。随着立体技术不断发展，产生了各种3D应用，如3DTV。立体图像传输链是由图像采集、编码压缩、网络传输、在接收端的后处理和显示等过程组成，其中的任何阶段都有可能引起立体视觉质量的失真或者在传送链的流程中某一步产生错误。因此，立体图像质量评价是立体系统中设计和优化参数的关键因素。客观质量评价在质量控制系统中能监控图像质量。如，在质量采集系统中，质量评价方法可以监控和自适应的获取最好的图像质量数据；客观质量评价在图像处理系统和算法中可以作为基准。如，有2个算法（图像去除噪音算法和图像恢复算法）都能增强图像的质量，可以用客观的质量评价方法去衡量那个算法有更好的质量结果；客观质量评价可以嵌入到图像处理系统和图像传输系统中去优化系统的参数设置。目前立体图像质量评价处于探索阶段，还没有成熟公开的数据库和评价标准。大量的研究人员都是在利用二维图像质量评价的方法来评价立体图像质量的。与平面图像相比较，立体图像需要两个视点，需要多倍的数据量。但由于网络带宽或系统资源有限的限制，必须经过处理后再给使用者观看。与此同时，立体图像也比二维图像多出了深度的立体信息。因此，保证立体图像的质量是至关重要的。立体图像质量评价分为主观评价和客观评价两种主观质量评价和客观质量评价。最准确的图像质量评价就是人眼观察的主观评价，然而主观评价是需要消费大量的精力、人力、时间和金钱，因此，能够开发出模拟人眼主观评价的立体图像客观质量评价是不可缺少的。

技术实现要素：
本发明的目的是提供一种关于立体图像质量的客观评价方法。本发明的目的是按以下方式实现的，根据视觉生理因素的特征来检测人眼的感知冗余和视觉注意区域，并利用感知冗余模型和视觉注意的特性相结合的方法来评价立体图像质量，立体图像质量评价包括质量评价和立体感评价两种，立体感评价包括：感知冗余JND模型和视觉注意特性，其中：感知冗余JND模型指的是刚好能察觉的失真模型，它用以测量出人类视觉系统HVS的可见性阈值；视觉注意特性，根据视觉初期和注意力转移来建立视觉重要性模型，在视觉初期的时候，人们注意观察的是内容重要的显著区域，随后会被图像质量差的区域所吸引；在质量评价中，立体图像的左右图像分别评价，再取其均值作为最后的图像质量分数，在立体感评价中，通过分析立体感产生的原因得到了基于双眼视差的绝对差异图是立体感的最直接的体现，因此，通过立体图像对来得到参考图像绝对差异图和失真图像绝对差异图，再根据这两个绝对差异图来根据基于视觉重要性方法来评价立体感。所述的感知冗余模型，根据可见性阈值消除人眼视觉的感知冗余，如果图像在可见阈值内变化，则人眼是感觉不到失真的；若超出可见性阈值的范围，则人眼会感觉到失真变化，根据这个特性将待测失真图像中在可见性阈值范围内的区域修改成参考图像的区域，这样符合视觉效果；而超出可见性阈值的范围的区域，为了更加突出失真效果，根据可见性阈值相应的修改待测失真区域，根据这个阈值去除图像上的视觉冗余，这样能使评价的结果更准确。所述的视觉注意的特性，主要根据显著区域和劣质区域将图像分成四种区域：既是内容重要区域又是质量不好区域、仅仅是内容重要区域、仅仅是质量不好区域、既不是内容重要区域又不是质量不好区域，然后通过权值的训练对每个区域赋予不同的权值；感知冗余JND模型是人类视觉系统HVS的属性之一，感知冗余JND模型模拟了HVS的亮度对比度和空间掩藏效应的特性，它在视觉感知冗余评估上是很有效的，另一方面，视觉注意特性与感知冗余一样在图像质量评价中是同等重要的，在一副图像中，只有部分区域能引起人们的视觉注意特性，这部分区域是视觉初期注意的内容重要性区域，也是视觉转移时注意的质量不好区域，因此，从这两个方面来检测视觉重要性区域，然后根据感知冗余JND模型和视觉注意特性两个方面来对图像进行质量评价，具体步骤如下：首先，感知冗余JND模型测量出HVS的可见门限阈值，根据这个阈值我们首先去除图像上的视觉冗余使评价的结果更准确，其次，为得到视觉注意特性区域，将图像分为4部分区域：既是内容重要区域又是质量不好区域、仅仅是内容重要区域、仅仅是质量不好区域、既不是内容重要区域又不是质量不好区域，然后，将这4部分区域分别在不同的尺度上训练出不同的权值，赋予不同的权值来形成视觉重要性VS模型，最后把得到的VS模型融合到SSIM中得到单视的图像质量评价；感知冗余JND模型能按照信号的特征来测量HVS的可见性，依据亮度对比和掩盖效应，再基于视觉敏感性，一个感知冗余JND模型就可以建立，对于图像来说，感知冗余主要是由于亮度对比度和空间掩盖效应引起的，在感知冗余JND模型得出可见性门限阈值内，图像的变化在人眼中是察觉不到的；然而超出这个阈值，人眼就能察觉到图像的失真，因此，为使图像质量评价更加符合人眼特性，在评价前对待测图像进行预处理，指导思想是：如果像素值在感知冗余JND模型的可见性门限阈值内，那人眼是感觉不到失真的，则这时候将待测图像的像素值修改成参考图像的像素值，若像素值在感知冗余JND模型的可见性门限阈值外，为了更加突出失真的效果，待测图像的像素值会相应的扩大或缩小感知冗余JND模型的值，具体的待测图像去除冗余的过程如下：(1)利用模型计算参考图像的感知冗余JND模型值osjnd；(2)利用感知冗余JND模型特性去修改失真图像:如果原始图像和失真图像的像素差值在可见性门限阈值内，则否则，如果原始图像像素值大于失真图像像素值，则为了突出失真的效果，失真图像像素值会减去门限阈值；如果原始图像像素值小于失真图像像素值，则为了突出失真的效果，失真56FE像像素值会加上门限阈值；感知冗余的可见性门限阈值，公式如下：其中和分别是估计空间掩盖和亮度对比的函数，而被定义如下：其中是通过计算像素(x,y)在4个方向上的亮度变化的加权平均来取最大的加权平均值；函数计算可见门限值如下显著区域是指在图像中能提取出图像的重要内容的区域，依据图像在频域中的特性来提取，根据信息论的观点，图像信息能被分解为两部分：新颖部分和先验部分，不同的图像在频谱对数曲线中有共同的曲线趋势，而频谱上的频谱冗余部分即图像的新颖部分，由此来构造图像的显著区域；为一输入图像，和分别是经过傅立叶变换后的频谱和相谱；对数频谱的公式如下：指示对数频谱的一般型式，相当于给定的先验部分，而的平均频谱用局部滤波器来近似的形状：综上，频谱冗余定义如下：此时频谱冗余意味着图像中的新颖部分，即显著部分，之后再通过反傅立叶变换得到显著图，其公式如下：其中是一个高斯滤波器，目的是通过平滑来产生较好的视觉效果；显著图突出了吸引人眼注意的物体，为了检测显著图中的前物体，采用简单的阈值的方法，则前物体图被定义为：其中在观看图像时，劣质区域同内容重要区域一样能吸引人的注意，劣质图像区域的确定采用基于百分比的模型，根据参考图像和失真图像经过SSIM获得的质量图进行从小到大的排序，若SSIM(x,y)落入前p%的集合范围内，就标记为图像劣质的值1，否则为0，将前的p%的值的集合定义为集合A，则图像劣质图VI(x,y)被定义为：提取视觉重要性的时候将分为4部分区域：既是显著区域又是劣质区域、仅仅是显著区域、仅仅是劣质区域、既不是显著区域又不是劣质区域，通过已经得到显著区域和劣质区域，提取既显著又图像劣质的区域，定义为双边重要BI(bothimportance)map：定义为仅仅只显著区域没有劣质的区域，为仅仅图像劣质没有显著区域，将这3部分的区域分别赋予不同的权值：的权值为，的权值为，的权值为；根据不同区域赋予不同的权值，权值被训练从步长为1到4000以得到最好的增益，每个尺度上都是这样训练得来，训练集LIVE数据库中含有982幅图像，包含5种失真类型：JPEG、白噪声、JPEG2000、高斯模糊和快速退化，在LIVE数据库中抽取的各种失真类型和不同失真程度都存在的150幅图像，在客观分数和主观分数之间得到最高的相关系数值时，就能得到该尺度的3个权值，正常情况下，在显著区域且劣质区域的权值会比仅仅显著区域或者仅仅劣质区域的权值高，根据上述得到的map得出视觉重要性模型VS，公式如下：评价单视质量的客观方法步骤如下：(1)再通过参考图像计算出JND值，目的是为了消除视觉的感知冗余，同时也为了更加突出失真区域；(2)通过参考图像和失真图像计算出质量图；(3)通过显著区域和劣质区域这两个吸引人视觉注意的特征来计算视觉重要性VS模型；(4)最后将视觉重要性模型融合到多尺度SSIM中得到最终的质量评价结果；设M为最高的尺度，如果M的值为5，则各尺度的图像为第j个尺度上的VS图中的空间位置为i的权值，则对于j=1,…,M-1第j个尺度的VSSSIM的定义如下：当j=M时，第j个尺度的VSSSIM的定义如下：其中，和分别SSIM中的三个分量。最后的VSSSIM被定义为：其中每个尺度的权值与多尺度SSIM保持一致，尺度M=5。。本发明的有益效果是：本发明通过分析四个客观评价方法的标准指标来评测立体客观评价方法的准确性。这四种测量性能的评估标准是：PLCC、SRCC、KRCC、RMSE。一个较好的客观评价方法就应该有较高的PLCC、SRCC、KRCC和较低的RMS。该发明中的质量评价的评估标准值分别是：0.939,0.924,0.768,3.8。立体评价的评估指标值分别是：0.942，0.920，0.758，0.162。通过客观评价指标和散点图（如附图4和附图5）可以看出，立体图像中的立体感评价和质量评价都分别和主观评价的分数很吻合，达到了预期的效果。附图说明图1是基于视觉重要性的单试图质量评价框架；图2是立体图像中仅仅质量评价的框架；图3是立体图像中立体感的评价框架；图4是立体图像中质量评价与主观分数的散点图；图5是立体图像中立体感评价与主观分数的散点图。具体实施方式参照附图，对本发明的内容以一个具体实例来描述实现这立体图像质量客观评价的过程。在图像质量评价中，我们沿用基于单视图像质量评价方法：基于视觉重要性模型的客观质量评价方法(VSSSIM)，如附图1所示。我们将左图像和右图像单独评价，先讲解左图像的单独评价，右图像的评价步骤和左图像一致。首先将待评价的左图像根据它的参考图像的JND值即感知冗余部分来修正带评测图像。修正的步骤是：如果像素值在JND的可见性门限阈值内，那人眼是感觉不到失真的，则这时候将待测图像的像素值修改成参考图像的像素值。若像素值在JND的可见性门限阈值外，为了更加突出失真的效果，待测图像的像素值会相应的扩大或缩小JND的值，这样修正能使评价更准确。然后再根据修正后的待测图像和参考图像来提取显著部分和劣质图像部分。提取过程如下：在求取显著部分时是根据频谱上的频谱冗余部分即图像的新颖部分。根据一输入图像来求取它经过傅里叶变换后的频谱和相谱。因为不同的图像在频谱对数曲线中有共同的曲线趋势，因此频谱冗余意味着图像中的新颖部分，即显著部分。之后再通过反傅立叶变换得到显著图，其公式如下：其中是一个高斯滤波器，目的是通过平滑来产生较好的视觉效果。显著图突出了吸引人眼注意的物体，为了检测显著图中的前物体，采用简单的阈值的方法。则前物体图被定义为：其中。对于劣质区域来说，劣质图像区域的确定采用基于百分比的模型。根据参考图像和失真图像经过SSIM获得的质量图进行从小到大的排序，若SSIM(x,y)落入前p%的集合范围内，我们就标记为图像劣质的值1，否则为0。将前的p%的值的集合定义为集合A，则图像劣质图VI(x,y)被定义为：提取视觉重要性的时候将分为4部分区域：既是显著区域又是劣质区域、仅仅是显著区域、仅仅是劣质区域、既不是显著区域又不是劣质区域。因此，我们可以提取既显著又图像劣质的区域，定义为双边重要BI(bothimportance)map：这时定义为仅仅只显著区域没有劣质的区域，为仅仅图像劣质没有显著区域。我们将这3部分的区域分别赋予不同的权值：的权值为，的权值为，的权值为。根据不同区域赋予不同的权值，权值被训练从步长为1到4000以得到最好的增益，每个尺度上都是这样训练得来，训练集LIVE数据库中含有982幅图像，包含5种失真类型：JPEG、白噪声、JPEG2000、高斯模糊和快速退化。本发明的训练集是在LIVE数据库中抽取的各种失真类型和不同失真程度都存在的150幅图像，主要思想在客观分数和主观分数之间得到最高的相关系数值时，就可得到该尺度的3个权值。正常情况下，在显著区域且劣质区域的权值会比仅仅显著区域或者仅仅劣质区域的权值高。我们可以根据上述得到的map得出视觉重要性模型(VS)。公式如下：最后根据评价结果取均值即为质量评价结果。因此IQA(图像质量评价)的结果就是左右图像得分的均值，如附图2所示，通过基于研究双眼视差，绝对差异图是导致立体图像立体感的基本出发点。因此，基于左右图像的绝对差异图来评价立体感(SS)，也是沿用了基于视觉重要性模型的方法。首先，我们根据立体图像对的左右图像得出立体图像差异图。和分别代表参考立体图像对的左图像和右图像，和分别代表失真立体图像对的左图像和右图像。则分别代表参考图像绝对差异图和失真图像绝对差异图的公式为：然后将参考图像差异图和失真图像差异图作为立体感的输入图像，然后再根据感知冗余和视觉注意特性融入SSIM中进行立体感评价。具体的框架如附图3所示。散点图是观看客观质量评价方法好坏的直观因素。根据主观分数和客观分数的散点图可以知道客观质量评价方法的优劣。主观分数和客观分数有一致的分布趋势，并直观的拟合成曲线，这说明该客观评价方法好，反之，主观分数和客观分数的分布趋势比较分散，类似饼形式的时候，则说明该客观评价方法非常差。本发明中的质量评价和主观质量分数的散点图如附图4所示，立体感的评价和主观立体分数的散点图如附图5所示。每一个点代表一幅图像，该点的横坐标代表该图像由各方法得出的主观分数，纵轴代表该图像的客观分数。从这两个散点图中我们可以看出客观分数和主观分数拟合的更集中更接近一条平滑曲线。这样经过拟合后就会更接近主观分数，这充分说明提出的客观评价方法与主观的分数相一致，达到了预期的效果。除说明书所述的技术特征外，均为本专业技术人员的已知技术。