一种失真图像质量评价方法、装置、计算机设备及存储介质

本发明涉及图像处理领域，尤其涉及一种失真图像质量评价方法、装置、计算机设备及存储介质。

背景技术：

随着5g时代的到来，图像是人类感知和机器模式识别的重要信息源，图像质量评价(imagequalityassessment，iqa)对所获取信息的准确性和有效性起着决定作用；然而，图像在获取、压缩、处理、传输、显示等过程中，难免出现失真和退化的情况，这些情况当中，相对于传输与处理过程中的图像失真，获取过程中的图像失真更为复杂、类型不唯一且难以预判。

针对上述问题，现有技术通常采用图像质量客观评价方法对图像进行质量评价，主要通过算法对图像质量进行评价，结合人类系统的感知原理，通过数学建模来评价图像质量；客观评价方法可以方便、快捷、容易实现并能结合到应用系统中。在现有的图像质量客观评价中，以对无失真原始图像的依赖程度由高到低可分为三种：全参考图像质量评价方法(full-ferenceimagequalityassessment，fr-iqa)、部分参考图像质量评价方法(reduced-referenceimagequalityassessment，rr-iqa)和无参考图像质量评价方法(no-referenceimagequalityassessment，nr-iqa)。其中前两种方法在图像质量评价时需要与参考原始图像信息作为对比，由此才能得出图像质量评价的结果。而无参考图像质量评价方法则不需要任何参考图像信息，无参考型图像质量评价方法也叫做盲图像质量评价(blindimagequalityassessment，biqa)。

相关技术中，针对无失真原始图像并不存在或难以获取的情况，无参考图像质量评价方法仍然面临巨大的挑战：一方面，研究人员通常倾向于关注部分特征，而没有考虑特征组合；另一方面，提取的特征不能深刻地反映图像的性质。

技术实现要素：

本发明的目的是提供一种失真图像质量评价方法、装置、计算机设备及存储介质，旨在解决现有无参考图像质量评价方法仍然存在研究的特征单一而导致信息局限的问题。

为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一种失真图像质量评价方法，其包括：

提取训练图像中的结构信息特征、提取所述训练图像中的纹理信息特征以及提取所述训练图像中的颜色信息特征；

将所述结构信息特征、纹理信息特征以及颜色信息特征进行整合得到特征向量；

根据多个所述训练图像的特征向量和对应的评分值，构建评价模型；

获取待测图像的结构信息特征、纹理信息特征以及颜色信息特征并输入所述评价模型，输出所述待测图像的质量得分。

另外，本发明要解决的技术问题是还在于提供一种失真图像质量评价装置，其包括：

提取单元，用于提取训练图像中的结构信息特征、提取所述训练图像中的纹理信息特征以及提取所述训练图像中的颜色信息特征；

整合单元，用于将所述结构信息特征、纹理信息特征以及颜色信息特征进行整合得到特征向量；

构建单元，用于根据多个所述训练图像的特征向量和对应的评分值，构建评价模型；

评价单元，用于获取待测图像的结构信息特征、纹理信息特征以及颜色信息特征并输入所述评价模型，输出所述待测图像的质量得分。

另外，本发明实施例还提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的失真图像质量评价方法。

另外，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的失真图像质量评价方法。

为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一种失真图像质量评价方法、装置、计算机设备及存储介质，其中，该方法包括提取训练图像中的结构信息特征、提取训练图像中的纹理信息特征以及提取训练图像中的颜色信息特征；将结构信息特征、纹理信息特征以及颜色信息特征进行整合得到特征向量；根据多个训练图像的特征向量和对应的评分值，构建评价模型；获取待测图像的结构信息特征、纹理信息特征以及颜色信息特征并输入评价模型，输出待测图像的质量得分。本发明实施例对失真图像的结构特征、纹理特征和颜色特征进行提取，并将这些特征进行整合得到特征向量，然后将特征向量与评分值构建出用于对图形进行质量评价的评价模型，具有在网络模型预测评估基础上拟合人眼主观感知的优点。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的失真图像质量评价方法的流程示意图；

图2为本发明实施例提供的失真图像质量评价方法的子流程示意图；

图3为本发明实施例提供的失真图像质量评价方法的又一子流程示意图；

图4为本发明实施例提供的失真图像质量评价方法的又一子流程示意图；

图5为本发明实施例提供的失真图像质量评价装置的示意性框图；

图6为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1为本发明实施例提供的失真图像质量评价方法的流程图；

如图1所示，该方法包括步骤s101～s104。

s101、提取训练图像中的结构信息特征、提取所述训练图像中的纹理信息特征以及提取所述训练图像中的颜色信息特征。

具体的，如图2所示，所述提取训练图像中的结构信息特征包括：

s201、按如下公式计算所述训练图像的梯度值gm；

其中i为训练图像的数字矩阵，t为转置矩阵；

s202、将所述训练图像的梯度值进行线性归一化处理，得到梯度幅度特征图；

s203、提取所述训练图像中像素分布在暗区和亮区的二维特征；

s204、整合所述梯度幅度特征图和二维特征，得到所述训练图像的结构信息特征。

本实施例中，首先，将gx，gy，i的值代入上述公式并计算出所述训练图像的梯度值gm；然后对所述梯度值gm进行线性归一化得到gm图(即梯度图)，再计算gm图的直方图(即mscn直方图，该直方图中的bins设置为12个，其中，直方图可用一个列向量表示，列向量里的每一个值就是一个bin)，再将这些数据等比例缩放限定在[0，1]的范围内，即可得到12维的梯度幅度特征图fgm。

其次，经观察发现，在所述训练图像中，异常曝光的区域会破坏图像结构信息，为测量这种结构信息损失，分别提取了像素分布在暗区(dr)和亮区(br)的二维特征，可分别命名为fdrf和fbrf。

最后，整合所述梯度幅度特征图和二维特征可得到14维的结构信息特征fs，即fs＝[fgmfdrffbrf]，其中fdrf表示像素落在dr[085]内的概率，fbrf像素表示落在br[170255]内的概率。

在一实施例中，如图3所示，所述提取所述训练图像中的纹理信息特征包括：

s301、分解所述训练图像得到低频、第一中频、第二中频以及高频四个子带。

具体的，可采用harr滤波(正交函数)对所述训练图像进行分解，从而得到低频(ll)、第一中频(lh)、第二中频(hl)以及高频(hh)四个子带，其中，所述第一中频、第二中频以及高频中包含丰富的图像纹理信息。

s302、选取所述第一中频、第二中频以及高频三个子带，按如下公式分别计算三个子带的对数能量elh、ehl、ehh：

其中，slh为第一中频，shl为第二中频，shh为高频，sxy表示slh，shl，shh中的一个子带，n表示子带中dwt系数的个数，i为行像素灰度值，j为列像素灰度值。

具体的，分别将slh、shl、shh与n、i、j的值代入下述公式计算即可得到三个子带的对数能量elh、ehl、ehh：

s303、根据所述第一中频、第二中频以及高频三个子带的对数能量elh、ehl、ehh，得到所述训练图像的纹理特征。

具体的，根据每一子带的对数能量得到对应的1维纹理特征，通过所述第一中频、第二中频以及高频三个子带的对数能量elh、ehl、ehh，即得到所述训练图像的3维纹理特征。

s304、将所述训练图像下采样到原尺寸的一半得到下采样图像，并计算下采样图像的纹理特征，并根据所述训练图像和下采样图像的纹理特征构建所述训练图像的纹理信息特征。

具体的，将所述训练图像下采样到原尺寸的一半得到下采样图像，(即将所述训练图像缩小到原尺寸的一半)，对于所述下采样图像重复步骤s301-s303的计算过程，得到下采样图像的3维纹理特征；并根据所述训练图像的3维纹理特征和下采样图像的3维纹理特征构建所述训练图像的6维纹理信息特征。

在一实施例中，如图4所示，所述提取所述训练图像中的颜色信息特征包括：

s401、从颜色信息的全局出发，计算所述训练图像的颜色矩并进行特征提取，得到特征f1。

具体的，从颜色信息的全局出发，计算所述训练图像的颜色矩的一阶矩、二阶矩和三阶矩，并对颜色矩的颜色矩阵进行特征提取。在彩色的所述训练图像中，所述训练图像的颜色矩一共有9个分量，即可提取9维特征，并命名为f1；其中，一阶矩表示数据分布的均值，二阶矩表示数据分布的方差，三阶矩表示数据分布的偏移度。

s402、从颜色信息的局部出发，获取所述训练图像中的相邻像素间的关系，得到当前像素的mscn直方图和当前像素与4个相邻像素之间的图像参数。

具体的，从颜色信息的局部出发，真实失真的训练图像不仅限于像素强度的分布还包括相邻像素之间的关系，为了加入相连像素间的关联信息，可在计算当前像素自身的mscn直方图时，将所述当前像素值分别与周围像素值相乘得到4个图像参数(即当前像素与下方，右方，主对角线、次对角线这4个方向的相邻像素)，最终得到当前像素自身的mscn直方图与4个相邻像素之间图像参数，即得到5个图像参数。

s403、根据所述当前像素的mscn直方图和当前像素与4个相邻像素之间的图像参数计算三个颜色通道的特征向量，得到特征f2。

具体的，通过5个图像参数捕获相邻像素之间关系(即水平相邻方位、垂直相邻方位、左对角相邻方位、右对角相邻方位)，通过重复捕获相邻像素之间关系，得到三个颜色通道的15个特征向量，并命名为f2。

s404、将所述mscn直方图转化为色调分量，得到第一颜色特征，再将所述训练图像下采样到原始尺寸的一半后得到下采样图像，并获取所述下采样图像的mscn直方图，将所述下采样图像的mscn直方图转化为色调分量，得到第二颜色特征，将所述第一颜色特征和第二颜色特征构建为特征f3。

具体的，所述mscn直方图是一个浮点数矩阵，所述mscn直方图横坐标表示图像的mscn系数值，纵坐标表示值出现的频率；通过将所述mscn直方图转化为色调分量，对横轴上的[-2.6，2.6]划分为15个区域，可得到纵轴上15维特征。

为了强调hvs(人类视觉系统)的多尺度特性，对所述训练图像进行特征提取后，还要将所述训练图像进行下采样缩小到原始尺寸的一半，得到下采样图像，并基于所述下采样图像的mscn直方图，重复上述过程并再次得到纵轴上的15维特征；即转化为色调分量的过程中共获取到30维特征，并命名为f3。

s405、合并所述特征f1、特征f2和特征f3得到色彩分布特征fcd。

具体的，根据所述训练图像中的颜色分量中的失真信息，从颜色全局和局部感知的角度，对色调分量进行特征提取并合并为fcd＝[f1f2f3]，定义fcd为三个颜色通道的色调分量特征在颜色直方图的分布，共获得54维特征。

s406、计算三个颜色通道之间的色调对比，得到局部色差对比特征fcc。

具体的，按如下公式计算三个颜色通道之间的色调对比，得到局部色差对比特征fcc：

其中，m·n为图像块的行列数，imax、imin分别表示所述训练图像中每个图像块的最大像素值和最小像素值，c2为设定参数。

所述图像块的大小可设置为16×16，c2为设定参数1，将m·n、imax、imin、c2的值代入上述公式计算并三个颜色通道之间的色调对比，可得到3维的局部色差对比特征fcc。

s407、计算所述训练图像的饱和度特征fsa：

具体的，按如下公式计算所述训练图像的饱和度特征fsa：

其中，r、g、b分别表示红绿蓝三个颜色通道的分量值，μc为r、g、b通道的均值。

具体的，将r、g、b以及μc的值代入上述公式中计算，然后采用均值池化和标准差池化方法提取特征即可得到2维的饱和度特征fsa。

s408、整合所述色彩分布特征fcd、色差对比特征fcc、饱和度特征fsa，得到所述训练图像的颜色信息特征。

具体的，通过上述对颜色信息特征的计算过程，整合了三个互补的特征，即色彩分布特征fcd、色差对比特征fcc、饱和度特征fsa，最终得到59维特征；整合的颜色信息特征定义为fc＝[fcdfccfsa]。

s102、将所述结构信息特征、纹理信息特征以及颜色信息特征进行整合得到特征向量。

本实施例中，将所述训练图像的14维结构信息特征、6维纹理信息特征以及59维颜色信息特征进行特征连接，即可得到所述训练图像的79维特征向量，并用于后续构建评价模型。

s103、根据多个所述训练图像的特征向量和对应的评分值，构建评价模型。

具体的，所述步骤s103包括：

将所有训练图像的特征向量和对应的评分值通过支持向量回归进行训练，得到用于对待测图像进行图像质量评价的评价模型。

本实施例中，可将多个所述训练图像构建为一个训练集并进行模型训练；具体的，提取所有所述训练图像的特征向量，并结合对应每一训练图像的评分值(可以是用户输入的以人眼主观感受为标准对图像质量做出的评分值)，通过支持向量回归进行训练，从而得到用于对所述待测图像进行图像质量评价的评价模型，该评价模型具有在网络模型预测评估基础上拟合人眼主观感知的优点，可以实现高效快速的对所述待测图像进行图像质量评分。

s104、获取待测图像的结构信息特征、纹理信息特征以及颜色信息特征并输入所述评价模型，输出所述待测图像的质量得分。

本实施例中，对待测图像进行质量评价的过程中，根据上述提取所述训练图像的特征向量的过程，对所述待测图像的结构信息特征、纹理信息特征以及颜色信息特征进行提取，并整合成所述待测图像的特征向量，并将所述待测图像的特征向量输入所述评价模型，即可输出所述待测图像的质量得分。

本发明实施例还提供一种失真图像质量评价装置，该失真图像质量评价装置用于执行前述失真图像质量评价方法的任一实施例。具体地，请参阅图5，图5是本发明实施例提供的失真图像质量评价装置的示意性框图。

如图5所示，失真图像质量评价装置500，包括：提取单元501、整合单元502、构建单元503以及评价单元504。

提取单元501，用于提取训练图像中的结构信息特征、提取所述训练图像中的纹理信息特征以及提取所述训练图像中的颜色信息特征；

整合单元502，用于将所述结构信息特征、纹理信息特征以及颜色信息特征进行整合得到特征向量；

构建单元503，用于根据多个所述训练图像的特征向量和对应的评分值，构建评价模型；

评价单元504，用于获取待测图像的结构信息特征、纹理信息特征以及颜色信息特征并输入所述评价模型，输出所述待测图像的质量得分。

该装置通过对真实对失真图像的结构特征、纹理特征和颜色特征进行提取，并将这些特征进行整合得到特征向量，然后将特征向量与评分值构建出用于对图形进行质量评价的评价模型，具有在网络模型预测评估基础上拟合人眼主观感知的优点。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

上述失真图像质量评价装置可以实现为计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。

请参阅图6，图6是本发明实施例提供的计算机设备的示意性框图。该计算机设备600是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图6，该计算机设备600包括通过系统总线601连接的处理器602、存储器和网络接口605，其中，存储器可以包括非易失性存储介质603和内存储器604。

该非易失性存储介质603可存储操作系统6031和计算机程序6032。该计算机程序6032被执行时，可使得处理器602执行失真图像质量评价方法。

该处理器602用于提供计算和控制能力，支撑整个计算机设备600的运行。

该内存储器604为非易失性存储介质603中的计算机程序6032的运行提供环境，该计算机程序6032被处理器602执行时，可使得处理器602执行失真图像质量评价方法。

该网络接口605用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备600的限定，具体的计算机设备600可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域技术人员可以理解，图6中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图6所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器602可以是中央处理单元(centralprocessingunit，cpu)，该处理器602还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的失真图像质量评价方法。

所述存储介质为实体的、非瞬时性的存储介质，例如可以是u盘、移动硬盘、只读存储器(read-onlymemory，rom)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。