本发明涉及图像处理技术领域，尤其涉及一种基于选通卷积神经网络的多任务全参考图像质量评价方法。
背景技术：
随着信息化时代的到来，多媒体(图像，视频等)成为日常生活中信息的重要载体。然而，在图像获取、处理、压缩、存储、传输和显示等过程中，任何一个阶段都可能造成图像质量的损失。图像质量评价已经成为信息工程领域重要的基础课题之一。
一般而言，图像质量评价分为两大类：主观质量评价和客观质量评价。根据参考源的有无，客观质量评价可以分为全参考、半参考、无参考客观图像质量评价。大多情况下，失真图像往往是参考图像经过某种失真变换得到，因此图像的质量与失真类型和失真程度紧密相关。
现有技术中的全参考图像质量评价方法往往局限于估计图像的质量分数，然而，光凭图像质量分数并不足以描述图像的质量。一方面，不同失真类型的失真图像可能具有相近的质量分数；另一方面，具有相同失真的不同图像可能具有完全不同的质量分数。
技术实现要素：
本发明的实施例提供了一种基于选通卷积神经网络的多任务全参考图像质量评价方法，以实现准确地评价图像质量。
为了实现上述目的，本发明采取了如下技术方案。
一种基于选通卷积神经网络的多任务全参考图像质量评价方法，包括：
基于全参考图像质量评价数据集构建无监督训练数据集，利用无监督训练数据集对选通自编码器进行训练；
构建包括编码器模块、抽象模块和预测模块的掩码选通卷积神经网络，使用训练好的选通自编码器初始化掩码选通卷积神经网络的编码器模块，利用所述全参考图像质量评价数据集对掩码选通卷积神经网络进行端到端的训练；
利用训练好的掩码选通卷积神经网络对测试图片进行图像质量评价。
进一步地，所述的基于全参考图像质量评价数据集构建无监督训练数据集，包括：
将全参考图像质量评价数据集划分为训练集和验证集，从训练集的图像对中随机裁剪图像块对构建无监督训练数据集的训练集，从验证集的图像对中随机裁剪图像块对构建无监督训练数据集的验证集，所述图像对包括参考图像和失真图像，所述图像块对包括参考图像块和失真图像块；
对所述无监督训练数据集的训练集和验证集中的所有数据进行归一化操作。
进一步地，所述的利用无监督训练数据集对选通自编码器进行训练，包括：
构建包括编码器模块和解码器模块的选通自编码器模型，将所述无监督训练数据集中的参考图像块x，失真图像块y输入到选通自编码器模型中的编码器模块，选通自编码器模型中的解码器模块输出重构的参考图像块
基于输入的参考图像块x、失真图像块y和重构的参考图像块
进一步地，所述的将所述无监督训练数据集中的参考图像块x，失真图像块y输入到选通自编码器模型中的编码器模块，选通自编码器模型中的解码器模块输出重构的参考图像块
所述选通自编码器模型中的编码器模块包含两个分支，两个分支分别包含卷积层1_1和卷积层1_2，分别以参考图像块x和失真图像块y作为输入，参考图像块x经过卷积层1_1得到特征图factor_x，失真图像块y经过卷积层1_2得到特征图factor_y，factor_x和factor_y的哈达玛积经过卷积层2得到z，将z作为解码器模块的输入；
所述解码器模块也包含两个分支，所述解码器模块中输入的z经过卷积层3得到factor_h，在所述解码器模块的一个分支中，factor_h和factor_x的哈达玛积经过卷积层4_1得到重构的失真图像块
进一步地，所述的构建包括编码器模块、抽象模块和预测模块的掩码选通卷积神经网络，使用训练好的选通自编码器初始化掩码选通卷积神经网络的编码器模块，利用所述全参考图像质量评价数据集对掩码选通卷积神经网络进行端到端的训练，包括：
掩码选通卷积神经网络的编码器模块具有和所述选通自编码器的编码器模块相同的结构，使用训练好的选通自编码器模型中的编码器模块对掩码选通卷积神经网络中的编码器模块的权重进行初始化，并随机初始化掩码选通卷积神经网络中的其他权重；
所述掩码选通卷积神经网络中的编码器模块的输入为所述全参考图像质量评价数据集中的参考图像x1和失真图像y1，输出为底层特征图z1，所述掩码选通卷积神经网络中的抽象模块的输入为底层特征图z1，经过多个交替的卷积层和池化层，提取得到高层特征图h，计算掩码mask与h的哈达玛积得到采样的高层特征图
所述掩码选通卷积神经网络中的预测模块包含三个分支，以采样的高层特征图
设置损失函数l＝lquality+λlclassify，其中lquality是质量分数预测的损失函数，lclassify是失真类型分类的损失函数，λ是超参数，基于所述损失函数使用优化算法对掩码选通卷积神经网络中的权重进行调整。
进一步地，所述的掩码选通卷积神经网络中的预测模块包含三个分支，以采样的高层特征图
所述掩码选通卷积神经网络中的预测模块中的第一个分支以采样的高层特征图
所述掩码选通卷积神经网络中的预测模块中的第二个分支以采样的高层特征图
所述掩码选通卷积神经网络中的预测模块中的第三个分支以采样的高层特征图
加权求和所有的图像块质量分数，得到整个图像的质量分数。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例通过编码参考图像和失真图像之间的变换，同时估计图像质量分数和识别失真类型，能够更加充分准确的评价图像质量。本发明实施例在空间域对高层特征图进行掩码，等价于从图像中随机采样图像块，通过组合多个图像块来近似图像。这种图像的表示方式提升了计算效率，扩充了数据的规模，减缓了由于数据较少引起的过拟合。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于选通卷积神经网络的多任务全参考图像质量评价方法的处理流程图；
图2为本发明实施例提供的一种选通自编码器结构示意图；
图3为本发明实施例提供的一种掩码选通卷积神经网络结构图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明实施例同时估计图像的失真类型和质量分数，提供了一种基于选通卷积神经网络的多任务全参考图像质量评价方法，该方法的处理流程如图1所示，包括如下的处理步骤：
步骤1，基于全参考图像质量评价数据集构建无监督训练数据集，利用无监督训练数据集对选通自编码器进行训练；
步骤2，构建掩码选通卷积神经网络，该掩码选通卷积神经网络包括编码器模块、抽象模块和预测模块。
步骤3，使用训练好的选通自编码器初始化掩码选通卷积神经网络的编码器模块，利用无监督训练数据集对掩码选通卷积神经网络进行端到端的训练。
步骤4，利用步骤3训练好的掩码选通卷积神经网络对测试图片进行图像质量评价，上述测试图片包括参考图像和失真图像。
所述步骤1具体包括：
步骤1.1，将已知的全参考图像质量评价数据集划分为训练集和验证集，从训练集的图像对中随机裁剪大小为5x5x3的图像块对构建无监督训练数据集的训练集，从验证集的图像对中随机裁剪大小为5x5x3的图像块对构建无监督训练数据集的验证集。上述图像对包括参考图像和失真图像，上述图像块对包括参考图像块和失真图像块。
对无监督训练数据集的训练集和验证集中的所有数据进行归一化操作。模型在无监督训练数据集上进行训练，选择在无监督验证数据集上性能最优的模型作为最终模型用于测试。
步骤1.2，构建图2所示的选通自编码器模型，该模型包括编码器模块和解码器模块。
步骤1.3，将上述无监督训练数据集中的参考图像块x，失真图像块y输入到选通自编码器模型中，选通自编码器模型输出重构的参考图像块
以输入的(参考图像块x，失真图像块y)和重构的(参考图像块
所述步骤1.2还包括：
步骤1.2.1，编码器模块包含两个分支，分别以参考图像块x和失真图像块y作为输入，提取参考图像和失真图像之间的变换作为底层特征。两个分支分别包含卷积层1_1和卷积层1_2，参考图像块x经过卷积层1_1得到特征图factor_x，失真图像块y经过卷积层1_2得到特征图factor_y。factor_x和factor_y的哈达玛积经过卷积层2得到z，将z作为解码器模块的输入。
步骤1.2.2，解码器是一个相反的过程，也包含两个分支。输入z经过卷积层3得到factor_h。一个分支中，factor_h和factor_x的哈达玛积经过卷积层4_1得到重构的失真图像块
所述步骤3还包括：
步骤3.1，构建图3所示的掩码选通卷积神经网络结构图，掩码选通卷积神经网络的编码器模块具有和步骤1中选通自编码器的编码器模块相同的结构，使用步骤1中训练好的选通自编码器模型中的编码器模块对掩码选通卷积神经网络中的编码器模块的权重进行初始化，并随机初始化掩码选通卷积神经网络中的其他权重。
掩码选通卷积神经网络中的编码器模块的输入为质量评价数据集中的参考图像x1和失真图像y1，输出为底层特征图z1。
步骤3.2，抽象模块的输入为底层特征图z1，经过多个交替的卷积层和池化层，提取得到高层特征图h。计算掩码mask与h的哈达玛积得到采样的高层特征图
步骤3.3，预测模块包含三个分支，以采样的高层特征图
步骤3.4，设置损失函数l＝lquality+λlclassify。其中lquality是质量分数预测的损失函数(比如为mse)，lclassify是失真类型分布的的损失函数(比如为交叉熵)，λ是超参数，基于上述损失函数l使用优化算法对掩码选通卷积神经网络中的权重进行调整。
交叉熵的计算公式如下：
其中，c为真实失真类型的概率分布，
上述优化算法可以为基于梯度的优化算法，例如随机梯度下降方法(sgd)，adam，adagrad等等。
所述步骤3.3还包括：
步骤3.3.1，以采样的高层特征图
步骤3.3.2，以采样的高层特征图
步骤3.3.3，以采样的高层特征图
步骤3.3.4，加权求和所有的图像块质量分数，得到整个图像的质量分数q。
其中，wi和qi分别为图像块i的权重系数和质量分数。
综上所述，本发明实施例通过编码参考图像和失真图像之间的变换，同时估计图像质量分数和识别失真类型，能够更加充分准确的评价图像质量。本发明实施例在空间域对高层特征图进行掩码，等价于从图像中随机采样图像块，通过组合多个图像块来近似图像。这种图像的表示方式提升了计算效率，扩充了数据的规模，减缓了由于数据较少引起的过拟合。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。