一种基于并行卷积神经网络的图像质量测试方法与流程

本发明涉及图像信号处理领域，特别涉及一种基于并行卷积神经网络的图像质量测试方法。

背景技术：

人类的美感感受和判断虽然受到文化背景、个人经历、时代背景等的影响，但是总体上具有很大的共性。无数绘画、摄影和艺术作品作为人类共同的审美财富普遍受到人们的欣赏和喜爱。美学质量评估就是希望通过计算机，模拟人类高层感知来判断图像的美感，实现对图像进行高质量或低质量分类，或者对图像的质量程度给出评分。

传统的图像质量评估方法大多采用手选识别特征的方式，图像特征的有效提取对分类结果具有至关重要的作用。例如尝试借鉴摄影，艺术，绘画等领域的规则、人类审美经验、视觉注意机制，从图像中提取各种各样的图像特征，例如边缘特征，颜色直方图特征，三分法则特征等等。还有一些使用局部特征的方法，例如SIFT(Scale-invariant feature transform)算法，词袋(Bag Of Words，Bow)算法，FisherVector(FV)算法，或者它们的改进算法等。这些方法都取得了较好的应用价值。

深度学习在解决传统计算机视觉问题上有突破性进展，尤其是卷积神经网络(Convolutional Neural Network，CNN)的应用。通过直接利用大量的数据训练多层CNN，不需要先验知识和经验，人们发现网络对于学习到的特征具有较好的鲁棒性，不仅省去了复杂繁琐的手动特征提取过程，更能从样本中发现更为重要并难以理解的高层特征。利用深度学习进行图像质量评价研究中，宾夕法尼亚州立大学的学者Wang等人设计了一个双通道的卷积神经网络用于图像质量分类人物。中国科学技术大学的田教授等人利用深度学习网络来提取图像特征，然后使用支持向量机(Support Vector Machine，SVM)进行图像质量分类。这些是深度学习方法在图像质量评估方面的初步尝试，取得了一定的效果。

然而不同场景类别的图像差异大，这导致不同图像特征对于不同场景类别图像的适应性较差。另外，图像的一些复杂的构图规则和质量评估规律在工程上难以被建模和量化，这成为图像特征提取上的瓶颈。

因此需要一种新的测试模型来克服现有技术中存在的问题。

技术实现要素：

为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种基于并行卷积神经网络的图像质量测试方法，克服了传统方法需要手工设计多种图像特征的缺点，深入分析和挖掘图像质量特征，泛化能力强，分类准确率高。

本发明的目的通过以下技术方案实现：

一种基于并行卷积神经网络的图像质量测试方法，包括以下步骤：

(1)采用并行卷积神经网络建立图像质量测试模型；所述图像质量测试模型包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层和第三全连接层；

所述第五卷积层为包含n个分支的并行结构网络；1≤n≤10；

(2)输入数据预处理与数据库平衡化处理：对预训练数据集的每个样本进行裁剪和归一化，并对预训练数据集的样本数量进行平衡化处理；

(3)模型的预训练：采用预训练数据集，对图像质量测试模型进行预训练学习，得到网络权值；

所述预训练学习，具体为：

用预训练数据集中每一种类别图像各自训练一个深度CNN网络，并且进行权值学习和提取；

所述权值学习和提取，具体包括以下步骤：

(3-1)深度CNN网络权值初始化；

(3-2)对深度CNN网络进行迭代训练；

(3-3)提取每一个深度CNN网络第五卷积层学习得到的卷积核权值；

(4)并行模型训练：初始化图像质量测试模型，基于预训练初始化后的图像质量测试模型，进行并行模型训练，得到已训练的图像质量评估模型；

(5)对目标图像使用已训练的质量评估模型进行测试。

步骤(2)所述输入数据预处理，具体为：将所有的样本的长宽统一归一化为256*256，在模型输入接口的匹配中，每一次读取输入图像数据时，被随机裁剪到规格为227*227的大小。

步骤(2)所述数据库平衡化处理，具体为：对预训练数据集中的每个样本进行旋转处理，并左右镜像一次，产生新的样本。

步骤(3)所述预训练学习中，第一～第四卷积层初始设为AlexNet模型前四层网络权值，采用随即梯度下降方式进行训练，学习率设置为初始值0.0001，第五卷积层提取层和全连接层则设置初始学习率为0.001。

步骤(4)所述初始化图像质量测试模型，基于预训练初始化后的图像质量测试模型，进行并行模型训练：

(4-1)模型初始化；

(4-2)设置训练参数；

(4-3)加载训练数据，所述训练数据包括训练集和验证集；

(4-4)采用随即梯度下降算法对初始化后的图像质量测试模型进行迭代训练，在训练集上，每迭代1000次保存一次模型参数，经过不断迭代，取得网络最优解，取在验证集上误差最小的模型作为已训练的图像质量评估模型。

步骤(4-1)所述模型初始化，具体为：

引用AlexNet模型的权值来初始化图像质量测试模型的第一～第四卷积层，第五层的并行结构由步骤(3)中预训练阶段得到的权值进行初始化，全连接层的则权值采用随机初始化方式。

步骤(4-2)所述设置训练参数，具体为：

第一～第五卷积层的初始学习率设置为0.0001；全连接层参数的初始学习率为0.001；训练过程设为每8次遍历样本集后，学习率降低40％。

所述深度网络模型结构，具体如下：

第一卷积层有96个卷积核，大小为11*11*3；第二卷积层有256个卷积核，大小为5*5*48；第三卷积层有384个核，大小为3*3*256；第四卷积层有384个核，大小为3*3*192；第5卷积层有64*n个核，大小为3*3*64；第一和第二全连接层有512和神经元，第三全连接层有2个神经元；

第一层卷积层依次经第一池化层、第一正则化层与第二卷积层连接；第二卷积层经第二池化层、第二正则化层与第三卷积层连接；第一池化层、第二池化层参数与AlexNet模型参数相同；第三卷积层直接与第四卷积层连接；第四卷积层直接与第五卷积层连接；第五卷积层经第五池化层与第一全连接层连接，第五池化层采用均值池化方法，池化单元大小z*z取2*2，池化步长s取2；第一全连接层依次连接第二全连接层和第三全连接层。

与现有技术相比，本发明具有以下优点和有益效果：

(1)本发明采用并行深度卷积神经网络模型，并行多个独立分支，有效结合了传统的特征融合方法，具有很好的可扩展性，同时提高了模型的特征表达能力。

(2)本发明提出的预训练过程中具有先进性，具体表现在：选取噪声小、干净的数据集作为模型预训练数据；第五卷积层多个分支可以全面的学习到图像质量信息；借用现今模型的优点进一步优化提升模型性能。

(3)在全连接层和卷积层之间使用均值池化层，降低噪声对特征数据的影响，增强分类效果。

(4)提出一种利用多种数据集完成图像质量分类系统的训练和测试方法，有利于在大数据量的图像库中进行快速质量分类，方法简单有效，可靠性高。

附图说明

图1为本发明的实施例的基于并行卷积神经网络的图像质量测试方法的训练和工作流程图。

图2为本发明的图像质量测试模型结构图。

图3为本发明的在预训练阶段用于权值学习的卷积神经网络模型结构图。

具体实施方式

下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例的基于并行卷积神经网络的图像质量测试方法，包括以下步骤：

(1)采用并行卷积神经网络建立图像质量测试模型；所述图像质量测试模型包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层和第三全连接层；所述第五卷积层为包含n个分支的并行结构网络；1≤n≤10。

如图2所示，本实施例的图像质量测试模型一个包含5层卷积层和3个全连接层的8层的深度卷积神经网络，此模型前四层卷积层借用了Alexnet[A.Krizhevsky,I.Sutskever,G.E.Hinton,ImageNet classification with deep convolution neural networks,in:Proceedings of the Annual Conference on Neural Information Processing System(NIPS),2012,pp.1097-1105.]的前四层网络结构与参数。第五层定义为场景卷积层，本实施例由7组卷积核并行构成，用于学习不同场景类别下的图像特征。每个分支分别连接第四层与第五层中的一组卷积网络。

第一卷积层有96个卷积核，大小为11*11*3；第二卷积层有256个卷积核，大小为5*5*48；第三卷积层有384个核，大小为3*3*256；第四卷积层有384个核，大小为3*3*192；第5卷积层有64*n个核，大小为3*3*64；第一和第二全连接层有512和神经元，第三全连接层有2个神经元；

第一层卷积层依次经第一池化层、第一正则化层与第二卷积层连接；第二卷积层经第二池化层、第二正则化层与第三卷积层连接；第一池化层、第二池化层参数与AlexNet模型参数相同；第三卷积层直接与第四卷积层连接；第四卷积层直接与第五卷积层连接；第五卷积层经第五池化层与第一全连接层连接，第五池化层采用均值池化方法，池化单元大小z*z取2*2，池化步长s取2；第一全连接层依次连接第二和第三全连接层；

(2)输入数据预处理与数据库平衡化处理：对预训练数据集的每个样本进行裁剪和归一化，并对预训练数据集的样本数量进行平衡化处理；

步骤(2)所述输入数据预处理，具体为：

将所有的样本的长宽统一归一化为256*256，在模型输入接口的匹配中，每一次读取输入图像数据时，被随机裁剪到规格为227*227的大小。通过这样的方式，确保不会丢失图像的全局信息。

不平衡的训练数据集会对分类结果产生不良影响，弱化学习得到特征的表达能力。预训练阶段用到的CUHKPQ数据库包含有17690张图片，图片集一共有7个类别，分别是"animal","plant","static","architecture","landscape","human"和"night"。每一种类别图片都标有相同的两个标签，高质量和低质量。这个数据集噪声小，被选用来做预训练阶段的训练数据。此外，由于该数据集不平衡，CUHKPQ数据集的高质量图片与低质量图片之比大约是1比3，在把数据分为训练集和测试集之后，本发明所提方法对训练集做了平衡化处理，以确保预训练得到模型的有效性。具体做法如下：

对训练集中的每张高质量图片进行旋转270°处理，并左右镜像一次，产生两张额外新的样本。使高质量图像的数量达到和低质量图片数量大致相等。

(3)模型的预训练：采用预训练数据集，对图像质量测试模型进行预训练学习，得到网络权值；

所述预训练学习，具体为：

用预训练数据集中每一种类别图像各自训练一个深度CNN网络，并且进行权值学习和提取；预训练学习中，第一～第四卷积层初始设为AlexNet模型训练后的参数后，采用随即梯度下降方式进行训练，学习率设置为初始值0.0001，第五卷积层提取层和全连接层则设置初始学习率为0.001。

所述权值学习和提取，具体包括以下步骤：

(3-1)深度CNN网络权值初始化；

(3-2)对深度CNN网络进行迭代训练；

(3-3)提取每一个深度CNN网络第五卷积层学习得到的卷积核权值；

图3所示为用于权值学习的卷积神经网络模型结构图。对于每种场景类型图像，分别进行场景图像特征的学习。训练时是单通道深度学习网络结构，前四层卷积层与图3的卷积层一样，第五层为图3第五层的一个卷积组，全连接层的神经元个数为512，网络的最后一层是2个神经元连接着Softmax函数作为输出。它表示输入图像是属于高质量或低质量类别。

在本实施例中，将第5层学习到的权值表征为场景图像特征。这样，一一用图3所示网络对7种类别的图像进行训练和学习，取出第五层的7组学习到的卷积核权值，用这些权值初始化并行网络的第五层网络，完成了模型预训练过程。

在深度CNN网络的学习阶段中，采用基本的Softmax计算损失函数，在而分类任务的情况下，变换为简单的逻辑回归函数，图像输入为x，标签为y。损失函数的计算如下列公式所示：

其中，m表示为图片数量，预测函数h_θ(x_i)的表达是：

其中，x_i为第i张输入图像，y_i为第i输入图像所对应的标签数据。

(4)并行模型训练：初始化图像质量测试模型，基于预训练初始化后的图像质量测试模型，进行并行模型训练，得到已训练的图像质量评估模型，具体步骤如下：

(4-1)模型初始化：引用AlexNet模型的权值来初始化图像质量测试模型的第一～第四卷积层，第五层的并行结构由步骤3中预训练阶段得到的权值进行初始化，全连接层的则权值采用随机初始化方式；

(4-2)设置训练参数：第一～第五卷积层的初始学习率设置为0.0001；全连接层参数的初始学习率为0.001；训练过程设为每8次遍历样本集后，学习率降低40％；

(4-3)加载训练数据，所述训练数据包括训练集和验证集；采用总共约有25万张图像的AVA大规模数据集对网络模型进行训练，对应网络的输入大小，所有样本统一归一化到256*256的大小。每张图片具有两个高、低质量两个标签中的一个；

(4-4)采用随即梯度下降算法对初始化后的图像质量测试模型进行迭代训练，在训练集上，每迭代1000次保存一次模型参数，经过不断迭代，取得网络最优解，取在验证集上误差最小的模型作为已训练的图像质量评估模型。

(5)对目标图像使用已训练的质量评估模型进行测试。本发明的评价模型在AVA测试集上的分类准确率达到76.94％。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。