一种基于卷积神经网络的无参考立体图像质量评价方法与流程

本发明涉及一种图像质量评价方法，尤其是涉及一种基于卷积神经网络的无参考立体图像质量评价方法。

背景技术：

随着三维(3d)技术的快速发展，越来越多的3d内容电影产生，同时也给人们带来了许多新的问题和挑战。在数字信息大爆炸的今天，立体技术不断成熟，立体产品也不断丰富着人们的生活。越来越多的立体电影占据了荧幕，使人们能更加生动形象地感受到画面，视频电话、3d游戏、手机、电视也越来越多的运用立体技术获得更好的视觉体验。除此之外，立体图像/视频技术还广泛应用于医疗、农业、智能生活、教育、军事等领域。然而，常见的立体图像处理技术包括立体图像/视频的采集、编码、传输、显示和评价等，这一系列的过程会不可避免地引入失真，从而影响了立体图像/视频的立体感及观看舒适度，并有可能带给人们错误的认知，这也严重制约着立体产品的推广及普及。因此，建立一套有效的系统来衡量立体图像的质量是非常有必要的。立体图像质量评价技术作为促进立体图像/视频技术发展的重要技术，已经成为了立体图像处理技术领域的研究热点之一。

现有的大多数立体图像质量评价方法都无法精确判断出立体图像的质量，并且现有的无参考立体图像质量评价方法还是无参考平面图像质量评价方法的简单扩展，没有考虑双目视觉特性，也没有充分学习特征数据的能力，因此，如何在评价过程中有效地提取特征信息，并有效地学习特征信息，在评价过程中进行双目视觉特性结合，并使用有效的特征学习模型，使得客观评价结果更加符合人类视觉感知系统，是对立体图像进行客观质量评价过程中需要研究解决的问题。

技术实现要素：

本发明所要解决的技术问题是提供一种基于卷积神经网络的无参考立体图像质量评价方法，其能够充分考虑到立体图像的多种特性对视觉质量的影响，从而能够有效地提高客观评价结果与双目主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于卷积神经网络的无参考立体图像质量评价方法，其特征在于包括以下步骤：

步骤一：令sdis表示待评价的失真立体图像，将sdis的左视点图像记为{ldis(x,y)}，将sdis的右视点图像记为{rdis(x,y)}；其中，1≤x≤w，1≤y≤h，w表示sdis的宽度，h表示sdis的高度，ldis(x,y)表示{ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，rdis(x,y)表示{rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；

步骤二：采用归一化方法对{ldis(x,y)}进行归一化处理，得到{ldis(x,y)}的归一化图像，记为将中坐标位置为(x,y)的像素点的像素值记为同样，采用归一化方法对{rdis(x,y)}进行归一化处理，得到{rdis(x,y)}的归一化图像，记为将中坐标位置为(x,y)的像素点的像素值记为

步骤三：利用卷积神经网络提取出的特征图，记为同样，利用卷积神经网络提取出的特征图，记为其中，卷积神经网络包括依次设置的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层，第一卷积层的卷积核的个数为16、卷积核的尺寸大小为3×3，第一卷积层使用的激活函数为relu，第一最大池化层的步长为2，第二卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3，第二卷积层使用的激活函数为relu，第二最大池化层的步长为2，第三卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3，第三卷积层使用的激活函数为relu，第三最大池化层的步长为2，1≤mconv3≤mconv3，1≤nconv3≤nconv3，mconv3＝w/2³，nconv3＝h/2³，表示中坐标位置为(mconv3,nconv3)的像素点的像素值，表示中坐标位置为(mconv3,nconv3)的像素点的像素值；

步骤四：利用全卷积神经网络提取出和的联合特征图，记为{fdis,fullconv4(m,n)}；其中，全卷积神经网络包括依次设置的第一卷积层、第二卷积层、第三卷积层、第四卷积层，第一卷积层的卷积核的个数为64、卷积核的尺寸大小为3×3，第一卷积层使用的激活函数为relu，第二卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3，第二卷积层使用的激活函数为relu，第三卷积层的卷积核的个数为16、卷积核的尺寸大小为3×3，第三卷积层使用的激活函数为relu，第四卷积层的卷积核的个数为1、卷积核的尺寸大小为3×3，第四卷积层使用的激活函数为relu，1≤m≤m，1≤n≤n，m＝w/2，n＝h/2，fdis,fullconv4(m,n)表示{fdis,fullconv4(m,n)}中坐标位置为(m,n)的像素点的像素值；

步骤五：将{fdis,fullconv4(m,n)}展平为一维向量，作为sdis的特征向量，记为fdis；其中，fdis的维数为1×(m×n)，fdis中的第i个元素为{fdis,fullconv4(m,n)}中的第i个像素点的像素值，i为正整数，1≤i≤(m×n)；

步骤六：选取n幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后采用主观质量评价方法评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为dmosj；再按照步骤一至步骤五的操作，以相同的方式获取训练集中的每幅失真立体图像的特征向量，将训练集中的第j幅失真立体图像的特征向量记为fdis,j；其中，n＞1，j的初始值为1，j为正整数，1≤j≤n'，n'表示训练集中包含的失真立体图像的总幅数，0≤dmosj≤100，fdis,j的维数为1×(m×n)；

步骤七：利用深度神经网络对训练集中的所有失真立体图像各自的主观评分及特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，得到全局最优的深度神经网络模型；其中，深度神经网络包括依次设置的第一全连接层、第二全连接层、第三全连接层，第一全连接层的神经元节点的个数为128、使用的激活函数为relu，第二全连接层的神经元节点的个数为64、使用的激活函数为relu，第三全连接层的神经元节点的个数为1，第三全连接层作为输出层；

步骤八：利用全局最优的深度神经网络模型对fdis进行预测，预测得到sdis的客观质量评价预测值，记为q，其中，f()为函数表示形式，α2(fdis)表示全局最优的深度神经网络模型中的第二全连接层的输出，α1(fdis)表示全局最优的深度神经网络模型中的第一全连接层的输出，为ω3的转置，ω3表示全局最优的深度神经网络模型中的第三全连接层的权重参数，为ω2的转置，ω2表示全局最优的深度神经网络模型中的第二全连接层的权重参数，为ω1的转置，ω1表示全局最优的深度神经网络模型中的第一全连接层的权重参数，b3表示全局最优的深度神经网络模型中的第三全连接层的偏置参数，b2表示全局最优的深度神经网络模型中的第二全连接层的偏置参数，b1表示全局最优的深度神经网络模型中的第一全连接层的偏置参数。

所述的步骤三中，的获取过程为：

a1、将作为输入，输入到第一卷积层中；然后第一卷积层的输出输入到第一最大池化层中，将第一最大池化层的输出记为其中，1≤mconv1≤mconv1，1≤nconv1≤nconv1，mconv1＝w/2，nconv1＝h/2，表示中坐标位置为(mconv1,nconv1)的像素点的像素值；

a2、输入到第二卷积层中；然后第二卷积层的输出输入到第二最大池化层中，将第二最大池化层的输出记为其中，1≤mconv2≤mconv2，1≤nconv2≤nconv2，mconv2＝mconv1/2，nconv2＝nconv1/2，表示中坐标位置为(mconv2,nconv2)的像素点的像素值；

a3、输入到第三卷积层中；然后第三卷积层的输出输入到第三最大池化层中，第三最大池化层的输出即为其中，1≤mconv3≤mconv3，1≤nconv3≤nconv3，mconv3＝mconv2/2＝w/2³，nconv3＝nconv2/2＝h/2³；

所述的步骤三中，的获取过程为：

b1、将作为输入，输入到第一卷积层中；然后第一卷积层的输出输入到第一最大池化层中，将第一最大池化层的输出记为其中，1≤mconv1≤mconv1，1≤nconv1≤nconv1，mconv1＝w/2，nconv1＝h/2，表示中坐标位置为(mconv1,nconv1)的像素点的像素值；

b2、输入到第二卷积层中；然后第二卷积层的输出输入到第二最大池化层中，将第二最大池化层的输出记为其中，1≤mconv2≤mconv2，1≤nconv2≤nconv2，mconv2＝mconv1/2，nconv2＝nconv1/2，表示中坐标位置为(mconv2,nconv2)的像素点的像素值；

b3、输入到第三卷积层中；然后第三卷积层的输出输入到第三最大池化层中，第三最大池化层的输出即为其中，1≤mconv3≤mconv3，1≤nconv3≤nconv3，mconv3＝mconv2/2＝w/2³，nconv3＝nconv2/2＝h/2³。

所述的步骤四中，{fdis,fullconv4(m,n)}的获取过程为：

c1、将和作为输入，输入到第一卷积层中，将第一卷积层的输出记为{fdis,fullconv1(m,n)}；其中，fdis,fullconv1(m,n)表示{fdis,fullconv1(m,n)}中坐标位置为(m,n)的像素点的像素值；

c2、{fdis,fullconv1(m,n)}输入到第二卷积层中，将第二卷积层的输出记为{fdis,fullconv2(m,n)}；其中，fdis,fullconv2(m,n)表示{fdis,fullconv2(m,n)}中坐标位置为(m,n)的像素点的像素值；

c3、{fdis,fullconv2(m,n)}输入到第三卷积层中，将第三卷积层的输出记为{fdis,fullconv3(m,n)}；其中，fdis,fullconv3(m,n)表示{fdis,fullconv3(m,n)}中坐标位置为(m,n)的像素点的像素值；

c4、{fdis,fullconv3(m,n)}输入到第四卷积层中，第四卷积层的输出即为{fdis,fullconv4(m,n)}。

与现有技术相比，本发明的优点在于：

1)本发明方法利用卷积神经网络提取左视点图像和右视点图像各自相关的特征图，由于卷积神经网络符合人眼神经学的生理特征，因此能够有效提取出与人眼感知高度一致的特征图。

2)本发明方法在充分利用了双目视觉感知特性的基础上，分别对左视点图像和右视点图像进行特征图提取，充分考虑了左视点图像和右视点图像分别对立体图像的影响，因此能有效地提高客观评价结果与主观感知之间的相关性。

3)本发明方法利用符合人脑机理特性的深度神经网络预测得到待评价的失真立体图像的客观质量评价预测值，使客观评价值能更加准确地预测失真立体图像的质量。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于卷积神经网络的无参考立体图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：

步骤一：令sdis表示待评价的失真立体图像，将sdis的左视点图像记为{ldis(x,y)}，将sdis的右视点图像记为{rdis(x,y)}；其中，1≤x≤w，1≤y≤h，w表示sdis的宽度，h表示sdis的高度，ldis(x,y)表示{ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，rdis(x,y)表示{rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。

步骤二：采用归一化方法对{ldis(x,y)}进行归一化处理，得到{ldis(x,y)}的归一化图像，记为将中坐标位置为(x,y)的像素点的像素值记为同样，采用归一化方法对{rdis(x,y)}进行归一化处理，得到{rdis(x,y)}的归一化图像，记为将中坐标位置为(x,y)的像素点的像素值记为

步骤三：利用卷积神经网络提取出的特征图，记为同样，利用卷积神经网络提取出的特征图，记为其中，卷积神经网络包括依次设置的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层，第一卷积层的卷积核的个数为16、卷积核的尺寸大小为3×3，第一卷积层使用的激活函数为relu，第一最大池化层的步长为2，第二卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3，第二卷积层使用的激活函数为relu，第二最大池化层的步长为2，第三卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3，第三卷积层使用的激活函数为relu，第三最大池化层的步长为2，1≤mconv3≤mconv3，1≤nconv3≤nconv3，mconv3＝w/2³，nconv3＝h/2³，表示中坐标位置为(mconv3,nconv3)的像素点的像素值，表示中坐标位置为(mconv3,nconv3)的像素点的像素值。

在本实施例中，步骤三中，的获取过程为：

a1、将作为输入，输入到第一卷积层中；然后第一卷积层的输出输入到第一最大池化层中，将第一最大池化层的输出记为其中，1≤mconv1≤mconv1，1≤nconv1≤nconv1，mconv1＝w/2，nconv1＝h/2，表示中坐标位置为(mconv1,nconv1)的像素点的像素值。

a2、输入到第二卷积层中；然后第二卷积层的输出输入到第二最大池化层中，将第二最大池化层的输出记为其中，1≤mconv2≤mconv2，1≤nconv2≤nconv2，mconv2＝mconv1/2，nconv2＝nconv1/2，表示中坐标位置为(mconv2,nconv2)的像素点的像素值。

a3、输入到第三卷积层中；然后第三卷积层的输出输入到第三最大池化层中，第三最大池化层的输出即为其中，1≤mconv3≤mconv3，1≤nconv3≤nconv3，mconv3＝mconv2/2＝w/2³，nconv3＝nc^onv2/2＝h/2³。

在本实施例中，步骤三中，的获取过程为：

b1、将作为输入，输入到第一卷积层中；然后第一卷积层的输出输入到第一最大池化层中，将第一最大池化层的输出记为其中，1≤mconv1≤mconv1，1≤nconv1≤nconv1，mconv1＝w/2，nconv1＝h/2，表示中坐标位置为(mconv1,nconv1)的像素点的像素值。

b2、输入到第二卷积层中；然后第二卷积层的输出输入到第二最大池化层中，将第二最大池化层的输出记为其中，1≤mconv2≤mconv2，1≤nconv2≤nconv2，mconv2＝mconv1/2，nconv2＝nconv1/2，表示中坐标位置为(mconv2,nconv2)的像素点的像素值。

b3、输入到第三卷积层中；然后第三卷积层的输出输入到第三最大池化层中，第三最大池化层的输出即为其中，1≤mconv3≤mconv3，1≤nconv3≤nconv3，mconv3＝mconv2/2＝w/2³，nconv3＝nconv2/2＝h/2³。

步骤四：利用全卷积神经网络提取出和的联合特征图，记为{fdis,fullconv4(m,n)}；其中，全卷积神经网络包括依次设置的第一卷积层、第二卷积层、第三卷积层、第四卷积层，第一卷积层的卷积核的个数为64、卷积核的尺寸大小为3×3，第一卷积层使用的激活函数为relu，第二卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3，第二卷积层使用的激活函数为relu，第三卷积层的卷积核的个数为16、卷积核的尺寸大小为3×3，第三卷积层使用的激活函数为relu，第四卷积层的卷积核的个数为1、卷积核的尺寸大小为3×3，第四卷积层使用的激活函数为relu，1≤m≤m，1≤n≤n，m＝w/2，n＝h/2，fdis,fullconv4(m,n)表示{fdis,fullconv4(m,n)}中坐标位置为(m,n)的像素点的像素值。

在本实施例中，步骤四中，{fdis,fullconv4(m,n)}的获取过程为：

c1、将和作为输入，输入到第一卷积层中，将第一卷积层的输出记为{fdis,fullconv1(m,n)}；其中，fdis,fullconv1(m,n)表示{fdis,fullconv1(m,n)}中坐标位置为(m,n)的像素点的像素值。

c2、{fdis,fullconv1(m,n)}输入到第二卷积层中，将第二卷积层的输出记为{fdis,fullconv2(m,n)}；其中，fdis,fullconv2(m,n)表示{fdis,fullconv2(m,n)}中坐标位置为(m,n)的像素点的像素值。

c3、{fdis,fullconv2(m,n)}输入到第三卷积层中，将第三卷积层的输出记为{fdis,fullconv3(m,n)}；其中，fdis,fullconv3(m,n)表示{fdis,fullconv3(m,n)}中坐标位置为(m,n)的像素点的像素值。

c4、{fdis,fullconv3(m,n)}输入到第四卷积层中，第四卷积层的输出即为{fdis,fullconv4(m,n)}。

步骤五：将{fdis,fullconv4(m,n)}展平为一维向量，作为sdis的特征向量，记为fdis；其中，fdis的维数为1×(m×n)，fdis中的第i个元素为{fdis,fullconv4(m,n)}中的第i个像素点的像素值，i为正整数，1≤i≤(m×n)。

步骤六：选取n幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后采用现有的主观质量评价方法评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为dmosj；再按照步骤一至步骤五的操作，以相同的方式获取训练集中的每幅失真立体图像的特征向量，将训练集中的第j幅失真立体图像的特征向量记为fdis,j；其中，n＞1，如取n＝100，j的初始值为1，j为正整数，1≤j≤n'，n'表示训练集中包含的失真立体图像的总幅数，0≤dmosj≤100，fdis,j的维数为1×(m×n)。

步骤七：深度神经网络(deepneuralnetwork，dnn)是基于人类大脑神经网络设计的机器学习方法，其可以有效地抑制过拟合问题，充分学习特征中所包含的图像信息，因此本发明利用深度神经网络对训练集中的所有失真立体图像各自的主观评分及特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，得到全局最优的深度神经网络模型；其中，深度神经网络包括依次设置的第一全连接层、第二全连接层、第三全连接层，第一全连接层的神经元节点的个数为128、使用的激活函数为relu，第二全连接层的神经元节点的个数为64、使用的激活函数为relu，第三全连接层的神经元节点的个数为1，第三全连接层作为输出层，第三全连接层不使用任何激活函数；

步骤八：利用全局最优的深度神经网络模型对fdis进行预测，预测得到sdis的客观质量评价预测值，记为q，其中，f()为函数表示形式，α2(fdis)表示全局最优的深度神经网络模型中的第二全连接层的输出，α1(fdis)表示全局最优的深度神经网络模型中的第一全连接层的输出，为ω3的转置，ω3表示全局最优的深度神经网络模型中的第三全连接层的权重参数，为ω2的转置，ω2表示全局最优的深度神经网络模型中的第二全连接层的权重参数，为ω1的转置，ω1表示全局最优的深度神经网络模型中的第一全连接层的权重参数，b3表示全局最优的深度神经网络模型中的第三全连接层的偏置参数，b2表示全局最优的深度神经网络模型中的第二全连接层的偏置参数，b1表示全局最优的深度神经网络模型中的第一全连接层的偏置参数。

为了进一步验证本发明方法的可行性和有效性，进行实验。

在此，选用对称失真live立体图像失真库来分析采用本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的pearson相关系数(pearsonlinearcorrelationcoefficient，plcc)、spearman相关系数(spearmanrankordercorrelationcoefficient，srocc)、均方误差(rootmeansquarederror，rmse)，plcc和rmse反映失真立体图像的客观质量评价预测值的准确性，srocc反映其单调性。

采用本发明方法计算对称失真live立体图像失真库中的每幅失真立体图像的客观质量评价预测值，再利用现有的主观质量评价方法获得对称失真live立体图像失真库中的每幅失真立体图像的主观评分。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做五参数logistic函数非线性拟合，plcc和srocc值越高，rmse值越低说明客观评价方法的客观评价结果与主观评分之间的相关性越好。反映本发明方法的质量评价性能的plcc、srocc和rmse相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。

表1采用本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性