一种面向视频传输质量的深度学习图像评价方法与流程

本发明涉及图像质量评价领域，尤其涉及一种基于深度学习的图像质量评价方法。

背景技术：

视频图像在传输过程中会因种种原因对最后的传输质量产生较大影响，所以对于图像传输质量的正确评价就显得很重要。现有的图像质量评价技术很多都是依赖人类视觉系统或自然图像统计的计算模型，甚至是人工评价。前者评价分数与人眼主观平均意见分数相关度有时相对较低，容易出现判断不一致的情况；而后者则效率很低，长时间工作容易出现疲劳误差，影响判断准确性，为此寻找一种能高效、准确、智能地评价视频图像传输质量的方法具有重要现实意义。

技术实现要素：

为解决上述技术问题，本发明的目的是提供一种面向视频传输质量的深度学习图像评价方法。

本发明的目的通过以下的技术方案来实现：

一种面向视频传输质量的深度学习图像评价方法，包括：

a构造一对用于评价图像质量的结构相同、权重共享的孪生神经网络，孪生神经网络两端输入尺寸分别为x×y×3的目标图像块和参考图像块，输出特征图像，对特征图像进行特征融合，回归得到评价分数，根据损失函数及数据标签与评价分数，更新网络参数；

b设置孪生神经网络训练超参数，包括学习率learning_rate、学习衰减率decay_rate、最大训练步数max_steps、学习率衰减步数decay_step、批训练量batch_size、训练图像尺寸m×n×3、单张图像采样量sample_num、与数据集的设置；所述数据集包括训练集、验证集与测试集；

c目标图像与参考图像分割成m×n块尺寸符合孪生神经网络输入的目标图像块与参考图像块，并按照横向每km个图像块取1个、纵向每kn个图像块取1个的方式对目标图像与参考图像降采样；

d完成神经网络训练，得到训练模型，实际部署后即可实时评价视频流输入的目标图像质量。

与现有技术相比，本发明具有如下优点：

能高效、准确、智能地评价视频图像传输质量的方法具有重要现实意义。

附图说明

图1是面向视频传输质量的深度学习图像评价方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。

如图1所示，为面向视频传输质量的深度学习图像评价方法流程，包括以下步骤：

步骤10构造一对用于评价图像质量的结构相同、权重共享的孪生神经网络，孪生神经网络两端输入分别为尺寸为x×y×3的目标图像块和参考图像块，输出为特征图像，之后对特征图像进行特征融合，回归得到评价分数，根据损失函数和数据标签、评价分数，更新网络参数；

步骤20设置孪生神经网络训练超参数，包括学习率learning_rate、学习衰减率decay_rate、最大训练步数max_steps、学习率衰减步数decay_step、批训练量batch_size、训练图像尺寸m×n×3、单张图像采样量sample_num、数据集(训练集、验证集、测试集)设置等；

步骤30目标图像与参考图像分割成m×n块尺寸符合孪生神经网络输入的目标图像与参考图像块，并按照横向每km个图像块取1个、纵向每kn个图像块取1个的方式对目标图像与参考图像降采样；

步骤40完成神经网络训练，得到训练模型，实际部署后即可实时评价视频流输入的目标图像质量；

上述步骤10具体包括：图像块尺寸为64×64×3，孪生神经网络由卷积层、池化层、特征融合、全连接层组成。卷积层采用激活函数为relu函数，卷积核大小均为3×3，每次卷积前对特征图像进行边界填充，第1个卷积层输出16张特征图像，每2次卷积输出特征图像进行1次池化、下次卷积输出数量乘2，总共进行12次卷积操作。池化层采用最大池化，池化核大小为2×2，步长为2×2。假设参考图像池化后特征图像为ireference、目标图像池化后特征图像为itarget，两者尺寸为1×1×512×sample_num，将ireference-itarget得idifference，对三者按第二维度进行数据合并得到尺寸为1×3×512×sample_num的ifeature，完成特征融合。全连接层包含两层，第一层输入为大小3×512×sample_num，输出大小为512×sample_num；第二层输入大小为512×sample_num，输出大小为sample_num。

上述步骤10具体包括：通过孪生神经网络生成目标图像块的质量分数q、权重w、偏置b，并对权重归一化得到w′：

计算偏置平均值得到b′：

由此计算出目标图像质量评价分数为：

上述步骤10具体包括：数据集中目标图像质量标签为q，单次训练包含batch_size次图像质量评价，单次训练评价分数和标签向量分别和q，则其损失函数loss为：

单次训练结束后根据损失函数，利用随机梯度下降算法更新孪生神经网络的参数。

上述步骤20具体包括：learning_rate设置为0.001，decay_step设置为1000步，decay_rate设置为0.9每decay_step，max_steps设置为200000步，batch_size设置为10，训练图像尺寸为512×384×3，由于图像块尺寸为64×64×3，故可分成8×6个小图像块，再按每行2个取一个，每列2个取1个方式，故sample_num设置为4×3＝12块，训练集、验证集、测试集按照数据集60％，20％，20％比例随机抽取组成。

上述步骤30具体包括：每行、每列图像块数量m，n计算方法为：

其中div为相除取整，mod为相除取余。

用pi,j表示第i行、第j列个图像块，il:r,u:d,:表示图像ireference或itarget上第l行至第r行，第u列至第d列之间的区域，则pi,j为：

上述步骤30具体包括：根据m、n、km、kn，可以计算出sample_num：

sample_num＝(mdivkm)×(ndivkn)

选取的图像块为：

pi,jif1≤i≤n,1≤j≤m,(i-1)modkn＝0,(j-1)modkm＝0。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。