基于卷积神经网络的无参考立体图像质量评估方法
【技术领域】
[0001] 本发明涉及一种基于卷积神经网络的无参考立体图像质量评估方法。
【背景技术】
[0002] 近年来随着多媒体技术的迅速发展，3D立体图像以各种形式进入人们的生活，3D 立体图像带来的逼真临场体验与震撼的视觉效果是2D图像无法比拟的。其不仅给人们带 来身临其境的视觉享受，还激起了人们对外界事物的兴趣和认知。与此同时，立体图像的广 泛使用也对立体图象质量评估的算法提出更高的要求。
[0003] 立体图像质量评价在立体图像占有十分重要的地位，它不仅可以评判立体图像中 处理算法的优劣，还能优化和设计算法，提高立体图像处理系统的效率。立体图像质量评价 方法分为主观质量评价和客观质量评价。主观评价方法就是把多名观察者对待评价立体图 像质量的评分进行加权平均的综合评价，其结果符合人眼视觉系统特性，但受到计算不便、 速度慢、成本高等诸多因素限制，嵌入系统难，因而在实际应用中无法得到广泛使用；而客 观质量评价方法则具有操作简单、成本低、易于实现及可以实时优化算法参数等特点，是立 体图像质量评价研究的重点。
[0004] 客观质量评价算法中根据评价过程是否需要参考原始的参考图像可以分为三类： 全参考模型、半参考模型以及无参考模型。
[0005] (1)全参考模型：全参考算法在进行计算时，必须提供原始的未失真的参考图像。 其思路较为简单，但是在实际应用中，很多情况下原始的参考图像很难得到，因此其应用场 合55受到了一定程度的限制。
[0006] (2)半参考模型：半参考模型对参考图像的数量要求不高，只需要提供可以代表 原始参考图像的部分特征信息即可，但仍旧受限于由参考图像所得到的参考信息。
[0007] (3)无参考模型：不依赖于原始参考图像的无参考算法更符合实际应用场景，但 是其实现难度也最大。通常情况下，无参考算法需要对自然图像进行建模，通过某些统计信 息或60者局部特征来得到整幅图像的质量分数。
[0008] 因此，现有的针对图像的评估存在诸多问题，已经不能满足现有的需求，亟需一种 新的算法来实现立体图像质量的评估。
【发明内容】
[0009] 为解决现有技术存在的不足，本发明公开了一种基于卷积神经网络的无参考立体 图像质量评估方法，本发明利用2D图片信息，通过卷积神经网络学习图片特征，从大量复 杂的2D图片中提取关键信息应用于三维立体图像质量评估中。通过对立体图像对中左右 图像进行分别处理，并对左右图像各自的训练过程中得到的高级特征进行回归分析，并在 此使用反向传播进行全局微调，最终通过深度网络的不断学习，得到精确的对立体图像质 量的评估。
[0010] 为实现上述目的，本发明的具体方案如下：
[0011] -种基于卷积神经网络的无参考立体图像质量评估方法，包括以下步骤：
[0012] 选用LIVE 2D数据库中的图片作为训练样本；
[0013] 对2D图像进行预处理：将图片分割为大小相同的图片块，并通过局部规范化方法 进行处理；
[0014] 将预处理得到的图像块输入到深度卷积神经网络，通过卷积池化处理，由此获得 图像块的高级特征，随后利用原图像DMOS分数对神经网络进行BP训练，获得基础模型的网 络层权重和偏置的最优解；
[0015] 选用LIVE 3D数据库中图片作为新的训练样本；
[0016] 根据基础模型训练得到的网络层权重和偏置，构建对应的双输入基本模型，将立 体图像对中左右图像分别经过与2D图像相同的预处理后，将相同位置的图像块同时输入 到基本模型中，得到对应的高级特征向量；
[0017] 利用多层感知机训练学习两组高级特征向量，获得属于此立体图像的图像块质量 分数，最终通过对图像对中所有图像块质量分数的加权平均获得整体图像的质量评估。
[0018] 进一步的，对2D图像的进行预处理时，采用非重叠式分割方法将每个图像分割为 32X32图像块。
[0019] 进一步的，在利用2D图像训练时采用一个的五层单输入卷积神经网络模型，其中 输出层神经元个数为1，即预测的图像质量分数，通过该预测值与给定DMOS求取误差进行 训练。
[0020] 更进一步的，五层单输入卷积神经网络模型其输入为经过预处理的32X32的图 像块，卷积神经网络是通过对输入进行卷积池化运算，由特征map获得特征向量，随后通过 神经网络训练，随机初始化网络权值，采用随机梯度下降算法以及反向传播算法，全局的调 整定位系统参数。
[0021 ] 卷积池化处理时，卷积公式为：.
，其中Mj表示卷积图像大 小，#为卷积核尺寸，#表示卷积层偏置，f( ·)表示卷积算法中激活函数。池化公式为：
和￥分别表示乘性偏置和一个加性偏置，f( ·)表示池化算法 中激活函数。
[0022] 图像块质量分数的获取，以此公式
获得属于此立体图像 的图像块质量分数，式中0,(11)表示节点输出，W]1 (η)和1^分别表示对应的网络层权重和偏 置。
[0023] 在多层感知机训练定位系统参数时，采用了 dropout方法以及momentum方法，其 中设置dropout随机置零的概率为0· 5, momentum公式如下：
[0024]
[0025] 其中Wt表示t次迭代过程中网络权值，ε。为学习率，d表示学习率的衰减值，r s 和^分表表示初始及最终动量（momentums)值，T为控制学习率在不同迭代次数中变化的 阈值。
[0026] 针对立体图像，扩充网络结构，增加一组具有相同的网络权值和偏置的单输入卷 积网络，将两组单输入卷积网络并联连接，达到对立体图像对左右图像进行同时处理，同时 将多层感知机中间层连接，获得对左右视角图像获得的综合特征。特别注意的是，本结构使 属于同一图像对的左右图像对应位置图像块同时进入深度网络，利用已训练好的网络在分 别得到各自质量分数之前得到对应的高级特征向量。
[0027] 在训练时，确保进入网络作为输入的图像块来自同一图像对的左右图像的相同位 置。
[0028] 本发明的有益效果：
[0029] 为了更好地对无参考图像进行质量评估，提出一种新的基于无参考图像的学习立 体图像局部结构信息的卷积神经网络（Convolutional Neural Network, CNN)。选取立体 图像对中图像块作为输入，使得网络可以有效学习到存在于图像局部结构中对人类更敏感 的感知信息，并进行图像质量估计。利用多组卷积池化层，获得对结构的高等级特征表示。 最后利用多层感知机（Multi-layer Perceptron, MLP)对所学习到的高层特征进行进一步 学习并最终得到对立体图像质量的评估分数。针对不同的输入设计两类网络，利用2D图像 的单输入网络获得网络初始值，应用于针对立体图像的双输入网络（左右视角图像）。在 LIVE 3D数据库下进行测试，该无参考评估算法得到了相较于已有质量评估更好的结果。
【附图说明】
[0030] 图la LIVE 2D图像库中的一个图像；
[0031] 图lb LIVE 2D图像库中的另一个图像；
[0032] 图2a LIVE 3D图像库中的一个图像的左视图；
[0033] 图2b LIVE 3D图像库中的一个图像的右视图；
[0034] 图3单输入卷积网络示意图；
[0035] 图4双输入卷积网络示意图。
【具体实施方式】：
[0036] 下面结合附图对本发明进行详细说明：
[0037] 卷积神经网络设计：
[0038] 本文的任务就是通过2D图像寻找图像质量与图像特征之间的内在关系，并应用 于立体图像对中，通过分别获得的左右图像的高级特征利用回归算法获得对立体图像质量 的评估。
[0039] (I) 2D图像的预处理
[0040] 在训练网络以及进行测试的过程中，选用的LIVE 2D数据库中的图片大小多数 为768X512,图片整体进入网络将极大程度影响网络速度以及准确率。考虑到图片中各处 失真程度相同，将原图片分割为大小相同的32 X 32图片块，并通过局部规范化方法进行处 理，这将减弱图片扭曲所带来的影响并提升网络对对比度变化情况下的鲁棒性。
[0041] (2)单输入卷积网络设计
[0042] 将预处理得到的图像块输入到深度卷积神经网络，通过卷积池化处理，获得图像 块的高级特征，随后通过神经网络利用原图像自身质量分数进行BP训练获得基础模型的 参数。
[0043] (3)双输入卷积网络设计
[0044] 通过第一阶段训练获得基本模型，将立体图像对中左右图像分别经过与2D图像 相同的预处理后，将相同位置的图像块同时输入到基本模型中，将最后两组基本模型中得 到的图像块的高级特征利用回归网络进行学习，以寻求新的网络层权重和偏置的最优解， 最后得到双输入卷积神经网络的最优模型。
[0045] 算法实现：
[0046] 图像的预处理：图Ia-图Ib为用于第一阶段训练的LIVE 2D图像库图像，其图 像尺寸大小不一，多为768X512。为解决有图片尺寸问题对后续实验带来的影响，我们采 用非重叠式分割方法将其分割为32X32图像块，并通过灰度化以及局部规范化（Local Normalization)处理图像块，局部规范化公式如下：
[0050] 其中，I (i，j)表示像素所在位置（i，j)的像素值，P、Q表示规范化运算时的窗口 尺寸，C为大于0的常数。