色调映射图像混合视觉特征提取模型建立及质量评价方法

1.本发明属于图像处理技术领域，具体涉及一种色调映射图像混合视觉特征提取模型建立及质量评价方法。


背景技术：

2.随着数字成像技术的发展，高动态范围(high dynamic range,hdr)图像应运而生。由于hdr图像具有宽广的动态范围和丰富的真实场景图像细节，所以其在视频制作、虚拟现实、遥感探测、医疗和军事等领域都有着巨大的应用价值。但是到目前为止hdr显示器并没有普及，现有图像处理系统主要使用的是常规8位显示设备，hdr远远超出了其可以处理的范围。因此，hdr图像在常规显示器上的可视化不可避免地导致图像信息丢失和感知质量下降。为了在标准的8位显示器上可视化hdr图像，已经提出了各种色调映射算子(tmo)将hdr图像转换为低动态范围(high dynamic range，ldr)图像。然而，随着动态范围的转换不可避免地引入了复杂的失真并导致视觉感知质量的下降，因此需要设计一种客观方法来评估色调映射图像(tone
‑
mapped images，tmis)的质量。无参考图像质量评价(no
‑
reference image quality assessment，nriqa)是图像处理领域中一项以设计一种不依赖任何先验知识并能够自动评价图像质量的计算模型为目标的研究任务，其研究成果量化了图像的性能，为图像处理其他领域的研究提供了重要依据。
3.现有的无参考色调映射图像质量评价方法包括两种：第一种旨在设计手工特征描述符，用来提取有效的图像质量退化特征，然后采用非线性回归方法(例如，支持向量回归(support vector regression，svr))将高维特征回归到质量得分。这类方法基于知识驱动，需要根据人眼视觉系统(human visual system，hvs)或自然场景统计(natural scene statistics，nss)特征手工设计特征描述符。然而，设计出能够有效代表无参考图像质量退化的手工特征是比较困难的。
4.由于卷积神经网络(convolutional neural network，cnn)丰富而有效的特征表示能力，有人提出了基于cnn的nriqa，这类方法属于数据驱动。2017年，abhinau等人提出使用迁移学习方法提取色调映射图像的特征，然后使用svr将提取的特征映射到质量分数。2018年，he等人考虑到色调映射图像中存在失真的复杂性，在预测图像质量时应该提取不同尺度和不同层次的信息，因此从预训练的深度卷积神经网络模型中提取多尺度和多层特征构建了一种新的无参考色调映射图像质量评价方法，提高了方法的性能。
5.综上所述，现有的无参考色调映射图像质量评价方法中主要存在以下不足：
6.(1)当前基于数据驱动的方法主要使用迁移学习或预训练的深度神经网络输出特征进行质量预测，但这并未提取tmi的特定特征并充分考虑图像质量退化，从而导致模型的精度不高。
7.(2)忽略了由于动态范围的转变tmi可能会产生光晕效果，这在一定程度上影响图像质量，使得人眼视觉系统的图像不同于现实世界，从而导致模型与人眼主观感知一致性较低。


技术实现要素：

8.本发明的目的在于提供一种基于混合视觉特征的图像质量评价方法、建模方法及系统，用以解决现有技术中的未充分考虑图像质量退化问题导致的评价模型精度不高的问题。
9.为了实现上述任务，本发明采用以下技术方案：
10.色调映射图像混合视觉特征提取模型建立方法，包括如下步骤：
11.步骤1：获取失真图像集和失真图像集中每张失真图像的质量分数，通过sobel算子计算每张失真图像所对应的梯度图像，获得梯度图像集；对失真图像集中每张失真图像和梯度图像集中每张梯度图像分别进行分块，获得失真图像块集和梯度图像块集；令每个失真图像块的质量分数为其分块前所在的失真图像的质量分数；
12.步骤2：建立基于resnet
‑
50的特征提取网络，将失真图像块集作为训练集，将每个失真图像块的质量分数作为标签集，对特征提取网络进行训练，将训练好的特征提取网络作为特征提取器；
13.步骤3：将步骤1获得的失真图像块集和梯度图像块集分别输入步骤2得到的特征提取器进行特征提取，分别得到每张失真图像的多尺度内容特征和初级视觉特征，将每张失真图像的尺度内容特征和初级视觉特征进行特征融合，获得失真图像集中每张失真图像的混合视觉特征；
14.步骤4：建立支持向量回归器，将步骤3获得的所有失真图像的混合视觉特征作为训练集，将所有失真图像的分数作为标签集，每张失真图像的分数为该失真图像所包含的所有失真图像块的质量分数平均值，对支持向量回归器进行训练，将训练好的支持向量回归器作为图像质量模型。
15.进一步的，所述的特征提取网络包括残差块层、卷积层和全局平均池化层，所述的残差块层包括conv1层、conv2层、conv3层、conv4层和conv5层，所述的卷积层包括三个1
×
1的卷积和一个3
×
3的卷积。
16.进一步的，所述的初级视觉特征通过特征提取网络的conv1层提取。
17.色调映射图像质量评价方法，包括如下步骤：
18.步骤一：获取待评价失真图，通过sobel算子计算待评价失真图的梯度图，获得待评价梯度图，分别对待评价失真图和待评价梯度图进行分块，获得待评价失真图像块集和待评价梯度图像块集；
19.步骤二：将待评价失真图像块集和待评价梯度图像块集分别输入采用色调映射图像混合视觉特征提取模型建立方法得到的特征提取器，获得待评价失真图的多尺度内容特征和初级视觉特征，将待评价失真图的多尺度内容特征和初级视觉特征进行特征融合，获得待评价失真图的混合视觉特征；
20.步骤三：将待评价失真图的混合视觉特征输入采用色调映射图像混合视觉特征提取模型建立方法得到的图像质量模型中，获得待评价失真图的质量分数。
21.本发明与现有技术相比具有以下技术特点：
22.(1)本发明结合人类视觉系统中的分层感知机制，在考虑无参考框架设计时利用图像分层退化的特点构建了多尺度特征融合网络，从而更全面地表达图像的失真。
23.(2)本发明结合人眼视觉初级感知特点构建了双支流特征提取模型，即：图像流和
梯度流。输入失真图到图像流提取多尺度内容特征；考虑到tmi可能会产生光晕效果导致图像的边缘失真，因此加入失真图相应的梯度图以提取初级视觉特征，以更好地表达边缘失真信息。
附图说明
24.图1是本发明的方法流程图；
25.图2是本发明建模的框架图；
26.图3是图像质量分层退化示例图；
27.图4是多尺度特征融合网络图；
28.图5是实施例中的失真图及对应的梯度图。
具体实施方式
29.以下给出本发明的具体实施例，需要说明的是：(1)本发明并不局限于以下具体实施例；(2)本发明中对模型进行训练时，需要将数据集划分为训练集和测试集两部分，下述训练集并不是数据集中所有的数据而是部分数据，训练好模型后默认利用测试集进行测试从而获得完整的训练好的模型；(3)本发明的实施例使用python语言实现整个模型的构建。
30.在本实施例中公开了一种色调映射图像混合视觉特征提取模型建立方法，包括如下步骤：
31.步骤1：获取失真图像集和失真图像集中每张失真图像的质量分数，通过sobel算子计算每张失真图像所对应的梯度图像，获得梯度图像集；对失真图像集中每张失真图像和梯度图像集中每张梯度图像分别进行分块，获得失真图像块集和梯度图像块集；令每个失真图像块的质量分数为其分块前所在的失真图像的质量分数；
32.步骤2：建立基于resnet
‑
50的特征提取网络，将失真图像块集作为训练集，将每个失真图像块的质量分数作为标签集，对特征提取网络进行训练，将训练好的特征提取网络作为特征提取器；
33.步骤3：将步骤1获得的失真图像块集和梯度图像块集分别输入步骤2得到的特征提取器进行特征提取，分别得到每张失真图像的多尺度内容特征和初级视觉特征，将每张失真图像的尺度内容特征和初级视觉特征进行特征融合，获得失真图像集中每张失真图像的混合视觉特征；
34.步骤4：建立支持向量回归器，将步骤3获得的所有失真图像的混合视觉特征作为训练集，将所有失真图像的分数作为标签集，每张失真图像的分数为该失真图像所包含的所有失真图像块的质量分数平均值，对支持向量回归器进行训练，将训练好的支持向量回归器作为图像质量模型。
35.具体的，所述的失真图像块集中每两个图像块互相不重叠，所述的梯度图像块集中每两个图像块也互相不重叠，失真图像块集表示为x
i
，梯度图像块集表示为y
i
，i＝1,2,...,n，n为失真图像块集和梯度图像块集中图像块总数。从失真图中裁切多个不重叠的图像块一方面是为了增加数据量，另一方面是由于直接调整图像大小操作会掩盖某些图像伪影，而裁切可确保感知的图像质量不变。
36.具体的，每个失真图像块的质量分数表示为f(x
i
)，每张失真图像的质量分数为其
包含的所有失真图像块分数的平均值表示为m为一张失真图像中的失真图像块总数。
37.具体的，将数据集中的任一张失真图像x在训练阶段包括如下子步骤：
38.1)将失真图像x裁剪为4个不重叠的大小为224*224的失真图像块x1,x2,x3,x4，由于每个失真图像块的质量分数为其所在的失真图像的分数，因此，获取失真图像x的质量分数y，则失真图像块x1,x2,x3,x4的质量分数均为y；
39.2)将x1,x2,x3,x4及其分数{(x1,y),(x2,y),(x3,y),(x4,y)}送入特征提取网络训练模型并提取混合视觉特征，以训练支持向量回归机模型；
40.在测试阶段，给定一张失真图像x'，其真实分数为y'＝3.5，为了验证提出模型的性能，首先将失真图像x'划分为与训练阶段大小一致的图像块x1',x2',x3',x4'，接着对每个失真图像块提取混合视觉特征，然后使用训练好的质量预测模型将提取的混合视觉特征映射到质量分数，得到每个失真图像块的预测分数y1'＝3.35,y2'＝3.61,y3'＝3.44,y4'＝3.52，对4个失真图像块的质量分数求平均作为最终失真图的预测质量分数，即：与给定失真图像的真实标签3.5接近。
41.具体的，所述的特征提取网络包括残差块层、卷积层和全局平均池化层，所述的残差块层包括conv1层、conv2层、conv3层、conv4层和conv5层，所述的卷积层包括三个1
×
1的卷积和一个3
×
3的卷积。
42.特征提取网络是基于视觉感知的分层过程所构建的。首先，使用残差网络resnet
‑
50作为语义特征提取的基础网络，移除resnet
‑
50的最后两层以输出特征流；其次，从resnet
‑
50中conv2，conv3，conv4和conv5这四个残差块中输出多尺度特征；接下来，经过1
×
1卷积以减小通道尺寸，并以2的因子对空间分辨率进行上采样，通过逐元素加法将上采样的特征图与相应的较高尺度的特征图融合。重复此过程，直到生成最高分辨率的特征图；最后，对于得到的特征图使用3
×
3卷积和全局平均池化得到多尺度内容特征。
43.具体的，步骤2中网络建立及特征提取包括如下子步骤：
44.步骤2.1，使用残差网络resnet
‑
50作为语义特征提取的基础网络，将imagenet上的预训练模型作为网络初始化，对resnet
‑
50模型的五个残差块进行可视化，观察到失真会影响不同级别的特征，并从iqa的角度导致图像质量退化；
45.步骤2.2，分别从resnet
‑
50的conv2、conv3、conv4和conv5这四个残差块的最后一层中输出多尺度特征f1、f2、f3、f4；
46.步骤2.3，对输出的多尺度特征经过1
×
1卷积以减小通道尺寸，并以2的因子对空间分辨率进行上采样得到特征图，通过逐元素加法将上采样的特征图与相应的较高尺度的特征图融合，重复此过程，直到生成最高分辨率的特征图；
47.步骤2.4，对于得到的特征图使用3
×
3卷积和全局平均池化得到多尺度内容特征。
48.具体的，步骤1中输入一张失真图像i(i,j)，使用sobel算子对其进行卷积得到梯度图m(i,j)，其中，
49.h
x
和h
y
分别为sobel算子的水平和垂直分量，子的水平和垂直分量，
50.具体的，所述的初级视觉特征f
p
通过特征提取网络的conv1层提取。
51.具体的，步骤3中将每张失真图像的尺度内容特征和初级视觉特征进行特征融合是指：将多尺度内容特征f
m
和初级视觉特征f
p
进行级联即横向拼接，得到特征融合后的混合视觉特征f。
52.具体的，步骤4使用svr将得到的混合视觉特征f映射到人类主观评分mos。
53.具体的，人类主观评分mos为质量分数，其范围依据数据集和评价标准的不同可以为1至100或1
‑
8。
54.在本实施例中还公开了一种色调映射图像质量评价方法，包括如下步骤：
55.步骤一：获取待评价失真图，通过sobel算子计算待评价失真图的梯度图，获得待评价梯度图，分别对待评价失真图和待评价梯度图进行分块，获得待评价失真图像块集和待评价梯度图像块集；
56.步骤二：将待评价失真图像块集和待评价梯度图像块集分别输入采用色调映射图像混合视觉特征提取模型建立方法得到的特征提取器，获得待评价失真图的多尺度内容特征和初级视觉特征，将待评价失真图的多尺度内容特征和初级视觉特征进行特征融合，获得待评价失真图的混合视觉特征；
57.步骤三：将待评价失真图的混合视觉特征输入采用色调映射图像混合视觉特征提取模型建立方法得到的图像质量模型中，获得待评价失真图的质量分数。
58.在本实施例中还公开了一种基于混合视觉特征的图像质量评价系统，包括数据采集与分割单元、特征提取器建立单元、特征融合单元、图像质量模型建立单元和图像质量评分单元；
59.所述的数据采集与分割单元用于获取失真图像集和失真图像集中每张失真图像的质量分数，通过sobel算子计算每张失真图像所对应的梯度图像，获得梯度图像集；对失真图像集中每张失真图像和梯度图像集中每张梯度图像分别进行分块，获得失真图像块集和梯度图像块集；令每个失真图像块的质量分数为其分块前所在的失真图像的质量分数；
60.所述的特征提取器建立单元用于建立基于resnet
‑
50的特征提取网络，将失真图像块集作为训练集，将每个失真图像块的质量分数作为标签集，对特征提取网络进行训练，将训练好的特征提取网络作为特征提取器；
61.所述的特征融合单元用于将数据采集与分割单元获得的失真图像块集和梯度图像块集分别特征提取器进行特征提取，分别得到每张失真图像的多尺度内容特征和初级视觉特征，将每张失真图像的尺度内容特征和初级视觉特征进行特征融合，获得失真图像集中每张失真图像的混合视觉特征；
62.所述的图像质量模型建立单元用于建立支持向量回归器，将特征融合单元获得的失真图像集的所有失真图像的混合视觉特征作为训练集，将所有失真图像的分数作为标签集，每张失真图像的分数为该失真图像所包含的所有失真图像块的质量分数平均值，对支持向量回归器进行训练，将训练好的支持向量回归器作为图像质量模型；
63.所述的图像质量评分单元用于获取待评价失真图，通过数据采集与分割单元获得
待评价失真图像块集和待评价梯度图像块集；将待评价失真图像块集和待评价梯度图像块集分别输入特征提取器，获得待评价失真图的多尺度内容特征和初级视觉特征，将待评价失真图的多尺度内容特征和初级视觉特征进行特征融合，获得待评价失真图的混合视觉特征；还用于将待评价失真图的混合视觉特征输入图像质量模型中，获得待评价失真图的质量分数。
64.实施例1
65.本实施例采用tmid及espl
‑
live两个数据集对本方法的性能进行验证，其中tmid数据集包含120张图像，分为15组，每组包括一个hdr图像和从不同tmo生成的相应8个tmi，tmid数据集中每张失真图像的质量分数的取值范围为1
‑
8。espl
‑
live数据集包含由三种处理算法(包括tm、多曝光融合和后处理)生成的1811幅hdr处理图像，其中747张tmis应用于实验中，espl
‑
live数据集中每张失真图像的质量分数的取值范围为1
‑
100。本实施例提供了一种图像质量评价方法，在上述实施例的基础上公开了如下技术特征：
66.具体的，步骤1中将每张图像划分为多个不重叠且大小相同的图像块，并将每个图像块调整大小为224
×
224以送入多尺度特征融合网络中；
67.本实施例通过实验对比了qac、gm
‑
log、brisque、higrade、chen、abhinau及he等人提出的这七种nriqa方法。实验结果如表1所示，其中spearman相关系数(spearman rank correlation coefficient,srocc)与pearson相关系数(pearson correlation coefficient,plcc)为实验的评价指标，取值为[0,1]，取值越高，说明方法的性能越好。
[0068]
表1不同方法之间的对比结果
[0069][0070]
由表1结果可知，本发明所提出的nriqa方法相比另外七种nriqa方法实现了最优的性能且具有相对稳定的结果。
[0071]
为了进一步证明本发明所提出的创新可以对最终的结果产生有利的影响，本实施例做了相关的消融实验，结果如表2和表3所示。
[0072]
表2单尺度和多尺度特征表示下的性能分析
[0073][0074]
表3单支流和双支流模型下的性能分析
[0075][0076]
表2列出了tmid和espl
‑
live数据集上单尺度特征和多尺度特征表示下的性能。conv2
‑
5表示在特征提取过程中仅提取此模块的特征，f
m
表示多尺度内容特征。从表2可以看出，任意一种尺度单独作用下的结果都低于所有尺度特征共同作用的结果；并且每种尺度的特征对模型都是有效的，都能作为图像质量感知特征。所提出的多尺度模型考虑了分层退化获得了最佳结果。
[0077]
表3列出了tmid和espl
‑
live数据集上单支流和双支流模型下的性能。is表示图像流，ts表示双支流，其中ts_m表示梯度流也使用多尺度内容特征，ts_p表示梯度流使用初级视觉特征。由表3可以看出，将梯度流引入nriqa方法，能够进一步提升方法的性能,并进一步验证了来自初级视觉特征的图像局部结构统计与图像感知质量高度相关。
[0078]
图5展示了不同失真图与其对应的梯度图。图5(a)、(c)、(e)为同一场景不同失真的色调映射图像，图5(b)、(d)、(f)分别为其对应的梯度图。从图中可以发现梯度图清晰地反映了图像的结构成分，如图像的边缘。第一行和第二行的色调映射图像分别出现不同程度的光晕效果，显示了过度曝光，它会丢失图像细节以及颜色信息从而阻碍识别并影响感知质量，第三行的图像看起来更自然并且可以识别，可以发现梯度图可以清晰地展示图像的边缘，反映图像的失真程度。
[0079]
由此，本发明所提出的创新可以对最终的结果产生有利的影响，从而进一步提升色调映射图像质量评价模型的性能。