基于边缘特征引导的无参考屏幕内容图像质量评估方法

1.本发明涉及图像处理以及计算机视觉技术领域，特别是基于边缘特征引导的无参考屏幕内容图像质量评估方法。


背景技术：

2.近年来，随着多媒体技术和云计算的快速发展，以及日常生活中各种终端设备的广泛使用，由此产生的大量屏幕内容图像受到了人们的广泛关注。与从真实场景中拍摄的传统自然图像不同，屏幕内容图像是一种通过计算机生成的同时包含文本与图像信息的数据类型，其包含了文本、表格、图形和动画等各种多媒体形式。通常屏幕内容图像在采集、压缩、传输、编码和显示等过程中不可避免地会受到各种失真因素的干扰，从而使得图像质量呈现不同程度的退化，最终影响到用户体验和系统的交互性能。因此，在屏幕内容图像的各种处理应用场景中为其设计行之有效的质量评价方法具有重要的意义。
3.依据质量评价过程中有无人为参与的角度区分，传统的屏幕内容图像质量评价方法可以分为主观质量评价和客观质量评价两大类。主观质量评价由人作为观测者直接对图像的质量进行评分，这种方法依赖于人的主观视觉感知，因此其得到的结果是最为准确和真实的，但同时主观质量评价也存在成本高、耗时长等缺点，并且因其不具备自动评分的能力，往往难以投入到实际的生产应用中。而客观质量评价方法则是由计算机按照人为设计的算法来自动量化图像以及视频的特征信息，从而计算得到相应的质量评估分数，该过程不存在人为因素的干扰。根据客观质量评价过程中所需参考图像信息量的差异，客观质量评价方法又能够进一步细分为全参考、半参考和无参考三类方法，这三类方法对参考图像信息量的依赖等级依次降低。由于现实场景中往往难以获取无失真的参考图像，因而其中的无参考方法具有更强的实用性与发展前景。
4.随着深度学习技术的不断发展，出现了许多基于卷积神经网络的屏幕内容图像质量评估模型。研究表明，基于深度神经网络的图像质量评价模型的预测性能远远高于传统的质量评估方法，同时利用卷积神经网络进行特征提取可以打破无参考图像质量评估针对于特定失真类型的局限性。通常情况下，采用卷积神经网络的质量评估模型大多是通过增加网络的深度从而获得更好的训练结果，但是随着网络深度的不断加深，所造成的图像细节信息退化问题往往难以避免，而由于屏幕内容图像来源的特殊性，它通常具有较强的边缘特征，因此，如何提取失真图像浅层显著的边缘结构信息，并有效融合到卷积神经网络中从而为模型训练提供额外的信息增益具有重要意义。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于边缘特征引导的无参考屏幕内容图像质量评估方法，该方法可以通过失真图像对应的边缘结构特征为线索引导网络更好地关注边缘信息，由浅至深，多层次地对图像特征进行综合性提取学习。从整体上看，该方法既可以通过不同深度的网络有效提取屏幕内容图像低层的细节信息和深层的语义信息，又能通
过边缘结构图对图像的浅层边缘信息作为补充，弥补了卷积神经网络在屏幕内容图像在特征提取上的缺陷，提高了无参考屏幕内容图像质量评估方法的性能。
6.为实现上述目的，本发明采用如下技术方案：基于边缘特征引导的无参考屏幕内容图像质量评估方法，包括以下步骤：
7.步骤s1、首先利用高斯拉普拉斯算子生成对应失真屏幕内容图像数据集的边缘结构图数据集，然后对两个数据集进行相同的数据预处理，并划分为训练集和测试集；
8.步骤s2、设计多尺度边缘特征引导网络，首先提取失真屏幕内容图像的多级特征，然后通过多个边缘引导特征模块将来自边缘结构图的浅层特征信息分别与多级主干特征进行自适应集成；
9.步骤s3、设计位置注意力模块，形成不同尺度特征的全局信息表示；
10.步骤s4、设计渐进式特征融合模块，该模块通过自顶向下的方式逐步聚合各个尺度的特征，以形成失真图像的多尺度特征表示；
11.步骤s5、设计基于边缘特征引导的图像质量评估网络，并进行训练得到无参考屏幕内容图像质量评估模型；
12.步骤s6、将待测失真图像和对应的边缘结构图输入到训练好的基于边缘特征引导的图像质量评估模型，输出失真图像的质量评估分数。
13.在一较佳的实施例中，所述步骤s1具体包括以下步骤：
14.步骤s11、将失真屏幕内容图像数据集中的每一幅失真图像i转换为灰度图g，然后构建卷积核大小为13
×
13、标准差为1的高斯拉普拉斯卷积核，利用所述卷积核对灰度图g进行卷积运算，生成中间结果图g
′
；
15.步骤s12、对步骤s11得到的中间结果图g
′
进行阈值化处理，将像素值大于指定阈值的像素点确定为边缘点，设置边缘点的值为255，设置像素值小于等于指定阈值的像素点的值为0，从而生成每一幅失真图像i对应的边缘结构图i
edge
；
16.步骤s13、重复步骤s11、步骤s12，得到与失真屏幕内容图像数据集相对应的边缘结构图数据集；然后对两个数据集中的图像进行统一的随机裁剪、水平随机翻转以及归一化处理，并将两个数据集按照统一的方式划分为训练集与测试集，即两个数据集中相对应的图像同属于训练集或同属于测试集。
17.在一较佳的实施例中，所述步骤s2具体包括以下步骤：
18.步骤s21、以res2net-50作为主干网络，对输入大小为h
×w×
3的失真屏幕内容图像i进行多尺度的特征提取；由于浅层网络提取的低级图像特征包含丰富的边缘细节信息，而深层网络提取的高级图像特征包含较多的语义位置信息，因此取失真图像i经过主干网络res2net-50中四个阶段输出的特征图作为失真图像的多级主干特征；具体地，分别记失真图像i经过第一阶段、第二阶段、第三阶段和第四阶段输出的特征图为f1、f2、f3和f4，其中特征图f1的大小为特征图f2的大小为特征图f3的大小为特征图f4的大小为
19.步骤s22、取输入失真图像i对应的边缘结构图i
edge
，其大小为h
×w×
1，将其输入到一个残差模块中提取浅层特征信息，残差模块由一个卷积核大小为3
×
3的卷积层、relu激活函数以及sigmoid激活函数组成；该模块不改变输入特征的大小，从而保留更多的细节
边缘信息，具体的计算公式如下：
[0020][0021]
其中，conv(*)表示一个卷积核大小为3
×
3的卷积层，表示矩阵加法运算，relu(
·
)表示relu激活函数，sigmoid(
·
)表示sigmoid激活函数，f
edge
表示经过残差模块后得到的特征图，其大小为h
×w×
1；
[0022]
步骤s23、设计特征融合子模块，该模块由一个卷积核大小为3
×
3的卷积层以及双线性差值下采样层组成；记该模块输入的两个特征图为fa和fb，其中特征图fa的大小为ha×
wa×
ca，特征图fb的大小为hb×
wb×
1；具体地，首先将特征图fb输入到双线性差值下采样层中，得到中间特征图fb′
，其维度大小为ha×
wa×
1，与输入的特征图fa具有相同的高度和宽度；然后将得到的中间特征图fb′
与特征图fa进行逐元素相乘，并通过残差连接与输入的特征图fa进行相加，得到中间特征图fb，其大小为ha×
wa×
ca；最后再将特征图fb″
输入到一个卷积核大小为3
×
3的卷积层中，得到特征融合子模块的输出特征fc，其大小为ha×
wa×
ca，与输入特征图fa的维度相同；具体计算公式如下：
[0023]
fb′
＝d(fb)
[0024][0025]
fc＝conv(fb″
)
[0026]
其中，conv(*)表示一个卷积核大小为3
×
3的卷积层，
“⊙”
表示逐元素相乘运算，表示矩阵加法运算，d(*)表示双线性差值下采样层，fb和fb″
表示特征融合子模块的中间特征图，fc表示特征融合子模块的输出特征；
[0027]
步骤s24、设计局部通道注意力子模块，用以增强特征表示，获取输入特征的关键特征通道信息；该模块由一个卷积核大小为3
×
3的一维卷积层、一个卷积核大小为1
×
1的二维卷积层以及sigmoid激活函数组成；记该模块输入的特征图为fd，其大小为h
×w×
c；具体地，首先使用全局平均池化操作来聚合输入特征fd，然后通过一维卷积和sigmoid函数获得相应的通道注意力权重，接着将通道注意力权重与输入特征fd进行逐元素相乘，最后通过卷积核大小为1
×
1的卷积层来减少通道数，从而获得局部通道注意力子模块的最终输出fd′
，其大小为具体计算公式如下：
[0028]
fd′
＝conv2(sigmoid(conv1(gap(fd)))
⊙
fd)
[0029]
其中，gap(*)表示全局平均池化操作，conv1(*)表示卷积核大小为3
×
3的一维卷积层，conv2(*)表示卷积核大小为1
×
1的二维卷积层，
“⊙”
表示逐元素相乘运算，sigmoid(
·
)表示sigmoid激活函数，fd′
表示局部通道注意力子模块的输出特征；
[0030]
步骤s25、设计边缘引导特征模块，该模块由步骤s23所述的特征融合子模块与步骤s24所述的局部通道注意力子模块串行连接组成；
[0031]
步骤s26、使用步骤s25设计的边缘引导特征模块将来自边缘结构图的浅层特征信息与失真图像的多级主干特征进行自适应集成，从而增强失真屏幕内容图像的边缘信息表示，引导网络更好地关注边缘信息；具体地，将经过步骤s21得到的失真图像的多级主干特征fi，i＝1，2，3，4，以及经过步骤s22得到的边缘结构特征f
edge
分别输入到四个边缘引导特
征模块中，得到融合浅层边缘特征信息的多级主干特征其中特征图的大小为特征图的大小为特征图的大小为特征图的大小为c
′
＝64；
[0032]
在一较佳的实施例中，所述步骤s3中，设计位置注意力模块，形成不同尺度特征的全局信息表示；包括以下步骤：
[0033]
步骤s31、设计位置注意力模块，该模块由三个卷积核大小为1
×
1的卷积层以及softmax函数组成；记该模块输入的特征图为f
p
，其大小为h
×w×
c；具体地，首先将特征图f
p
输入到三个卷积核大小为1
×
1的卷积层中，生成三个新的中间特征图fq、fk和fv；然后对中间特征图fq、fk和fv进行维度变换操作改变特征维度，其维度大小均由h
×w×
c变为c
×
n，其中n＝h
×
w；之后，在特征图fk和fq的转置之间执行矩阵乘法运算，并运用softmax函数来生成空间注意力图s，其大小为n
×
n；然后在中间特征图fv与空间注意力图s二者之间进行矩阵乘法运算，得到二维特征矩阵si，其大小为c
×
n，接着通过维度变换操作改变特征维度，其维度大小由c
×
n变为h
×w×
c，最后将特征si乘以比例参数α，并通过残差连接与输入的特征图f
p
进行相加，从而获得位置注意力模块的最终输出f
′
；具体的计算公式如下：
[0034]fq
＝resh ape(conv1(f
p
))
[0035]fk
＝resh ape(conv2(f
p
))
[0036]
fv＝resh ape(conv3(f
p
))
[0037][0038][0039][0040]
其中，conv1(*)、conv2(*)和conv3(*)表示三个卷积核大小为1
×
1的卷积层，resh ape(
·
)表示维度变换操作，soffmax(
·
)表示soffmax函数，transpose(
·
)表示二维矩阵的转置操作，表示矩阵乘法运算，表示矩阵加法运算，α表示融合的比例参数，f
′
表示位置注意力模块的输出特征，其大小为h
×w×
c，与输入特征图f
p
的维度相同；
[0041]
步骤s32、使用步骤s31设计的位置注意力模块对输入特征的丰富上下文关系进行建模，从而增强其表示能力；具体地，首先将经过步骤s26得到的融合浅层边缘特征信息的多级主干特征f
ia
(i＝1，2，3，4)分别输入到四个位置注意力模块中，得到具有全局上下文信息的多级主干特征fi′
(i＝1，2，3，4)，其中位置注意力模块输出的特征fi′
与输入的多级主干特征维度大小相同。
[0042]
4.根据权利要求1所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤s4具体包括以下步骤：
[0043]
步骤s41、将经过步骤s32得到的第一级主干特征f1′
输入到一个卷积核大小为3
×
3的卷积层中，调整特征图f1′
的宽度和高度至原来的一半，具体的计算公式如下：
[0044][0045]
其中，conv1_1(*)表示一个卷积核大小为3
×
3的卷积层，表示第一级主干特征
f1′
经过卷积层后的输出，其大小为
[0046]
步骤s42、将经过步骤s32得到的第二级主干特征f2′
输入到一个卷积核大小为3
×
3的卷积层中，得到特征其维度大小与f2′
相同；然后将经过步骤s41得到的特征与特征输入到上下文聚合子模块中，以融合来自不同尺度的特征；上下文聚合子模块由一个卷积核大小为1
×
1的卷积层、批归一化层和relu激活函数组成；最后再将融合后的特征输入到一个卷积核大小为3
×
3的卷积层中，调整特征图的宽度和高度至原来的一半，具体的计算公式如下：
[0047][0048][0049][0050]
其中，conv2_1(*)和conv2_3(*)表示两个卷积核大小为3
×
3的卷积层，conv2_2(*)表示一个卷积核大小为1
×
1的卷积层，表示矩阵加法运算，bn(*)表示批归一化操作，relu(
·
)表示relu激活函数，表示第二级主干特征f2′
经过两个卷积层以及上下文聚合子模块后的输出，其大小为
[0051]
步骤s43、将经过步骤s32得到的第三级主干特征f3′
输入到一个卷积核大小为3
×
3的卷积层中，得到特征其维度大小与f3′
相同；然后将经过步骤s42得到的特征与特征输入到上述的上下文聚合子模块中，得到融合后的特征最后再将特征输入到一个卷积核大小为3
×
3的卷积层中，调整特征图的宽度和高度至原来的一半，具体的计算公式如下：
[0052][0053][0054][0055]
其中，conv3_1(*)和conv3_3(*)表示两个卷积核大小为3
×
3的卷积层，conv3_2(*)表示卷积核大小为1
×
1的卷积层，表示矩阵加法运算，bn(*)表示批归一化操作，relu(
·
)表示relu激活函数，表示第三级主干特征f3′
经过两个卷积层以及上下文聚合子模块后的输出，其大小为
[0056]
步骤s44、将经过步骤s32得到的第四级主干特征f4输入到一个卷积核大小为3
×
3的卷积层中，得到特征其维度大小与f4′
相同；然后将经过步骤s43得到的特征与特征输入到上述的上下文聚合子模块中，得到融合后的特征最后再将特征输入到一个卷积核大小为3
×
3的卷积层中，调整特征图的宽度和高度至原来的一半，具体的计算公式如下：
[0057][0058][0059][0060]
其中，conv4_1(*)和conv4_3(*)表示两个卷积核大小为3
×
3的卷积层，conv4_2(*)表示卷积核大小为1
×
1的卷积层，表示矩阵加法运算，bn(*)表示批归一化操作，relu(
·
)表示relu激活函数，表示第四级主干特征f4′
经过两个卷积层以及上下文聚合子模块后的输出，其大小为
[0061]
步骤s45、对经过步骤s41得到的特征向量经过步骤s42得到的特征向量经过步骤s43得到的特征向量以及经过步骤s44得到的特征向量进行特征融合，形成输入失真图像的多尺度特征表示；具体地，对特征向量进行全局平均池化操作，其维度大小由变为1
×1×c′
；对特征向量进行全局平均池化操作，其维度大小由变为1
×1×
2c
′
；对特征向量进行全局平均池化操作，其维度大小由变为1
×1×
4c
′
；对特征向量进行全局平均池化操作，其维度大小由变为1
×1×
8c
′
，然后将执行全局平均池化操作后的特征向量以及沿通道进行拼接，得到输入失真图像的多尺度特征表示，其大小为1
×1×
15c
′
，计算公式如下：
[0062][0063]
其中，concat(
·
)表示特征的拼接操作，gap(*)表示全局平均池化操作，f表示输入失真图像的多尺度特征表示。
[0064]
在一较佳的实施例中，所述步骤s5具体包括以下步骤：
[0065]
步骤s51、将经过步骤s45得到的输入失真图像的多尺度编码表示f输入到全连接层mlp中，以获得失真图像的质量评价分数f
score
，其计算公式为：
[0066]fscore
＝mlp(f)
[0067]
步骤s52、设计基于边缘特征引导的图像质量评估网络的损失函数如下：
[0068][0069]
其中，m为每个训练批次中的样本个数，yi表示第i个图像样本的真实质量分数，表示第i个图像样本经过网络得到的预测质量分数；
[0070]
步骤s53、以批次为单位重复上述步骤s51至步骤s52，直至步骤s52中计算得到的损失值收敛并趋于稳定，保存网络参数，完成基于边缘特征引导的图像质量评估网络的训练过程，得到基于边缘特征引导的图像质量评估模型。
[0071]
在一较佳的实施例中，所述步骤s6具体包括以下步骤：
[0072]
步骤sδ1、将测试集中的失真屏幕内容图像和对应的边缘结构图输入到训练好的基于边缘特征引导的图像质量评估模型中，输出相应的质量评估分数。
[0073]
与现有技术相比，本发明具有以下有益效果：本发明的目标在于解决基于卷积神经网络的屏幕内容图像质量评估模型在图像特征提取过程中由于网络层数加深造成的浅层边缘信息退化的问题，通过失真图像对应的边缘结构图特征为线索引导网络更好地关注边缘信息，由浅至深，多层次地对图像特征进行综合性提取学习，可提高无参考屏幕内容图像质量评估模型的性能。本发明提出了一种基于边缘特征引导的无参考屏幕内容图像质量评估方法，该方法既可以通过不同深度的网络有效提取屏幕内容图像低层的细节信息和深层的语义信息，又能通过边缘结构图对图像的浅层边缘信息进行补充，从而准确有效地预测失真屏幕内容图像的质量评估分数。
附图说明
[0074]
图1为本发明优选实施例的方法流程图。
[0075]
图2为本发明优选实施例的网络模型结构图。
[0076]
图3为本发明优选实施例的边缘引导特征模块结构图。
[0077]
图4为本发明优选实施例的位置注意力模块结构图。
[0078]
图5位本发明优选实施例的渐进式特征融合模块中上下文聚合子模块的结构图
具体实施方式
[0079]
下面结合附图及实施例对本发明做进一步说明。
[0080]
应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0081]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0082]
本发明提供一种基于边缘特征引导的无参考屏幕内容图像质量评估方法，如图1-5所示，包括以下步骤：
[0083]
步骤s1、首先利用高斯拉普拉斯算子生成对应失真屏幕内容图像数据集的边缘结构图数据集，然后对两个数据集进行相同的数据预处理，并划分为训练集和测试集；
[0084]
步骤s2、设计多尺度边缘特征引导网络，首先提取失真屏幕内容图像的多级特征，然后通过多个边缘引导特征模块将来自边缘结构图的浅层特征信息分别与多级主干特征进行自适应集成；
[0085]
步骤s3、设计位置注意力模块，形成不同尺度特征的全局信息表示；
[0086]
步骤s4、设计渐进式特征融合模块，该模块通过自顶向下的方式逐步聚合各个尺度的特征，以形成失真图像的多尺度特征表示；
[0087]
步骤s5、将设计基于边缘特征引导的图像质量评估网络，并进行训练得到无参考屏幕内容图像质量评估模型；
[0088]
步骤s6、将待测失真图像和对应的边缘结构图输入到训练好的基于边缘特征引导的图像质量评估模型，输出失真图像的质量评估分数。
[0089]
进一步地，步骤s1包括以下步骤：
[0090]
步骤s11、将失真屏幕内容图像数据集中的每一幅失真图像i转换为灰度图g，然后构建卷积核大小为13
×
13、标准差为1的高斯拉普拉斯卷积核，利用所述卷积核对灰度图g进行卷积运算，生成中间结果图g
′
；
[0091]
步骤s12、对步骤s11得到的中间结果图g
′
进行阈值化处理，将像素值大于指定阈值的像素点确定为边缘点，设置边缘点的值为255，设置像素值小于等于指定阈值的像素点的值为0，从而生成每一幅失真图像i对应的边缘结构图i
edge
；
[0092]
步骤s13、重复步骤s11、步骤s12，得到与失真屏幕内容图像数据集相对应的边缘结构图数据集。然后对两个数据集中的图像进行统一的随机裁剪、水平随机翻转以及归一化处理，并将两个数据集按照统一的方式划分为训练集与测试集，即两个数据集中相对应的图像同属于训练集或同属于测试集。
[0093]
进一步地，步骤s2包括以下步骤：
[0094]
步骤s21、以res2net-50作为主干网络，对输入大小为h
×w×
3的失真屏幕内容图像i进行多尺度的特征提取。由于浅层网络提取的低级图像特征包含丰富的边缘细节信息，而深层网络提取的高级图像特征包含较多的语义位置信息，因此取失真图像i经过主干网络res2net-50中四个阶段输出的特征图作为失真图像的多级主干特征。具体地，分别记失真图像i经过第一阶段、第二阶段、第三阶段和第四阶段输出的特征图为f1、f2、f3和f4，其中特征图f1的大小为特征图f2的大小为特征图f3的大小为特征图f4的大小为
[0095]
步骤s22、取输入失真图像i对应的边缘结构图i
edge
，其大小为h
×w×
1，将其输入到一个残差模块中提取浅层特征信息，残差模块由一个卷积核大小为3
×
3的卷积层、relu激活函数以及sigmoid激活函数组成。该模块不改变输入特征的大小，从而保留更多的细节边缘信息，具体的计算公式如下：
[0096][0097]
其中，conv(*)表示一个卷积核大小为3
×
3的卷积层，表示矩阵加法运算，relu(
·
)表示relu激活函数，sigmoid(
·
)表示sigmoid激活函数，f
edge
表示经过残差模块后得到的特征图，其大小为h
×w×
1；
[0098]
步骤s23、设计特征融合子模块，该模块由一个卷积核大小为3
×
3的卷积层以及双线性差值下采样层组成。记该模块输入的两个特征图为fa和fb，其中特征图fa的大小为ha×
wa×
ca，特征图fb的大小为hb×
wb×
1。具体地，首先将特征图fb输入到双线性差值下采样层中，得到中间特征图f
′b，其维度大小为ha×
wa×
1，与输入的特征图fa具有相同的高度和宽度；然后将得到的中间特征图f
′b与特征图fa进行逐元素相乘，并通过残差连接与输入的特征图fa进行相加，得到中间特征图f
″b，其大小为ha×
wa×
ca；最后再将特征图f
″b输入到一个卷积核大小为3
×
3的卷积层中，得到特征融合子模块的输出特征fc，其大小为ha×
wa×
ca，与输入特征图fa的维度相同。具体计算公式如下：
[0099]f′b＝d(fb)
[0100][0101]
fc＝conv(f
″b)
[0102]
其中，conv(*)表示一个卷积核大小为3
×
3的卷积层，
“⊙”
表示逐元素相乘运算，表示矩阵加法运算，d(*)表示双线性差值下采样层，f
′b和f
″b表示特征融合子模块的中间特征图，fc表示特征融合子模块的输出特征；
[0103]
步骤s24、设计局部通道注意力子模块，用以增强特征表示，获取输入特征的关键特征通道信息。该模块由一个卷积核大小为3
×
3的一维卷积层、一个卷积核大小为1
×
1的二维卷积层以及sigmoid激活函数组成。记该模块输入的特征图为fd，其大小为h
×w×
c。具体地，首先使用全局平均池化操作来聚合输入特征fd，然后通过一维卷积和sigmoid函数获得相应的通道注意力权重，接着将通道注意力权重与输入特征fd进行逐元素相乘，最后通过卷积核大小为1
×
1的卷积层来减少通道数，从而获得局部通道注意力子模块的最终输出f
′d，其大小为具体计算公式如下：
[0104]f′d＝conv2(sigmoid(conv1(gap(fd)))
⊙
fd)
[0105]
其中，gap(*)表示全局平均池化操作，conv1(*)表示卷积核大小为3
×
3的一维卷积层，conv2(*)表示卷积核大小为1
×
1的二维卷积层，
“⊙”
表示逐元素相乘运算，sigmoid(
·
)表示sigmoid激活函数，f
′d表示局部通道注意力子模块的输出特征；
[0106]
步骤s25、设计边缘引导特征模块，该模块由步骤s23所述的特征融合子模块与步骤s24所述的局部通道注意力子模块串行连接组成；
[0107]
步骤s26、使用步骤s25设计的边缘引导特征模块将来自边缘结构图的浅层特征信息与失真图像的多级主干特征进行自适应集成，从而增强失真屏幕内容图像的边缘信息表示，引导网络更好地关注边缘信息。具体地，将经过步骤s21得到的失真图像的多级主干特征fi(i＝1，2，3，4)以及经过步骤s22得到的边缘结构特征f
edge
分别输入到四个边缘引导特征模块中，得到融合浅层边缘特征信息的多级主干特征其中特征图的大小为特征图的大小为特征图的大小为特征图的大小为
[0108]
进一步地，步骤s3包括以下步骤：
[0109]
步骤s31、设计位置注意力模块，该模块由三个卷积核大小为1
×
1的卷积层以及softmax函数组成。记该模块输入的特征图为f
p
，其大小为h
×w×
c。具体地，首先将特征图f
p
输入到三个卷积核大小为1
×
1的卷积层中，生成三个新的中间特征图fq、fk和fv；然后对中间特征图fq、fk和fv进行维度变换操作改变特征维度，其维度大小均由h
×w×
c变为c
×
n(其中n＝h
×
w)。之后，在特征图fk和fq的转置之间执行矩阵乘法运算，并运用softmax函数来生成空间注意力图s，其大小为n
×
n。然后在中间特征图fv与空间注意力图s二者之间进行矩阵乘法运算，得到二维特征矩阵si，其大小为c
×
n，接着通过维度变换操作改变特征维度，其维度大小由c
×
n变为h
×w×
c，最后将特征si乘以比例参数α，并通过残差连接与输入的特征图f
p
进行相加，从而获得位置注意力模块的最终输出f
′
。具体的计算公式如下：
[0110]fq
＝reshape(conv1(f
p
))
[0111]fk
＝reshape(conv2(f
p
))
[0112]
fv＝reshape(conv3(f
p
))
[0113][0114][0115][0116]
其中，conv1(*)、conv2(*)和conv3(*)表示三个卷积核大小为1
×
1的卷积层，reshape(
·
)表示维度变换操作，softmax(
·
)表示softmax函数，transpose(
·
)表示二维矩阵的转置操作，表示矩阵乘法运算，表示矩阵加法运算，α表示融合的比例参数，f
′
表示位置注意力模块的输出特征，其大小为h
×w×
c，与输入特征图f
p
的维度相同；
[0117]
步骤s32、使用步骤s31设计的位置注意力模块对输入特征的丰富上下文关系进行建模，从而增强其表示能力。具体地，首先将经过步骤s26得到的融合浅层边缘特征信息的多级主干特征分别输入到四个位置注意力模块中，得到具有全局上下文信息的多级主干特征f
′i(i＝1，2，3，4)，其中位置注意力模块输出的特征f
′i与输入的多级主干特征维度大小相同。
[0118]
进一步地，步骤s4包括以下步骤：
[0119]
步骤s41、将经过步骤s32得到的第一级主干特征f
′1输入到一个卷积核大小为3
×
3的卷积层中，调整特征图f
′1的宽度和高度至原来的一半，具体的计算公式如下：
[0120][0121]
其中，conv1_1(*)表示一个卷积核大小为3
×
3的卷积层，表示第一级主干特征f
′1经过卷积层后的输出，其大小为
[0122]
步骤s42、将经过步骤s32得到的第二级主干特征f
′2输入到一个卷积核大小为3
×
3的卷积层中，得到特征其维度大小与f
′2相同；然后将经过步骤s41得到的特征与特征输入到上下文聚合子模块中，以融合来自不同尺度的特征。上下文聚合子模块由一个卷积核大小为1
×
1的卷积层、批归一化层和relu激活函数组成。最后再将融合后的特征输入到一个卷积核大小为3
×
3的卷积层中，调整特征图的宽度和高度至原来的一半，具体的计算公式如下：
[0123][0124][0125][0126]
其中，conv2_1(*)和conv2_3(*)表示两个卷积核大小为3
×
3的卷积层，conv2_2(*)表示一个卷积核大小为1
×
1的卷积层，表示矩阵加法运算，bn(*)表示批归一化操作，relu(
·
)表示relu激活函数，表示第二级主干特征f
′2经过两个卷积层以及上下文聚合子模块后的输出，其大小为
[0127]
步骤s43、将经过步骤s32得到的第三级主干特征f
′3输入到一个卷积核大小为3
×
3的卷积层中，得到特征其维度大小与f
′3相同；然后将经过步骤s42得到的特征与特征输入到上述的上下文聚合子模块中，得到融合后的特征最后再将特征输入到一个卷积核大小为3
×
3的卷积层中，调整特征图的宽度和高度至原来的一半，具体的计算公式如下：
[0128][0129][0130][0131]
其中，conv3_1(*)和conv3_3(*)表示两个卷积核大小为3
×
3的卷积层，conv3_2(*)表示卷积核大小为1
×
1的卷积层，表示矩阵加法运算，bn(*)表示批归一化操作，relu(
·
)表示relu激活函数，表示第三级主干特征f
′3经过两个卷积层以及上下文聚合子模块后的输出，其大小为
[0132]
步骤s44、将经过步骤s32得到的第四级主干特征f
′4输入到一个卷积核大小为3
×
3的卷积层中，得到特征其维度大小与f
′4相同；然后将经过步骤s43得到的特征与特征输入到上述的上下文聚合子模块中，得到融合后的特征最后再将特征输入到一个卷积核大小为3
×
3的卷积层中，调整特征图的宽度和高度至原来的一半，具体的计算公式如下：
[0133][0134][0135][0136]
其中，conv4_1(*)和conv4_3(*)表示两个卷积核大小为3
×
3的卷积层，conv4_2(*)表示卷积核大小为1
×
1的卷积层，表示矩阵加法运算，bn(*)表示批归一化操作，relu(
·
)表示relu激活函数，表示第四级主干特征f
′4经过两个卷积层以及上下文聚合子模块后的输出，其大小为
[0137]
步骤s45、对经过步骤s41得到的特征向量经过步骤s42得到的特征向量经过步骤s43得到的特征向量以及经过步骤s44得到的特征向量进行特征融合，形成输入失真图像的多尺度特征表示。具体地，对特征向量进行全局平均池化操作，其维度大小由变为1
×1×c′
；对特征向量进行全局平均池化操作，其维度大小由变为1
×1×
2c
′
；对特征向量进行全局平均池化操作，其维度大小由变为1
×1×
4c
′
；对特征向量进行全局平均池化操作，其维度大小由变为1
×1×
8c
′
，然后将执行全局平均池化操作后的特征向量，然后将执行全局平均池化操作后的特征向量以及沿通道进行拼接，得到输入失真图像的多尺度特征表示，其大小为1
×1×
15c
′
，计算
公式如下：
[0138][0139]
其中，concat(
·
)表示特征的拼接操作，gap(*)表示全局平均池化操作，f表示输入失真图像的多尺度特征表示。
[0140]
进一步地，步骤s5包括以下步骤：
[0141]
步骤s51、将经过步骤s45得到的输入失真图像的多尺度编码表示f输入到全连接层(记为mlp)中，以获得失真图像的质量评价分数f
score
，其计算公式为：
[0142]fscore
＝mlp(f)
[0143]
步骤s52、设计基于边缘特征引导的图像质量评估网络的损失函数如下：
[0144][0145]
其中，m为每个训练批次中的样本个数，yi表示第i个图像样本的真实质量分数，表示第i个图像样本经过网络得到的预测质量分数；
[0146]
步骤s53、以批次为单位重复上述步骤s51至步骤s52，直至步骤s52中计算得到的损失值收敛并趋于稳定，保存网络参数，完成基于边缘特征引导的图像质量评估网络的训练过程，得到基于边缘特征引导的图像质量评估模型。
[0147]
进一步地，步骤s6包括以下步骤：
[0148]
将测试集中的失真屏幕内容图像和对应的边缘结构图输入到训练好的基于边缘特征引导的图像质量评估模型中，输出相应的质量评估分数。
[0149]
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。