一种融合图像超分辨率重建的图像语义分割方法

1.本发明涉及图像处理、计算机视觉、深度学习和图像语义分割技术领域，特别涉及一种融合图像超分辨率重建的图像语义分割方法。


背景技术：

2.在计算机视觉领域中，语义分割是最重要的任务之一。根据图像中的不同物体类别，将图片划分为不同的语义区域，该语义区域可以解释为具体的分类类别，如建筑、行人、树木等。基于场景的机器人环境理解，是计算机视觉、人工智能等多个研究领域的重要交叉点。机器人识别出工作环境中存在什么类型的物体及物体所在的位置，是实现场景理解的基本能力。语义分割技术可以让机器人能快速而准确地获得外界的场景信息。
3.语义分割算法目标是预测输入图像中每个像素对应的类别的标签，实现了像素级的识别分割精度，即对输入图像中每一个像素位置的所属物体的类别进行分类并标注，从而得到不同类别物体在图像中所在位置的区域分割结果，提供了大量的视觉信息和推断信息。
4.图像超分辨率重建技术采用一个低分辨率图像，产生一个相应的高分辨率图像的评估。图像超分辨率重建技术涉及到增加小图像的大小，同时尽可能地防止其质量下降。图像尺寸变大且变清晰是图像处理的内在需求之一，然而现有的图像分辨率固定的情况下，从低分辨率到高分辨率的扩展常伴来了模糊、噪声的问题，因此深度学习架构下的图像超分辨率重建是近几年来研究的热点。基于深度学习的方法利用给定图像的内部相似性或者使用低分辨率图像数据集及其对应的高质量图像，能够有效地学习二者之间的映射。
5.因此，将基于深度学习的图像超分辨率重建作为图像语义分割主网络的分支，来提高语义分割的精度，具有重要的研究意义。


技术实现要素：

6.本发明针对图像语义分割算法的挑战与问题，引入图像超分辨率重建技术，提供了一种融合图像超分辨率重建的图像语义分割方法，能够提升语义分割算法的分割精度。
7.为解决上述技术问题，本发明的实施例提供如下方案：
8.一种融合图像超分辨率重建的图像语义分割方法，包括以下步骤：
9.步骤1、以预训练好的resnet
‑
50网络模型为基础，初始化卷积神经网络的参数，设置卷积神经网络的训练参数；
10.步骤2、对数据集进行预处理，并将预处理后的数据集输入初始化后网络模型的下采样编码阶段进行图像特征提取，所述网络模型的下采样编码阶段包含特征编码器；
11.步骤3、利用提取的图像特征对图像进行超分辨率重建，得到高分辨率特征图；
12.步骤4、将步骤2中提取的图像特征和步骤3中重建的高分辨率特征图进行特征融合，输入到所述网络模型的特征解码器，利用步骤3重建的高分辨率特征图搭建引导式上采样模块，制作每个像素点的偏移向量作为偏移表，利用所述偏移表作为导向来执行上采样
操作，得到图像语义分割结果；
13.步骤5、定义语义分割网络的损失函数和图像超分辨率重建网络的损失函数，使用adam梯度下降法对网络模型进行优化。
14.优选地，所述步骤1中，使用迁移学习的方法，选用imagenet数据集预训练好的权重进行网络模型的初始化。
15.优选地，所述步骤2中，对数据集中的图片进行预处理，将图片的分辨率变为224x224，并输入到初始化后的网络模型中。
16.优选地，所述步骤2中，所述特征编码器由改进后的resnet
‑
50网络组成，称为核心网络；所述核心网络共有五个模块，前三个模块与resnet
‑
50相同，第四个模块使用空洞卷积作为卷积核，构建基于空洞卷积的金字塔模块输出特征图，第五个模块和第四个模块相同。
17.优选地，所述构建基于空洞卷积的金字塔模块，包括以下四步：
18.第一步、使用d个1*1*m的卷积核，将m维的输入特征图降至d维；
19.第二步、使用k个不同膨胀率的卷积核对上一步输出的特征图并行进行卷积，得到k个相同大小的特征图；
20.第三步、将上一步得到的k个相同大小的特征图从最小的膨胀卷积核输出的那张特征图开始，逐级叠加进行拼接，得到输出特征图；
21.第四步、使用一支分支将1*1*m的特征图进行全局池化，将其作为全局特征，与第三步得到的特征图进行相加，得到最终的输出特征图。
22.优选地，所述步骤3中，采用基于改进的red方法对图像进行超分辨率重建，改进后的red特征提取网络与图像语义分割网络的特征提取网络相同，网络之间权重共享，其他部分与red方法相同。
23.优选地，所述步骤4中，给定输入特征图g
i
，输出特征图由线性变换产生，对于上采样的具体情况，定义为:
[0024][0025]
是原坐标点，是目标坐标点，θ表示上采样因子；
[0026]
给定v
i
输出特征图和u
nm
输入特征图，引导式上采样模块定义如下:
[0027][0028]
p
i
和q
i
代表分别在x和y方向移动每个网格元素的采样坐标的两个偏移量，它们是函数φ
i
，即指导模块的输出，定义为:
[0029][0030]
引导式上采样模块包括两个步骤：
[0031]
第一步、通过指导模块预测制导偏移表，偏移表是指导上采样过程的二维网格，预测过程通过一个函数实现，其输出是具有特定维度的张量：h
×
w
×
c，其中h和w表示高分辨率输出语义图的宽度和高度，而c＝2是包含两个偏移坐标的维度；
[0032]
第二步、通过利用偏移表作为导向来执行双线性插值上采样，规则采样网格的每个二维坐标向量与制导偏移表中相应的二维向量相加；
[0033]
特征解码器通过引导式上采样模块逐渐增大特征图尺寸，将特征图还原到原始图像大小的二倍,通过类别颜色对应就能得到图像语义分割结果。
[0034]
优选地，所述步骤5中，整个目标损失函数由用于语义分割的传统多类交叉熵损失l
ce
和用于图像超分辨率重建的均方误差损失l
mse
组成；
[0035]
l＝l
ce
+wl
mse
[0036][0037][0038]
sisr(x
i
)和y
i
表示超分辨率输出及其对应的背景真实度，y
i
和p
i
是像素i的分割预测概率和相应的类别，n表示像素数，w设置为0.1，使这些损失值范围具有可比性，端到端地最小化整个目标损失函数。
[0039]
本发明实施例提供的技术方案带来的有益效果至少包括：
[0040]
本发明在语义分割网络的特征提取模块中利用空洞卷积设计了一个基于空洞卷积的金字塔模块，这样能够有效的利用图像的空间信息。利用图像分辨率重建的方法对粗糙分割图进行优化，将图像超分辨率重建网络作为语义分割网络的分支，利用重建后的高分辨率特征图与语义分割网络提取的图像特征进行特征融合，提高分割的精度。在网络的上采样模块中加入指导上采样模块，利用重建后的高分辨特征图的偏移向量作为导向来执行上采样操作恢复图像，进一步提升分割的精度。
附图说明
[0041]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1是本发明实施例提供的一种融合图像超分辨率重建的图像语义分割方法的流程图；
[0043]
图2是本发明实施例提供的融合图像超分辨重建的图像语义分割网络模型示意图；
[0044]
图3是本发明实施例提供的图像语义分割网络特征提取器示意图；
[0045]
图4是本发明实施例提供的基于空洞卷积的金字塔模块示意图。
具体实施方式
[0046]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0047]
本发明的实施例提供了一种融合图像超分辨率重建的图像语义分割方法，图1是
所述图像语义分割方法的流程示意图，图2是该方法所提出的融合图像超分辨重建的图像语义分割网络模型示意图。结合附图，所述方法包括以下步骤：
[0048]
步骤1、以预训练好的resnet
‑
50网络模型为基础，初始化卷积神经网络的参数，设置卷积神经网络的训练参数。
[0049]
具体地，使用迁移学习的方法，选择使用标签种类丰富的图像分类数据集训练完成的网络的权重进行网络模型的初始化。本实施例中，选用imagenet数据集预训练好的权重进行网络模型的初始化。
[0050]
步骤2、对数据集进行预处理，并将预处理后的数据集输入初始化后网络模型的下采样编码阶段进行图像特征提取，所述网络模型的下采样编码阶段包含特征编码器。
[0051]
具体地，对训练数据集中的图片进行预处理，将图片的分辨率变为224x224，并输入到初始化后的网络模型中。
[0052]
图3是所述网络模型中特征编码器的示意图。所述特征编码器由改进后的resnet
‑
50网络组成，称为核心网络；所述核心网络共有五个模块，前三个模块与resnet
‑
50相同，第四个模块使用空洞卷积作为卷积核，构建基于空洞卷积的金字塔模块输出特征图，第五个模块和第四个模块相同。
[0053]
图4是所述基于空洞卷积的金字塔模块的示意图，所述构建基于空洞卷积的金字塔模块，包括以下四步：
[0054]
第一步、使用d个1*1*m的卷积核，将m维的输入特征图(feature map)降至d维；
[0055]
第二步、使用k个不同膨胀率的卷积核对上一步输出的特征图(feature map)并行进行卷积，得到k个相同大小的特征图(feature map)；
[0056]
第三步、将上一步得到的k个相同大小的特征图(feature map)从最小的膨胀卷积核输出的那张特征图(feature map)开始，逐级叠加进行拼接，得到输出特征图(feature map)；
[0057]
第四步、使用一支分支将1*1*m的特征图(feature map)进行全局池化，将其作为全局特征，与第三步得到的特征图(feature map)进行相加，得到最终的输出特征图(feature map)。
[0058]
步骤3、利用提取的图像特征对图像进行超分辨率重建，得到高分辨率特征图。
[0059]
具体地，基于深度学习的超分辨率技术(super
‑
resolution)通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。目前比较新的基于深度学习的sr方法，包括srcnn，drcn，espcn，vespcn，red，drrn和srgan等。本实施例中，采用基于改进的red方法对图像进行超分辨率重建，改进后的red特征提取网络与图像语义分割网络的特征提取网络相同，网络之间权重共享，其他部分与red方法相同。
[0060]
red网络的结构是对称的，每个卷积层都有对应的反卷积层。卷积层用来获取图像的抽象内容，反卷积层用来放大特征尺寸并且恢复图像细节。卷积层将输入图像尺寸减小后，再通过反卷积层上采样变大，使得输入输出的尺寸一样。每一组镜像对应的卷积层和反卷积层有着跳线连接结构，将两部分具有同样尺寸的特征(要输入卷积层的特征和对应的反卷积层输出的特征)做相加操作后，再输入到下一个反卷积层。这样的结构能够让反向传播信号能够直接传递到底层，解决了梯度消失问题，同时能将卷积层的细节传递给反卷积层，能够恢复出更干净的图片。red网络中有一条线是将输入的图像连接到后面与最后的一
层反卷积层的输出相加，red中间的卷积层和反卷积层学习的特征是目标图像和低质图像之间的残差。
[0061]
步骤4、将步骤2中提取的图像特征和步骤3中重建的高分辨率特征图进行特征融合，输入到所述网络模型的特征解码器，利用步骤3重建的高分辨率特征图搭建引导式上采样模块，制作每个像素点的偏移向量作为偏移表，利用所述偏移表作为导向来执行上采样操作，得到图像语义分割结果。
[0062]
具体的，引导式上采样模块背后的思想是通过一个偏移向量的指导表来指导上采样操作符，通过引入语义映射的可学习转换来丰富上采样操作，该指导表将采样导向正确的语义类。通常解码器通过使用无参数的操作如双线性或最近邻的上采样产生输出分割映射。双线性或最近邻的上采样操作是由在输入特征图上叠加规则网格来执行放大。
[0063]
本步骤中，给定输入特征图g
i
，输出特征图由线性变换产生，对于上采样的具体情况，定义为:
[0064][0065]
是原坐标点，是目标坐标点，θ表示上采样因子；
[0066]
给定v
i
输出特征图和u
nm
输入特征图，引导式上采样模块定义如下:
[0067][0068]
p
i
和q
i
代表分别在x和y方向移动每个网格元素的采样坐标的两个偏移量，它们是函数φ
i
，即指导模块的输出，定义为:
[0069][0070]
引导式上采样模块包括两个步骤：
[0071]
第一步、通过指导模块预测制导偏移表，偏移表是指导上采样过程的二维网格，预测过程通过一个函数实现，其输出是具有特定维度的张量：h
×
w
×
c，其中h和w表示高分辨率输出语义图的宽度和高度，而c＝2是包含两个偏移坐标的维度；
[0072]
第二步、通过利用偏移表作为导向来执行双线性插值上采样，规则采样网格的每个二维坐标向量与制导偏移表中相应的二维向量相加。
[0073]
特征解码器通过引导式上采样模块逐渐增大特征图尺寸，将特征图还原到原始图像大小的二倍,通过类别颜色对应就能得到图像语义分割结果。
[0074]
步骤5、定义语义分割网络的损失函数和图像超分辨率重建网络的损失函数，使用adam梯度下降法对网络模型进行优化。
[0075]
具体地，整个目标损失函数由用于语义分割的传统多类交叉熵损失l
ce
和用于图像超分辨率重建的均方误差损失l
mse
组成；
[0076]
l＝l
ce
+wl
mse
[0077]
[0078][0079]
sisr(x
i
)和y
i
表示超分辨率输出及其对应的背景真实度，y
i
和p
i
是像素i的分割预测概率和相应的类别，n表示像素数，w设置为0.1，使这些损失值范围具有可比性，端到端地最小化整个目标损失函数。
[0080]
综上所述，本发明实施例中，在语义分割网络的特征提取模块中利用空洞卷积设计了一个基于空洞卷积的金字塔模块，能够有效利用图像的空间信息。利用图像分辨率重建的方法对粗糙分割图进行优化，将图像超分辨率重建网络作为语义分割网络的分支，利用重建后的高分辨率特征图与语义分割网络提取的图像特征进行特征融合，提高分割的精度。在网络的上采样模块中加入指导上采样模块，利用重建后的高分辨率特征图的偏移向量作为导向来执行语义分割上采样操作恢复图像，进一步提升分割的精度。
[0081]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。