双域适应模块金字塔型网络及无监督域适应图像分割方法与流程

本发明涉及数字图像处理及计算机视觉技术领域，尤其是一种基于双域适应模块金字塔型网络的无监督域适应图像分割方法。

背景技术：

数字图像分割技术在机器人，自动导航，医疗影像等领域有着重要的应用。传统的基于深度学习的语义图像分割模型需要使用有标记的训练数据进行有监督学习，并且需要保证训练和测试数据大体相似，即具有相同的分布(或处在相同的域)，然而，在实际情况很难保证训练数据和测试数据或新的数据(实际运行的数据)处在同一域内，使得模型在测试数据上出现显著的性能下降。传统解决此类问题的方式是对新的数据进行标记，并在原模型上进行迁移学习。然而，获得准确的标记是繁琐且耗时复杂的，无法保证对新的数据进行充足的标记，因而需要设计一种基于双域适应模块金字塔型网络的无监督图像分割技术，在无需新数据标记的情况下，通过图像级和特征级两个域适应模块来减小新的无标记数据和原始训练有标记数据两个域之间的差异，以提升模型在新数据上的性能。

本发明就是为了解决以上问题而进行的改进。

技术实现要素：

本发明需要解决的技术问题是提供一种为无标记的图像提供一种准确的分割方法，解决当源域数据与目标域数据分布不同，但是分割任务相同的双域适应模块金字塔型网络及无监督域适应图像分割方法。

本发明为解决其技术问题所采用的技术方案是：

双域适应模块金字塔型网络，包含编码器(encoder)、金字塔型池化模块(pyramidpoolingmodule，ppm)、解码器(decoder)、图像级域适应模块(dimg)及特征级域适应模块(dfeat)。所述编码器之后连接一个金字塔型池化模块，解码器连接在金字塔型池化模块之后，所述解码器通过跳连技术与解码器同尺寸的卷积层相连；

所述图像级域适应模块连接在金字塔型池化模块之后，用以减小的源域图像和目标域图像全局图像差异(如源域和目标域之间的图像颜色和图像样式)；

所述特征级域适应模块连接在解码器之后，特征级域适应模块在解码器的最终输出之前，所述特征级域适应模块的输入为解码器各级的融合，其用于降低全局及局部的分割差异；

所述卷积块包含e1～e4卷积块，每一个编码卷积块包含conv_3x3，conv_3x3，pool_3x3，其中conv为卷积层，卷积核为3x3，pool为最大池化层，池化倍数为2，编码器的卷积块个数与卷积层的滤波个数可以修改。但是网络模型不限制于此，也可以为vgg19,resnet18,resnet50等现有模型主体全卷积部分；

所述解码器中的卷积块与编码器中的卷积块e1～e4相对应，解码器的卷积块d4-d1，每个解码卷积块包含concat,conv_3x3，conv_3x3，upsample，其中concat为合并运算，合并上一个解码块的输出和与此解码卷积块对应的编码卷积块的输出，upsample为上采样层，上采样倍数为2。解码器的卷积块个数与卷积层滤波个数可以随编码器结构对应修改；

所述金字塔型池化模块的输入为编码器的最后一层输出，通过卷积核(kernalsize,ks)6x6,3x3,2x2,1x1的四个池化层将输入池化1/6，1/3，1/2，1/1倍，所以其池化等级n为4。池化之后使用1x1的卷积从降低每级池化的输出维度为1/n。最后，不同级别的特征被连接为最终的金字塔汇集全局特征。注意，可以修改n和每个池化倍数的大小，金字塔型池化模块通过卷积核的池化层将输入池化；

所述解码器输出分割结果，该分割结果受分割损失函数的约束；

所述图像级域适应模块和特征级域适应模块均由判别器组成，图像级域适应模块的输入为金字塔型池化模块的输出，用以通过金字塔池化模块输出特征判别输出为源域图像或目标域图像，同时在训练时通过对抗(adversarial)方式指导训练分割网络，所述特征级域适应模块的输入为解码器各级卷积块通过上采样至统一尺寸后的汇聚输出；所述分割损失函数为该分割函数由分类交叉熵和dice系数两部分组成，数学表达为：

其中α是权衡参数，y与分别表示标准结果与预测结果；

所述图像级域适应模块的损失函数为其计算公式为：

其中ps和pt分别表示源域图像和目标域图像通过金字塔型池化模块后的输出；

所述特征级域适应模块损失函数的公式如下：

其中，所述该方法利用卷积神经网络实现的，其实施步骤为：

s1、设计双域适应模块金字塔型网络；

s2、数据准备与预处理；

s3、训练参数设置，训练优化器为adam,训练循环次数(epoch)不少于300。初始的学习率为10^-3，在循环150次之后，学习率线性减小至0。α，λ1和λ2分别取1，0.002及0.005；

s4、训练卷积神经网络，神经网络训练结合源域图像分割模块及两个域适应模块，通过对抗性训练对最小-最大博弈同时优化三个网络；

s5、测试或运行卷积神经网络，仅使用分割网络，输入单一图像，得到对应的预测分割图像。

所述步骤s2中，训练模型的数据包含源域图像xs数据，源域数据对应的像素级标记ys，目标域图像数据xt，具体过程如下：

1).源域图像xs，源域数据对应的像素级标记ys与目标域图像数据xt可由对应的数据库中的随机剪切或调整尺寸到统一的尺寸，如256x256的图像块

2).源域图像xs与目标域图像数据xt的各通道灰度值归一化到0～1；

所述步骤s4中，训练模型的整体目标方程为：

其中λ1和λ2为权衡参数。

工作原理为：利用卷积神经网络实现分割，模拟原始图像到标签图像的映射来实现分割，训练网络时在网络模型上添加图像级域适应模块及特征级域适应模块，以此在训练时减小源域与目标域之间的差距，通过在训练时将无标记的图像适应到已有标记的图像数据域中，已达到对无标记的目标域图像进行分割。

本发明的优点在于：该发明通过对图像和特征层次的对抗训练，训练时无需目标域标签，测试或使用过程与正常的分割网络一样工作；该发明可以提升分割神经网络的在无标记的新图像的分割精度，为机器人及车的识别街景、计算机辅助诊断等提供技术支持，实用性强，有着较强的推广与应用价值。

附图说明

图1是本发明提出的双域适应模块金字塔型网络的结构示意图。

图2是图1中编码器的网络结构示意图。

图3是图1中金字塔型池化模块结构示意图。

图4是图1中解码器的网络结构示意图。

图5是图1中图像级域适应模块及特征级域适应模块结构示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合图示与具体实施例，进一步阐述本发明。

参照图1至图5所示，该双域适应模块金字塔型网络及无监督域适应图像分割方法的第一部分：设计双域适应模块金字塔型网络：

该双域适应模块金字塔型网络，包含编码器、金字塔型池化模块、解码器、图像级域适应模块及特征级域适应模块，所述编码器之后连接一个金字塔型池化模块，解码器连接在金字塔型池化模块之后；

所述图像级域适应模块连接在金字塔型池化模块之后，用以减小的源域图像和目标域图像全局图像差异，如源域和目标域之间的图像颜色和图像样式；

所述特征级域适应模块连接在解码器之后，特征级域适应模块在解码器的最终输出之前，所述特征级域适应模块的输入为解码器各级的融合，其用于降低全局及局部的分割差异；

所述编码器和解码器中均包含卷积块，每个卷积块包含卷积层和卷积核，其中编码器中还包含池化层，解码器中还包含上采样层，所述解码器中的卷积块与编码器中的卷积块相对应，并通过跳连技术相连接；

所述金字塔型池化模块的输入为编码器的最后一层输出，金字塔型池化模块通过多级并联池化层将输入池化，最终再汇集为全局特征；

所述解码器输出分割结果，该分割结果受分割损失函数的约束；

所述图像级域适应模块和特征级域适应模块均由判别器组成，图像级域适应模块的输入为金字塔型池化模块的输出，用以通过金字塔池化模块输出特征判别输出为源域图像或目标域图像，同时在训练时通过对抗(adversarial)方式指导训练分割网络，所述特征级域适应模块的输入为解码器各级卷积块通过上采样至统一尺寸后的汇聚输出。

第二部分：数据准备与预处理

训练模型的数据包含源域图像数据xs，源域数据对应的像素级标记ys，目标域图像数据xt。

1).源域图像xs与目标域图像数据xt可由对应的数据库中的随机剪切或调整尺寸到统一的尺寸，如256x256的图像块；

2).源域图像xs与目标域图像数据xt的各通道灰度值归一化到0～1。

第三部分：训练参数设置

训练优化器为adam,训练循环次数(epoch)不少于300，初始的学习率为10^-3，在循环150次之后，学习率线性减小至0，α，λ1和λ2分别取1，0.002及0.005；

第四部分：训练卷积神经网络

神经网络训练结合源域图像分割模块及两个域适应模块，通过对抗性训练对最小-最大博弈同时优化三个网络。其整体的目标方程为：

第五部分：测试或运行卷积神经网络

仅使用分割网络对目标区域内的图像进行分割，输入单一图像，得到对应的预测分割图像。

该发明利用卷积神经网络实现分割，模拟原始图像到标签图像的映射来实现分割，训练网络时在网络模型上添加图像级域适应模块及特征级域适应模块，以此在训练时减小源域与目标域之间的差距，通过在训练时将无标记的图像适应到已有标记的图像数据域中，已达到对无标记的目标域图像进行分割。

该发明通过对图像和特征层次的对抗训练，训练时无需目标域标签，测试或使用过程与正常的分割网络一样工作；该发明可以提升分割神经网络的在无标记的新图像的分割精度，为机器人及车的识别街景、计算机辅助诊断等提供技术支持，实用性强，有着较强的推广与应用价值

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。