基于特征引导网络的图像分类与分割的装置、方法、设备及介质

1.本发明涉及深度学习领域，特别是深度学习中卷积神经网络在图像分类与分割方面的应用。


背景技术：

2.图像分类与图像分割是计算机视觉领域的两大任务。图像分类的目的是给定一张图像，判定该图像到底属于哪一个具体的类别。图像分割则是从给定的图像中，分割出只包含感兴趣区域的目标。
3.在图像分类领域，主要包含传统的机器学习算法和目前流行的深度学习方法。机器学习算法往往需要手动地设计特征与人工干预，而深度学习方法有着强大的自动提取特征的能力而被广泛研究。更为重要的是，深度学习方法在图像分类领域的效果远好于传统的机器学习算法，这得益于深度学习中的卷积神经网络。然而，目前的图像分类网络模型没有充分利用从原始输入到模型输出之间的精细特征，而取得了相对较低的分类精度。这主要是因为目前设计的分类网络模型未能做到充分地特征引导、特征增强与利用。
4.图像分割又分为语义分割和实例分割，给定一张图像，前者只要分割出不同类别的目标即可，而后者不但要分割出不同的类别，还要在此基础上进一步完成同一类别、不同对象的分割。在图像分割领域，卷积神经网络也取得了良好的效果。具有里程碑意义的便是2015年提出用于语义分割的全卷积网络，全卷积网络不包含全连接层，从而适应任意尺寸的输入，采用反卷积操作与跳级结构，输出更加精细的结果。正因为全卷积网络的良好设计理念，在图像分割领域被不断的改进与完善，并被广泛应用。图像分割实质上是像素级的图像分类，因此对图像分割网络实施精细的特征提取尤为重要。然而，目前的图像分割网络模型大多忽略了更为密集的特征提取方式与对卷积后特征的充分再利用，例如编码过程的特征增强与解码过程的特征利用。


技术实现要素：

5.针对现有技术中存在不足，本发明提供了一种基于特征引导网络的图像分类与分割的装置、方法、设备及介质，解决现有的分类或分割网络模型分类或分割结果效果不理想的问题。
6.本发明是通过以下技术手段实现上述技术目的的。
7.一种基于特征引导网络的图像分类与分割的方法，根据输入图像的需求，选择进行分类还是分割，若是分类，则将图像输入已训练的分类网络模型，输出相应的类别；若是分割，则将图像输入已训练的分割网络模型，输出分割后的图像；
8.所述分类网络模型为特征引导分类网络：输入图像经过一个3
×
3的卷积，再经过5个基本单元块与下采样操作，最后将得到的输出特征图扁平化，并接入全连接网络；在每个基本单元块前后，添加残差连接操作；对每个基本单元块产生的输出特征图在空间维度进
行局部特征增强、在通道维度进行全局特征提取，并在全连接层之前进行全局特征与局部特征融合；
9.所述分割网络模型为特征引导分割网络，采用编码器
‑
解码器结构；在编码器部分，输入图像经过一个3
×
3的卷积，再经过4个基本单元块与下采样，最后经过1个基本单元块与relu激活函数；在每个基本单元块前后，添加残差连接操作；对每个基本单元块产生的输出特征图在空间维度进行局部特征增强、在通道维度进行全局特征提取；在解码器部分，relu激活函数后产生的输出特征图输入解码器，将编码器基本单元块产生的输出特征图与解码器上采样后的特征图在通道维度进行对应尺度的连接，再经过一次普通卷积，产生的输出特征图作为下一个上采样层的输入特征图，直至第4个普通卷积后产生的输出特征图进行第5次上采样和第5次普通卷积，输出分割后的图像。
10.进一步的，所述基本单元块采用4条并行的水平通路，每一条水平通路上采用数量不等的卷积操作；通过特征图连接操作，使得各条通路之间的特征相互融合；通过分别在同一通路以及不同通路上引入残差连接操作，增强同一通路上的类似特征与不同通路上特征的融合。
11.进一步的，所述卷积操作设计为深度可分离卷积。
12.进一步的，所述空间维度进行局部特征增强，具体为：对每个基本单元块输出的特征图进行全局平均池化，得到一个特征向量，再将基本单元块原始输出特征图与所述特征向量进行点乘操作，得到增强后的输出特征图，所述增强后的特征图作为下一个基本单元块的输入，最后一个基本单元块增强后的输出特征图，进行全局平均池化，作为全连接网络的输入。
13.进一步的，所述通道维度进行全局特征提取，具体为：对每个基本单元块产生的多通道输出特征图进行压缩，提取出只包含单个通道的全局输出特征图。
14.进一步的，在图像输入前，进行感兴趣区域截取。
15.进一步的，在图像输入前，对输入图像进行仿射变换操作和归一化操作。
16.一种基于特征引导网络的图像分类与分割的装置，包括：
17.数据预处理模块，对输入图像进行各种仿射变换操作和归一化操作；
18.图像分类模块，用于构建特征引导分类网络，所述特征引导分类网络包括一个3
×
3的卷积、5个基本单元块和全连接网络；
19.图像分割模块，用于构建特征引导分割网络，所述特征引导分割网络采用编码器
‑
解码器结构；编码器包括一个3
×
3的卷积、4个基本单元块与下采样、1个基本单元块与relu激活函数；解码器包括5个上采样与普通卷积。
20.一种计算机设备，包括处理器和存储器；
21.所述存储器用于存储计算机程序；
22.所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1
‑
7中任一项所述的图像分类与分割的方法。
23.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1
‑
7中任一项所述的图像分类与分割的方法。
24.本发明的有益效果为：
25.(1)本发明中的基本单元块采用4条并行的水平通路，每一条水平通路上采用数量不等的卷积操作；通过特征图连接操作，使得各条通路之间的特征相互融合；通过分别在同一通路以及不同通路上引入残差连接操作，增强同一通路上的类似特征与不同通路上特征的融合；基本单元块之间的局部特征增强以及全局特征提取，使得训练出的特征引导分类网络以及特征引导分割网络效果更优，更加鲁棒。
26.(2)本发明中的特征引导分类网络包括一个3
×
3的卷积、5个基本单元块和全连接网络，在每个基本单元块前后，添加残差连接操作，与每个基本单元块内部水平方向的残差连接操作在逻辑上形成一个整体，使得特征引导分类网络的训练更加容易；
27.本发明中的特征引导分割网络采用编码器
‑
解码器结构，编码器包括一个3
×
3的卷积、4个基本单元块与下采样、1个基本单元块与relu激活函数；解码器包括5个上采样与普通卷积；在每个基本单元块前后，添加残差连接操作，与每个基本单元块内部水平方向的残差连接操作在逻辑上形成一个整体，使得特征引导分割网络的训练更加容易；
28.本发明根据输入图像的需求，选择特征引导分类网络还是特征引导分割网络，输出相应的类别或分割后的图像，解决现有的分类或分割网络模型存在的特征利用不充分，而导致的分类或分割结果效果不理想的问题。
附图说明
29.图1为本发明所述基于特征引导网络的图像分类与分割的方法流程图；
30.图2为本发明所述基本单元块结构图；
31.图3为本发明特征引导分类网络的整体结构图；
32.图4为本发明特征引导分割网络的整体结构图。
具体实施方式
33.下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
34.如图1所示，一种基于特征引导网络的图像分类与分割的方法，具体包括如下步骤：
35.步骤(1)，截取感兴趣区域
36.由于对分类或分割数据集的不确定性，所以无论是对分类网络或是分割网络，截取感兴趣区域操作都是可选的。在某些对分类或分割结果要求较高的应用领域，通过截取感兴趣区域，从而只训练感兴趣区域的图像，可以使得分类器或分割模型取得更好的效果。通常情况下，通过python代码在输入图像中截取一个感兴趣的方形目标即可。
37.步骤(2)，输入图像预处理
38.卷积神经网络往往需要大量的数据进行训练，如果数据量过少则可能会引起过拟合现象；为了避免特征引导网络的过拟合，需要对输入图像进行各种仿射变换操作。具体包括对输入图像进行随机水平翻转、随机旋转角度、随机垂直翻转、映射到特定尺寸等操作。此外，为了规范化网络的输入，需要进一步对输入图像进行归一化操作(如按通道减去输入图像的平均值，再除以输入图像的标准差)，或进行最大最小归一化操作，从而避免特征引导网络在训练过程中额外地去学习数据间的偏差。
39.步骤(3)，构建特征引导分类网络并训练
40.用于图像分类的特征引导网络是一个端到端的网络模型，需要将预处理后的输入图像作为特征引导分类网络的输入，从而产生满足特定类别数目的输出向量。在特征引导分类网络接收到输入图像后，除了网络的每个基本单元块对特征进行引导学习外，在每一个单元块之间，还分别在空间维度和通道维度进行特征加强与利用。空间维度的局部特征加强，用于对后续单元块更好的学习；而单元块之间在通道维度的全局特征提取，则参与最后全连接层的输入，从而提升特征引导分类网络的性能。
41.图3所示为特征引导分类网络的整体结构图，该网络由若干个基本单元块串联而成，各个单元块之间在空间维度进行局部特征增强，各个单元块之间在通道维度进行全局特征提取与利用，在最后全连接层之前进行全局特征与局部特征融合。该特征引导分类网络是一个端到端的网络，使用如下的多分类交叉熵损失函数：
[0042][0043]
其中，i代表某一样本(输入图像)，n代表总的样本数，θ表示模型参数，k为类别数量，y
k
表示样本的真实值，s(
·
)表示softmax操作，l
k
代表预测的输出类别得分。
[0044]
1)基本单元块
[0045]
图2为本发明所述的基本单元块，图中柱形表示卷积操作，实线表示数据的流向，虚线表示残差连接操作，圆形表示特征图连接操作。该基本单元块采用4条并行的水平通路，每一条水平通路上采用数量不等的卷积操作，从上到下分别为1、2、4、8个，从而在整个特征引导分类网络上形成不同深度的支路。为了使得各条通路之间的特征相互融合，引入特征图连接操作(通路4和通路3融合，通路4、通路3和通路2融合，通路4、通路3、通路2和通路1融合)；特征图连接操作可以看成是对特征的串行排列，从而让后续的卷积层可以学习先前的特征。为了进一步增强同一通路上的类似特征与不同通路上特征的融合，分别在同一通路以及不同通路上引入残差连接操作；残差连接操作在一定程度上可以增强特征表示，使得设计的网络模型可以更深，训练深的网络变得更容易。
[0046]
为了减少网络的参数量，提升网络的计算性能，基本单元块中的所有卷积操作均设计为深度可分离卷积。深度可分离卷积通过先采用单通道的卷积核保持输出的临时特征图与输入特征图数量的一致，然后通过一个1
×
1大小的卷积核，降低其输入通道数，从而减少卷积核的参数量，提升网络的执行效率。
[0047]
2)特征引导分类网络
[0048]
如图3所示，给定一张输入图像，首先经过一个3
×
3的卷积，之后经过5个基本单元块与下采样操作，最后将得到的特征图扁平化，并接入全连接网络。在每个基本单元块前后，添加残差连接操作，与每个基本单元块内部水平方向的残差连接操作在逻辑上形成一个整体，使得水平提取的特征通过残差连接的方式更具层级特性；残差连接操作的引入，使得该分类网络的训练更加容易。为了增强每个基本单元块提取的特征，对每个基本单元块产生的输出特征图进行如下操作：首先，对每个基本单元块输出的特征图进行全局平均池化gap，得到一个特征向量，再将基本单元块原始输出特征图i与该特征向量进行点乘操作，从而得到增强后的输出特征图o，该增强后的特征图o作为下一个基本单元块的输入，对最
后一个基本单元块增强后的输出特征图，进行全局平均池化gap，得到i1、i2
…
im。除了这种在空间维度对局部特征进行增强的方式外，还对每一个基本单元块产生的输出特征图进行全局特征提取；操作如下：在通道维度上，对每个基本单元块产生的多通道输出特征图进行压缩，提取出只包含单个通道的全局输出特征图；分别对5个基本单元块执行上述操作，便可得到5种不同语义的全局特征图；对5张全局输出特征图在通道维度连接，经过扁平化处理后(j1、j2
…
jn)，连接到i1、i2
…
im，共同作为最终全连接网络的输入神经元。
[0049]
3)特征引导分类网络的训练
[0050]
特征引导分类网络采用随机梯度下降法进行训练，并设置权重衰减为0.0001，使用多分类交叉熵损失函数，使用反向传播算法计算梯度。由于深度卷积神经网络参数量相对较大，训练则相对耗时，因此本发明在nvidia geforce gtx 1080ti gpu上进行训练。另外，为了进一步避免出现过拟合问题，在每一个基本单元块后添加dropout层，并设置dropout率为0.2。
[0051]
步骤(4)，构建特征引导分割网络并训练
[0052]
图像分割网络的构建框架采用编码器
‑
解码器结构。在编码器部分，采用基本单元块和下采样操作；而在解码器部分，采用上采样，并连接编码器部分的各个单元块之间提取的全局特征，从而增强解码器部分的语义特征。本发明的图像分割网络是单阶段网络，将预处理后的图像作为分割网络的输入，产生语义分割后的图像输出。
[0053]
图4是本发明的特征引导分割网络的整体结构图，该网络采用编码器
‑
解码器结构。编码器部分采用与特征引导分类网络类似的结构，即使用基本单元块作为编码器部分的基本构成，各个基本单元块之间仍然进行类似的局部特征增强和全局特征提取。该特征引导分割网络是一个单阶段网络，使用如下的损失函数：
[0054][0055]
其中，i代表某一样本，n代表总的样本数，θ表示模型参数，k为类别数量，y
k
表示样本的真实值，σ(
·
)表示sigmoid操作，s(
·
)表示softmax操作，l
k
代表预测的输出类别得分。
[0056]
1)特征引导分割网络
[0057]
如图4所示，在网络的编码器部分，给定一张输入图像，先经过一个3
×
3的卷积，然后经过4个基本单元块与下采样操作，最后经过1个基本单元块与relu激活函数；每个基本单元块前后，仍然添加残差连接操作进行残差学习，对于每个单元块的输出，仍然对输出的特征图采用与特征引导分类网络相同的局部特征增强手段，用于给下一个基本单元块更好的学习特征；除此之外，对于每一个基本单元块产生的输出特征图，在通道维度进行特征压缩，得到全局输出特征图，用于给分割网络的解码器部分进行语义增强。在解码器部分，采用5次上采样与普通卷积的方式进行语义特征恢复；对于编码器部分最后一个基本单元的输出，在应用relu激活函数后，产生的特征图便作为解码器部分的输入；首先，经过双线性差值的上采样操作，然后连接到之前编码器基本单元块4产生的输出特征图，再经过一次普
通卷积；依次类推，直到第4个普通卷积后，产生的输出特征图仅进行一次上采样和第5个普通卷积，便产生分割模型最后的类别输出，并依据产生的每个像素的类别结果作为输入图像的分割结果。
[0058]
2)特征引导分割网络的训练
[0059]
特征引导分割网络采用rmsprop梯度下降法进行训练，并设置权重衰减为1e
‑
8，动量为0.9。根据分割类别的不同，可选择使用sigmoid结合二分类交叉熵作为损失函数，或使用多分类交叉熵损失函数，使用反向传播算法计算梯度。同特征引导分类网络一样，本发明在nvidia geforce gtx 1080ti gpu上进行。另外，为了进一步避免出现过拟合问题，在编码器部分的每一个基本单元块后添加dropout层，并设置dropout率为0.2。
[0060]
步骤(5)，预测分类及分割结果
[0061]
将上述最终训练好的分类网络、分割网络的模型和参数保存起来，便可根据需求来预测图像的分类或分割结果。输入待分类或分割的图像，可选的进行感兴趣区域的截取以及预处理操作，然后根据需求选择分类还是分割，若是分类，则进入已训练的分类网络模型，若是分割，则进入已训练的分割网络模型，最后输出相应的类别或分割后的图像。
[0062]
一种基于特征引导网络的图像分类与分割的装置，包括数据预处理模块、图像分类模块和图像分割模块；
[0063]
数据预处理模块，对输入图像进行各种仿射变换操作和归一化操作，避免特征引导网络的过拟合；
[0064]
图像分类模块，用于构建特征引导分类网络，特征引导分类网络包括一个3
×
3的卷积、5个基本单元块和全连接网络，在每个基本单元块前后，添加残差连接操作；每个基本单元块产生的输出特征图在空间维度进行局部特征增强、在通道维度进行全局特征提取；
[0065]
图像分割模块，用于构建特征引导分割网络，特征引导分割网络采用编码器
‑
解码器结构；编码器包括一个3
×
3的卷积层、4个基本单元块与下采样层、1个基本单元块与relu激活函数；解码器包括5个上采样层和5个普通卷积层；在每个基本单元块前后，添加残差连接操作；对每个基本单元块产生的输出特征图在空间维度进行局部特征增强、在通道维度进行全局特征提取。
[0066]
上述基于特征引导网络的图像分类与分割的装置可以实现为一种计算机程序的形式，该计算机程序可以在计算机设备上运行，该计算机设备可以是服务器或终端。其中，服务器可以为独立的服务器，也可以为服务器集群；该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
[0067]
该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器；非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于特征引导网络的图像分类与分割的方法。处理器用于提供计算和控制能力，支撑整个计算机设备的运行。存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于特征引导网络的图像分类与分割的方法。该网络接口用于进行网络通信，如发送分配的任务等。
[0068]
应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专
用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0069]
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请的基于特征引导网络的图像分类与分割的方法。
[0070]
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘、智能存储卡(smartmedia card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。
[0071]
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。