特征图上采样方法、小目标语义分割方法及成像方法

1.本发明属于语义分割技术领域，具体涉及一种特征图上采样方法、小目标语义分割方法及成像方法。


背景技术：

2.随着经济技术的发展和人们生活水平的提高，深度学习技术已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。因此，提高深度学习技术的准确性和可靠性，就成为了人们研究的重点。
3.目前，小目标的语义分割技术虽然已经得到了广泛应用，但是现有的小目标语义分割方法依旧存在部分问题。现有的大多数语义分割模型，是针对自然图像数据集设计的，当迁移到小目标语义分割领域的时候，因为数据域存在着较大的差异，所以语义分割模型在小目标图像上的训练效果会受到较大的影响。一张进行小目标语义分割的原始图像的尺寸是比较大的，由于显卡内存有限，无法将一张完整的原始图像送入神经网络中去，所以必须缩小输入图像尺寸，再输入到模型中，这使得小目标的尺度更小了，进而导致模型难以识别。一般的语义分割模型把每一个输入像素看成一个样本，对每一个像素输出一个多分类结果，然后和对应标签上的标注计算交叉熵损失。但是，这种像素级别的损失将每一个像素同等的看待，而不管它是否是待识别的微小目标；由于背景像素的个数远大于微小目标像素的个数，这样的损失会导致模型的损失函数不平衡。更重要的是，这种损失给与每个像素的惩罚权重是一样的，那么对于小目标来说，当一个小目标的标注像素个数相当少的时候，它给与模型的反馈是不够的，这导致模型很难识别到小目标。
4.一般来说，语义分割模型会对特征图进行下采样。比如fcn采用的主干网络是当时性能较好的分类网络，比如alexnet、vgg、googlenet；这些主干网络在第一个块中会将特征图下采样到原图的1/4大小，之后的三个块各有一个下采样操作，最后将特征图下采样到原图的1/32大小。而最新的一些网络则会将特征图下采样到原图的1/16；以deeplabv3+为例，deeplabv3+采用的主干网络为resnet，并在第一个阶段进行1/4的下采样后，仅在之后的两个块进行下采样，从而将原图下采样到1/16大小。语义分割网络这样设计的目的即兼顾了模型的计算量，又保证了模型的性能，但是当这样的网络迁移到小目标语义分割领域的时候，下采样1/16会使得原本就很小的小目标在特征图中几乎不可见，这就使得这些模型在小目标的语义分割领域性能很差。


技术实现要素：

5.本发明的目的之一在于提供一种适用于小目标的语义分割，而且可靠性高、实用性好的特征图上采样方法。
6.本发明的目的之二在于提供一种包括了所述特征图上采样方法的小目标语义分割。
7.本发明的目的之三在于提供一种包括了所述小目标语义分割的成像方法。
8.本发明提供的这种特征图上采样方法，包括如下步骤：
9.获取待进行上采样的特征图的步骤；
10.构建上采样算子预测模块的步骤：通过通道压缩、编码特征图和像素重放，计算得到待进行上采样的特征图所对应的上采样核；
11.构建缩放因子预测模块的步骤：通过通道压缩、像素重放和缩放因子编码，计算得到上采样核所对应的缩放因子；
12.根据得到的上采样核和缩放因子，对待进行上采样的特征图进行特征重组，从而完成特征图的上采样过程。
13.所述的构建上采样算子预测模块的步骤中的通道压缩，和构建缩放因子预测模块的步骤中的通道压缩，为共享的同一个通道压缩操作。
14.所述的通道压缩，具体为首先采用卷积核为1
×
1的卷积层进行通道压缩；卷积层后再依次连接一个批归一化层和一个relu的激活层，从而完成最终的通道压缩。
15.所述的构建上采样算子预测模块的步骤，具体为首先进行通道压缩；然后再通过一个卷积层进行特征图的编码；最后通过像素重放操作得到待进行上采样的特征图所对应的上采样核。
16.所述的构建上采样算子预测模块的步骤，具体包括如下步骤：
17.首先进行通道压缩；
18.然后，采用输出通道为α2×
k2、卷积核为3
×
3的卷积层进行处理，从而使得输出的特征图的大小为α2×
k2×h×
w；α为上采样的倍数；k为上采样核的大小；h为原始特征图的高度；w为原始特征图的宽度；
19.最后，采用像素重放操作，将一个通道数为α2×
k2的像素变为α
×
α个通道数为k2的像素，并对每一个像素均进行同样的像素重放操作，最终得到k2×
αh
×
αw的上采样算子特征图，其上每一个像素为一个上采样核w
l
。
20.所述的构建缩放因子预测模块的步骤，具体为首先进行通道压缩；然后通过像素重放操作，使得特征图的长等于上采样算子特征图的长，且特征图的宽等于上采样算子特征图的宽；最后，通过由卷积层、批归一化层、激活层、并行的池化层、特征图堆叠和卷积层构成的缩放因子编码器进行计算，得到最终的缩放因子。
21.所述的构建缩放因子预测模块的步骤，具体包括如下步骤：
22.首先进行通道压缩；
23.然后，采用像素重放操作，使得特征图的长等于上采样算子特征图的长，且特征图的宽等于上采样算子特征图的宽；
24.最后，构建缩放因子编码器：首先为一个3
×
3且输出通道为64的卷积层，用于特征提取；然后依次通过一个批归一化层和一个relu的激活层进行处理；接下来，并行的池化层为并联的最大池化层和平均池化层，激活层的输出同时连接最大池化层的输入以及平均池化层的输入，最大池化层的输出结果为对应位置上面的所有通道的最大值，平均池化层的输出结果为对应位置上面的所有通道的平均值；再然后，将最大池化层输出的通道为1的特征图和平均池化层输出的通道为1的特征图堆叠在一起，得到一个通道为2的特征图；最后，将得到的特征图通过卷积核大小为7
×
7的卷积层进行处理，并采用一个relu的激活函数过滤负数结果，最终得到上采样核所对应的缩放因子p。
25.所述的根据得到的上采样算子和缩放因子，对待进行上采样的特征图进行特征重组，从而完成特征图的上采样过程，具体为首先使用缩放因子对上采样算子特征图上的每一个上采样核进行缩放，得到缩放后的上采样算子特征图；然后对缩放后的上采样特征图上的每一个位置上的采样核，找到原始特征图上对应的位置，并以找到的原始特征图上的位置为中心的区域进行加权求和，从而完成特征图的上采样过程。
26.所述的根据得到的上采样算子和缩放因子，对待进行上采样的特征图进行特征重组，从而完成特征图的上采样过程，具体包括如下步骤：
27.首先，使用缩放因子对上采样算子特征图上的每一个上采样核进行缩放；具体为采用如下算式进行计算，得到缩放后的上采样算子w
l
'：
28.w
l
'＝softmax(p
×wl
)
29.式中p为缩放因子；w
l
为上采样算子特征图上l处的上采样核；softmax()为归一化指数函数；
30.然后，对于缩放后的上采样算子w
l
'中的每一个位置(i,j)上采样核，找到原始特征图上对应的位置然后对以为中心的k
×
k区域进行加权求和，得到上采样后的特征图位于(i,j)的值；具体为采用如下算式进行计算：
[0031][0032]
式中x
(i,j)
为上采样后的特征图位于(i,j)的像素；r为上采样核的作用范围，且k为上采样核的大小；w
l'(s,t)
为上采样核w
l'
位于(s,t)位置的权重大小；x
(i+s,j+t)
为原始特征图位于(i+s,j+t)的像素；
[0033]
最终，得到的计算结果为待进行上采样的特征图所对应的上采样结果。
[0034]
本发明还提供了一种包括了上述特征图上采样方法的小目标语义分割方法，具体包括如下步骤：
[0035]
s1.获取原始的小目标图像并进行像素级标注，得到训练数据集；
[0036]
s2.采用现有技术构建初始语义分割模型；
[0037]
s3.将步骤s2构建的初始语义分割模型中的上采样方法，替换为上述的特征图上采样方法，从而得到初始的小目标语义分割模型；
[0038]
s4.采用训练数据集对初始的小目标语义分割模型进行训练，得到最终的小目标语义分割模型；
[0039]
s5.采用步骤s4得到的小目标语义分割模型，对目标图像进行语义分割，完成目标图像中的小目标的语义分割。
[0040]
本发明还提供了一种包括了上述小目标语义分割的成像方法，包括如下步骤：
[0041]
a.获取待进行小目标语义分割的原始图像；
[0042]
b.采用上述的小目标语义分割方法对步骤a获取的原始图像进行小目标语义分割；
[0043]
c.将步骤b得到的小目标语义分割结果，在步骤a得到的原始图像上进行标注和成
像，得到带有小目标标注结果的目标图像；
[0044]
d.输出步骤c得到的目标图像，完成所述的成像。
[0045]
本发明提供的这种特征图上采样方法、小目标语义分割方法及成像方法，针对小目标语义分割的现存问题，对特征图的上采样过程进行了创新，创造性的提出了带缩放因子的特征图上采样过程；因此本发明方法极其适用于小目标的语义分割，而且可靠性高，实用性好。
附图说明
[0046]
图1为本发明的上采样方法的方法流程示意图。
[0047]
图2为本发明的上采样方法的模型示意图。
[0048]
图3为本发明的小目标的语义分割方法的方法流程示意图。
[0049]
图4为本发明的成像方法的方法流程示意图。
具体实施方式
[0050]
如图1所示为本发明的上采样方法的方法流程示意图，如图2所示则为本发明的上采样方法的模型示意图：本发明提供的这种特征图上采样方法，包括如下步骤：
[0051]
获取待进行上采样的特征图的步骤；
[0052]
构建上采样算子预测模块的步骤：通过通道压缩、编码特征图和像素重放，计算得到待进行上采样的特征图所对应的上采样核；具体为首先进行通道压缩；然后再通过一个卷积层进行特征图的编码；最后通过像素重放操作得到待进行上采样的特征图所对应的上采样核；
[0053]
具体实施时，包括如下步骤：
[0054]
首先进行通道压缩；
[0055]
然后，采用输出通道为α2×
k2、卷积核为3
×
3的卷积层进行处理，从而使得输出的特征图的大小为α2×
k2×h×
w；α为上采样的倍数；k为上采样核的大小；h为原始特征图的高度；w为原始特征图的宽度；卷积层的卷积核大小不会影响输出特征图的大小，却会影响计算量的大小，一般来说如果卷积核的尺度越大，那么卷积的感受野约广，效果也越好，但是会引入更多的计算量；因此，本发明给出的优选数值为3
×
3；
[0056]
最后，采用像素重放操作，将一个通道数为α2×
k2的像素变为α
×
α个通道数为k2的像素，并对每一个像素均进行同样的像素重放操作，最终得到k2×
αh
×
αw的上采样算子特征图，其上每一个像素即为一个上采样核w
l
；像素重放操作用于调整特征图的各个维度；
[0057]
构建缩放因子预测模块的步骤：通过通道压缩、像素重放和缩放影子编码，计算得到上采样核所对应的缩放因子；具体为首先进行通道压缩；然后通过像素重放操作，使得特征图的长等于上采样算子特征图的长，且特征图的宽等于上采样算子特征图的宽；最后，通过由卷积层、批归一化层、激活层、并行的池化层、特征图堆叠和卷积层构成的缩放因子编码器进行计算，得到最终的缩放因子；
[0058]
具体实施时，包括如下步骤：
[0059]
首先进行通道压缩；
[0060]
然后，采用像素重放操作，使得特征图的长等于上采样算子特征图的长，且特征图
的宽等于上采样算子特征图的宽；这部分的像素重放与上采样算子预测模块中的像素重放相同；
[0061]
最后，构建缩放因子编码器：首先为一个3
×
3且输出通道为64的卷积层，用于特征提取，考虑到最终预测的缩放因子的特征图的通道仅为1，这里就不需要过多的通道以减少计算量，所以将这个卷积的输出通道数设置为64；然后依次通过一个批归一化层和一个relu的激活层进行处理；接下来，使用类似空间注意力机制的方式来计算特征图的缩放因子：并行的池化层为并联的最大池化层和平均池化层，激活层的输出同时连接最大池化层的输入以及平均池化层的输入，最大池化层的输出结果为对应位置上面的所有通道的最大值，平均池化层的输出结果为对应位置上面的所有通道的平均值；再然后，将最大池化层输出的通道为1的特征图和平均池化层输出的通道为1的特征图堆叠(concat)在一起，得到一个通道为2的特征图；最后，将得到的特征图通过卷积核大小为7
×
7的卷积层进行处理，并采用一个relu的激活函数过滤负数结果，最终得到上采样核所对应的缩放因子p。因为特征图的通道很小，所以即使使用大尺寸的卷积核也不会有很多计算量，但是大尺寸的卷积核会带来大感受野，所以这里使用7
×
7的卷积核，使缩放因子的效果更好；由于p是一个缩放因子，其值不能为负数，所以使用一个relu的激活函数来过滤掉负数；
[0062]
根据得到的上采样核和缩放因子，对待进行上采样的特征图进行特征重组，从而完成特征图的上采样过程；具体为首先使用缩放因子对上采样算子特征图上的每一个上采样核进行缩放，得到缩放后的上采样算子特征图；然后对缩放后的上采样特征图上的每一个位置上的采样核，找到原始特征图上对应的位置，并以找到的原始特征图上的位置为中心的区域进行加权求和，从而完成特征图的上采样过程；
[0063]
具体实施时，包括如下步骤：
[0064]
首先，使用缩放因子对上采样算子特征图上的每一个上采样核进行缩放；具体为采用如下算式进行计算，得到缩放后的上采样算子w
l
'：
[0065]wl
'＝softmax(p
×wl
)
[0066]
式中p为缩放因子；w
l
为上采样算子特征图上l处的上采样核；softmax()为归一化指数函数；
[0067]
然后，对于缩放后的上采样算子w
l
'中的每一个位置(i,j)上采样核，找到原始特征图上对应的位置然后对以为中心的k
×
k区域进行加权求和，以得到上采样后的特征图位于(i,j)的值；具体为采用如下算式进行计算：
[0068][0069]
式中x
(i,j)
为上采样后的特征图位于(i,j)的像素；r为上采样核的作用范围，且k为上采样核的大小；w
l'(s,t)
为上采样核w
l'
位于(s,t)位置的权重大小；x
(i+s,j+t)
为原始特征图位于(i+s,j+t)的像素；
[0070]
最终，得到的计算结果为待进行上采样的特征图所对应的上采样结果。
[0071]
具体实施时，构建上采样算子预测模块的步骤中的通道压缩，和构建缩放因子预
测模块的步骤中的通道压缩，为共享的同一个通道压缩操作；通道压缩具体为首先采用卷积核为1
×
1的卷积层进行通道压缩；卷积层后再依次连接一个批归一化层和一个relu的激活层，从而完成最终的通道压缩。
[0072]
在通道压缩时，因为不同层的特征图的通道数是不一样的，比如有些层的通道数是64，有些层的通道数则是128，而有些层的通道数是256等；所以需要压缩通道使得输入到该模块的通道数为定值，以便后续处理。一般选取64为压缩后的通道数。通道压缩还有一个好处是可以减少计算量：如果将通道数是256的特征图进行后续处理，那么后面的模块将对一个极大的特征图进行操作，非常占内存且耗费算力；而通过通道压缩到统一为较小的64通道后，能够减少非常多的计算量。
[0073]
如图3所示为本发明的小目标语义分割方法的方法流程示意图：本发明提供的这种包括了上述特征图上采样方法的小目标语义分割方法，具体包括如下步骤：
[0074]
s1.获取原始的小目标图像并进行像素级标注，得到训练数据集；
[0075]
s2.采用现有技术构建初始语义分割模型；
[0076]
s3.将步骤s2构建的初始语义分割模型中的上采样方法，替换为上述的特征图上采样方法，从而得到小目标初始语义分割模型；
[0077]
s4.采用训练数据集对小目标初始语义分割模型进行训练，得到最终的小目标语义分割模型；
[0078]
s5.采用步骤s4得到的小目标语义分割模型，对目标图像进行语义分割，完成目标图像中的小目标的语义分割。
[0079]
具体实施时，本发明提供的小目标语义分割方法可以用于眼底图像中微动脉瘤、出血点、硬性渗出和软性渗出的分割；对应的，眼底图像的小目标进行语义分割方法包括如下步骤：
[0080]
s1.获取原始的眼底图像并进行像素级标注(包括眼底图像中各个小目标的标注，包括微动脉瘤、出血点、硬性渗出和软性渗出等)，并对图像进行数据增强(包括翻转、旋转、颜色扰动等)，得到训练数据集；
[0081]
s2.采用现有技术构建初始语义分割模型具体为搭建hrnetv2语义分割模型；
[0082]
s3.将步骤s2构建的hrnetv2语义分割模型中的上采样方法，替换为本发明提供的特征图上采样方法，从而得到眼底图像小目标分割初始模型；
[0083]
s4.采用训练数据集对眼底图像小目标分割初始模型进行训练，得到最终的眼底图像小目标语义分割模型；
[0084]
s5.采用步骤s4得到的眼底图像小目标语义分割模型，将目标图像输入到该模型，得到目标图像中的小目标的标注结果，从而完成目标眼底图像中的小目标语义分割。
[0085]
此外，本发明提供的小目标语义分割方法还可用于航拍图像中的小目标(行人，车辆，房屋等)的语义分割；对应的，航拍图像的小目标语义分割方法包括如下步骤：
[0086]
s1.获取原始的航拍图像并进行像素级标注(包括航拍图像中各个小目标的标注，包括行人、车辆、房屋等)，并对图像进行数据增强(包括翻转、旋转、颜色扰动等)，得到训练数据集；
[0087]
s2.采用现有技术构建初始语义分割模型；具体为搭建hrnetv2语义分割模型；
[0088]
s3.将步骤s2构建的hrnetv2语义分割模型中的上采样方法，替换为本发明提供的
特征图上采样方法，从而得到航拍图像小目标分割初始模型；
[0089]
s4.采用训练数据集对航拍图像小目标分割初始模型进行训练，得到最终的航拍图像小目标分割模型；
[0090]
s5.采用步骤s4得到的航拍图像小目标分割模型，将目标航拍图像输入到该模型，得到目标航拍图像中的小目标的标注结果，从而完成目标航拍图像中的小目标语义分割。
[0091]
最后，本发明提供的小目标语义分割方法还可以用于工地施工现场安全帽佩戴的小目标(白色安全帽、红色安全帽等)语义分割；对应的工地施工现场图像的小目标语义分割方法包括如下步骤：
[0092]
s1.获取原始的工地施工现场图像并进行像素级标注(包括工地施工现场图像中各种颜色安全帽的标注)，并对图像进行数据增强(包括翻转、旋转、颜色扰动等)，得到训练数据集；
[0093]
s2.采用现有技术构建初始语义分割模型；具体为搭建hrnetv2语义分割模型；
[0094]
s3.将步骤s2构建的hrnetv2语义分割模型中的上采样方法，替换为本发明提供的特征图上采样方法，从而得到航拍图像小目标分割初始模型；
[0095]
s4.采用训练数据集对工地施工现场图像小目标分割初始模型进行训练，得到最终工地施工现场图像小目标分割模型；
[0096]
s5.采用步骤s4得到的工地施工现场图像小目标分割模型，将目标工地施工现场图像输入到该模型，得到目标工地施工现场图像中的小目标的标注结果，从而完成目标工地施工现场图像中的安全帽语义分割。
[0097]
通过以上的小目标语义分割方法，能够对施工工地上的人员佩戴安全帽的情况进行远距离的图像语义分割，从而实现对应的施工工地安全帽佩戴检测。
[0098]
如图4所示为本发明的成像方法的方法流程示意图：本发明提供的这种包括了上述小目标语义分割的成像方法，包括如下步骤：
[0099]
a.获取待进行小目标语义分割的原始图像；
[0100]
b.采用上述的小目标语义分割方法对步骤a获取的原始图像进行语义分割；
[0101]
c.将步骤b得到的小目标语义分割结果，在步骤a得到的原始图像上进行标注和成像，得到带有小目标标注结果的目标图像；
[0102]
d.输出步骤c得到的目标图像，完成所述的成像。
[0103]
本发明提供的这种成像方法，可以直接应用到现有的图像设备中。应用时，首先采用现有的图像设备获取对应的原始图像，然后采用上述的小目标语义分割方法对获取的原始图像中的小目标进行语义分割；分割完毕后，将分割结果在原始图像上进行标注(包括高亮标注，矩形框标注等方式)和二次成像，最后输出带有小目标标注结果的图像。此时，应用本发明的成像设备就成为了一种具有小目标语义分割功能的成像设备。
[0104]
具体实施时，如果本发明的成像方法应用于现有的眼底图像设备，那么现有的眼底图像设备在集成了本发明的成像方法后，就能够输出带有小目标标注结果(包括微动脉瘤、出血点、硬性渗出和软性渗出等标注结果)的眼底图像设备；设备的功能将得到较好的丰富；
[0105]
或者，本发明的成像方法应用于航拍设备时，那么现有的航拍设备在集成了本发明的成像方法后，就能够输出带有小目标标注结果(包括行人、车辆、房屋等标注结果)的航
拍设备；设备的功能也将得到较好的丰富；
[0106]
再或者，本发明的成像方法应用工地监控设备时，那么现有的监控设备在集成了本发明的成像方法后，就能够输出带有小目标标注结果(包括白色安全帽、红色安全帽等标注结果)的监控设备；设备的功能也将得到较好的丰富。