一种特征图上采样方法、终端及存储介质与流程

[0001]
本发明涉及图像处理技术领域，特别涉及一种特征图上采样方法、终端及存储介质。


背景技术：

[0002]
很多基于深度学习的图像处理方法中需要进行特征图上采样操作，例如图像超分辨等，现有的神经网络中的上采样模块中大多对输入特征图进行进一步特征提取等处理后再使用亚像素卷积法完成最后的上采样操作，但是，这种对初始特征图直接进行整体处理的方式限制了特征的语义信息，进而限制了图像处理的性能。
[0003]
因此，现有技术还有待改进和提高。


技术实现要素：

[0004]
针对现有技术的上述缺陷，本发明提供一种特征图上采样方法、终端及存储介质，旨在解决现有技术中对特征图进行上采样的过程中对初始特征图进行整体处理导致的特征语义信息不丰富的问题。
[0005]
为了解决上述技术问题，本发明所采用的技术方案如下：
[0006]
本发明的第一方面，提供一种特征图上采样方法，所述方法包括：
[0007]
获取待处理特征图，将所述待处理特征图输入至预先训练完成的第一神经网络，通过所述第一神经网络获取多个中间特征图，每个所述中间特征图的通道数小于所述待处理特征图的通道数；
[0008]
将所述多个中间特征图输入至预先训练完成的第二神经网络，通过所述第二神经网络得到目标特征图，其中所述目标特征图的长和宽分别为所述待处理特征图的长和宽的n倍，n为正整数；
[0009]
其中，所述第一神经网络包括至少一个分割模块，在每一个分割模块中对第一输入特征图进行分割，获取多个第一特征图后分别输入至特征处理模块，获取所述特征处理模块输出的第二特征图，每个所述第一特征图的通道数为所述第一输入特征图通道数的1/n。
[0010]
所述的特征图上采样方法，其中，所述第一神经网络包括m个分割模块组，第m个所述分割模块组中包括n
2(m-1)
个分割模块，第一个所述分割模块组的输入为所述待处理特征图，其余每个所述分割模块组中各个分割模块的输入分别为上一个所述分割模块组输出的各个特征图。
[0011]
所述的特征图上采样方法，其中，所述对第一输入特征图进行分割，获取多个第一特征图，包括：
[0012]
对所述第一输入特征图进行通道扩充，得到第四特征图，所述第四特征图的通道数为所述第一输入特征图通道数的n倍；
[0013]
对所述第四特征图进行分割，获取n2个所述第一特征图。
[0014]
所述的特征图上采样方法，其中，n＝x
m
，x为正整数。
[0015]
所述的特征图上采样方法，其中，所述第二神经网络包括m个聚合模块组，第m个所述聚合模块组中包括n
2(m-m)
个聚合模块，第一个所述聚合模块组的输入为所述第一神经网络的输出，其余每一个所述聚合模块组中各个聚合模块的输入为上一个所述聚合模块组中n2个聚合模块的输出，所述通过所述第二神经网络得到目标特征图，包括：
[0016]
在目标聚合模块组中的目标聚合模块中：
[0017]
对输入的各个所述第二输入特征图分别进行通道扩充，得到各个第五特征图，所述第五特征图的通道数为所述第二输入特征图的n倍；
[0018]
将各个所述第五特征图进行聚合，得到第六特征图，所述第六特征图的通道数为所述第五特征图通道数的n2倍；
[0019]
对所述第六特征图各个通道上的像素点进行重排列，得到第三特征图，其中，所述第三特征图的通道数与所述第五特征图的通道数相等，所述第三特征图的长和宽分别为所述第六特征图的x倍。
[0020]
所述的特征图上采样方法，其中，所述将各个所述第五特征图进行聚合，得到第六特征图，包括：
[0021]
将各个所述第五特征图在通道维度上重新排列后组合，得到所述第六特征图。
[0022]
所述的特征图上采样方法，其中，所述对所述第六特征图各个通道上的像素点进行重排列，得到第三特征图，包括：
[0023]
将所述第六特征图的x2个通道上同一空间位置的像素点组合为x*x的像素块，得到所述第三特征图的一个通道。
[0024]
所述的特征图上采样方法，其中，所述第一神经网络和所述第二神经网络是根据多组训练数据训练完成的，每组训练数据包括样本图像以及样本图像对应的样本目标图像。
[0025]
本发明的第二方面，提供一种终端，所述终端包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令，所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的特征图上采样方法的步骤。
[0026]
本发明的第三方面，提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的特征图上采样方法的步骤。
[0027]
与现有技术相比，本发明提供了一种特征图上采样方法、终端及存储介质，本发明提供的方法，通过将待处理特征图在通道维度进行分割，分别对通道数少于待处理特征图的各个特征图进行特征图处理后再进行聚合来完成上采样，实现了对待处理特征图的各个通道上的特征分别进行独立的处理，能够提取语义更丰富的特征，提升图像处理的性能。
附图说明
[0028]
图1为本发明提供的特征图上采样方法的实施例的流程图；
[0029]
图2为本发明提供的特征图上采样方法的实施例中分割模块的示意图；
[0030]
图3为本发明提供的特征图上采样方法的实施例中聚合模块的示意图；
[0031]
图4为本发明提供的终端的实施例的原理示意图。
具体实施方式
[0032]
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0033]
实施例一
[0034]
本发明提供的特征图上采样方法，可以是应用在终端中，终端可以通过本发明提供的特征图上采样方法对特征图进行上采样。终端可以但不限于是各种计算机、手机、平板电脑、车载电脑和便携式可穿戴设备。
[0035]
如图1所示，所述特征图上采样方法的一个实施例中，包括步骤：
[0036]
s100、获取待处理特征图，将所述待处理特征图输入至预先训练完成的第一神经网络，通过所述第一神经网络获取多个中间特征图。
[0037]
具体地，本实施例提供的特征图上采样方法，可以作为图像处理任务的一部分，通过执行图像处理任务的神经网络中的上采样模块实现，图像处理任务包括但不限于图像超分辨、图像分割等各种图像处理任务，当图像处理任务中包括需要对特征图进行上采样的步骤时，可以采用本实施例提供的特征图上采样方法进行上采样，所述待处理特征图可以为对图像进行初始特征提取后生的特征图，也可以为图像处理任务的前序步骤中输出的特征图。
[0038]
在本实施例中，需要对所述待处理特征图进行上采样时，首先通过第一神经网络对所述待处理特征图进行通道维度上的分割，所述第一神经网络包括多个分割模块，每个分割模块的输入为第一输入特征图，在每一个分割模块中对第一输入特征图进行分割，获取多个第一特征图后分别输入至特征处理模块，获取所述特征处理模块输出的第二特征图，每个所述第一特征图的通道数为所述第一输入特征图通道数的1/n，n为正整数，n为对所述待处理特征图进行上采样的倍数，对特征图进行n倍上采样后得到的特征图的长和宽应分别为初始特征图的长和宽的n倍，而通道数维持不变，例如，当n等于2时，若所述待处理特征图的尺寸为h*w*c，h、w、c分别为长、宽、通道数，那么，对所述待处理特征图进行n倍上采样后，得到的目标特征图的尺寸应为2h*2w*c。
[0039]
具体地，所述特征处理模块可以是现有的图像处理神经网络中上采样过程中的特征处理模块，即，本实施例提供的特征图上采样方法中的所述特征图处理模块的结构与现有的上采样过程中的特征图处理模块相同，例如，可以为特征提取模块，具体可以为多个卷积运算等。不难看出，本实施例提供的特征图上采样方法，可以是应用于各种不同的图像处理神经网络的上采样过程中，将现有的针对特征图进行整体运算的特征处理更改为针对分割后的各个特征图进行分别独立运算的特征处理，实现对各种图像处理神经网络的性能提升。
[0040]
所述第一神经网络中的各个模块的参数在所述第一神经网络的训练过程中被确定，也就是说，各个特征处理模块的参数在所述第一神经网络的训练过程中被确定，所述第一神经网络是作为图像处理任务神经网络的一部分，与图像处理任务神经网络中的其他神经网络模块(例如后文中的第二神经网络)作为整体被训练，图像处理任务神经网络是由多组训练数据训练完成，每组训练数据包括样本图像和样本图像对应的样本目标图像，例如，当图像处理任务为图像超分辨任务时，样本图像为低分辨率图像，样本图像对应的样本目
标图像为低分辨率图像对应的高分辨率图像，在训练完成后，图像处理任务神经网络能够执行对应的图像处理任务对输入的图像进行处理。所述第一神经网络作为所述图像处理任务神经网络的一部分被同步训练完成，即所述第一神经网络是根据多组训练数据训练完成，每组训练数据包括样本图像和样本图像对应的样本目标图像。
[0041]
从上面的说明不难看出，由于各个所述特征处理模块独立地对特征图进程处理，因此，当所述第一神经网络训练完成后，各个所述特征处理模的参数可以不同，也就是说，在本实施例中，不是对所述待处理特征图整体地进行特征处理，而是对待处理特征图分割在通道维度上分割为多个中间特征图后再进行特征处理，这样，相对于所有的通道采用参数相同的特征处理模块进行特征提取，针对所述待处理特征图的不同通道，可以采用参数不同的特征处理模块进行特征提取，可以获取到更丰富的语义信息。
[0042]
所述中间特征图的通道数小于所述待处理特征图的通道数，在一种可能的实现方式中，所述第一神经网络中的所述分割模块的数量可以为固定值1，此时，所述第一输入特征图即为所述待处理特征图，所述第二特征图即为所述中间特征图，也就是说，直接将所述待处理特征图在通道维度上进行分割后得到多个第一特征图后分别输入至特征处理模块，输出多个所述中间特征图，也就是说，一次性将所述待处理特征图分割为多个所述中间特征图。
[0043]
在本实施例中，为了提取语义信息更丰富的特征，设置分割模块组对所述待处理特征图进行逐步分割，获取更多的所述中间特图，具体地，所述第一神经网络包括包括m个分割模块组，第m个所述分割模块组中包括n
2(m-1)
个分割模块，第一个所述分割模块组的输入为所述待处理特征图，其余每个所述分割模块组中各个分割模块的输入分别为上一个所述分割模块组输出的各个特征图。所述对第一输入特征图进行分割，获取多个第一特征图，包括：
[0044]
s110、对第一输入特征图进行通道扩充，得到第四特征图，所述第四特征图的通道数为所述第一输入特征图通道数的n倍；
[0045]
s120、对所述第四特征图进行分割，获取n2个所述第一特征图。
[0046]
如图2所示，在每一个所述分割模块中，首先对输入至所述分割模块的第一输入特征图进行通道扩充。通道扩充可以通过一个卷积层实现，具体地，对于第一输入特征图f
gf
∈r
h
×
w
×
c
，使用卷积层，将f
gf
∈r
h
×
w
×
c
的通道数映射为2c，生成扩展通道的第四特征图f
egf
，运算过程可以用公式表示为：
[0047]
f
egf
＝h
ec
(f
gf
)
ꢀꢀ
(1)
[0048]
其中，h
ec
代表通道扩充操作。
[0049]
对所述第一输入特征图进行通道扩充得到所述第四特征图后，对所述第四特征图进行分割，获取n2个所述第一特征图，每个所述第一特征图的通道数为所述第一输入特征图通道数的1/n，具体地，分割是将所述第四特征图中的(c4)/(n2)个通道提取出来作为一个新的特征图，c4为所述第四特征图的通道数。如图2所示，以上采样倍数为2为例，在每一个所述分割模块中，对于输入的尺寸为h*w*c的第一输入特征图，首先将通道数扩充至2倍，得到尺寸为h*w*2c的所述第四特征图，再进行分割，得到尺寸为h*w*c/2的第一特征图。
[0050]
在每个分割模块中，得到所述第一特征图后，将所述第一特征图输入至特征处理模块，得到第二特征图，所述第二特征图的尺寸与所述第一特征图的尺寸相同。具体运算过
程可以用公式表示如下：
[0051][0052]
其中，代表所述分割模块中第i个特征处理模块的运算，代表对所述第四特征图f
egf
进行分割后得到的第i个所述第一特征图；为第i个所述第二特征图。
[0053]
不难看出，在本实施例中，每个所述分割模块能够输出n2个所述第二特征图，下一个分割模块组中分割模块的数量与前一个分割模块组中输出的特征图的数量相等，第一个分割模块组中包括一个分割模块，输出n2个所述第二特征图，第二个分割模块组中包括n2个所述分割模块，第一个分割模块组中输出的n2个所述第二特征图分别作为第二个分割模块组中各个所述分割模块的输入，依次类推，最后一个分割模块组的输出为所述中间特征图，不难看出，在本实施例中，通过所述第一神经网络能够获取n
2m
个所述中间特征图，每个所述中间特征图的通道数为所述待处理特征图的1/(n
2m
)。
[0054]
m的值可以取任意的正整数，例如1,2,3等，在一种可能的实现方式中，m满足：n＝x
m
，x为正整数，例如x可以取2、3等值。
[0055]
请再次参阅图1，在通过所述第一神经网络获取多个中间特征图之后，本实施例提供的特征图上采样方法，还包括步骤：
[0056]
s200、将所述多个中间特征图输入至预先训练完成的第二神经网络，通过所述第二神经网络得到目标特征图。
[0057]
所述目标特征图的长和宽分别为所述待处理特征图的长和宽的n倍，具体地，所述第二神经网络包括至少一个聚合模块，在每一个聚合模块中对第二输入特征图进行聚合获取第三特征图，每个所述第三特征图的长和宽分别为所述第二输入特征图的长和宽的n倍。
[0058]
所述第二神经网络中各个聚合模块的参数在所述第二神经网络的训练过程中被确定，所述第二神经网络是作为图像处理任务神经网络的一部分，与图像处理任务神经网络中的其他神经网络模块(例如前文中的第一神经网络)作为整体被训练，图像处理任务神经网络是由多组训练数据训练完成，每组训练数据包括样本图像和样本图像对应的样本目标图像，例如，当图像处理任务为图像超分辨任务时，样本图像为低分辨率图像，样本图像对应的样本目标图像为低分辨率图像对应的高分辨率图像，在训练完成后，图像处理任务神经网络能够执行对应的图像处理任务对输入的图像进行处理。所述第二神经网络作为所述图像处理任务神经网络的一部分被同步训练完成，即所述第二神经网络是根据多组训练数据训练完成，每组训练数据包括样本图像和样本图像对应的样本目标图像。
[0059]
在一种可能的实现方式中，所述第二神经网络中中的聚合模块个数为固定值1，即一次性将所述多个中间特征图聚合得到所述目标特征图，在本实施例中，是对所述中间特征图进行逐步聚合，具体地，所述第二神经网络包括m个聚合模块组，第m个所述聚合模块组中包括n
2(m-m)
个聚合模块，第一个所述聚合模块组的输入为所述第一神经网络的输出，其余每一个所述聚合模块组中各个聚合模块的输入为上一个所述聚合模块组中n2个聚合模块的输出，所述通过所述第二神经网络得到目标特征图，包括：
[0060]
在每个聚合模块组中的目标聚合模块中：
[0061]
s210、对输入的各个所述第二输入特征图分别进行通道扩充，得到各个第五特征图，所述第五特征图的通道数为所述第二输入特征图的n倍；
[0062]
s220、将各个所述第五特征图进行聚合，得到第六特征图，所述第六特征图的通道数为所述第五特征图通道数的n2倍；
[0063]
s230、对所述第六特征图各个通道上的像素点进行重排列，得到第三特征图，其中，所述第三特征图的通道数与所述第五特征图的通道数相等，所述第三特征图的长和宽分别为所述第六特征图的x倍。
[0064]
每个聚合模块的输入为n2个特征图，即对于每个聚合模块来说，所述第二输入特征图有n2个，在每个聚合模块中，对输入的各个所述第二输入特征图分别进行通道扩充，得到各个第五特征图，如图3所示，以上采样倍数为2为例，所述第二输入特征图的尺寸为h*w*c
in
，对所述第二输入特征图进行通道扩充后得到的所述第五特征图的尺寸为h*w*c
out
，c
out
＝2c
in
。通道扩充可以通过卷积层来实现，具体可以参阅前文中对第一输入特征图进行通道扩充的说明。
[0065]
在单个聚合模块中，获取到所述第五特征图后，对各个所述第五特征图进行聚合，得到第六特征图，具体为：
[0066]
将各个所述第五特征图的通道进行组合，得到所述第六特征图。
[0067]
在单个聚合模块中，如图3所示，所述第五特征图的个数与所述第二输入特征图的个数相等，为n2，将各个所述第五特征图的每个通道组合到一起，得到通道数为所述第五特征图的通道数的n2倍的所述第六特征图，具体地，将各个所述第五特征图的通道进行排列组合可以是按照所述第五特征图的顺序依次组合或者是按照其他的顺序进行组合。
[0068]
在获取到所述第六特征图后，对所述第六特征图各个通道上的像素点进行重排列，得到第三特征图可以是采用pixelshuffle操作实现，具体包括：
[0069]
将所述第六特征图的x2个通道上同一空间位置的像素组合为x*x的像素块，得到所述第三特征图的一个通道。
[0070]
所述第三特征图的通道数与所述第五特征图的通道数相等。将所述第六特征图的x2个通道上同一空间位置的像素提取出来，得到x2个像素点，将这些像素点进行组合，得到大小为x*x的像素块，这样，所述第六特征图中的x2个通道个就可以得到一个新的通道，且新的通道的长和宽为所述第六特征图的x倍。每不难看出，在前面的所有操作中，特征图的尺寸中只有通道数改变，长和宽不变，因此，所述第三特征图的长和宽分别为所述第五特征图长和宽的x倍，通道数为所述第二输入特征图的n倍，如图3所示，所述第二输入特征图的尺寸为h*w*c
in
，那么所述第三特征图的尺寸为(x*h)*(x*w)*c
out
，c
out
＝n*c
in
[0071]
所述第二输入特征图为所述目标聚合模块的输入，每个聚合模块组中的各个聚合模块的输入分别为前一个聚合模块组中n2个聚合模块的输出，在第一个聚合模块组中，包括n
2(m-1)
个模块，第一个聚合模块组的输入为所述第一神经网络的输出，即n
2m
个所述中间特征图，每个中间特征图的通道数为所述待处理特征图的1/(n
2m
)，每n2个所述中间特征图作为第一个聚合模块组中的一个聚合模块的输入，每个聚合模块的输出为一个所述第六特征图，这样，第一个聚合模块组的输出为n
2(m-1)
个所述第六特征图，第一个聚合模块组输出的所述第六特征图的长和宽分别为所述待处理特征图的长和宽的x倍，通道数为所述待处理特征图通道数的(n2)/(n
2m
)倍，第二个聚合模块组中包括n
2(m-2)
个聚合模块，第一个聚合模块组输出的n
2(m-1)
个所述第六特征图中，每n2个所述第六特征图为第二个聚合模块中各个聚合模块的输入，第二个聚合模块组输出的所述第六特征图的长和宽分别为所述待处理特
征图的长和宽的x2倍，通道数为所述待处理特征图通道数的(n4)/(n
2m
)倍，依次类推，最后一个聚合模块组中包括一个聚合模块，输出的所述第六特征图的长和宽分别为所述待处理特征图的x
m
倍，通道处为所述待处理特征图的(n
2m
)/(n
2m
)倍，即通道数与所述待处理特征图相等，而n＝x
m
，也就是说，最后一个聚合模块输出的所述第六特征图即为所述目标特征图。
[0072]
综上所述，本实施例提供了一种特征图上采样方法，通过将待处理特征图在通道维度进行分割，分别对通道数少于待处理特征图的各个特征图进行特征图处理后再进行聚合来完成上采样，实现了对待处理特征图的各个通道上的特征分别进行独立的处理，能够提取语义更丰富的特征，提升图像处理的性能。
[0073]
应该理解的是，虽然本发明说明书附图中给出的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0074]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0075]
实施例二
[0076]
基于上述实施例，本发明还相应提供了一种终端，如图4所示，所述终端包括处理器10以及存储器20。可以理解的是，图4仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0077]
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有特征图上采样程序30，该特征图上采样程序30可被处理器10所执行，从而实现本发明中的特征图上采样方法。
[0078]
所述处理器10在一些实施例中可以是一中央处理器(central processing unit,cpu)，微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执
行实施例一中所述的特征图上采样方法等。
[0079]
实施例三
[0080]
本发明还提供一种存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的特征图上采样方法的步骤。
[0081]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。