一种基于高阶统计量的特征图处理方法、终端及存储介质与流程

[0001]
本发明涉及图像处理技术领域，特别涉及一种基于高阶统计量的特征图处理方法、终端及存储介质。


背景技术：

[0002]
现有的很多基于深度学习的图像超分辨算法都意图设计更深或者更宽的网络结构，而忽略了网络中间层的特性相关性，从而影响了神经网络的特征表示能力，通道注意力机制可以通过建模通道之间的相关性来自适应地重新缩放每个通道的特征，从而使网络可以专注于更有用的通道并提高神经网络的表示能力，但是，现有技术中的通道注意力机制捕获的统计信息非常有限，很难计算准确的注意力权重。
[0003]
因此，现有技术还有待改进和提高。


技术实现要素：

[0004]
针对现有技术的上述缺陷，本发明提供一种基于高阶统计量的特征图处理方法、终端及存储介质，旨在解决现有技术中通道注意力机制捕获的统计信息有限，得到的注意力权重不准确的问题。
[0005]
为了解决上述技术问题，本发明所采用的技术方案如下：
[0006]
本发明的第一方面，提供一种基于高阶统计量的特征图处理方法，所述方法包括：
[0007]
分别计算待处理特征图的各个通道对应的统计量数值，其中，所述统计量包括至少一个高阶统计量；
[0008]
将所述待处理特征图输入至预先训练完成的第一神经网络，通过所述第一神经网络获取第一参数集合，其中，所述第一参数集合中包括多个第一参数，每个第一参数为所述待处理特征图分别与各个所述统计量的相关性分数；
[0009]
根据各个所述第一参数和所述统计量数值分别获取所述待处理特征图的各个通道的注意力权重；
[0010]
根据各个所述注意力权重对所述待处理特征图的各个通道进行处理，获取目标特征图。
[0011]
所述的基于高阶统计量的特征图处理方法，其中，所述统计量包括一阶统计量、二阶统计量、三阶统计量和四阶统计量。
[0012]
所述的基于高阶统计量的特征图处理方法，其中，所述分别计算通道对应的统计量数值，包括：
[0013]
根据预设公式分别获取所述统计量数值；
[0014]
其中，所述预设公式为：
[0015]
[0016][0017][0018][0019]
其中，z
1,c
表示待处理特征图u的第c个通道的一阶统计量数值，z
2,c
表示待处理特征图u的第c个通道的二阶统计量数值，z
3,c
表示待处理特征图u的第c个通道的三阶统计量数值，z
4,c
表示待处理特征图u的第c个通道的四阶统计量数值，u
c
(i,j)是特征图u的第c个通道中坐标为(i,j)的特征点的特征值，μ
c
是特征图u的第c个通道中所有特征值的均值，σ
c
是特征图u的第c个通道中所有特征值的均值标准差，e是均值操作。
[0020]
所述的基于高阶统计量的特征图处理方法，其中，所述通过所述第一神经网络获取第一参数集合，包括：
[0021]
将所述待处理特征图输入至所述第一神经网络中的第一模块，获取所述第一模块输出的第二参数集合，其中，所述第二参数集合中包括多个第二参数；
[0022]
对各个所述第二参数采样离散变量，获取各个所述第一参数。
[0023]
所述的基于高阶统计量的特征图处理方法，其中，所述根据各个所述第一参数和所述统计量数值分别获取所述待处理特征图的各个通道的注意力权重，包括：
[0024]
根据各个所述统计量分别对应的所述第一参数对每个通道的所述统计量数值进行加权求和，得到各个通道分别对应的第三参数；
[0025]
根据各个所述第三参数获取各个所述注意力权重；
[0026]
其中，所述注意力权重的取值范围为[0,1]。
[0027]
所述的基于高阶统计量的特征图处理方法，其中，所述根据各个所述第三参数获取各个所述注意力权重，包括：
[0028]
将各个所述第三参数输入至所述第一神经网络的第二模块，获取所述第二模块输出的所述注意力权重。
[0029]
所述的基于高阶统计量的特征图处理方法，其中，所述根据各个所述注意力权重对所述待处理特征图的各个通道进行处理，包括：
[0030]
将通道对应的所述注意力权重乘以通道的特征值。
[0031]
所述的基于高阶统计量的特征图处理方法，其中，所述第一神经网络是根据多组训练数据训练完成的，每组训练数据包括样本图像以及样本图像对应的样本目标图像。
[0032]
本发明的第二方面，提供一种终端，所述终端包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令，所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的基于高阶统计量的特征图处理方法的步骤。
[0033]
本发明的第三方面，提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的基于高阶统计量的特征图处理方法的步骤。
[0034]
与现有技术相比，本发明提供了一种基于高阶统计量的特征图处理方法、终端及
存储介质，本发明提供的方法中，提取特征图的各个通道的特征值的多个统计量数值，统计量包括至少一个高阶统计量，再通过一个神经网络确定各个统计量与特征图的相关性，并根据对应的相关性和统计量数值来获取特征图各个通道的注意力权重，包括高阶统计量在内的多个统计量数值能够捕获更丰富的统计信息，基于统计量数值和统计量的相关性来确定各个通道的注意力权重，提升通道注意力权重的准确性，提高神经网络的表示能力，最终实现更高质量的图像处理。
附图说明
[0035]
图1为本发明提供的基于高阶统计量的特征图处理方法的实施例的流程图；
[0036]
图2为本发明提供的基于高阶统计量的特征图处理方法的实施例中神经网络的框架示意图；
[0037]
图3为本发明提供的终端的实施例的原理示意图。
具体实施方式
[0038]
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0039]
实施例一
[0040]
本发明提供的基于高阶统计量的特征图处理方法，可以是应用在终端中，终端可以通过本发明提供的基于高阶统计量的特征图处理方法对特征图进行处理。终端可以但不限于是各种计算机、手机、平板电脑、车载电脑和便携式可穿戴设备。
[0041]
如图1所示，所述基于高阶统计量的特征图处理方法的一个实施例中，包括步骤：
[0042]
s100、分别计算待处理特征图的各个通道对应的统计量数值，其中，所述统计量包括至少一个高阶统计量。
[0043]
待处理特征图是对图像进行特征提取后得到的特征图，具体地，本实施例提供的基于高阶统计量的特征图处理方法，可以作为图像处理任务的一部分，图像处理任务包括但不限于图像超分辨、图像分割等各种图像处理任务，在使用神经网络进行图像处理任务时，需要对图像的特征图进行处理以提取更深层次的、更重要的特征，抑制不重要的特征，生成新的特征图，再进行进一步地运算得到最终的目标图像。
[0044]
在本实施例中，在获取到待处理特征图后，分别计算待处理特征图的各个通道对应的统计量数值，对于所述待处理特征图的每个通道，是对通道中的特征值进行统计，得到各个统计量数值，具体地，所述待处理特征图包括多个通道，每个特征点在每个通道上对应有一个特征值(即特征点的像素值)，以所述待处理特征图的每个通道上的各个特征值为对象求解相应的统计量，得到通道对应的统计量数值。
[0045]
在本实施例中，所述统计量包括多个不同阶的统计量，其中至少一个高阶统计量，高阶统计量是指阶数大于二阶的统计量，在本实施例中，获取各个通道对应包括高阶统计量在内的多个统计量的值来确定通道对应的注意力权重，能够捕获更多的统计信息，使得得到的通道注意力权重更准确，实现加强重要的特征，抑制不重要的特征，进而提升图像处理质量的效果。
[0046]
具体地，在本实施例中，所述统计量包括一阶统计量、二阶统计量、三阶统计量以及四阶统计量，当然，可以理解，也可以选择其他的统计量组合，例如，一阶统计量、三阶统计量及四阶统计量或者一阶统计量、二阶统计量、三阶统计量、四阶统计量及五阶统计量等。
[0047]
分别计算待处理特征图的各个通道对应的统计量数值可以是根据预设公式计算得到，在本实施例中，预设公式为：
[0048][0049][0050][0051][0052]
其中，z
1,c
表示待处理特征图u的第c个通道的一阶统计量数值，z
2,c
表示待处理特征图u的第c个通道的二阶统计量数值，z
3,c
表示待处理特征图u的第c个通道的三阶统计量数值，z
4,c
表示待处理特征图u的第c个通道的四阶统计量数值，u
c
(i,j)是特征图u的第c个通道中坐标为(i,j)的特征点的特征值，μ
c
是特征图u的第c个通道中所有特征值的均值，σ
c
是特征图u的第c个通道中所有特征值的均值标准差，e是均值操作。
[0053]
请再次参阅图1，本实施例提供的基于高阶统计量的特征图处理方法，还包括步骤：
[0054]
s200、将所述待处理特征图输入至预先训练完成的第一神经网络，通过所述第一神经网络获取第一参数集合。
[0055]
所述第一参数集合中包括多个第一参数，每个第一参数为所述待处理特征图分别与各个所述统计量的相关性分数。
[0056]
在本实施例中，通过预先训练完成的第一神经网络获取特征图与各个所述统计量的相关性，具体地，所述通过所述第一神经网络获取第一参数集合，包括：
[0057]
s210、将所述待处理特征图输入至所述第一神经网络中的第一模块，获取所述第一模块输出的第二参数集合，其中，所述第二参数集合包括多个第二参数；
[0058]
s220、对各个所述第二参数采样离散变量，获取各个所述第一参数。
[0059]
具体地，所述第一神经网络的架构示意图如图2所示，所述第一神经网络中包括第一模块，所述第一参数集合由所述第一模块输出，所述第一模块采用门控机制，将所述待处理特征图输入至所述第一模块后，所述第一模块首先通过全局平均池化层及全连接层估计所述待处理特征图与各个所述统计量的相关性，输出第二参数集合，所述第二参数集合中包括的各个第二参数分别为各个所述统计量与所述待处理特征图的相关性参数，具体地，所述第一神经网络中的模块的参数在所述第一神经网络的训练过程中被确定，也就是说，所述第一模块的参数，例如其中包括的全局平均池化层及全连接层的参数在所述第一神经
网络被训练的过程中同步更新，当所述第一神经网络训练完成后，参数被确定。具体地，所述第一神经网络是作为图像处理任务神经网络的一部分，与图像处理任务神经网络中的其他神经网络模块作为整体被训练，图像处理任务神经网络是由多组训练数据训练完成，每组训练数据包括样本图像和样本图像对应的样本目标图像，例如，当图像处理任务为图像超分辨任务时，样本图像为低分辨率图像，样本图像对应的样本目标图像为低分辨率图像对应的高分辨率图像，在训练完成后，图像处理任务神经网络能够执行对应的图像处理任务对输入的图像进行处理。所述第一神经网络作为所述图像处理任务神经网络的一部分被同步训练完成，即所述第一神经网络是根据多组训练数据训练完成，每组训练数据包括样本图像和样本图像对应的样本目标图像。
[0060]
在一种可能的实现方式中，可以直接获取所述第一模块输出的所述第二参数集合作为所述第一参数集合，在本实施例中，在所述第一模块输出的结果中引入随机性，在获取到所述第二参数集合后，对所述第二参数集合中包括的各个所述第二参数采样离散变量，获取各个所述第一参数。在本实施例中，通过加入gumbel分布噪声引入随机性，具体地，所述第一参数为k维离散随机变量，其概率分布为[α1，α2，...，α
k
]，根据gumbel-softmax技巧，根据可以以下公式采样离散变量：
[0061]
v＝one_hot(softmax[(logα
k
+g
k
)/τ])
[0062]
其中，τ是softmax函数的温度参数，g1,g2,...g
k
是独立同分布的gumbel随机变量，可以由均匀分布求逆生成，即g＝-log(-log(z))，z是服从均匀分布unif[0,1]的样本。
[0063]
根据上述公式得到的v即为所述第一参数集合，v为形如[0,0,1,0]的one hot(独热)向量，也就是说，只有一个所述统计量对应的所述第一参数为1，其余的所述统计量对应的所述第一参数为0。
[0064]
请再次参阅图1，本实施例提供的基于高阶统计量的特征图处理方法还包括步骤：
[0065]
s300、根据各个所述第一参数和所述统计量数值分别获取所述待处理特征图的各个通道的注意力权重。
[0066]
在获取到各个所述第一参数和所述统计量数值后，对于所述待处理特征图，有各个所述统计量的相关性分数，对于所述待处理特征图的每个通道，都对应有各个所述统计量数值，根据各个所述第一参数和所述统计量数值分别获取所述待处理特征图的各个通道的注意力权重，具体包括：
[0067]
s310、根据各个所述统计量分别对应的所述第一参数对每个通道的所述统计量数值进行加权求和，得到各个通道分别对应的第三参数。
[0068]
对于所述待处理特征图的每个通道，将每个所述统计量对应的所述第一参数作为权重，对通道的各个所述统计量数值进行加权求和，具体计算方式可以由如下公式表示：
[0069][0070]
其中，y为通道的第三参数，v
i
为第i个所述统计量的所述第一参数，v
i
为向量v中的第i个元素，z
i
为该通道第i个所述统计量的统计量数值，k为统计量的总数。例如，在本实施例中，所述统计量包括一阶统计量、二阶统计量、三阶统计量和四阶统计量，那么，k取4。
[0071]
由于所述第一参数v为one hot向量，因此，对于每个通道来说，将所述第一参数v作为权重对通道的各个所述统计量数值进行加权求和，实际上是选择了不同阶的统计量中
相关性最大的那个统计量的统计量数值作为对应的所述第三参数。例如，图2中示出了选择通道的二阶统计量的统计量数值作为通道的所述第三参数的情况。
[0072]
s320、根据各个所述第三参数获取各个所述注意力权重。
[0073]
在一种可能的实现方式中，可以直接将所述第三参数作为通道的注意力权重，在本实施例中，所述注意力权重的取值范围为[0,1]，即在获取到所述第三参数后，对各个所述第三参数进行归一化处理后作为对应的通道的所述注意力权重。
[0074]
具体地，所述根据各个所述第三参数获取各个所述注意力权重，包括：
[0075]
将各个所述第三参数输入至所述第一神经网络的第二模块，获取所述第二模块输出的所述注意力权重。
[0076]
具体地，所述第二模块包括全连接层和激活函数，所述第二模块的参数在所述第一神经网络的训练过程中被确定，具体可以参阅前面对所述第一神经网络的训练的部分的说明。
[0077]
请再次参阅图1，在获取到各个通道的所述注意力权重后，本实施例提供的基于高阶统计量的特征图处理方法，还包括步骤：
[0078]
s400、根据各个所述注意力权重对所述待处理特征图的各个通道进行处理，获取目标特征图。
[0079]
在获取到所述待处理特征图的各个通道分别对应的所述注意力权重后，对于所述待处理特征图的每个通道，将该通道对应的所述注意力权重乘到该通道上，即将该通道对应的所述注意力权重乘以该通道的特征值，具体地，是将该通道对应的所述注意力权重乘以该特征图的特征点在该通道上的特征值。
[0080]
综上所述，本实施例提供了一种基于高阶统计量的特征图处理方法，通过提取特征图的各个通道的特征值的多个统计量数值，统计量包括至少一个高阶统计量，再通过一个神经网络确定各个统计量与特征图的相关性，并根据对应的相关性和统计量数值来获取特征图各个通道的注意力权重，包括高阶统计量在内的多个统计量数值能够捕获更丰富的统计信息，基于统计量数值和统计量的相关性来确定各个通道的注意力权重，提升通道注意力权重的准确性，提高神经网络的表示能力，最终实现更高质量的图像处理。
[0081]
应该理解的是，虽然本发明说明书附图中给出的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0082]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括
随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0083]
实施例二
[0084]
基于上述实施例，本发明还相应提供了一种终端，如图3所示，所述终端包括处理器10以及存储器20。可以理解的是，图3仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0085]
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于高阶统计量的特征图处理程序30，该基于高阶统计量的特征图处理程序30可被处理器10所执行，从而实现本发明中的基于高阶统计量的特征图处理方法。
[0086]
所述处理器10在一些实施例中可以是一中央处理器(central processing unit,cpu)，微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行实施例一中所述的基于高阶统计量的特征图处理方法等。
[0087]
实施例三
[0088]
本发明还提供一种存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于高阶统计量的特征图处理方法的步骤。
[0089]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。