一种图像处理方法、装置、电子设备和存储介质与流程

1.本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备和存储介质。


背景技术：

2.基于深度学习的图像风格迁移(style transfer)网络中，在进行图像分格迁移时，需要对该基于深度学习的图像风格迁移网络中编码器的特征和解码器的特征进行特征融合，从而保证原始图像内容没有变化。但是，在对该基于深度学习的图像风格迁移网络中编码器的特征和解码器的特征进行特征融合的过程中往往需要大量的计算量。
3.为此，现有技术中提出了注意力机制，用于在保证风格迁移后的原始图像内容没有变化的同时，降低基于深度学习的图像风格迁移网络中编码器的特征和解码器的特征进行特征融合的过程中的计算量。如：压缩奖惩模块(squeeze
‑
and
‑
excitation block，se block)是squeeze
‑
and
‑
excitation networks是由自动驾驶公司momenta在2017年公布的一种全新的图像识别结构中的注意力机制，它通过对基于深度学习的图像风格迁移网络中各个特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。但是，se block的缺点是对基于深度学习的图像风格迁移网络中深层特征的准确率提升较明显，但是对基于深度学习的图像风格迁移网络中较浅特征的准确率提升不明显。


技术实现要素：

4.本公开提供一种图像处理方法、装置、电子设备和存储介质，以至少解决相关技术中压缩奖惩模块的缺点是对基于深度学习的图像风格迁移网络中深层特征的准确率提升较明显，但是对基于深度学习的图像风格迁移网络中较浅特征的准确率提升不明显。
5.本公开的技术方案如下：
6.根据本公开实施例的第一方面，提供一种图像处理方法，包括：采用编码器对原始图像进行特征提取，获得原始图像在编码器的每一层次结构的编码特征；其中，编码特征包括浅层特征；将编码特征输入到解码器中，根据解码器中当前层次结构的解码特征以及编码器中与当前层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征；根据剔除预设特征后的编码特征和解码特征，确定结果特征图；其中，编码器和解码器内包含的层次结构的总数相同；根据结果特征图，确定原始图像的处理结果。
7.在一种可实施的方式中，上述“根据解码器中当前层次结构的解码特征以及编码器中与当前层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征”，具体可以通过下述方式实现：对解码特征和编码特征中的特征进行特征融合，确定第一融合特征；根据第一融合特征，确定解码特征与编码特征之间的关联度；根据关联度和编码特征，确定剔除预设特征后的编码特征。
8.在一种可实施的方式中，上述“根据剔除预设特征后的编码特征和解码特征，确定结果特征图”，具体可以通过下述方式实现：对剔除预设特征后的编码特征和解码特征进行
特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征；当下一层次结构是最后一个层次结构时，将下一层次结构确定的第二融合特征对应的特征图作为结果特征图。
9.在一种可实施的方式中，本公开实施例提供的图像处理方法还包括：当下一层次结构不是最后一个层次结构时，根据解码器在下一层次结构的解码特征，以及编码器中与下一层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征；对剔除预设特征后的编码特征和下一层次结构的解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征。
10.在一种可实施的方式中，上述根据融合特征，确定解码特征与编码特征之间的关联度，具体可以通过下述方式实现：将融合特征对应的特征张量输入至预设的激活函数，确定解码特征与编码特征之间的关联度。
11.在一种可实施的方式中，上述激活函数为sigmoid函数。
12.在一种可实施的方式中，上述根据关联度和编码特征，确定剔除预设特征后的编码特征，具体可以通过下述方式实现：将关联度与编码特征对应的特征张量进行点乘，确定剔除预设特征后的编码特征。
13.在一种可实施的方式中，上述将关联度与编码特征对应的特征张量进行点乘，确定剔除预设特征后的编码特征，具体可通过下述方式实现：将关联度与编码特征对应的特征张量进行点乘，将点乘后的编码特征中点乘结果为0的特征剔除，确定剔除预设特征后的编码特征。
14.在一种可实施的方式中，上述对剔除预设特征后的编码特征和编码特征进行特征融合，确定第二融合特征，具体可通过下述方式实现：将剔除预设特征后的编码特征对应的特征张量和和解码特征对应的特征张量进行卷积运算，确定第二融合特征。
15.根据本公开实施例的第二方面，提供一种图像处理装置，包括：获取单元和处理单元；获取单元，被配置为采用编码器对原始图像进行特征提取，获得原始图像在编码器的每一层次结构的编码特征；其中，编码特征包括浅层特征；处理单元，被配置为将获取单元获取的编码特征输入到解码器中，根据解码器中当前层次结构的解码特征以及编码器中与获取单元获取的当前层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征；处理单元，被配置为根据剔除预设特征后的编码特征和解码特征，确定结果特征图；其中，编码器和解码器内包含的层次结构的总数相同；处理单元，被配置为根据结果特征图，确定原始图像的处理结果。
16.在一种可实施的方式中，处理单元，具体被配置为对解码特征和处理单元，被配置为编码特征中的特征进行特征融合，确定第一融合特征；处理单元，具体被配置为根据第一融合特征，确定解码特征与获取单元获取的编码特征之间的关联度；处理单元，具体被配置为根据关联度和获取单元获取的编码特征，确定剔除预设特征后的编码特征。
17.在一种可实施的方式中，处理单元，具体被配置为对剔除预设特征后的编码特征和解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征；处理单元，具体被配置为当下一层次结构是最后一个层次结构时，将下一层次结构确定的第二融合特征对应的特征图作为结果特征图。
18.在一种可实施的方式中，处理单元，还被配置为当下一层次结构不是最后一个层
次结构时，根据解码器在下一层次结构的解码特征，以及获取单元获取的编码器中与下一层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征；对剔除预设特征后的编码特征和下一层次结构的解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征。
19.在一种可实施的方式中，处理单元，具体被配置为将获取单元获取的解码特征对应的特征张量和获取单元获取的编码特征对应的特征张量进行卷积运算，确定第一融合特征。
20.在一种可实施的方式中，处理单元，具体被配置为将融合特征对应的特征张量输入至预设的激活函数，确定解码特征与编码特征之间的关联度。
21.在一种可实施的方式中，激活函数为sigmoid函数。
22.在一种可实施的方式中，处理单元，具体被配置为将关联度与获取单元获取的编码特征对应的特征张量进行点乘，确定剔除预设特征后的编码特征。
23.在一种可实施的方式中，处理单元，具体被配置为将关联度与获取单元获取的编码特征对应的特征张量进行点乘，将点乘后的编码特征中点乘结果为0的特征剔除，确定剔除预设特征后的编码特征。
24.在一种可实施的方式中，处理单元，具体被配置为将剔除预设特征后的编码特征对应的特征张量和和获取单元获取的解码特征对应的特征张量进行卷积运算，确定第二融合特征。
25.根据本公开实施例的第三方面，提供一种电子设备，包括：
26.处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现第一方面提供的图像处理方法。
27.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当存储介质中的指令由第三方面提供的电子设备的处理器执行时，使得服务器能够执行第一方面提供的图像处理方法。
28.根据本公开实施例的第五方面，提供一种计算机程序产品，包括，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面的设计方式的图像处理方法。
29.本公开的实施例提供的技术方案至少带来以下有益效果：
30.由上述可知，为了降低基于深度学习的图像风格迁移网络中编码器的特征和解码器的特征进行特征融合的过程中的计算量，本公开实施例提供的图像处理方法，通过确定解码特征与编码特征之间的关联度，确定解码特征与编码特征之间相似的概率，进而可以根据该关联度和编码特征对应的特征张量，剔除编码特征中的预设特征。当预设特征为干扰特征时，使得剔除干扰特征后的浅层特征包含的有用特征更多，因此可以提高在基于深度学习的图像风格迁移网络中较浅特征的准确率，解决了相关技术中压缩奖惩模块的缺点是对基于深度学习的图像风格迁移网络中深层特征的准确率提升较明显，但是对基于深度学习的图像风格迁移网络中较浅特征的准确率提升不明显的问题。
31.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
32.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
33.图1是根据一示例性实施例示出的一种实施环境的架构图。
34.图2是根据一示例性实施例示出的一种图像处理方法的流程图之一。
35.图3是根据一示例性实施例示出的一种图像处理方法的流程图之二。
36.图4是根据一示例性实施例示出的一种图像处理方法的流程图之三。
37.图5是根据一示例性实施例示出的一种图像处理方法的流程图之四。
38.图6是根据一示例性实施例示出的一种图像处理方法的流程图之五。
39.图7是根据一示例性实施例示出的一种图像处理方法的流程图之六。
40.图8是根据一示例性实施例示出的一种图像处理方法的流程图之七。
41.图9是根据一示例性实施例示出的一种图像处理装置的结构示意图之一。
42.图10是根据一示例性实施例示出的一种图像处理装置的结构示意图之二。
具体实施方式
43.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
44.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
45.图1是根据一示例性实施例示出的一种实施环境的架构图，如图1所示，下述图像处理可以应用于该实施环境中。该实施环境包括电子设备1。
46.其中，电子设备1包括解码器11和编码器12。对于解码器中每一层级结构的解码特征按照如下方式进行处理：
47.fout＝g(fenc，fdec)。
48.其中，fout表示经过计算后的特征，fenc表示编码器中第n个层级结构的编码特征，fdec表示解码器中第n个层级结构的解码特征，g表示计算函数(在实际过程中，计算函数通过对同一层级结构的编码特征和解码特征通过concat函数进行拼接，concat函数是一种数据拼接方法，该函数不会改变现有的数组，而仅会返回连接数组的一个副本，将拼接得到的新数组作为拼接特征，再对拼接特征进行卷积运算，从而实现编码特征的特征和解码特征的特征之间的融合)。其中，解码器和编码器均保括n个层级结构，n和n均为大于1的整数，且n∈[1，n]。
[0049]
在一种可实施的方式中，电子设备1用于向用户提供语音和/或数据连通性服务。电子设备1可以有不同的名称，例如用户设备(user equipment，ue)、接入终端、终端单元、终端站、移动站、移动台、远方站、远程终端、移动设备、无线通信设备、车辆用户设备、终端代理或终端装置等。可选的，客户端02可以为各种具有通信功能的手持设备、车载设备、可
穿戴设备、计算机，本发明实施例对此不作任何限定。例如，手持设备可以是智能手机。车载设备可以是车载导航系统。可穿戴设备可以是智能手环。计算机可以是个人数字助理(personal digital assistant，pda)电脑、平板型电脑以及膝上型电脑(laptop computer)。
[0050]
在本公开中所用的一些术语具有其在业界普通和习惯的意义。另外，对一些术语在本说明书中出现时会加以解释。但理解在本文中特别使用的几个术语会有所帮助。
[0051]
深度学习(dl,deep learning)是机器学习(ml,machine learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(ai,artificial intelligence)。
[0052]
图像风格迁移是将图像从原风格转换到另外一个风格,同时保证图像内容没有变化。
[0053]
人工神经网络(artificial neural network，即ann)，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
[0054]
激活函数(activation function)，就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。
[0055]
sigmoid函数是一个在生物学中常见的s型函数，也称为s型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间。
[0056]
压缩奖惩模块是squeeze
‑
and
‑
excitation networks是由自动驾驶公司momenta在2017年公布的一种全新的图像识别结构中的注意力机制，它通过对基于深度学习的图像风格迁移网络中各个特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。但是，压缩奖惩模块的缺点是对基于深度学习的图像风格迁移网络中深层特征的准确率提升较明显，但是对基于深度学习的图像风格迁移网络中较浅特征的准确率提升不明显。为解决上述问题，本公开实施例提供的图像处理方法，通过确定解码特征与编码特征之间的关联度，确定解码特征与编码特征之间相似的概率，进而可以根据该关联度和编码特征对应的特征张量，剔除编码特征中的预设特征。当预设特征为干扰特征时，使得剔除干扰特征后的浅层特征包含的有用特征更多，因此可以提高在基于深度学习的图像风格迁移网络中较浅特征的准确率，解决了相关技术中压缩奖惩模块的缺点是对基于深度学习的图像风格迁移网络中深层特征的准确率提升较明显，但是对基于深度学习的图像风格迁移网络中较浅特征的准确率提升不明显的问题，具体的实现过程如下：
[0057]
下面结合各个附图对本公开实施例提供的图像处理方法进行示例性的说明。
[0058]
图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，图像处理方法应用于电子设备中，该方法包括以下s11
‑
s14。
[0059]
s11、电子设备采用编码器对原始图像进行特征提取，获得原始图像在编码器的每一层次结构的编码特征。其中，编码特征包括浅层特征。
[0060]
需要说明的是，在图像风格迁移的工作中，神经网络的浅层特征被视为“风格”，深层特征被视为“内容”(一般认为人工神经网络的浅层特征对应着图像的边缘、细节等纹理特征，而其深层特征对应着图像的语义特征)。具体的，本公开实施例提供的图像处理方法中，可以采用浅层架构的即具有更扁平的拓扑结构的提取网络，来进行浅层特征的提取，可以采用深层架构的即具有多个分层拓扑层的提取网络，来进行深层特征的提取。例如可以将浅层架构的提取网络理解为只有一层拓扑结构的网络，将深层架构的提取网络理解为具有三层拓扑结构的网络。
[0061]
s12、电子设备将编码特征输入到解码器中，根据解码器中当前层次结构的解码特征以及编码器中与当前层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征。
[0062]
s13、电子设备根据剔除预设特征后的编码特征和解码特征，确定结果特征图。其中，编码器和解码器内包含的层次结构的总数相同。
[0063]
s14、电子设备根据结果特征图，确定原始图像的处理结果。
[0064]
由上述可知，本公开实施例提供的图像处理方法，电子设备通过确定解码特征与编码特征之间的关联度，确定解码特征与编码特征之间相似的概率，进而可以根据该关联度和编码特征对应的特征张量，剔除编码特征中的预设特征。当预设特征为干扰特征时，剔除干扰特征后的浅层特征包含的有用特征更多，因此可以提高在基于深度学习的图像风格迁移网络中较浅特征的准确率。
[0065]
在一种可实施的方式中，结合图2，如图3所示，上述s12具体可通过下述s120
‑
s122实现。
[0066]
s120、电子设备将编码特征输入到解码器中，对解码特征和编码特征中的特征进行特征融合，确定第一融合特征。
[0067]
s121、电子设备根据第一融合特征，确定解码特征与编码特征之间的关联度。
[0068]
s122、电子设备根据关联度和编码特征，确定剔除预设特征后的编码特征。
[0069]
由上述可知，本公开实施例提供的图像处理方法，电子设备通过将编码特征输入到解码器中，对解码特征和编码特征中的特征进行特征融合，确定第一融合特征。电子设备根据第一融合特征，确定解码特征与编码特征之间的关联度。电子设备根据关联度和编码特征，确定剔除预设特征后的编码特征。从而，电子设备可以对编码特征中的预设特征进行剔除，如该预设特征为干扰特征时，这样可以提高编码特征的准确度。
[0070]
在一种可实施的方式中，结合图2，如图4所示，上述s13具体可通过下述s130和s131实现。
[0071]
s130、电子设备对剔除预设特征后的编码特征和解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征。
[0072]
s131、当下一层次结构是最后一个层次结构时，电子设备将下一层次结构确定的第二融合特征对应的特征图作为结果特征图。
[0073]
需要说明的是，若编码器和解码器均包含n个层级结构，则电子设备第一次执行预设操作时，确定解码器第1个层级结构的解码特征为编码器第n个层级结构的编码特征。
[0074]
示例性的，关联度的范围在0～1之间。其中，关联度的取值越接近1，则表示解码特征与编码特征之间相似的概率越高；关联度的取值越接近0，则表示解码特征与编码特征之间相似的概率越低。
[0075]
由上述可知，本公开实施例提供的图像处理方法，电子设备对剔除预设特征后的编码特征和解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征。这样在下一次进行特征融合时，由于编码特征中剔除了预设特征，使得第二融合特征的准确度更高。当下一层次结构是最后一个层次结构时，电子设备将下一层次结构确定的第二融合特征对应的特征图作为结果特征图。如此，电子设备经过多次特征融合后，可以提高原始图像的处理结果的准确性。
[0076]
在一种可实施的方式中，结合图4，如图5所示，本公开实施例提供的图像处理方法还包括：s130、s132和s133。
[0077]
s130、电子设备对剔除预设特征后的编码特征和解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征。
[0078]
s132、当下一层次结构不是最后一个层次结构时，电子设备根据解码器在下一层次结构的解码特征，以及编码器中与下一层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征。
[0079]
s133、电子设备对剔除预设特征后的编码特征和下一层次结构的解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征。
[0080]
由上述可知，本公开实施例提供的图像处理方法，电子设备对剔除预设特征后的编码特征和解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征。这样在下一次进行特征融合时，由于编码特征中剔除了预设特征，使得第二融合特征的准确度更高。当下一层次结构不是最后一个层次结构时，电子设备根据解码器在下一层次结构的解码特征，以及编码器中与下一层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征。电子设备对剔除预设特征后的编码特征和下一层次结构的解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征。如此，电子设备经过多次特征融合后，可以提高原始图像的处理结果的准确性在一种可实施的方式中，结合图3，如图6所示，上述s120具体可通过下述s1200实现。
[0081]
s1200、电子设备将解码特征对应的特征张量和编码特征对应的特征张量进行卷积运算，确定第一融合特征。
[0082]
具体的，为了更好地将解码特征和编码特征进行结合，本公开实施例提供的图像处理方法，需要将解码特征和编码特征分别转换为对应的特征张量，进一步对二者的特征张量进行卷积运算，从而完成特征间的融合，方便后续分析解码特征与编码特征之间的关联度。
[0083]
由上述可知，本公开实施例通过对解码特征和编码特征的特征张量进行卷积运算，从而完成特征间的融合，方便电子设备根据该第一融合特征，确定解码特征与编码特征之间的关联度，为后续剔除预设特征提供基础。
[0084]
在一种可实施的方式中，结合图3，如图6所示，上述s121具体可通过下述s1210实现。
[0085]
s1210、电子设备将融合特征对应的特征张量输入至预设的激活函数，确定解码特征与编码特征之间的关联度。
[0086]
示例性的，激活函数还可以为tanh函数，或者relu函数(the rectified linear unit)。
[0087]
由上述可知，本公开实施例提供的图像处理方法，通过预设的激活函数，可以更加准确地确定解码特征与编码特征之间的关联度。进一步地，可以根据该关联度，确定解码特征与编码特征之间相似的概率，进而可以根据该关联度和编码特征对应的特征张量，剔除编码特征中的预设特征，从而可以保留更多有用的浅层特征，保证处理结果的准确性。
[0088]
在一种可实施的方式中，激活函数为sigmoid函数。
[0089]
由上述可知，当激活函数为sigmoid函数时，使得解码特征与编码特征之间的关联度的数值范围在0和1之间，从而可以更好反映出解码特征与编码特征之间相似的概率，方便后续的计算。
[0090]
在一种可实施的方式中，结合图3，如图6所示，上述s122具体可通过下述s1220实现。
[0091]
s1220、电子设备将关联度与编码特征对应的特征张量进行点乘，确定剔除预设特征后的编码特征。
[0092]
由上述可知，为了降低基于深度学习的图像风格迁移网络中编码器的特征和解码器的特征进行特征融合的过程中的计算量，本公开实施例提供的图像处理方法，通过将关联度与编码特征对应的特征张量进行点乘，从而可以剔除部分预设特征，从而在解码器处理该剔除预设特征后的编码特征时，由于该剔除预设特征后的编码特征具有更少的特征，因此可以降低解码器的计算量。
[0093]
在一种可实施的方式中，结合图6，如图7所示，上述s1220具体可通过下述s12200实现。
[0094]
s12200、电子设备将关联度与编码特征对应的特征张量进行点乘，将点乘后的编码特征中点乘结果为0的特征剔除，确定剔除预设特征后的编码特征。
[0095]
具体的，电子设备将关联度与编码特征对应的特征张量进行点乘，将点乘后的编码特征中点乘结果为1的特征保留，确定剔除预设特征后的编码特征。
[0096]
示例性的，假设关联度为0.99，编码特征对应的特征张量用矩阵表示为时，电子设备将关联度与编码特征对应的特征张量进行点乘，则点乘后的结果为进一步地，将点乘后的编码特征中点乘结果为0的特征剔除，则剔除预设特征后的编码特征用矩阵表示为
[0097]
由上述可知，本公开实施例提供的图像处理方法，通过将关联度与编码特征对应的特征张量进行点乘，确定点乘后的编码特征中点乘结果为1的特征并提出，从而在解码器处理该剔除预设特征后的编码特征时，由于该剔除预设特征后的编码特征具有更少的特
征，因此可以降低解码器的计算量。
[0098]
在一种可实施的方式中，结合图4，如图8所示，上述s130具体可通过下述s1300实现。
[0099]
s1300、电子设备将剔除预设特征后的编码特征对应的特征张量和和解码特征对应的特征张量进行卷积运算，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的编码特征。
[0100]
由上述可知，本公开实施例通过对剔除预设特征后的编码特征对应的特征张量和和解码特征对应的特征张量进行卷积运算，从而完成特征间的融合，方便电子设备根据该第二融合特征。进一步地，在确定下一层次结构为最后一个层级结构时，确定该下一层次结构确定的第二融合特征对应的特征图为结果特征图，从而可以根据该结果特征图确定原始图像的处理结果，保证用户的体验。
[0101]
图9是根据一示例性实施例示出的图像处理装置10，包括：获取单元101和处理单元102。
[0102]
获取单元101，被配置为采用编码器对原始图像进行特征提取，获得原始图像在编码器的每一层次结构的编码特征；其中，编码特征包括浅层特征；处理单元102，被配置为将获取单元101获取的编码特征输入到解码器中，根据解码器中当前层次结构的解码特征以及编码器中与获取单元101获取的当前层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征；处理单元102，被配置为根据剔除预设特征后的编码特征和解码特征，确定结果特征图；其中，编码器和解码器内包含的层次结构的总数相同；处理单元102，被配置为根据结果特征图，确定原始图像的处理结果。
[0103]
在一种可实施的方式中，处理单元102，具体被配置为对解码特征和处理单元102，被配置为编码特征中的特征进行特征融合，确定第一融合特征；处理单元102，具体被配置为根据第一融合特征，确定解码特征与获取单元101获取的编码特征之间的关联度；处理单元102，具体被配置为根据关联度和获取单元101获取的编码特征，确定剔除预设特征后的编码特征。
[0104]
在一种可实施的方式中，处理单元102，具体被配置为对剔除预设特征后的编码特征和解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征；处理单元102，具体被配置为当下一层次结构是最后一个层次结构时，将下一层次结构确定的第二融合特征对应的特征图作为结果特征图。
[0105]
在一种可实施的方式中，处理单元102，还被配置为当下一层次结构不是最后一个层次结构时，根据解码器在下一层次结构的解码特征，以及获取单元101获取的编码器中与下一层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征；对剔除预设特征后的编码特征和下一层次结构的解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征。
[0106]
在一种可实施的方式中，处理单元102，具体被配置为将获取单元101获取的解码特征对应的特征张量和获取单元101获取的编码特征对应的特征张量进行卷积运算，确定第一融合特征。
[0107]
在一种可实施的方式中，处理单元102，具体被配置为将融合特征对应的特征张量输入至预设的激活函数，确定解码特征与编码特征之间的关联度。
[0108]
在一种可实施的方式中，激活函数为sigmoid函数。
[0109]
在一种可实施的方式中，处理单元102，具体被配置为将关联度与获取单元101获取的编码特征对应的特征张量进行点乘，确定剔除预设特征后的编码特征。
[0110]
在一种可实施的方式中，处理单元102，具体被配置为将关联度与获取单元101获取的编码特征对应的特征张量进行点乘，将点乘后的编码特征中点乘结果为0的特征剔除，确定剔除预设特征后的编码特征。
[0111]
在一种可实施的方式中，处理单元102，具体被配置为将剔除预设特征后的编码特征对应的特征张量和和获取单元101获取的解码特征对应的特征张量进行卷积运算，确定第二融合特征。
[0112]
当然，本公开的实施例提供的图像处理装置10包括但不限于上述模块，例如图像处理装置10还可以包括存储单元103。存储单元103可以用于存储该写图像处理装置的程序代码，还可以用于存储写图像处理装置在运行过程中生成的数据，如写请求中的数据等。
[0113]
另外，上述实施例提供的图像处理装置10在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将图像处理装置10的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0114]
图10为本发明实施例提供的一种图像处理装置10的结构示意图，如图10所示，该图像处理装置10可以包括：至少一个处理器51、存储器52、通信接口53和通信总线54。
[0115]
下面结合图10对图像处理装置的各个构成部件进行具体的介绍：
[0116]
其中，处理器51是图像处理装置的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器51是一个中央处理器(central processing unit，cpu)，也可以是特定集成电路(application specific integrated circuit，asic)，或者是被配置成实施本发明实施例的一个或多个集成电路，例如：一个或多个dsp，或，一个或者多个现场可编程门阵列(field programmable gate array，fpga)。
[0117]
在具体的实现中，作为一种实施例，处理器51可以包括一个或多个cpu，例如图10中所示的cpu0和cpu1。且，作为一种实施例，图像处理装置可以包括多个处理器，例如图10中所示的处理器51和处理器55。这些处理器中的每一个可以是一个单核处理器(single
‑
cpu)，也可以是一个多核处理器(multi
‑
cpu)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
[0118]
存储器52可以是只读存储器(read
‑
only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read
‑
only memory，eeprom)、只读光盘(compact disc read
‑
only memory，cd
‑
rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器52可以是独立存在，通过通信总线54与处理器51相连接。存储器52也可以和处理器51集成在一起。
[0119]
在具体的实现中，存储器52，用于存储本发明中的数据和执行本发明的软件程序。
处理器51可以通过运行或执行存储在存储器52内的软件程序，以及调用存储在存储器52内的数据，执行空调器的各种功能。
[0120]
通信接口53，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如无线接入网(radio access network，ran)，无线局域网(wireless local area networks，wlan)、终端、云端等。通信接口53可以包括获取单元以实现接收功能。
[0121]
通信总线54，可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component interconnect，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0122]
作为一个示例，结合图9，图像处理装置10中的获取单元101实现的功能与图10中的通信接口53的功能相同，处理单元102实现的功能与图10中的处理器51的功能相同，存储单元103实现的功能与图10中的存储器52的功能相同。
[0123]
本发明另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述方法实施例所示的方法。
[0124]
在一些实施例中，所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。
[0125]
在示例性实施例中，本公开实施例还提供了一种包括指令的存储介质，例如包括指令的存储器102，上述指令可由图像处理装置的处理器101执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
[0126]
在示例性实施例中，本公开实施例还提供了一种包括一条或多条指令的计算机程序产品，该一条或多条指令可以由图像处理装置的处理器101执行以完成上述方法。
[0127]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0128]
在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0129]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0130]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以
是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0131]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本公开的实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0132]
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何在本公开揭露的技术范围内的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。