基于广域动态卷积的图像处理方法及装置与流程

本公开涉及计算机技术领域，尤其涉及一种基于广域动态卷积的图像处理方法及装置。

背景技术：

目前，卷积神经网络被广泛应用于计算机视觉任务中。通常情况下，将原始图像输入卷积神经网络，经过多级卷积和下采样后，会得到一个分辨率比原始图像低、通道数比原始图像高的特征图，该特征图被认为编码了一定的空间信息(即该特征图保留了原始图像中像素点之间的相邻关系)，其每个像素点的特征向量被认为编码了丰富的语义信息。

但是，该特征图存在分辨率低、模糊不清等问题，使得根据该特征图确定的图像处理结果的准确性较差。例如，标准的卷积运算的卷积核是空间共享的，经过标准的卷积运算得到的特征图较为平滑，容易丢失原始图像中的边缘信息，使得标准的卷积运算在执行语义分割、光流预测等稠密估计任务时的准确性较差。

技术实现要素：

有鉴于此，本公开提出了一种基于广域动态卷积的图像处理方法及装置。

根据本公开的一方面，提供了一种基于广域动态卷积的图像处理方法，所述方法包括：

对待处理图像进行特征提取，得到n级特征图，n为大于1的整数；

对第n级特征图进行上采样，得到所述待处理图像的第一特征图；

根据所述n级特征图及预设的卷积核尺寸，确定与所述第一特征图中的各个像素点对应的卷积核；

根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对所述第一特征图中的各个像素点分别进行卷积及池化处理，得到所述待处理图像的第二特征图；

根据所述第二特征图，确定所述待处理图像的图像处理结果。

在一种可能的实现方式中，根据所述n级特征图及预设的卷积核尺寸，确定与所述第一特征图中的各个像素点对应的卷积核，包括：

对所述n级特征图进行尺寸调整及融合处理，得到第三特征图，所述第三特征图的尺寸与所述第一特征图的尺寸相同；

对所述第三特征图进行卷积及激活处理，得到第四特征图，所述第四特征图的高度及宽度与所述第一特征图的高度及宽度相同，所述第四特征图的通道数为所述第一特征图的通道数的k×k倍，其中k×k为预设的卷积核尺寸，k为正整数；

根据所述第四特征图，确定与所述各个像素点对应的卷积核参数。

在一种可能的实现方式中，根据所述第四特征图，确定与所述各个像素点对应的卷积核参数，包括：

根据所述第四特征图，确定与所述第一特征图中的各个像素点对应的特征向量，所述特征向量的维数为c×k×k，c为所述第一特征图的通道数，c为正整数；

将与所述第一特征图中的各个像素点的对应的特征向量，转换为与所述各个像素点对应的卷积核参数。

在一种可能的实现方式中，根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对所述第一特征图中的各个像素点分别进行卷积及池化处理，得到所述待处理图像的第二特征图，包括：

根据所述第一特征图中各个像素点的邻近区域尺寸，确定所述各个像素点的邻近区域；

对于所述第一特征图中的任一像素点，根据与所述像素点对应的卷积核，对所述第一特征图进行卷积处理，确定所述像素点的邻近区域中的各个像素点的第一卷积响应；

对所述像素点的邻近区域中的各个像素点的第一卷积响应进行池化处理，确定所述像素点的第二卷积响应；

根据所述第一特征图中各个像素点的第二卷积响应，确定待处理图像的第二特征图。

在一种可能的实现方式中，对所述n级特征图进行尺寸调整及融合处理，得到第三特征图，包括：

根据所述第一特征图的尺寸，对所述n级特征图进行尺寸调整，得到n个第五特征图，所述第五特征图的尺寸与所述第一特征图的尺寸相同；

将所述n个第五特征图中位置相同的像素点的n个特征值相加，得到第三特征图。

在一种可能的实现方式中，所述方法通过神经网络实现，所述神经网络包括特征提取网络、卷积核生成网络及广域动态卷积网络，所述特征提取网络用于进行特征提取，所述卷积核生成网络用于确定各个像素点对应的卷积核，所述广域动态卷积网络用于确定第二特征图，

其中，所述方法还包括：

根据预设的训练集，训练所述特征提取网络，所述训练集中包括多个样本图像、所述多个样本图像的参考特征图及所述多个样本图像的参考处理结果；

根据所述训练集及训练后的特征提取网络，训练所述卷积核生成网络及所述广域动态卷积网络。

根据本公开的另一方面，提供了一种基于广域动态卷积的图像处理装置，其特征在于，所述装置包括：

特征提取模块，用于对待处理图像进行特征提取，得到n级特征图，n为大于1的整数；

上采样模块，用于对第n级特征图进行上采样，得到所述待处理图像的第一特征图；

卷积核确定模块，用于根据所述n级特征图及预设的卷积核尺寸，确定与所述第一特征图中的各个像素点对应的卷积核；

卷积及池化处理模块，用于根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对所述第一特征图中的各个像素点分别进行卷积及池化处理，得到所述待处理图像的第二特征图；

处理结果确定模块，根据所述第二特征图，确定所述待处理图像的图像处理结果。

在一种可能的实现方式中，所述卷积核确定模块，包括：

特征图融合子模块，用于对所述n级特征图进行尺寸调整及融合处理，得到第三特征图，所述第三特征图的尺寸与所述第一特征图的尺寸相同；

卷积及激活子模块，用于对所述第三特征图进行卷积及激活处理，得到第四特征图，所述第四特征图的高度及宽度与所述第一特征图的高度及宽度相同，所述第四特征图的通道数为所述第一特征图的通道数的k×k倍，其中k×k为预设的卷积核尺寸，k为正整数；

卷积核确定子模块，用于根据所述第四特征图，确定与所述各个像素点对应的卷积核参数。

在一种可能的实现方式中，所述卷积核确定子模块，被配置为：

根据所述第四特征图，确定与所述第一特征图中的各个像素点对应的特征向量，所述特征向量的维数为c×k×k，c为所述第一特征图的通道数，c为正整数；

将与所述第一特征图中的各个像素点的对应的特征向量，转换为与所述各个像素点对应的卷积核参数。

在一种可能的实现方式中，所述卷积及池化处理模块，包括：

邻近区域确定子模块，用于根据所述第一特征图中各个像素点的邻近区域尺寸，确定所述各个像素点的邻近区域；

卷积子模块，用于对所述第一特征图中的任一像素点，根据与所述像素点对应的卷积核，对所述第一特征图进行卷积处理，确定所述像素点的邻近区域中的各个像素点的第一卷积响应；

池化子模块，用于对所述像素点的邻近区域中的各个像素点的第一卷积响应进行池化处理，确定所述像素点的第二卷积响应；

特征图确定子模块，用于根据所述第一特征图中各个像素点的第二卷积响应，确定待处理图像的第二特征图。

根据本公开的实施例，能够对待处理图像进行特征提取，得到n级特征图，并对第n级特征图进行上采样，得到待处理图像的第一特征图，然后根据n级特征图及卷积核尺寸，确定与第一特征图中的各个像素点对应的卷积核，并根据与第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对各个像素点分别进行卷积及池化处理，得到待处理图像的第二特征图，再根据第二特征图，确定待处理图像的图像处理结果，从而可以对待处理图像的第一特征图进行增强，得到分辨率高、清晰度高的第二特征图，根据该第二特征图确定待处理图像的图像处理结果，可提高图像处理的准确性。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开的实施例的基于广域动态卷积的图像处理方法的流程图。

图2示出根据本公开的实施例的基于广域动态卷积的图像处理方法的神经网络的示意图。

图3示出根据本公开的实施例的卷积核生成网络的示意图。

图4示出根据本公开的实施例的基于广域动态卷积的图像处理方法的应用场景的示意图。

图5示出根据本公开的实施例的基于广域动态卷积的图像处理装置的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开的实施例的基于广域动态卷积的图像处理方法的流程图。如图1所示，所述方法包括：

步骤s11，对待处理图像进行特征提取，得到n级特征图，n为大于1的整数；

步骤s12，对第n级特征图进行上采样，得到所述待处理图像的第一特征图；

步骤s13，根据所述n级特征图及预设的卷积核尺寸，确定与所述第一特征图中的各个像素点对应的卷积核；

步骤s14，根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对所述第一特征图中的各个像素点分别进行卷积及池化处理，得到所述待处理图像的第二特征图；

步骤s15，根据所述第二特征图，确定所述待处理图像的图像处理结果。

根据本公开的实施例，能够对待处理图像进行特征提取，得到n级特征图，并对第n级特征图进行上采样，得到待处理图像的第一特征图，然后根据n级特征图及卷积核尺寸，确定与第一特征图中的各个像素点对应的卷积核，并根据与第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对各个像素点分别进行卷积及池化处理，得到待处理图像的第二特征图，再根据第二特征图，确定待处理图像的图像处理结果，从而可以对待处理图像的第一特征图进行增强，得到分辨率高、清晰度高的第二特征图，根据该第二特征图确定待处理图像的图像处理结果，可提高图像处理的准确性。

本公开的实施例所述的广域动态卷积可包括：根据位置特异及样本特异的卷积核对待处理图像的第一特征图进行动态卷积，并对第一特征图中的各个像素点的邻近区域中的动态卷积响应进行池化处理，以确定各个像素点的广域动态卷积响应。其中，位置特异可表示第一特征图中的不同像素点对应的卷积核是不同的，样本特异可表示卷积核是根据待处理图像的多层级的特征图生成的，是依赖于输入变化的。本领域技术人员可根据图像处理需求对广域动态卷积的超参数进行设置与调整，超参数可包括卷积核尺寸、邻近区域尺寸，以及对各个像素点卷积时的空洞率、步长等。本公开对广域动态卷积的超参数及其具体取值不作限制。

在一种可能的实现方式中，所述基于广域动态卷积的图像处理方法可应用于处理器，该处理器可以是通用处理器，例如cpu(centralprocessingunit，中央处理器)，也可以是用于执行人工智能运算的人工智能处理器(ipu)，例如gpu(graphicsprocessingunit，图形处理单元)、npu(neural-networkprocessingunit，神经网络处理单元)、dsp(digitalsignalprocess，数字信号处理单元)等。本公开对处理器的具体类型不作限制。

在一种可能的实现方式中，所述基于广域动态卷积的图像处理方法可用于提高计算机视觉任务中图像处理的准确性。其中，计算机视觉任务可包括图像分类、目标检测、光流估计、图像语义分割等。本公开对计算机视觉任务的具体内容不作限制。

在一种可能的实现方式中，可在步骤s11中，对待处理图像进行特征提取，得到n级特征图。其中，n的取值可以为3、5等大于1的整数，本领域技术人员可根据实际情况设置n的具体取值，本公开对此不作限制。本领域技术人员也可根据实际情况确定对待处理图像进行特征提取的方式，本公开对此也不作限制。

在一种可能的实现方式中，在所述图像处理方法通过神经网络实现时，可通过特征提取网络对待处理图像进行特征提取。应当理解，特征提取网络可以是卷积神经网络、深度神经网络等，例如，特征提取网络可包括多个卷积层及下采样等，本公开对特征提取网络的具体类型不作限制。

在一种可能的实现方式中，可在步骤s12中，对第n级特征图进行上采样，得到待处理图像的第一特征图。上采样可采用双线性插值、转置卷积等多种方式，本公开对此不作限制。

在一种可能的实现方式中，在得到待处理图像的第一特征图后，可在步骤s13中，根据n级特征图及预设的卷积核尺寸，确定与第一特征图中的各个像素点对应的卷积核。也就是说，第一特征图中的各个像素点可分别对应不同的卷积核，该卷积核是根据特征提取过程中得到的n级特征图及预设的卷积核尺寸确定的。其中，卷积核的尺寸可以根据实际需要进行设置，例如3×3、5×5或7×7等，本公开对此不作限制。

在一种可能的实现方式中，与第一特征图中的任一像素点对应的卷积核的数量与第一特征图的通道数相同。例如，在第一特征图为单通道时，与第一特征图中的任一像素点对应的卷积核的数量为1；在第一特征图为多通道时，例如第一特征图的通道数为64时，与第一特征图中的任一像素点对应的卷积核的数量为64个。

在一种可能的实现方式中，在确定与第一特征图中的各个像素点对应的卷积核后，可在步骤s14中，根据与第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对第一特征图中的各个像素点分别进行卷积及池化处理，得到待处理图像的第二特征图。其中，可根据各个像素点的邻近区域尺寸，确定各个像素点的邻近区域，以便进行卷积及池化操作。邻近区域尺寸的取值例如3×3、5×5或7×7等，本公开对此不作限制。

在一种可能的实现方式中，可根据与第一特征图中的各个像素点对应的卷积核，对第一特征图中的各个像素点分别进行卷积处理，确定各个像素点的邻近区域中的多个卷积响应，然后分别对各个像素点的邻近区域中的多个卷积响应进行池化处理(例如平均池化)，得到待处理图像的第二特征图。

在一种可能的实现方式中，在第一特征图为多通道时，可以逐通道对第一特征图进行处理，得到待处理图像的第二特征图。

在一种可能的实现方式中，在得到待处理图像的第二特征图后，可在步骤s15中，根据第二特征图，确定待处理图像的图像处理结果。例如，可根据第二特征图，确定待处理图像的图像分类结果、目标检测结果、图像语义分割结果等。

在一种可能的实现方式中，步骤s13可包括：

对所述n级特征图进行尺寸调整及融合处理，得到第三特征图，所述第三特征图的尺寸与所述第一特征图的尺寸相同；

对所述第三特征图进行卷积及激活处理，得到第四特征图，所述第四特征图的高度及宽度与所述第一特征图的高度及宽度相同，所述第四特征图的通道数为所述第一特征图的通道数的k×k倍，其中k×k为预设的卷积核尺寸，k为正整数；

根据所述第四特征图，确定与所述各个像素点对应的卷积核参数。

在一种可能的实现方式中，在根据n级特征图及预设的卷积核尺寸，确定与第一特征图中的各个像素点对应的卷积核时，由于n级特征图的尺寸不同，可通过上采样、卷积等方式，对n级特征图进行尺寸调整，并对尺寸调整后的n级特征图进行融合处理，得到第三特征图，第三特征图的尺寸与第一特征图的尺寸相同。也就是说，n个尺寸不同的特征图，经尺寸调整及融合后，得到一个与第一特征图的尺寸相同的第三特征图。其中，第一特征图的尺寸可包括高度h、宽度w及通道数c。

在一种可能的实现方式中，得到第三特征图后，可对第三特征图进行卷积及激活处理，得到第四特征图，第四特征图的高度及宽度与第一特征图的高度及宽度相同，第四特征图的通道数为第一特征图的通道数的k×k倍，其中k×k为预设的卷积核尺寸，k为正整数。即，对第三特征图进行卷积及激活处理后得到的第四特征图，其高度和宽度未发生变化，仅通道数变为第三特征图的k×k倍。在第三特征图的尺寸为c×h×w时，第四特征图的尺寸为(c×k×k)×h×w。

举例来说，假设卷积核尺寸为5×5，第三特征图的尺寸为512×h×w(其中512为通道数)，可对第三特征图依次进行1×1卷积及relu激活、3×3卷积及relu激活以及1×1卷积及relu激活，得到第四特征图。其中，第三特征图经过1×1卷积及relu激活后，得到尺寸为256×h×w的第一中间特征图(其中256为通道数)；对第一中间特征图进行3×3卷积及relu激活后，可得到尺寸为256×h×w的第二中间特征图；对第二中间特征图进行1×1卷积及relu激活，可得到尺寸为(512×5×5)×h×w的第四特征图。

在一种可能的实现方式中，得到尺寸为(c×k×k)×h×w的第四特征图后，可根据第四特征图，确定与第一特征图中的各个像素点对应的卷积核参数。各个像素点对应的c×k×k个特征值，可对应于各个像素点的c个通道的卷积核参数。

在本实施例中，在第一特征图的尺寸为c×h×w时，能够对n级特征图进行尺寸调整及融合处理，得到与第一特征图的尺寸相同的第三特征图，并对第三特征图进行卷积及激活处理，得到尺寸为(c×k×k)×h×w的第四特征图，然后根据该第四特征图确定与第一特征图中的各个像素点对应的卷积核参数，从而可以在确定与第一特征图中的各个像素点对应的卷积核参数时，考虑特征提取过程中丢失的信息(例如丢失的边缘信息等)，提高卷积核参数的准确性。

在一种可能的实现方式中，对所述n级特征图进行尺寸调整及融合处理，得到第三特征图，包括：根据所述第一特征图的尺寸，对所述n级特征图进行尺寸调整，得到n个第五特征图，所述第五特征图的尺寸与所述第一特征图的尺寸相同；将所述n个第五特征图中位置相同的像素点的n个特征值相加，得到第三特征图。

在一种可能的实现方式中，可根据第一特征图的尺寸c×h×w，对n级特征图进行尺寸调整，得到n个尺寸为c×h×w的第五特征图。例如，可对尺寸不同的n级特征图分别进行上采样及3×3卷积处理，得到n个尺寸为c×h×w的第五特征图，然后将n个第五特征图中位置相同的像素点的n个特征值相加，得到第三特征图。

在本实施例中，通过对n级特征图进行尺寸调整，得到n个第五特征图，并将n个第五特征图中位置相同的像素点的n个特征值相加，得到第三特征图，从而可将n级特征图融合为一个特征图。

在一种可能的实现方式中，根据所述第四特征图，确定与所述各个像素点对应的卷积核参数，可包括：根据所述第四特征图，确定与所述第一特征图中的各个像素点对应的特征向量，所述特征向量的维数为c×k×k，c为所述第一特征图的通道数，c为正整数；将与所述第一特征图中的各个像素点的对应的特征向量，转换为与所述各个像素点对应的卷积核参数。

举例来说，在第四特征图的尺寸为(c×k×k)×h×w时，对于第一特征图中的任一像素点(i，j)，其中i、j为正整数，可将第四特征图中位置为(i，j)的c×k×k维向量，确定为像素点(i，j)的特征向量；然后对像素点(i，j)的c×k×k维特征向量，逐通道进行转换(例如使用变换函数reshape进行转换)，得到与像素点(i，j)对应的c个通道的卷积核参数。

在本实施例中，能够根据第四特征图，确定与第一特征图中的各个像素点对应的特征向量，并将特征向量转换为与各个像素点对应的卷积核参数，从而可以简单快速地确定出与各个像素点对应的卷积核参数，可提高处理效率。

在一种可能的实现方式中，步骤s14，可包括：

根据所述第一特征图中各个像素点的邻近区域尺寸，确定所述各个像素点的邻近区域；

对于所述第一特征图中的任一像素点，根据与所述像素点对应的卷积核，对所述第一特征图进行卷积处理，确定所述像素点的邻近区域中的各个像素点的第一卷积响应；

对所述像素点的邻近区域中的各个像素点的第一卷积响应进行池化处理，确定所述像素点的第二卷积响应；

根据所述第一特征图中各个像素点的第二卷积响应，确定待处理图像的第二特征图。

在一种可能的实现方式中，可根据第一特征图中各个像素点的邻近区域尺寸，确定各个像素点的邻近区域。对于第一特征图中的任一像素点，在确定其邻近区域时，可以将该像素点的位置作为中心点，根据邻近区域尺寸，确定其邻近区域。像素点的位置不同，其邻近区域中的像素点的数量可能不同。

在一种可能的实现方式中，对于第一特征图中的任一像素点，可根据与该像素点对应的卷积核，对所述第一特征图进行卷积处理，确定该像素点的邻近区域中的各个像素点的第一卷积响应。

例如，在单通道的第一特征图的尺寸为16×16，邻近区域尺寸为3×3时，可以以第一特征图中的像素点(5，5)为中心点，将其周围的3×3区域，确定为其邻近区域，该邻近区域中包括9个像素点，然后根据与像素点(5，5)对应的卷积核，对第一特征图进行卷积处理，确定出像素点(5，5)的邻近区域中的9个像素点的第一卷积响应。

在一种可能的实现方式中，可对所述像素点的邻近区域中的各个像素点的第一卷积响应进行池化处理，确定所述像素点的第二卷积响应。其中，池化处理可以为平均池化。例如，可将像素点(5，5)的邻近区域中的9个像素点的第一卷积响应取平均值，将平均值确定为像素点(5，5)的第二卷积响应。

在一种可能的实现方式中，可根据第一特征图中各个像素点的第二卷积响应，确定待处理图像的第二特征图。在第一特征图为多通道时，可以逐通道对第一特征图进行处理，得到待处理图像的第二特征图。

在本实施例中，可对第一特征图中的各个像素点进行卷积处理，得到各个像素点的邻近区域中的多个第一卷积响应，并对各个像素点的邻近区域中的多个第一卷积响应进行池化处理，得到各个像素点的第二卷积响应，进而确定出待处理图像的第二特征图，从而可通过对各个像素点的卷积及池化处理，增强第一特征图，得到分辨率高、清晰度高的第二特征图。

在一种可能的实现方式中，可通过下述公式(1)确定第一特征图中任一像素点的第二卷积响应gu：

其中，f为待处理图像的第一特征图的单通道图，g为待处理图像的第二特征图中与f对应的单通道图，u表示f中的任一像素点，表示u的邻近区域，v表示邻近区域中的任一像素点，w(u)表示与像素点u对应的卷积核，**表示标准的卷积运算。

可使用上述公式(1)，逐通道对待处理图像的第一特征图进行处理，得到待处理图像的第二特征图。

在一种可能的实现方式中，所述方法可通过神经网络实现，所述神经网络可包括特征提取网络、卷积核生成网络及广域动态卷积网络，所述特征提取网络可用于进行特征提取，所述卷积核生成网络可用于确定各个像素点对应的卷积核，所述广域动态卷积网络可用于确定第二特征图，

其中，所述方法还包括：根据预设的训练集，训练所述特征提取网络，所述训练集中包括多个样本图像、所述多个样本图像的参考特征图及所述多个样本图像的参考处理结果；根据所述训练集及训练后的特征提取网络，训练所述卷积核生成网络及所述广域动态卷积网络。

在一种可能的实现方式中，可根据训练集中的多个样本图像及多个样本图像的参考特征图，对特征提取网络进行训练。在训练过程中，可按照使第一损失函数最小化的方向来调整特征提取网络的参数值，在第一损失函数降低到一定程度或收敛于一定阈值内时，停止调整，获得已训练的特征提取网络。本公开对训练过程中使用的第一损失函数不作限制。

在一种可能的实现方式中，特征提取网络训练完成后，可根据训练集中的多个样本图像及多个样本图像的参考处理结果，通过端到端的训练，训练卷积核生成网络及广域动态卷积网络。在训练过程中，可按照使第二损失函数最小化的方向来调整动态卷积核生成网络及广域动态卷积网络的参数值，在第二损失函数降低到一定程度或收敛于一定阈值内时，停止调整，获得已训练的卷积核生成网络及广域动态卷积网络。本公开对训练过程中使用的第二损失函数不作限制。

图2示出根据本公开的实施例的基于广域动态卷积的图像处理方法的神经网络的示意图。如图2所示，所述神经网络包括特征提取网络22、卷积核生成网络24及广域动态卷积网络25。可将待处理图像21输入特征提取网22进行特征提取，得到5级特征图；对第5级特征图进行上采样，得到待处理图像21的第一特征图23，并将5级特征图输入卷积核生成网络24，得到与第一特征图23的各个像素点对应的卷积核；将第一特征图23及与第一特征图23的各个像素点对应的卷积核，输入广域动态卷积网络25进行广域动态卷积，得到待处理图像的第二特征图26，之后可根据第二特征图26，得到待处理图像的图像处理结果27。

图3示出根据本公开的实施例的卷积核生成网络的示意图。如图3所示，待处理图像的5级特征图分别为特征图311、特征图312、特征图313、特征图314特征图315，可分别对5级特征图进行上采样、3×3卷积处理，得到尺寸与待处理图像的第一特征图(图中未示出)尺寸相同的特征图321、特征图322、特征图323、特征图324、特征图325；之后对特征图321、特征图322、特征图323、特征图324、特征图325进行融合处理，得到特征图33；然后对特征图33依次进行1×1卷积及relu激活、3×3卷积及relu激活以及1×1卷积及relu激活，得到特征图34。根据特征图34，可确定与待处理图像的第一特征图中的各个像素点对应的卷积核参数。

图4示出根据本公开的实施例的基于广域动态卷积的图像处理方法的应用场景的示意图。如图4所示，该图像处理方法通过神经网络实现，用于对待处理图像41进行图像语义分割，使用由5个卷积组(前4个卷积组包括降采样层)组成的全卷积网络对待处理图像41进行特征提取，得到5级特征图，分别为特征图42、特征图43、特征图44、特征图45及特征图46，之后对5级特征图进行特征图增强，对特征图进行增强，得到特征图48，然后将特征图48输入解码器生成语义分割结果49。

其中，特征图增强时，对输入的5级特征图进行上采样、3×3卷积以及融合处理，并对融合后的特征图依次进行1×1卷积及relu激活、3×3卷积及relu激活以及1×1卷积及relu激活，得到特征图471，同时对第5特征图(即特征图46)进行上采样，得到特征图472；然后根据特征图471确定的动态卷积核对特征图472进行广域动态卷积，得到特征图48。

图4中所示的卷积组可以有多种结构，可按照不同网络例如vgg系列、resnet系列、inception系统等进行选取，本公开对此不作限制。图4中所示的解码器可以由一层或多层卷积层、一个上采样层构成，也可以是更复杂的解码器，本公开对此不作限制。

在一种可能的实现方式中，可根据预设的语义分割训练集，对图4中的神经网络进行端到端的训练。在训练时，可使用下述公式(2)确定神经网络的网络损失l：

其中，表示用于语义分割的神经网络的训练集，i表示中的任一样本图像，s^*表示中与样本图像i对应的分割标注，m表示样本图像i中的任一像素点，表示像素点m的类别标注，为独热编码(one-hotencoding)，θ表示神经网络的网络参数，fm(i；θ)表示神经网络对样本图像i在像素点m处的预测的类别概率分布，表示计算在上的期望，h′表示样本图像i的高度，w′表示样本图像i的宽度，h′w′表示样本图像i中的像素总数。

可按照使网络损失l最小化的方向来调整神经网络的参数值，在网络损失l降低到一定程度或收敛于一定阈值内时，停止调整，获得已训练的神经网络。可使用已训练的神经网络完成图像语义分割任务。

在一种可能的实现方式中，还可运用深度学习优化算法，例如随机梯度下降算法(stochasticgradientdescent，sgd)、adam算法(adaptivemomentestimation)，确定网络损失l。本公开对此不作限制。

根据本公开的实施例的基于广域动态卷积的图像处理方法，可对图像处理过程中的特征图进行增强，使得增强后的特征图具有更为准确的空间几何信息，也可保留待处理图像中的物体及结构的边缘信息，从而可提高待处理图像的图像处理结果的准确性。

图5示出根据本公开的实施例的基于广域动态卷积的图像处理装置的框图。如图5所示，所述装置包括：

特征提取模块51，用于对待处理图像进行特征提取，得到n级特征图，n为大于1的整数；

上采样模块52，用于对第n级特征图进行上采样，得到所述待处理图像的第一特征图；

卷积核确定模块53，用于根据所述n级特征图及预设的卷积核尺寸，确定与所述第一特征图中的各个像素点对应的卷积核；

卷积及池化处理模块54，用于根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对所述第一特征图中的各个像素点分别进行卷积及池化处理，得到所述待处理图像的第二特征图；

处理结果确定模块55，根据所述第二特征图，确定所述待处理图像的图像处理结果。

在一种可能的实现方式中，所述卷积核确定模块，包括：

特征图融合子模块，用于对所述n级特征图进行尺寸调整及融合处理，得到第三特征图，所述第三特征图的尺寸与所述第一特征图的尺寸相同；

卷积及激活子模块，用于对所述第三特征图进行卷积及激活处理，得到第四特征图，所述第四特征图的高度及宽度与所述第一特征图的高度及宽度相同，所述第四特征图的通道数为所述第一特征图的通道数的k×k倍，其中k×k为预设的卷积核尺寸，k为正整数；

卷积核确定子模块，用于根据所述第四特征图，确定与所述各个像素点对应的卷积核参数。

在一种可能的实现方式中，所述卷积核确定子模块，被配置为：

根据所述第四特征图，确定与所述第一特征图中的各个像素点对应的特征向量，所述特征向量的维数为c×k×k，c为所述第一特征图的通道数，c为正整数；

将与所述第一特征图中的各个像素点的对应的特征向量，转换为与所述各个像素点对应的卷积核参数。

在一种可能的实现方式中，所述卷积及池化处理模块，包括：

邻近区域确定子模块，用于根据所述第一特征图中各个像素点的邻近区域尺寸，确定所述各个像素点的邻近区域；

卷积子模块，用于对所述第一特征图中的任一像素点，根据与所述像素点对应的卷积核，对所述第一特征图进行卷积处理，确定所述像素点的邻近区域中的各个像素点的第一卷积响应；

池化子模块，用于对所述像素点的邻近区域中的各个像素点的第一卷积响应进行池化处理，确定所述像素点的第二卷积响应；

特征图确定子模块，用于根据所述第一特征图中各个像素点的第二卷积响应，确定待处理图像的第二特征图。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。