图像处理方法及装置与流程

本申请涉及计算机技术领域，具体涉及一种图像处理方法及装置。

背景技术：

图像处理技术广泛应用于例如路面裂缝图像处理等多个领域。随着人们对行车安全性、舒适性和经济性要求的不断提高，加上我国公路交通正处于高速发展时期，路面养护的重要性和紧迫性日渐凸显出来。作为病害检测的主要工作之一的路面裂缝检测，依靠传统的人工检测方式显然已经不能满足路面检测需求。因此，加强路面裂缝图象识别技术的研究具有重要的意义。目前，已有技术的图像处理方法用于裂缝检测的方法在误检率、漏检率和综合评价指标等方面的表现不佳，难以满足实际应用的需要。研发一种图像处理方法以便应用于路面裂缝图像识别等领域是当务之急。

技术实现要素：

本申请的目的是提供一种图像处理方法及装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本申请实施例的一个方面，提供一种图像处理方法，包括：构建改进的全卷积网络；所述改进的全卷积网络包括全卷积神经网络、第一se模块、第二se模块、第一上采样模块、第二上采样模块、第三上采样模块、第一特征融合模块和第二特征融合模块；其中，所述全卷积神经网络的第四池化层、所述第一se模块和所述第一特征融合模块依次连接；所述全卷积神经网络的第三全卷积层、所述第一上采样模块、所述第一特征融合模块、所述第二上采样模块和所述第二特征融合模块依次连接；所述全卷积神经网络的第三池化层、所述第二se模块、所述第二特征融合模块和所述第三上采样模块依次连接；

对所述改进的全卷积网络进行训练；

利用训练完成后的改进的全卷积网络处理目标图像。

进一步地，所述利用训练完成后的改进的全卷积网络处理目标图像，包括：

将所述目标图像输入所述全卷积神经网络进行处理，得到第一特征图、第二特征图和第三特征图；其中，所述第一特征图是经过所述第四池化层处理后得到的特征图，所述第二特征图是经过整个所述全卷积神经网络处理后得到的特征图，所述第三特征图是经过所述第三池化层处理后得到的特征图；

将第五特征图和第六特征图输入第一特征融合模块处理后得到第七特征图；其中，所述第五特征图为所述第二特征图经过所述第一上采样模块处理后得到的特征图；所述第六特征图为将所述第一特征图输入第一se模块处理后得到的特征图；

将第八特征图和第九特征图输入第二特征融合模块处理后得到第十特征图；其中，所述第八特征图为所述第七特征图经过第二上采样模块处理后得到的特征图；所述第九特征图为将所述第三特征图输入所述第二se模块处理后得到的特征图；

将所述第十特征图输入所述第三上采样模块处理后得到输出特征图。

进一步地，所述对所述改进的全卷积网络进行训练，包括：将采集的图像样本集输入所述改进的全卷积网络进行处理，根据处理结果对所述改进的全卷积网络进行反向传播以逐层调整层级权重直至完成训练。

进一步地，所述第一se模块和所述第二se模块均包括挤压运算和激励运算。

进一步地，所述挤压运算包括：得到多个特征后采用全局平均池化操作对每个特征进行压缩，使其得到c个特征变成1×1×c的实数数列，其中c为正整数。

进一步地，所述激励运算包括：在得到特征输出后，所述实数数列先经过一个全连接层由1×1×c变成1×1×c/r，然后用relu激活后再经过一个全连接层变回1×1×c，最后经过sigmoid输出，其中r为正整数。

根据本申请实施例的另一个方面，提供一种图像处理装置，包括：

构建模块，用于构建改进的全卷积网络；所述改进的全卷积网络包括全卷积神经网络、第一se模块、第二se模块、第一上采样模块、第二上采样模块、第三上采样模块、第一特征融合模块和第二特征融合模块；其中，所述全卷积神经网络的第四池化层、所述第一se模块和所述第一特征融合模块依次连接；所述全卷积神经网络的第三全卷积层、所述第一上采样模块、所述第一特征融合模块、所述第二上采样模块和所述第二特征融合模块依次连接；所述全卷积神经网络的第三池化层、所述第二se模块、所述第二特征融合模块和所述第三上采样模块依次连接；

训练模块，用于对所述改进的全卷积网络进行训练；

处理模块，用于利用训练完成后的改进的全卷积网络处理目标图像。

进一步地，所述处理模块包括：

第一模块，用于将所述目标图像输入所述全卷积神经网络进行处理，得到第一特征图、第二特征图和第三特征图；其中，所述第一特征图是经过所述第四池化层处理后得到的特征图，所述第二特征图是经过整个所述全卷积神经网络处理后得到的特征图，所述第三特征图是经过所述第三池化层处理后得到的特征图；

第二模块，用于将第五特征图和第六特征图输入第一特征融合模块处理后得到第七特征图；其中，所述第五特征图为所述第二特征图经过所述第一上采样模块处理后得到的特征图；所述第六特征图为将所述第一特征图输入第一se模块处理后得到的特征图；

第三模块，用于将第八特征图和第九特征图输入第二特征融合模块处理后得到第十特征图；其中，所述第八特征图为所述第七特征图经过第二上采样模块处理后得到的特征图；所述第九特征图为将所述第三特征图输入所述第二se模块处理后得到的特征图；

第四模块，用于将所述第十特征图输入所述第三上采样模块处理后得到输出特征图。

进一步地，所述训练模块具体用于将采集的图像样本集输入所述改进的全卷积网络进行处理，根据处理结果对所述改进的全卷积网络进行反向传播以逐层调整层级权重直至完成训练。

根据本申请实施例的另一个方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现所述的图像处理方法。

本申请实施例提供的技术方案可以包括以下有益效果：

本申请实施例提供的图像处理方法，通过在fcn网络中加入se模块，通过挤压和激励自适应为例如图案和形状等特征分配权重，提升了fcn网络在图像处理方面的性能，降低了误检率和漏检率，在综合评价指标方面取得了较好的效果。

本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请的一个实施例的图像处理方法的流程图；

图2示出了本申请的一个实施例的图像处理装置的结构框图；

图3为fcn三种模型卷积过程示意图；

图4为本申请的一个实施例的改进的全卷积网络的结构示意图；

图5为利用本申请一实施例提供的图像处理方法处理路面裂缝图像的效果对比图，其中，图5(a)为目标图像，图5(b)为经过处理后的图像。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本申请做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

如图1所示，本申请的一个实施例提供了一种图像处理方法，包括：

s1、构建改进的全卷积网络；所述改进的全卷积网络包括全卷积神经网络、第一se模块、第二se模块、第一上采样模块、第二上采样模块、第三上采样模块、第一特征融合模块和第二特征融合模块；其中，所述全卷积神经网络的第四池化层、所述第一se模块和所述第一特征融合模块依次连接；所述全卷积神经网络的第三全卷积层、所述第一上采样模块、所述第一特征融合模块、所述第二上采样模块和所述第二特征融合模块依次连接；所述全卷积神经网络的第三池化层、所述第二se模块、所述第二特征融合模块和所述第三上采样模块依次连接；

s2、对所述改进的全卷积网络进行训练；

s3、利用训练完成后的改进的全卷积网络处理目标图像。

在某些实施方式中，所述目标图像可以为路面裂缝图像。

在某些实施方式中，s3、利用训练完成后的改进的全卷积网络处理目标图像，包括：

s31、将所述目标图像输入所述全卷积神经网络进行处理，得到第一特征图、第二特征图和第三特征图；其中，所述第一特征图是经过所述第四池化层处理后得到的特征图，所述第二特征图是经过整个所述全卷积神经网络处理后得到的特征图，所述第三特征图是经过所述第三池化层处理后得到的特征图；

s32、将第五特征图和第六特征图输入第一特征融合模块处理后得到第七特征图；其中，所述第五特征图为所述第二特征图经过所述第一上采样模块处理后得到的特征图；所述第六特征图为将所述第一特征图输入第一se模块处理后得到的特征图；

s33、将第八特征图和第九特征图输入第二特征融合模块处理后得到第十特征图；其中，所述第八特征图为所述第七特征图经过第二上采样模块处理后得到的特征图；所述第九特征图为将所述第三特征图输入所述第二se模块处理后得到的特征图；

s34、将所述第十特征图输入所述第三上采样模块处理后得到输出特征图。

在某些实施方式中，s2、对所述改进的全卷积网络进行训练，包括：将采集的图像样本集输入所述改进的全卷积网络进行处理，根据处理结果对所述改进的全卷积网络进行反向传播以逐层调整层级权重直至完成训练。

在某些实施方式中，所述第一se模块和所述第二se模块均包括挤压运算和激励运算。

在某些实施方式中，所述挤压运算包括：得到多个特征后采用全局平均池化操作对每个特征进行压缩，使其得到c个特征变成1×1×c的实数数列，其中c为正整数。

在某些实施方式中，，所述激励运算包括：在得到特征输出后，所述实数数列先经过一个全连接层由1×1×c变成1×1×c/r，然后用relu激活后再经过一个全连接层变回1×1×c，最后经过sigmoid输出，其中r为正整数。

本实施例还提供了一种图像处理装置，包括：

构建模块100，用于构建改进的全卷积网络；所述改进的全卷积网络包括全卷积神经网络、第一se模块、第二se模块、第一上采样模块、第二上采样模块、第三上采样模块、第一特征融合模块和第二特征融合模块；其中，所述全卷积神经网络的第四池化层、所述第一se模块和所述第一特征融合模块依次连接；所述全卷积神经网络的第三全卷积层、所述第一上采样模块、所述第一特征融合模块、所述第二上采样模块和所述第二特征融合模块依次连接；所述全卷积神经网络的第三池化层、所述第二se模块、所述第二特征融合模块和所述第三上采样模块依次连接；

训练模块200，用于对所述改进的全卷积网络进行训练；

处理模块300，用于利用训练完成后的改进的全卷积网络处理目标图像。

在某些实施方式中，所述处理模块包括：

第一模块301，用于将所述目标图像输入所述全卷积神经网络进行处理，得到第一特征图、第二特征图和第三特征图；其中，所述第一特征图是经过所述第四池化层处理后得到的特征图，所述第二特征图是经过整个所述全卷积神经网络处理后得到的特征图，所述第三特征图是经过所述第三池化层处理后得到的特征图；

第二模块302，用于将第五特征图和第六特征图输入第一特征融合模块处理后得到第七特征图；其中，所述第五特征图为所述第二特征图经过所述第一上采样模块处理后得到的特征图；所述第六特征图为将所述第一特征图输入第一se模块处理后得到的特征图；

第三模块303，用于将第八特征图和第九特征图输入第二特征融合模块处理后得到第十特征图；其中，所述第八特征图为所述第七特征图经过第二上采样模块处理后得到的特征图；所述第九特征图为将所述第三特征图输入所述第二se模块处理后得到的特征图；

第四模块304，用于将所述第十特征图输入所述第三上采样模块处理后得到输出特征图。

在某些实施方式中，所述训练模块具体用于将采集的图像样本集输入所述改进的全卷积网络进行处理，根据处理结果对所述改进的全卷积网络进行反向传播以逐层调整层级权重直至完成训练。

所述目标图像为待处理的图像，例如路面裂缝图像。利用上述图像处理方法进行路面裂缝图像处理以识别路面图像中的裂缝，能够取得很好的效果。

本实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述的图像处理方法。

cnn主要通过多层次的卷积池化组合进行特征提取，然后再连接若干个全连接层来进行分类任务。但是通过连接全连接层后会导致原始图像中目标位置坐标无法与对应的像素点相对应。fcn(fullyconvolutionalnetworks，全卷积神经网络)将vgg16的所有全连接层转化成一个个的卷积层。fcn将最后的三层改为卷积层，例如卷积核的大小(c，h，w)可以分别为(4096,1,1)、(4096,1,1)和(1000,1,1)。fcn不光可以接收任意尺寸的图像，还可以实现输出特征映射和原始位置一一对应的端到端训练。图像每经过一次卷积池化后维度会缩小两倍，为了将粗糙特征映射到原有图像的维度，fcn使用双线性插值法的上采样反卷积方法将输出结果变换成原始图像尺寸，进而实现了按逐个像素分类。在某些实施方式中，fcn通过对不同池化层进行上采样分为fcn-32s、fcn-16s和fcn-8s三种模型。fcn-8s和fcn-16s分别融合了后三层和后两层池化层的信息，所以效果要比fcn-32s更优。

通过设计seblock(se模块)(如图3所示)自适应地重新校准通道的特征响应。

seblock核心主要就是挤压(squeeze)和激励(excitation)两个操作，它可以建立在将输入x∈r^h'×w'×c'通过ftr变换映射到特征u∈r^h×w×c上。其中ftr通常视为卷积运算，使用v＝[v1,v2,..vc]来表示卷积核的集合，vc表示第c个卷积核的参数，输出u＝[u1,u2,..uc]。

squeeze：挤压运算是得到u(多个特征)后采用fsq(.)(全局平均池化)操作对每个uc(特征)进行压缩，使其得到c个特征变成1×1×c的实数数列，用zc来表示第c个特征输出，公式如2所示：

excitation：激励运算是在得到z以后先经过一个全连接层由1×1×c变成1×1×c/r，然后用relu激活后再经过一个全连接层变回1×1×c，最后经过sigmoid输出，公式如3所示：

s＝fex(z,w)＝σ(g(z,w)＝σ(w2δ(w1z)).(3)

通过把激励后输出s的权重看做是进行特征选择后的每个特征uc通道的重要性，然后通过点乘逐个通道加权到先前的特征上，完成在通道维度上对原始特征的重标定。

本实施例通过对全卷积神经网络(fcn)进行改进，通过加入squeezeandexcitation(se)模块来为裂缝边缘、图案和形状等特征分配权重，进而提高裂缝检测精度。fcn按逐个像素进行检测，把整个复杂的裂缝图像分割成只含有裂缝像素的图像。

如图4所示，改进的fcn模型中，输入层是一张224×224×3的图像，经过第一层两次卷积后送入第一个池化层(pool1)维度变成112×112×64，再经过第二层两次卷积后送入第二个池化层(pool2)维度变成56×56×128，接着经过第三层三次卷积后送入第三个池化层(pool3)维度变成28×28×256，接着经过第四层三次卷积后送入第四个池化层(pool4)维度变成14×14×512，接着经过第五层三次卷积后送入第五个池化层(pool5)维度变成7×7×512，再经过三层全卷积后维度变成1×1×2,然后通过上采样(反卷积)将维度变成14×14×2。通过与经过se的pool4进行特征融合后再一次经过上采样(反卷积)将维度变成28×28×2，再通过与经过se的pool3进行特征融合后再次经过上采样(反卷积)将维度变成224×224×2，也是最后的输出，实现了端到端的输出。本实施例最大的改进点就是在pool3和pool4层后加入了se模块，增加了通道间之间的关系，通过挤压和激励自适应的为裂缝边缘、图案和形状等特征分配权重，进而提高网络性能。利用本实施方式对路面裂缝图像进行处理得到处理后的图像，参考图5所示，可见裂缝被准确地识别出来，处理效果很好。

改进的fcn模型参数如表1所示：

表1改进的fcn模型参数

本申请的方法通过在fcn网络中加入se模块，通过挤压和激励自适应为裂缝边缘、图案和形状等特征分配权重，提升了fcn网络在图像处理方面例如处理路面裂缝图像等图像的性能，降低了误检率和漏检率，在综合评价指标方面取得了较好的效果。

需要说明的是：

术语“模块”并非意图受限于特定物理形式。取决于具体应用，模块可以实现为硬件、固件、软件和/或其组合。此外，不同的模块可以共享公共组件或甚至由相同组件实现。不同模块之间可以存在或不存在清楚的界限。

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述实施例仅表达了本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。