基于分类权重的混凝土养护箱的清洁效果的检测方法与流程

本申请涉及人工智能领域，且更为具体地，涉及一种基于分类权重的混凝土养护箱的清洁效果的检测方法、基于分类权重的混凝土养护箱的清洁效果的检测系统和电子设备。

背景技术：

混凝土养护箱，一般都是将混凝土试块放置在箱体中，用于对试块进行实验。现有的混凝土养护箱在对试块完成实验后，都需要对混凝土养护箱进行清洁，尤其是对混凝土养护箱内腔中的用于放置混凝土试块的支撑架表面进行清洁，否则将影响后续的实验结果。

目前的混凝土养护箱的清洁效果基本上需要靠人工观察，而由于混凝土养护箱的体积较大、深度较深且没有良好的光源，导致人工观察效果不佳。

因此，期望一种用于混凝土养护箱的清洁效果检测的技术方案。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

近年来，深度学习以及神经网络的发展为混凝土养护箱的清洁效果检测提供了新的解决思路和方案。

技术实现要素：

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于分类权重的混凝土养护箱的清洁效果的检测方法、基于分类权重的混凝土养护箱的清洁效果的检测系统和电子设备，其基于深度学习的计算机视觉技术来对混凝土养护箱的内壁和支撑架表面的图像进行特征提取和分类，来检测混凝土养护箱的内壁和支撑架表面的清洁效果。

根据本申请的一个方面，提供了一种基于分类权重的混凝土养护箱的清洁效果的检测方法，其包括：

获取待检测混凝土养护箱的图像，所述待检测混凝土养护箱图像包含所述待检测混凝土养护箱的内壁部分和支撑架表面部分；

将所述待检测混凝土养护箱图像通过卷积神经网络以获得特征图；

将所述特征图分别通过第一注意力机制模块和第二注意力机制模块，以获得第一注意力特征图和第二注意力特征图；

将所述第一注意力特征图通过softmax函数以计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图；

将所述第二注意力特征图通过softmax函数以计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图；

将所述第一分类权重得分图与所述第一注意力特征图进行按像素位置点乘，以获得第一分类权重特征图；

将所述第二分类权重得分图与所述第二注意力特征图进行按像素位置点乘，以获得第二分类权重特征图；

融合所述第一分类权重特征图与所述第二分类权重特征图，以获得分类特征图；以及

将所述分类特征图通过分类器，以获得分类结果，所述分类结果用于表示所述待检测混凝土养护箱的内壁和支撑架表面的清洁效果是否合格。

在上述基于分类权重的混凝土养护箱的清洁效果的检测方法中，将所述特征图分别通过第一注意力机制模块和第二注意力机制模块，以获得第一注意力特征图和第二注意力特征图，包括：将所述第一特征图通过多个第一卷积层以获得第一卷积特征图；将所述第一卷积特征图与所述第一特征图进行按像素位置点乘，以获得所述第一注意力特征图；将所述第二特征图通过多个第二卷积层以获得第二卷积特征图；以及，将所述第二卷积特征图与所述第二特征图进行按像素位置点乘，以获得所述第二注意力特征图。

在上述基于分类权重的混凝土养护箱的清洁效果的检测方法中，将所述第一注意力特征图通过softmax函数以计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图，包括：以如下公式计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图，所述公式为：分类权重＝exp(ai)/∑exp(ai)，ai是所述第一注意力特征图中每个像素位置的特征值；其中，将所述第二注意力特征图通过softmax函数以计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图，包括：以如下公式计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图，所述公式为：分类权重＝exp(bi)/∑exp(bi)，bi是所述第二注意力特征图中每个像素位置的特征值。

在上述基于分类权重的混凝土养护箱的清洁效果的检测方法中，融合所述第一分类权重特征图与所述第二分类权重特征图，以获得分类特征图，包括：计算所述第一分类权重特征图与所述第二分类权重特征图之间的按像素位置加权和，以获得所述分类特征图。

在上述基于分类权重的混凝土养护箱的清洁效果的检测方法中，将所述分类特征图通过分类器，以获得分类结果，包括：将所述分类特征图通过编码器以获得分类特征向量，所述编码器包括一个或多个全连接层；以及，将所述分类特征向量通过softmax分类函数，以获得所述分类结果。

在上述基于分类权重的混凝土养护箱的清洁效果的检测方法中，所述卷积神经网络为深度残差网络。

根据本申请的另一方面，提供了一种基于分类权重的混凝土养护箱的清洁效果的检测系统，包括：

待检测图像获取单元，用于获取待检测混凝土养护箱的图像，所述待检测混凝土养护箱图像包含所述待检测混凝土养护箱的内壁部分和支撑架表面部分；

特征图生成单元，用于将所述待检测图像获取单元获得的所述待检测混凝土养护箱图像通过卷积神经网络以获得特征图；

注意力特征图生成单元，用于将所述特征图生成单元获得的所述第一特征图分别通过第一注意力机制模块和第二注意力机制模块，以获得第一注意力特征图和第二注意力特征图；

第一分类权重得分图生成单元，用于将所述注意力特征图生成单元获得的所述第一注意力特征图通过softmax函数以计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图；

第二分类权重得分图生成单元，用于将所述所述注意力特征图生成单元获得的所述第二注意力特征图通过softmax函数以计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图；

第一分类权重特征图生成单元，用于将所述第一分类权重得分图生成单元获得的所述第一分类权重得分图与所述注意力特征图生成单元获得的所述第一注意力特征图进行按像素位置点乘，以获得第一分类权重特征图；

第二分类权重特征图生成单元，用于将所述第二分类权重得分图生成单元获得的所述第二分类权重得分图与所述注意力特征图生成单元获得的所述第二注意力特征图进行按像素位置点乘，以获得第二分类权重特征图；

特征图融合单元，用于融合所述第一分类权重特征图生成单元获得的所述第一分类权重特征图与所述第二分类权重特征图生成单元获得的所述第二分类权重特征图，以获得分类特征图；以及

分类结果生成单元，用于将所述特征图融合单元获得的所述分类特征图通过分类器，以获得分类结果，所述分类结果用于表示所述待检测混凝土养护箱的内壁和支撑架表面的清洁效果是否合格。

在上述基于分类权重的混凝土养护箱的清洁效果的检测系统中，所述注意力特征图生成单元，包括：第一卷积特征图特征图生成子单元，用于将所述第一特征图通过多个第一卷积层以获得第一卷积特征图；第一点乘子单元，用于将所述第一卷积特征图与所述第一特征图进行按像素位置点乘，以获得所述第一注意力特征图；第二卷积特征图特征图生成子单元，用于将所述第二特征图通过多个第二卷积层以获得第二卷积特征图；以及，第二点乘子单元，用于将所述第二卷积特征图与所述第二特征图进行按像素位置点乘，以获得所述第二注意力特征图。

在上述基于分类权重的混凝土养护箱的清洁效果的检测系统中，所述第一分类权重特征图生成单元，进一步用于：以如下公式计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图，所述公式为：分类权重＝exp(ai)/∑exp(ai)，ai是所述第一注意力特征图中每个像素位置的特征值；其中，所述第二分类权重特征图生成单元，进一步用于：以如下公式计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图，所述公式为：分类权重＝exp(bi)/∑exp(bi)，bi是所述第二注意力特征图中每个像素位置的特征值。

在上述基于分类权重的混凝土养护箱的清洁效果的检测系统中，所述特征图融合单元，进一步用于：计算所述第一分类权重特征图与所述第二分类权重特征图之间的按像素位置加权和，以获得所述分类特征图。

在上述基于分类权重的混凝土养护箱的清洁效果的检测系统中，所述分类结果生成单元，包括：编码子单元，用于将所述分类特征图通过编码器以获得分类特征向量，所述编码器包括一个或多个全连接层；以及，分类子单元，用于将所述分类特征向量通过softmax分类函数，以获得所述分类结果。

在上述基于分类权重的混凝土养护箱的清洁效果的检测系统中，所述卷积神经网络为深度残差网络。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于分类权重的混凝土养护箱的清洁效果的检测方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于分类权重的混凝土养护箱的清洁效果的检测方法。

根据本申请提供的基于分类权重的混凝土养护箱的清洁效果的检测方法、基于分类权重的混凝土养护箱的清洁效果的检测系统和电子设备，其基于深度学习的计算机视觉技术来对混凝土养护箱的内壁和支撑架表面的图像进行特征提取和分类，来检测混凝土养护箱的内壁和支撑架表面的清洁效果。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法的场景示意图。

图2图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法的流程图。

图3图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法的架构示意图。

图4图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法中，将所述特征图分别通过第一注意力机制模块和第二注意力机制模块，以获得第一注意力特征图和第二注意力特征图的流程图。

图5图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法中，将所述分类特征图通过分类器，以获得分类结果的流程图。

图6图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测系统的框图。

图7图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测系统中注意力特征图生成单元的框图。

图8图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测系统中分类结果生成单元的框图。

图9图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如前所述，混凝土养护箱，一般都是将混凝土试块放置在箱体中，用于对试块进行实验。现有的混凝土养护箱在对试块完成实验后，都需要对混凝土养护箱进行清洁，尤其是对混凝土养护箱内腔中的用于放置混凝土试块的支撑架表面进行清洁，否则将影响后续的实验结果。

目前的混凝土养护箱的清洁效果基本上需要靠人工观察，而由于混凝土养护箱的体积较大、深度较深且没有良好的光源，导致人工观察效果不佳。

因此，期望一种用于混凝土养护箱的清洁效果检测的技术方案。

本申请的申请人考虑通过基于深度学习的计算机视觉技术来对混凝土养护箱的内壁和支撑架表面的图像进行特征提取和分类，来检测混凝土养护箱的内壁和支撑架表面的清洁效果。

在实践中，混凝土养护箱的内壁和支撑架表面主要是有凝固的混凝土块残留，而这种凝固的混凝土块通常并非是以单个形式存在，因此，如果能够在图像特征的提取过程当中识别出这些需要关注的对象，并对这些对象进行适当的归类，则非常有助于混凝土养护箱的内壁和支撑架表面的清洁效果的检测。

具体地，在本申请的技术方案中，首先获取混凝土养护箱的图像，所述图像包含所述混凝土养护箱的内壁部分和支撑架表面部分，然后，将所述图像输入卷积神经网络以获得特征图。接下来，将所述特征图分别通过第一注意力机制和第二注意力机制以提取出需要注意的局部特征，具体地，可能与混凝土养护箱内的残留的凝固混凝土块对象的局部特征，并分别将第一注意力图和第二注意力图通过softmax函数以计算注意力图的每个位置的分类权重，再乘以第一注意力图和第二注意力图以获得第一分类权重图和第二分类权重图，然后融合第一分类权重图和第二分类权重图以获得分类特征图。

这样，将所获得的分类特征图通过分类函数之后可以获得分类结果，所述分类结果用于表示所述混凝土养护箱的内壁和支撑架表面的清洁效果。

基于此，本申请提出了一种基于分类权重的混凝土养护箱的清洁效果的检测方法，其包括：获取待检测混凝土养护箱的图像，所述待检测混凝土养护箱图像包含所述待检测混凝土养护箱的内壁部分和支撑架表面部分；将所述待检测混凝土养护箱图像通过卷积神经网络以获得特征图；将所述特征图分别通过第一注意力机制模块和第二注意力机制模块，以获得第一注意力特征图和第二注意力特征图；将所述第一注意力特征图通过softmax函数以计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图；将所述第二注意力特征图通过softmax函数以计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图；将所述第一分类权重得分图与所述第一注意力特征图进行按像素位置点乘，以获得第一分类权重特征图；将所述第二分类权重得分图与所述第二注意力特征图进行按像素位置点乘，以获得第二分类权重特征图；融合所述第一分类权重特征图与所述第二分类权重特征图，以获得分类特征图；以及，将所述分类特征图通过分类器，以获得分类结果，所述分类结果用于表示所述待检测混凝土养护箱的内壁和支撑架表面的清洁效果是否合格。

图1图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法的场景示意图。

如图1所示，在该应用场景中，首先通过摄像头(例如，如图1中所示意的c)获取待检测混凝土养护箱的图像，所述待检测混凝土养护箱图像包含所述待检测混凝土养护箱的内壁部分和支撑架表面部分；然后，将所述待检测混凝土养护箱图像输入至部署有基于分类权重的混凝土养护箱的清洁效果的检测算法的服务器(例如，如图1中所示意的s)中，其中，所述服务器能够以基于分类权重的混凝土养护箱的清洁效果的检测算法对所述待检测混凝土养护箱图像进行处理，以生成用于表示所述待检测混凝土养护箱的内壁和支撑架表面的清洁效果是否合格的检测结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法的流程图。如图2所示，根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法，包括：s110，获取待检测混凝土养护箱的图像，所述待检测混凝土养护箱图像包含所述待检测混凝土养护箱的内壁部分和支撑架表面部分；s120，将所述待检测混凝土养护箱图像通过卷积神经网络以获得特征图；s130，将所述特征图分别通过第一注意力机制模块和第二注意力机制模块，以获得第一注意力特征图和第二注意力特征图；s140，将所述第一注意力特征图通过softmax函数以计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图；s150，将所述第二注意力特征图通过softmax函数以计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图；s160，将所述第一分类权重得分图与所述第一注意力特征图进行按像素位置点乘，以获得第一分类权重特征图；s170，将所述第二分类权重得分图与所述第二注意力特征图进行按像素位置点乘，以获得第二分类权重特征图；s180，融合所述第一分类权重特征图与所述第二分类权重特征图，以获得分类特征图；以及，s190，将所述分类特征图通过分类器，以获得分类结果，所述分类结果用于表示所述待检测混凝土养护箱的内壁和支撑架表面的清洁效果是否合格。

图3图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法的架构示意图。如图3所示，在该网络架构中，首先将获取的待检测混凝土养护箱图像(例如，如图3中所示意的in0)输入卷积神经网络(例如，如图3中所示意的cnn)以获得特征图(例如，如图3中所示意的f0)。然后，将所述特征图分别通过第一注意力机制模块(例如，如图3中所示意的atn1)和第二注意力机制模块(例如，如图3中所示意的atn2)，以获得第一注意力特征图(例如，如图3中所示意的f1)和第二注意力特征图(例如，如图3中所示意的f2)。接着，将所述第一注意力特征图通过softmax函数以计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图(例如，如图3中所示意的fs1)，以及，将所述第二注意力特征图通过softmax函数以计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图(例如，如图3中所示意的fs2)。接着，将所述第一分类权重得分图与所述第一注意力特征图进行按像素位置点乘，以获得第一分类权重特征图(例如，如图3中所示意的fw1)，以及，将所述第二分类权重得分图与所述第二注意力特征图进行按像素位置点乘，以获得第二分类权重特征图(例如，如图3中所示意的fw2)。然后，融合所述第一分类权重特征图与所述第二分类权重特征图，以获得分类特征图(例如，如图3中所示意的fc)。最终，将所述分类特征图通过分类器，以获得分类结果，所述分类结果用于表示所述待检测混凝土养护箱的内壁和支撑架表面的清洁效果是否合格。

在步骤s110中，获取待检测混凝土养护箱的图像，所述待检测混凝土养护箱图像包含所述待检测混凝土养护箱的内壁部分和支撑架表面部分。如前所述，在实践中，混凝土养护箱的内壁和支撑架表面主要是有凝固的混凝土块残留，而这种凝固的混凝土块通常并非是以单个形式存在，因此，如果能够在图像特征的提取过程当中识别出这些需要关注的对象，并对这些对象进行适当的归类，则非常有助于混凝土养护箱的内壁和支撑架表面的清洁效果的检测。

因此，在本申请的技术方案中，在采集所述待检测的混凝土养护箱的图像时，调整摄像头的拍摄角度使得所述待检测混凝土养护箱图像包含所述待检测混凝土养护箱的内壁部分和支撑架表面部分。

在步骤s120中，将所述待检测混凝土养护箱图像通过卷积神经网络以获得特征图。也就是，以深度卷积神经网络对所述待检测混凝土养护箱图像进行处理，以提取出所述待检测钢筋图像中的高维特征。本领域普通技术人员应知晓，卷积神经网络在提取图像局部空间特征上具有优异的性能表现。

优选地，在本申请实施例中，所述卷积神经网络被实施为深度残差网络，例如，resnet50。相较于传统的卷积神经网络，深度残差网络为在传统卷积神经网络的基础上提出的一种优化网络结构，其主要解决在训练过程中的梯度消失的问题。深度残差网络引入了残差网络结构，通过残差网络结构可以把网络层弄得更深，并且，不会发生梯度消失的问题。残差网络借鉴了高速网络的跨层链接思想，其打破了传统的神经网络从n-1层的输入层只能给n层作为输入的惯例，使某一层的输出可以直接跨过几层作为后面某一层的输入，其意义在于为迭加多层网络而使得整个学习模型的错误率不降反升的难题提供了新的方向。

在步骤s130中，将所述特征图分别通过第一注意力机制模块和第二注意力机制模块，以获得第一注意力特征图和第二注意力特征图。也就是，将所述特征图分别通过第一注意力机制和第二注意力机制以提取出需要注意的局部特征，即，所述待检测混凝土养护箱图像中所述待检测混凝土养护箱的内壁部分和支撑架表面部分。

具体地，在本申请一个具体的示例中，将所述特征图通过第一注意力机制模块以获得第一注意力特征图的过程，包括：首先，将所述第一特征图通过多个第一卷积层以获得第一卷积特征图，也就是，在本申请的技术方案中，所述第一注意力机制模块包括多个卷积层，以通过多个卷积层提取出所述第一特征图中需关注的区域。接着，将所述第一卷积特征图与所述第一特征图进行按像素位置点乘，以获得所述第一注意力特征图。也就是，将所述第一卷积特征图中的信息作用于所述第一特征图，以使得所述第一特征图中需要被关注的区域被加强，以获得所述第一注意力特征图。

具体地，在该示例中，将所述特征图通过第二注意力机制模块以获得第二注意力特征图的过程，包括：首先，将所述第二特征图通过多个第二卷积层以获得第二卷积特征图，也就是，在本申请的技术方案中，所述第二注意力机制模块包括多个卷积层，以通过多个卷积层提取出所述第二特征图中需关注的区域。这里，特别地，所述多个第二卷积层与所述多个第二卷积层具有不同的网络结构。接着，将所述第二卷积特征图与所述第二特征图进行按像素位置点乘，以获得所述第二注意力特征图。也就是，将所述第二卷积特征图中的信息作用于所述第二特征图，以使得所述第一特征图中需要被关注的区域被加强，以获得所述第二注意力特征图。

图4图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法中，将所述特征图分别通过第一注意力机制模块和第二注意力机制模块，以获得第一注意力特征图和第二注意力特征图的流程图。如图4所示，将所述特征图分别通过第一注意力机制模块和第二注意力机制模块，以获得第一注意力特征图和第二注意力特征图，包括：s210，将所述第一特征图通过多个第一卷积层以获得第一卷积特征图；s220，将所述第一卷积特征图与所述第一特征图进行按像素位置点乘，以获得所述第一注意力特征图；s230，将所述第二特征图通过多个第二卷积层以获得第二卷积特征图；以及，s240，将所述第二卷积特征图与所述第二特征图进行按像素位置点乘，以获得所述第二注意力特征图。

在步骤s140中，将所述第一注意力特征图通过softmax函数以计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图。应可以理解，所述第一注意力特征图聚焦于所述特征图中需要被关注的局部特征，即，所述待检测混凝土养护箱图像中所述待检测混凝土养护箱的内壁部分或支撑架表面部分的特征。并且，如前所述，混凝土养护箱的内壁和支撑架表面主要是有凝固的混凝土块残留，而这种凝固的混凝土块通常并非是以单个形式存在，因此，如果能够在图像特征的提取过程当中识别出这些需要关注的对象，并对这些对象进行适当的归类，则非常有助于混凝土养护箱的内壁和支撑架表面的清洁效果的检测。

相应地，在本申请实施例中，将所述第一注意力特征图通过softmax函数以计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图。也就是，将所述第一注意力特征图通过softmax函数以计算所述第一注意力特征图中每个像素位置归属于混凝土标签的概率值。

更具体地，在本申请实施例中，将所述第一注意力特征图通过softmax函数以计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图的过程，包括：以如下公式计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图，所述公式为：分类权重＝exp(ai)/∑exp(ai)，ai是所述第一注意力特征图中每个像素位置的特征值。

在步骤s150中，将所述第二注意力特征图通过softmax函数以计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图。也就是，将所述第二注意力特征图通过softmax函数以计算所述第二注意力特征图中每个像素位置归属于混凝土标签的概率值，以获得所述第二分类权重得分图。

更具体地，在本申请实施例中，将所述第二注意力特征图通过softmax函数以计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图的过程，包括：以如下公式计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图，所述公式为：分类权重＝exp(bi)/∑exp(bi)，bi是所述第二注意力特征图中每个像素位置的特征值。

在步骤s160中，将所述第一分类权重得分图与所述第一注意力特征图进行按像素位置点乘，以获得第一分类权重特征图。也就是，将所述第一分类权重得分图中的信息作用于所述第一注意力特征图中，以获得所述第一分类权重特征图。应可以理解，在所述第一分类权重特征图中，属于混凝土标签的区域被进一步地加强。

在步骤s170中，将所述第二分类权重得分图与所述第二注意力特征图进行按像素位置点乘，以获得第二分类权重特征图。也就是，将所述第二分类权重得分图中的信息作用于所述第二注意力特征图中，以获得所述第二分类权重特征图。应可以理解，在所述第二分类权重特征图中，属于混凝土标签的区域被进一步地加强。

在步骤s180中，融合所述第一分类权重特征图与所述第二分类权重特征图，以获得分类特征图。具体地，在本申请实施例中，以计算所述第一分类权重特征图与所述第二分类权重特征图之间的按像素位置加权和的方式来融合所述第一分类权重特征图和所述第二分类权重特征图，以获得所述分类特征图。

在步骤s180中，将所述分类特征图通过分类器，以获得分类结果，所述分类结果用于表示所述待检测混凝土养护箱的内壁和支撑架表面的清洁效果是否合格。也就是，在本申请的技术方案中，将特征提取阶段和分类阶段进行解耦。

更具体地，在本申请实施例中，所述分类器包括编码器，所述编码器用于对所述分类特征图进行编码，以将所述分类特征图中的特征映射到标签空间中，以获得分类特征向量。在一个具体的示例中，所述编码器包括一个或多个全连接层，以通过所述一个或多个全连接层充分利用所述分类特征图中各个位置的信息。接着，将所述分类特征向量输入分类函数，以获得所述待检测混凝土养护箱图像归属于所述待检测混凝土养护箱的内壁和支撑架表面的清洁效果合格的第一概率和归属于所述待检测混凝土养护箱的内壁和支撑架表面的清洁效果不合格的第二概率。然后，基于所述第一概率和所述第二概率，生成所述分类结果，所述分类结果用于表示所述待检测混凝土养护箱的内壁和支撑架表面的清洁效果是否合格。

图5图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法中，将所述分类特征图通过分类器，以获得分类结果的流程图。如图5所示，在本申请实施例中，将所述分类特征图通过分类器，以获得分类结果，包括：s310，将所述分类特征图通过编码器以获得分类特征向量，所述编码器包括一个或多个全连接层；以及，s320，将所述分类特征向量通过softmax分类函数，以获得所述分类结果。

综上，基于本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法被阐明，其基于深度学习的计算机视觉技术来对混凝土养护箱的内壁和支撑架表面的图像进行特征提取和分类，来检测混凝土养护箱的内壁和支撑架表面的清洁效果。

示例性系统

图6图示了根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测系统的框图。

如图6所示，根据本申请实施例的基于分类权重的混凝土养护箱的清洁效果的检测系统600，包括：待检测图像获取单元610，用于获取待检测混凝土养护箱的图像，所述待检测混凝土养护箱图像包含所述待检测混凝土养护箱的内壁部分和支撑架表面部分；特征图生成单元620，用于将所述待检测图像获取单元610获得的所述待检测混凝土养护箱图像通过卷积神经网络以获得特征图；注意力特征图生成单元630，用于将所述特征图生成单元620获得的所述第一特征图分别通过第一注意力机制模块和第二注意力机制模块，以获得第一注意力特征图和第二注意力特征图；第一分类权重得分图生成单元640，用于将所述注意力特征图生成单元630获得的所述第一注意力特征图通过softmax函数以计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图；第二分类权重得分图生成单元650，用于将所述所述注意力特征图生成单元630获得的所述第二注意力特征图通过softmax函数以计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图；第一分类权重特征图生成单元660，用于将所述第一分类权重得分图生成单元640获得的所述第一分类权重得分图与所述注意力特征图生成单元630获得的所述第一注意力特征图进行按像素位置点乘，以获得第一分类权重特征图；第二分类权重特征图生成单元670，用于将所述第二分类权重得分图生成单元650获得的所述第二分类权重得分图与所述注意力特征图生成单元630获得的所述第二注意力特征图进行按像素位置点乘，以获得第二分类权重特征图；特征图融合单元680，用于融合所述第一分类权重特征图生成单元660获得的所述第一分类权重特征图与所述第二分类权重特征图生成单元670获得的所述第二分类权重特征图，以获得分类特征图；以及，分类结果生成单元690，用于将所述特征图融合单元680获得的所述分类特征图通过分类器，以获得分类结果，所述分类结果用于表示所述待检测混凝土养护箱的内壁和支撑架表面的清洁效果是否合格。

在一个示例中，在上述检测系统600中，如图7所示，所述注意力特征图生成单元630，包括：第一卷积特征图特征图生成子单元631，用于将所述第一特征图通过多个第一卷积层以获得第一卷积特征图；第一点乘子单元632，用于将所述第一卷积特征图与所述第一特征图进行按像素位置点乘，以获得所述第一注意力特征图；第二卷积特征图特征图生成子单元633，用于将所述第二特征图通过多个第二卷积层以获得第二卷积特征图；以及，第二点乘子单元634，用于将所述第二卷积特征图与所述第二特征图进行按像素位置点乘，以获得所述第二注意力特征图。

在一个示例中，在上述检测系统600中，所述第一分类权重特征图生成单元660，进一步用于：以如下公式计算所述第一注意力特征图中每个位置的分类权重，以获得第一分类权重得分图，所述公式为：分类权重＝exp(ai)/∑exp(ai)，ai是所述第一注意力特征图中每个像素位置的特征值；其中，所述第二分类权重特征图生成单元670，进一步用于：以如下公式计算所述第二注意力特征图中每个位置的分类权重，以获得第二分类权重得分图，所述公式为：分类权重＝exp(bi)/∑exp(bi)，bi是所述第二注意力特征图中每个像素位置的特征值。

在一个示例中，在上述检测系统600中，所述特征图融合单元680，进一步用于：计算所述第一分类权重特征图与所述第二分类权重特征图之间的按像素位置加权和，以获得所述分类特征图。

在一个示例中，在上述检测系统600中，如图8所示，所述分类结果生成单元690，包括：编码子单元691，用于将所述分类特征图通过编码器以获得分类特征向量，所述编码器包括一个或多个全连接层；以及，分类子单元692，用于将所述分类特征向量通过softmax分类函数，以获得所述分类结果。

在上述基于分类权重的混凝土养护箱的清洁效果的检测系统中，所述卷积神经网络为深度残差网络。

这里，本领域技术人员可以理解，上述检测系统600中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的基于分类权重的混凝土养护箱的清洁效果的检测方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的检测系统600可以实现在各种终端设备中，例如用于混凝土养护箱的清洁效果检测的服务器等。在一个示例中，根据本申请实施例的检测系统600可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该检测系统600可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该检测系统600同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该检测系统600与该终端设备也可以是分立的设备，并且该检测系统600可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图9来描述根据本申请实施例的电子设备。

图9图示了根据本申请实施例的电子设备的框图。

如图9所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如待检测混凝土养护箱图像、检测结果等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括检测结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于分类权重的混凝土养护箱的清洁效果的检测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。