用于袋装水泥容量监控的神经网络的训练方法与流程

本申请涉及人工智能技术领域，且更为具体地，涉及一种用于袋装水泥容量监控的神经网络的训练方法、基于深度神经网络的袋装水泥容量的监控方法、用于袋装水泥容量监控的神经网络的训练系统、基于深度神经网络的袋装水泥容量的监控系统和电子设备。

背景技术：

水泥包装机是袋装水泥生产必需的一种专用设备，用于完成对水泥的自动包装，也可用来包装其他流动性能好的粉状物料，例如，如粉煤灰、水泥添加剂等。

现有的水泥包装机在对水泥粉料进行包装时，为了保证每袋水泥的容量相同，需要对灌装过程进行精确控制，并且在灌装结束之后对每袋水泥进行称重。为了确保袋装水泥的容量均匀，一方面需要进一步的提高灌装过程中的控制精度，另一方面，也期待能够对袋装水泥的容量进行监控，以及时地发现容量不均匀的情况并及时地做出应对和调整。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

近年来，深度学习以及神经网络的发展为袋装水泥的容量监控提供了新的解决思路和方案。

技术实现要素：

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于袋装水泥容量监控的神经网络的训练方法、基于深度神经网络的袋装水泥容量的监控方法、用于袋装水泥容量监控的神经网络的训练系统、基于深度神经网络的袋装水泥容量的监控系统和电子设备，其以深度神经网络从多个角度获得的袋装水泥图像中获得多个特征图，并以预分类器对所述多个特征图进行预分类并将对应于预分类器的标签的概率值作为所述多个特征图融合时的权重，进而以所述预分类器获得的权重融合所述多个特征图以获得用于分类的分类特征图，通过这样的方式，提高所述袋装水泥图像中多袋袋装水泥的容量是否均匀的检测准确度。

根据本申请的一个方面，提供了一种用于袋装水泥容量监控的神经网络的训练方法，其包括：

步骤1：获取训练图像集，所述训练图像集包括以多个角度拍摄的多个袋装水泥图像，每个袋装水泥图像中包含多个袋装水泥对象；

步骤2：将所述多个袋装水泥图像输入卷积神经网络以获得多个特征图；

步骤3：将所述多个特征图通过多个预分类器，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值；

步骤4：以所述多个概率值对所述多个特征图进行融合，以获得分类特征图；

步骤5：将所述分类特征图通过分类器以获得分类损失函数值，所述分类器的标签与所述预分类器的标签相同；

步骤6：以预定步长减小所述分类损失函数值，并通过梯度的反向传播更新所述卷积神经网络、所述预分类器和所述分类器的参数；以及

步骤7：迭代地执行所述步骤2到步骤6，以完成所述卷积神经网络、所述预分类器和所述分类器的训练，训练后的所述分类器的分类结果用于表示所述袋装水泥图像中多袋袋装水泥的容量是否均匀的检测结果。

在上述用于袋装水泥容量监控的神经网络的训练方法中，步骤3：将所述多个特征图通过多个预分类器，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值，包括：将所述多个特征图分别通过池化层进行全局平均值池化以获得多个预分类特征向量；以及，将所述多个预分类特征向量分别输入分类函数，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值。

在上述用于袋装水泥容量监控的神经网络的训练方法中，步骤4：以所述多个概率值对所述多个特征图进行融合，以获得分类特征图，包括：以所述多个概率值作为权重计算所述多个特征图之间的按像素位置的加权和，以获得所述分类特征图。

在上述用于袋装水泥容量监控的神经网络的训练方法中，步骤5：将所述分类特征图通过分类器以获得分类损失函数值，所述分类器的标签与所述预分类器的标签相同，包括：将所述分类特征图通过一个或多个全连接层以获得分类特征向量；以及，将所述分类特征向量输入softmax分类函数以获得所述分类损失函数值。

在上述用于袋装水泥容量监控的神经网络的训练方法中，在步骤2：将所述多个袋装水泥图像输入卷积神经网络以获得多个特征图中，所述卷积神经网络为深度残差神经网络。

根据本申请的另一方面，提供了一种基于深度神经网络的袋装水泥容量的监控方法，其包括：

获取以多个角度拍摄多袋待检测袋装水泥的多张待检测图像，每张所述待检测图像中包含多个袋装水泥对象；

将所述多张待检测图像输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的卷积神经网络以获得多张检测特征图；

将所述多张检测特征图输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的多个预分类器中以获得所述多个检测特征图分别归属于所述多个预分类器的标签的多个概率值；

以所述多个概率值作为权重计算所述多个检测特征图的加权和，以获得融合分类特征图；以及

将所述融合分类特征图输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的分类器以获得分类结果，所述分类结果表示所述袋装水泥图像中多袋袋装水泥的容量是否均匀。

根据本申请的又一方面，提供了一种用于袋装水泥容量监控的神经网络的训练系统，其包括：

训练图像集获取单元，用于执行步骤1：获取训练图像集，所述训练图像集包括以多个角度拍摄的多个袋装水泥图像，每个袋装水泥图像中包含多个袋装水泥对象；

特征图生成单元，用于执行步骤2：将所述训练图像集获取单元获取的所述多个袋装水泥图像输入卷积神经网络以获得多个特征图；

预分类单元，用于执行步骤3：将所述特征图生成单元获得的所述多个特征图通过多个预分类器，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值；

分类特征图生成单元，用于执行步骤4：以所述多个概率值对所述多个特征图进行融合，以获得分类特征图；

分类损失函数值计算单元，用于执行步骤5：将所述分类特征图生成单元获得的所述分类特征图通过分类器以获得分类损失函数值，所述分类器的标签与所述预分类器的标签相同；

参数更新单元，用执行步骤6：以预定步长减小所述分类损失函数值计算单元获得的所述分类损失函数值，并通过梯度的反向传播更新所述卷积神经网络、所述预分类器和所述分类器的参数；以及

循环单元，用于执行步骤7：迭代地执行所述步骤2到步骤6，以完成所述卷积神经网络、所述预分类器和所述分类器的训练，训练后的所述分类器的分类结果用于表示所述袋装水泥图像中多袋袋装水泥的容量是否均匀的检测结果。

在上述用于袋装水泥容量监控的神经网络的训练系统中，所述预分类单元，包括：池化子单元，用于将所述多个特征图分别通过池化层进行全局平均值池化以获得多个预分类特征向量；以及，预分类子单元，用于将所述多个预分类特征向量分别输入分类函数，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值。

在上述用于袋装水泥容量监控的神经网络的训练系统中，所述分类特征图生成单元，进一步用于：以所述多个概率值作为权重计算所述多个特征图之间的按像素位置的加权和，以获得所述分类特征图。

在上述用于袋装水泥容量监控的神经网络的训练系统中，所述分类损失函数值计算单元，包括全连接处理子单元，用于将所述分类特征图通过一个或多个全连接层以获得分类特征向量；以及，分类子单元，用于将所述分类特征向量输入softmax分类函数以获得所述分类损失函数值。

在上述用于袋装水泥容量监控的神经网络的训练系统中，所述卷积神经网络为深度残差神经网络。

根据本申请的再一方面，还提供了一种基于深度神经网络的袋装水泥容量的监控系统，其包括：

待检测图像获取单元，用于获取以多个角度拍摄多袋待检测袋装水泥的多张待检测图像，每张所述待检测图像中包含多个袋装水泥对象；

检测特征图生成单元，用于将所述待检测图像获取单元获得的所述多张待检测图像输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的卷积神经网络以获得多张检测特征图；

融合权重获取单元，用于将所述检测特征图生成单元获得的所述多张检测特征图输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的多个预分类器中以获得所述多个检测特征图分别归属于所述多个预分类器的标签的多个概率值；

特征图融合单元，用于以所述融合权重获取单元获得的所述多个概率值作为权重计算所述多个检测特征图的加权和，以获得融合分类特征图；

分类单元，用于将所述特征图融合单元获得的所述融合分类特征图输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的分类器以获得分类结果，所述分类结果表示所述袋装水泥图像中多袋袋装水泥的容量是否均匀。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的用于水泥包装机的袋装水泥容量监控的神经网络的训练方法，或者，基于深度神经网络的袋装水泥容量的监控方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的用于水泥包装机的袋装水泥容量监控的神经网络的训练方法，或者，基于深度神经网络的袋装水泥容量的监控方法。

根据本申请提供的用于袋装水泥容量监控的神经网络的训练方法、基于深度神经网络的袋装水泥容量的监控方法、用于袋装水泥容量监控的神经网络的训练系统、基于深度神经网络的袋装水泥容量的监控系统和电子设备，其以深度神经网络从多个角度获得的袋装水泥图像中获得多个特征图，并以预分类器对所述多个特征图进行预分类并将对应于预分类器的标签的概率值作为所述多个特征图融合时的权重，进而以所述预分类器获得的权重融合所述多个特征图以获得用于分类的分类特征图，通过这样的方式，提高所述袋装水泥图像中多袋袋装水泥的容量是否均匀的检测准确度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练方法和基于深度神经网络的袋装水泥容量的监控方法的应用场景示意图。

图2图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练方法的流程图。

图3图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练方法的架构示意图。

图4图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练方法中，步骤3：将所述多个特征图通过多个预分类器，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值的流程图。

图5图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练方法中，步骤5：将所述分类特征图通过分类器以获得分类损失函数值的流程图。

图6图示了根据本申请实施例的基于深度神经网络的袋装水泥容量的监控方法的流程图。

图7图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练系统的框图。

图8图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练系统中预分类单元的框图。

图9图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练系统中分类损失函数值计算单元的框图。

图10图示了根据本申请实施例的基于深度神经网络的袋装水泥容量的监控系统的框图。

图11图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如前所述，水泥包装机是袋装水泥生产必需的一种专用设备，用于完成对水泥的自动包装，也可用来包装其他流动性能好的粉状物料，例如，如粉煤灰、水泥添加剂等。

现有的水泥包装机在对水泥粉料进行包装时，为了保证每袋水泥的容量相同，需要对灌装过程进行精确控制，并且在灌装结束之后对每袋水泥进行称重。为了确保袋装水泥的容量均匀，一方面需要进一步的提高灌装过程中的控制精度，另一方面，也期待能够对袋装水泥的容量进行监控，以及时地发现容量不均匀的情况并及时地做出应对和调整。

本申请的申请人考虑通过基于深度学习的计算机视觉技术来对袋装水泥的容量是否均匀来进行监控，也就是，通过卷积神经网络提取多袋袋装水泥的高维图像特征，再通过分类器来进行分类。这里，由于袋装水泥的外形通常为不规则形状，因此为了保证分类的准确性，期望通过多个角度获得的袋装水泥图像来进行特征提取和分类。

这样，对于多个角度获得的袋装水泥图像，在通过卷积神经网络获得其特征图之后，需要对多个特征图进行融合，以便得到用于分类的特征图。但是，如果将每个特征图的融合权重作为超参数来训练，则会增加训练时的计算量，并且可能影响迭代的收敛。

基于此，本申请的申请人考虑在训练过程中通过预分类器来对所获得多个特征图进行预分类，而将对应于预分类器的标签的概率值作为特征图融合时的权重。也就是，当对应于预分类器的标签的概率值越大时，说明该特征图对于最终分类器的判定的贡献越大，则在融合时应该赋予越大的权重。这里，需要注意的是，预分类器和分类器的标签设置应该相同，也就是，如果分类器中标签真值为多袋袋装水泥的容量均匀，则预分类器中的标签真值也应该为多袋袋装水泥的容量均匀。

具体地，在本申请的技术方案中，首先获取多个角度拍摄的袋装水泥图像，其中在每个袋装水泥图像中，包含多个袋装水泥对象。然后，将所述多个袋装水泥图像输入卷积神经网络获得多个特征图，并通过多个分类器获得该多个特征图归属于预分类器的标签的多个概率值，然后以所述多个概率值对该多个特征图进行融合，并通过分类器进行分类以获得分类损失函数值，并以该分类损失函数值对卷积神经网络进行训练。

基于此，本申请提出了一种用于袋装水泥容量监控的神经网络的训练方法，其包括：步骤1：获取训练图像集，所述训练图像集包括以多个角度拍摄的多个袋装水泥图像，每个袋装水泥图像中包含多个袋装水泥对象；步骤2：将所述多个袋装水泥图像输入卷积神经网络以获得多个特征图；步骤3：将所述多个特征图通过多个预分类器，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值；步骤4：以所述多个概率值对所述多个特征图进行融合，以获得分类特征图；步骤5：将所述分类特征图通过分类器以获得分类损失函数值，所述分类器的标签与所述预分类器的标签相同；步骤6：以预定步长减小所述分类损失函数值，并通过梯度的反向传播更新所述卷积神经网络、所述预分类器和所述分类器的参数；以及，步骤7：迭代地执行所述步骤2到步骤6，以完成所述卷积神经网络、所述预分类器和所述分类器的训练，训练后的所述分类器的分类结果用于表示所述袋装水泥图像中多袋袋装水泥的容量是否均匀的检测结果。

基于此，本申请还提出了一种基于深度神经网络的袋装水泥容量的监控方法，其包括：获取以多个角度拍摄多袋待检测袋装水泥的多张待检测图像，每张所述待检测图像中包含多个袋装水泥对象；将所述多张待检测图像输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的卷积神经网络以获得多张检测特征图；将所述多张检测特征图输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的多个预分类器中以获得所述多个检测特征图分别归属于所述多个预分类器的标签的多个概率值；以所述多个概率值作为权重计算所述多个检测特征图的加权和，以获得融合分类特征图；以及，将所述融合分类特征图输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的分类器以获得分类结果，所述分类结果表示所述袋装水泥图像中多袋袋装水泥的容量是否均匀。

图1图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练方法和基于深度神经网络的袋装水泥容量的监控方法的应用场景示意图。

如图1所示，在该应用场景的训练阶段中，通过摄像头(例如，如图1中所示意的c)以多个角度拍摄的多个袋装水泥图像，每个袋装水泥图像中包含多个袋装水泥对象；然后，将所述多个袋装水泥图像输入至部署有用于袋装水泥容量监控的神经网络的训练算法的服务器中(例如，如图2中所示意的s)，其中，所述服务器能够以用于袋装水泥容量监控的神经网络的训练算法以所述多个袋装水泥图像对用于袋装水泥容量监控的神经网络进行训练。

在训练完成后，在检测阶段中，首先通过摄像头(例如，如图1中所示意的c)以多个角度拍摄多袋待检测袋装水泥的多张待检测图像；然后，将所述多张待检测图像输入至部署有基于深度神经网络的袋装水泥容量的监控算法的服务器中(例如，如图2中所示意的s)，其中，所述服务器能够以基于深度神经网络的袋装水泥容量的监控算法对获取的所述多张待检测图像进行处理，以生成用于表示所述袋装水泥图像中多袋袋装水泥的容量是否均匀的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练方法的流程图。如图2所示，根据本申请实施例的用于袋装水泥容量监控的神经网络的训练方法，包括：步骤1：获取训练图像集，所述训练图像集包括以多个角度拍摄的多个袋装水泥图像，每个袋装水泥图像中包含多个袋装水泥对象；步骤2：将所述多个袋装水泥图像输入卷积神经网络以获得多个特征图；步骤3：将所述多个特征图通过多个预分类器，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值；步骤4：以所述多个概率值对所述多个特征图进行融合，以获得分类特征图；步骤5：将所述分类特征图通过分类器以获得分类损失函数值，所述分类器的标签与所述预分类器的标签相同；步骤6：以预定步长减小所述分类损失函数值，并通过梯度的反向传播更新所述卷积神经网络、所述预分类器和所述分类器的参数；以及，步骤7：迭代地执行所述步骤2到步骤6，以完成所述卷积神经网络、所述预分类器和所述分类器的训练，训练后的所述分类器的分类结果用于表示所述袋装水泥图像中多袋袋装水泥的容量是否均匀的检测结果。

图3图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练方法的架构示意图。如图3所示，在该网络架构中，首先将获取的训练图像集(例如，如图3中所示意的in0)输入卷积神经网络(例如，如图3中所示意的cnn)中以获得多个特征图(例如，如图3中所示意的f1)，其中，所述训练图像集包括以多个角度拍摄的多个袋装水泥图像，每个袋装水泥图像中包含多个袋装水泥对象。接着，将所述多个特征图通过多个预分类器(例如，如图3中所示意的预分类器)，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值。接着，以所述多个概率值对所述多个特征图进行融合，以获得分类特征图(例如，如图3中所示意的fc)。然后，将所述分类特征图通过分类器以获得分类损失函数值，所述分类器的标签与所述预分类器的标签相同。进而，以预定步长减小所述分类损失函数值，并通过梯度的反向传播更新所述卷积神经网络、所述预分类器和所述分类器的参数。

在步骤1中，获取训练图像集，所述训练图像集包括以多个角度拍摄的多个袋装水泥图像，每个袋装水泥图像中包含多个袋装水泥对象。如前所述，在本申请的技术方案中，考虑通过基于深度学习的计算机视觉技术来对袋装水泥的容量是否均匀来进行监控，也就是，通过卷积神经网络提取多袋袋装水泥的高维图像特征，再通过分类器来进行分类。然而，由于袋装水泥的外形通常为不规则形状，因此为了保证分类的准确性，期望通过多个角度获得的袋装水泥图像来进行特征提取和分类。

因此，在训练过程中，以多个拍摄角度采集多个袋装水泥的图像以获得多张袋装水泥图像作为训练图像集。

在步骤2中，将所述多个袋装水泥图像输入卷积神经网络以获得多个特征图。也就是，以卷积神经网络作为特征提取器提取出所述多个袋装水泥图像中的高维特征。

本领域普通技术人员应知晓，卷积神经网络在提取图像局部空间特征方面具有优异的表现。在本申请一个具体的示例中，所述卷积神经网络被实施为深度残差网络，例如，resnet50。本领域普通技术人员应知晓，相较于传统的卷积神经网络，深度残差网络为在传统卷积神经网络的基础上提出的一种优化网络结构，其主要解决在训练过程中的梯度消失的问题。深度残差网络引入了残差网络结构，通过残差网络结构可以把网络层弄得更深，并且，不会发生梯度消失的问题。残差网络借鉴了高速网络的跨层链接思想，其打破了传统的神经网络从n-1层的输入层只能给n层作为输入的惯例，使某一层的输出可以直接跨过几层作为后面某一层的输入，其意义在于为迭加多层网络而使得整个学习模型的错误率不降反升的难题提供了新的方向。

在步骤3中，将所述多个特征图通过多个预分类器，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值。如前所述，对于多个角度获得的袋装水泥图像，在通过卷积神经网络获得其特征图之后，需要对多个特征图进行融合，以便得到用于分类的特征图。但是，如果将每个特征图的融合权重作为超参数来训练，则会增加训练时的计算量，并且可能影响迭代的收敛。

因此，在本申请的技术方案中，本申请的申请人考虑在训练过程中通过预分类器来对所获得多个特征图进行预分类，而将对应于预分类器的标签的概率值作为特征图融合时的权重。也就是，当对应于预分类器的标签的概率值越大时，说明该特征图对于最终分类器的判定的贡献越大，则在融合时应该赋予越大的权重。这里，需要注意的是，预分类器和分类器的标签设置应该相同，也就是，如果分类器中标签真值为多袋袋装水泥的容量均匀，则预分类器中的标签真值也应该为多袋袋装水泥的容量均匀。

更具体地，在本申请一个具体的示例中，将所述多个特征图通过多个预分类器，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值的过程，包括：首先，将所述多个特征图分别通过池化层进行全局平均值池化以获得多个预分类特征向量，也就是，以池化层对所述多个特征图进行降维处理，以降低计算量。并且，通过对所述多个特征图进行全局平均值池化可在降低计算量的同时，能够抑制由于邻域大小受限造成的估计值方差增大的现象。接着，将所述多个预分类特征向量分别输入分类函数(例如，softmax函数)，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值。

图4图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练方法中，步骤3：将所述多个特征图通过多个预分类器，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值的流程图。如图4所示，步骤3：将所述多个特征图通过多个预分类器，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值，包括：s210,将所述多个特征图分别通过池化层进行全局平均值池化以获得多个预分类特征向量；以及，s220，将所述多个预分类特征向量分别输入分类函数，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值。

在步骤4中，以所述多个概率值对所述多个特征图进行融合，以获得分类特征图。也就是，以步骤3中获得的多个概率值作为权重来融合所述多个特征图，以获得分类特征图。

更具体地，在本申请实施例中，以所述多个概率值对所述多个特征图进行融合，以获得分类特征图的过程，包括：以所述多个概率值作为权重计算所述多个特征图之间的按像素位置的加权和，以获得所述分类特征图。

在步骤5中，将所述分类特征图通过分类器以获得分类损失函数值，所述分类器的标签与所述预分类器的标签相同。也就是，在本申请的技术方案中，特征提取器和分类器之间进行了解耦。

在本申请实施例中，所述分类器包括编码器，所述编码器用于对分类特征图进行编码以将所述分类特征图映射到标签空间中，以获得所述分类特征向量。具体地，在本申请实施例中，所述编码器包括一个或多个全连接层，以通过所述一个或多个全连接层充分利用所述分类特征图中各个位置的信息，以生成所述分类特征向量。进而，将所述分类特征向量输入softmax分类函数以获得分类结果，进而将分类结果与真实值作差并输入损失函数以获得所述分类损失函数值。所述分类损失函数值表示所述分类结果符合所述真实值的概率。

图5图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练方法中，步骤5：将所述分类特征图通过分类器以获得分类损失函数值的流程图。如图5所示，步骤5：将所述分类特征图通过分类器以获得分类损失函数值，包括：s310，将所述分类特征图通过一个或多个全连接层以获得分类特征向量；以及，s320，将所述分类特征向量输入softmax分类函数以获得所述分类损失函数值。

在步骤6中，以预定步长减小所述分类损失函数值，并通过梯度的反向传播更新所述卷积神经网络、所述预分类器和所述分类器的参数。这是深度神经网络的常规训练过程，即，以梯度下降的反向传播来更新所述卷积神经网络、所述预分类器和所述分类器的参数。

在步骤7中，迭代地执行所述步骤2到步骤6，以完成所述卷积神经网络、所述预分类器和所述分类器的训练，训练后的所述分类器的分类结果用于表示所述袋装水泥图像中多袋袋装水泥的容量是否均匀的检测结果。

综上，基于本申请实施例的用于袋装水泥容量监控的神经网络的训练方法被阐明，以深度卷积神经网络从多个角度获得的袋装水泥图像中获得多个特征图，并以预分类器对所述多个特征图进行预分类并将对应于预分类器的标签的概率值作为所述多个特征图融合时的权重，进而以所述预分类器获得的权重融合所述多个特征图以获得用于分类的分类特征图，通过这样的方式，提高所述袋装水泥图像中多袋袋装水泥的容量是否均匀的检测准确度。

根据本申请的另一方面，还提供了一种基于深度神经网络的袋装水泥容量的监控方法。

图6图示了根据本申请实施例的基于深度神经网络的袋装水泥容量的监控方法的流程图。

如图6所示，根据本申请实施例的基于深度神经网络的袋装水泥容量的监控方法，包括：s410，获取以多个角度拍摄多袋待检测袋装水泥的多张待检测图像，每张所述待检测图像中包含多个袋装水泥对象；s420，将所述多张待检测图像输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的卷积神经网络以获得多张检测特征图；s430，将所述多张检测特征图输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的多个预分类器中以获得所述多个检测特征图分别归属于所述多个预分类器的标签的多个概率值；s440，以所述多个概率值作为权重计算所述多个检测特征图的加权和，以获得融合分类特征图；以及，s450,将所述融合分类特征图输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的分类器以获得分类结果，所述分类结果表示所述袋装水泥图像中多袋袋装水泥的容量是否均匀。

示例性系统

图7图示了根据本申请实施例的用于袋装水泥容量监控的神经网络的训练系统的框图。

如图7所示，根据本申请实施例的用于袋装水泥容量监控的神经网络的训练系统700，包括：训练图像集获取单元710，用于执行步骤1：获取训练图像集，所述训练图像集包括以多个角度拍摄的多个袋装水泥图像，每个袋装水泥图像中包含多个袋装水泥对象；特征图生成单元720，用于执行步骤2：将所述训练图像集获取单元710获取的所述多个袋装水泥图像输入卷积神经网络以获得多个特征图；预分类单元730，用于执行步骤3：将所述特征图生成单元720获得的所述多个特征图通过多个预分类器，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值；分类特征图生成单元740，用于执行步骤4：以所述多个概率值对所述多个特征图进行融合，以获得分类特征图；分类损失函数值计算单元750，用于执行步骤5：将所述分类特征图生成单元740获得的所述分类特征图通过分类器以获得分类损失函数值，所述分类器的标签与所述预分类器的标签相同；参数更新单元760，用执行步骤6：以预定步长减小所述分类损失函数值计算单元750获得的所述分类损失函数值，并通过梯度的反向传播更新所述卷积神经网络、所述预分类器和所述分类器的参数；以及,循环单元770，用于执行步骤7：迭代地执行所述步骤2到步骤6，以完成所述卷积神经网络、所述预分类器和所述分类器的训练，训练后的所述分类器的分类结果用于表示所述袋装水泥图像中多袋袋装水泥的容量是否均匀的检测结果。

在一个示例中，在上述训练系统700中，如图8所示，所述预分类单元730，包括：池化子单元731，用于将所述多个特征图分别通过池化层进行全局平均值池化以获得多个预分类特征向量；以及，预分类子单元732，用于将所述多个预分类特征向量分别输入分类函数，以获得所述多个特征图分别归属于所述多个预分类器的标签的多个概率值。

在一个示例中，在上述训练系统700中，所述分类特征图生成单元740，进一步用于：以所述多个概率值作为权重计算所述多个特征图之间的按像素位置的加权和，以获得所述分类特征图。

在一个示例中，在上述训练系统700中，如图9所示，所述分类损失函数值计算单元750，包括全连接处理子单元751，用于将所述分类特征图通过一个或多个全连接层以获得分类特征向量；以及，分类子单元752，用于将所述分类特征向量输入softmax分类函数以获得所述分类损失函数值。

在一个示例中，在上述训练系统700中，所述卷积神经网络为深度残差神经网络。

这里，本领域技术人员可以理解，上述训练系统700中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的用于袋装水泥容量监控的神经网络的训练方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的训练系统700可以实现在各种终端设备中，例如用于袋装水泥容量监控的服务器等。在一个示例中，根据本申请实施例的训练系统700可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该训练系统700可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该训练系统700同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该训练系统700与该终端设备也可以是分立的设备，并且该训练系统700可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

根据本申请的另一方面，还提出了一种基于深度神经网络的成品粉煤灰球的大小检测系统。

图10图示了根据本申请实施例的基于深度神经网络的袋装水泥容量的监控系统的框图。如图10所示，根据本申请实施例的基于深度神经网络的袋装水泥容量的监控系统800，包括：待检测图像获取单元810，用于获取以多个角度拍摄多袋待检测袋装水泥的多张待检测图像，每张所述待检测图像中包含多个袋装水泥对象；检测特征图生成单元820，用于将所述待检测图像获取单元810获得的所述多张待检测图像输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的卷积神经网络以获得多张检测特征图；融合权重获取单元830，用于将所述检测特征图生成单元820获得的所述多张检测特征图输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的多个预分类器中以获得所述多个检测特征图分别归属于所述多个预分类器的标签的多个概率值；特征图融合单元840，用于以所述融合权重获取单元830获得的所述多个概率值作为权重计算所述多个检测特征图的加权和，以获得融合分类特征图；以及，分类单元850，用于将所述特征图融合单元840获得的所述融合分类特征图输入根据如上所述的用于袋装水泥容量监控的神经网络的训练方法所训练的分类器以获得分类结果，所述分类结果表示所述袋装水泥图像中多袋袋装水泥的容量是否均匀。

这里，本领域技术人员可以理解，上述监控系统800中的各个单元和模块的具体功能和操作已经在上面参考图6的基于深度神经网络的袋装水泥容量的监控方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的监控系统800可以实现在各种终端设备中，例如用于成品粉煤灰球的大小检测的等。在一个示例中，根据本申请实施例的监控系统800可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该监控系统800可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该监控系统800同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该监控系统800与该终端设备也可以是分立的设备，并且该监控系统800可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图11来描述根据本申请实施例的电子设备。

图11图示了根据本申请实施例的电子设备的框图。

如图11所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的用于袋装水泥容量监控的神经网络的训练方法，或者，基于深度神经网络的袋装水泥容量的监控方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如训练图像集、分类损失函数值等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。