一种基于深度卷积神经网络的传输机胶带跑偏检测方法与流程

本发明涉及煤炭运输监测技术领域，特别是指一种基于深度卷积神经网络的传输机胶带跑偏检测方法。

背景技术：

煤炭是我国至关重要的战略能源之一，极大地推动了我国的经济发展，在我国能源的消费结构占比为70％左右。数据表明在社会主义初级阶段，煤炭仍是我国能源消费的大头，我国国民经济的发展需要煤炭持续赋能，因此需要大量的开采煤炭。随着煤炭需求量的增加，煤炭开采量地扩大，各煤矿企业也开始重视在矿山开采时的生产安全问题。为了应对矿山可能出现的各类生产安全问题，大部分矿山都开始在各个关键位置安装工业摄像头，通过工业摄像头拍摄的视频，监控室的监控人员可对矿山的各个关键位置进行监控，一旦发现问题便进行报警，避免一些生产安全事故的发生。

矿山的传输机在运输煤炭的过程中发挥了重要作用使其成为被监控和管理的重点内容。也有越来越多的矿山通过传输机将煤炭运输到地面，传输机也朝着大规模、长距离、大倾角的方向发展。通常的监控方法是通过现场实时拍摄传输机的视频，在监控室通过人工观察传输机是否正常。这种方法的优点是能够快速直观地发现传输机的跑偏等问题，但传输机的监控是一个持续进行的过程，现场的监控人员会由于疲劳、工作的枯燥性等原因导致监控的结果不可靠。同时随着矿山传输机数量的增长以及输送带长度的增加，人工监控的局限性越发地明显。一旦传输机胶带由于跑偏、撕裂、磨损等出现问题，往往会导致昂贵的传输机胶带报废，甚至引起矿难，威胁到现场施工人员的生命安全，对矿山的正常生产造成重大影响。

因此迫切地需要一种能够代替人工监控传输机胶带的技术，保证对传输机胶带的监控能够实时地进行，满足矿山企业对传输机胶带的跑偏检测需求，快速有效地进行判断，提高矿山监控的整体质量和效率，节约矿山企业的经营成本，保障施工工人的人身安全。

技术实现要素：

本发明要解决的技术问题是提供一种基于深度卷积神经网络的传输机胶带跑偏检测方法，以解决现有技术所存在的人工监控传输机胶带，准确率低的问题。

为解决上述技术问题，本发明实施例提供一种基于深度卷积神经网络的传输机胶带跑偏检测方法，包括：

实时捕捉传输机胶带现场的工作视频流，利用视频流中的传输机胶带图像训练深度卷积神经网络；

将传输机胶带图像输入到训练好的深度卷积神经网络中，得到所述传输机胶带图像对应的位置特征和多个幅度特征；

将传输机胶带图像与胶带跑偏特征数据库中已知跑偏幅度的候选传输机胶带图像进行位置特征相似度计算，将位置特征相似度大于阈值的候选传输机胶带图像作为候选跑偏图像；

根据所述传输机胶带图像对应的多个幅度特征，确定所述传输机胶带图像与每个候选跑偏图像之间的融合相似度得分；

将融合相似度得分最大的候选跑偏图像的跑偏情况作为所述传输机胶带图像的跑偏检测结果。

进一步地，所述实时捕捉传输机胶带现场的工作视频流包括：

通过工业摄像头垂直向下实时捕捉传输机胶带现场的工作视频流；

其中，所述工业摄像头为具有硬件驱动和红外夜视功能的工业摄像头。

进一步地，捕捉到的视频流中的传输机胶带图像包含胶带边缘，且有纵深。

进一步地，在利用视频流中的传输机胶带图像训练深度卷积神经网络之前，所述方法还包括：

将工业摄像头捕捉到的视频流通过光纤传回中控机房；

中控机房对视频流中的传输机胶带图像进行预处理操作；其中，所述预处理操作包括：去噪、增强和裁剪。

进一步地，所述利用视频流中的传输机胶带图像训练深度卷积神经网络包括：

将预处理后得到的标准大小的传输机胶带图像输入到深度卷积神经网络，利用深度卷积神经网络中的多个幅度特征分类损失函数计算所述传输机胶带图像对应的多个幅度特征的损失值；

将预处理后得到的标准大小的传输机胶带图像输入到所述卷积神经网络的输入层，由所述深度卷积神经网络的卷积层提取传输机胶带图像的位置特征和幅度特征；

将提取的位置特征和幅度特征送入神经网络中的分类器进行分类，计算位置特征的损失值和幅度特征的损失值；

利用得到的位置特征的损失值和幅度特征的损失值，共同反向调节所述深度卷积神经网络中的所有权重，使得所有权重的加权损失和最低，完成对所述深度卷积神经网络的训练。

进一步地，所述幅度特征分类损失函数包括：胶带偏离幅度损失函数、胶带扭曲幅度损失函数和胶带旋转幅度损失函数，都实现为softmax损失函数。

进一步地，所述softmax损失函数表示为：

其中，l表示损失值，n表示类别数目，x表示输入的传输机胶带图像，y表示幅度特征类别的类别向量，φi(x)表示深度卷积神经网络学到的幅度分类器第i个节点的输出。

进一步地，所述胶带跑偏特征数据库中预先存储多个已知跑偏幅度的候选传输机胶带图像以及每个候选传输机胶带图像对应的位置特征和多个幅度特征。

进一步地，所述根据所述传输机胶带图像对应的多个幅度特征，确定所述传输机胶带图像与每个候选跑偏图像之间的融合相似度得分包括：

将所述传输机胶带图像对应的多个幅度特征，与每张候选跑偏图像对应的多个幅度特征逐一进行对比并计算相似度，得到所述传输机胶带图像与每个候选跑偏图像之间的多个幅度特征相似度得分；

对得到的多个幅度特征相似度得分分别进行归一化处理后进行分数融合，得到所述传输机胶带图像与每个候选跑偏图像之间的融合相似度得分。

本发明的上述技术方案的有益效果如下：

上述方案中，实时捕捉传输机胶带现场的工作视频流，利用视频流中的传输机胶带图像训练深度卷积神经网络；将传输机胶带图像输入到训练好的深度卷积神经网络中，得到所述传输机胶带图像对应的位置特征和多个幅度特征；将传输机胶带图像与胶带跑偏特征数据库中已知跑偏幅度的候选传输机胶带图像进行位置特征相似度计算，将位置特征相似度大于阈值的候选传输机胶带图像作为候选跑偏图像；根据所述传输机胶带图像对应的多个幅度特征，确定所述传输机胶带图像与每个候选跑偏图像之间的融合相似度得分；将融合相似度得分最大的候选跑偏图像的跑偏情况作为所述传输机胶带图像的跑偏检测结果，从而能够快速、准确及时地对矿山传输机胶带图像的跑偏情况进行检测，满足人们对传输机胶带跑偏情况的监控需求。

附图说明

图1为本发明实施例提供的基于深度卷积神经网络的传输机胶带跑偏检测方法的流程示意图；

图2为本发明实施例提供的传输机胶带跑偏检测方法涉及的检测系统的结构示意图；

图3为本发明实施例提供的深度卷积神经网络的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的人工监控传输机胶带，准确率低的问题，提供一种基于深度卷积神经网络的传输机胶带跑偏检测方法。

如图1所示，本发明实施例提供的基于深度卷积神经网络的传输机胶带跑偏检测方法，包括：

s101,实时捕捉传输机胶带现场的工作视频流，利用视频流中的传输机胶带图像训练深度卷积神经网络；

s102,将传输机胶带图像输入到训练好的深度卷积神经网络中，得到所述传输机胶带图像对应的位置特征和多个幅度特征；

s103,将传输机胶带图像与胶带跑偏特征数据库中已知跑偏幅度的候选传输机胶带图像进行位置特征相似度计算，将位置特征相似度大于阈值的候选传输机胶带图像作为候选跑偏图像；

s104,根据所述传输机胶带图像对应的多个幅度特征，确定所述传输机胶带图像与每个候选跑偏图像之间的融合相似度得分；

s105,将融合相似度得分最大的候选跑偏图像的跑偏情况作为所述传输机胶带图像的跑偏检测结果。

本发明实施例所述的基于深度卷积神经网络的传输机胶带跑偏检测方法，实时捕捉传输机胶带现场的工作视频流，利用视频流中的传输机胶带图像训练深度卷积神经网络；将传输机胶带图像输入到训练好的深度卷积神经网络中，得到所述传输机胶带图像对应的位置特征和多个幅度特征；将传输机胶带图像与胶带跑偏特征数据库中已知跑偏幅度的候选传输机胶带图像进行位置特征相似度计算，将位置特征相似度大于阈值的候选传输机胶带图像作为候选跑偏图像；根据所述传输机胶带图像对应的多个幅度特征，确定所述传输机胶带图像与每个候选跑偏图像之间的融合相似度得分；将融合相似度得分最大的候选跑偏图像的跑偏情况作为所述传输机胶带图像的跑偏检测结果，从而能够快速、准确及时地对矿山传输机胶带图像的跑偏情况进行检测，满足人们对传输机胶带跑偏情况的监控需求。

本实施例中，位置特征为传输机胶带边缘的位置特征，所述幅度特征包括：偏离幅度、扭曲幅度和旋转幅度。

在前述基于深度卷积神经网络的传输机胶带跑偏检测方法的具体实施方式中，进一步地，所述实时捕捉传输机胶带现场的工作视频流包括：

通过工业摄像头垂直向下实时捕捉传输机胶带现场的工作视频流；

其中，所述工业摄像头为具有硬件驱动和红外夜视功能的工业摄像头。

本实施例中，对需要进行检测的传输机胶带，在该胶带附近安装工业摄像头，用于实时捕捉传输机胶带现场的工作视频流。

本实施例中，选择工业摄像头时需选择自带硬件驱动的工业摄像头，这样，可以方便科研人员通过该硬件驱动读取并处理工业摄像头捕捉的图像。同时还需要考虑到工业摄像头需要全天在矿山现场工作，在夜晚时也需要监控到传输机胶带的运行状况。因此还需要工业摄像头具备红外夜视的功能，例如：红外监控摄像头ds-2cd2055-i型或mv-gm150ir，这两款工业摄像头均具有硬件驱动和红外夜视的功能，可以满足矿山现场全天候监控和硬件驱动读取视频流的需要。

本实施例中，工业摄像头安装的位置应高于传输机胶带1.5米，垂直向下捕捉传输机胶带现场的工作视频流，这样，能够避免出现呈角度的斜拍情况。斜拍的图像会导致对边缘的提取和检测出现异常，因此最好能使用支架奖相机固定，垂直向下拍摄。

本实施例中，捕捉的传输机胶带图像应确保包含胶带边缘，且具有一定纵深，这是因为后续的检测主要是通过检测传输机胶带边缘的位置特征和幅度特征来进行判断胶带是否跑偏，所以需要保证拍摄到的视频流中含有清晰的胶带边缘，以保证后续的检测算法能正常工作。

在前述基于深度卷积神经网络的传输机胶带跑偏检测方法的具体实施方式中，进一步地，在利用视频流中的传输机胶带图像训练深度卷积神经网络之前，所述方法还包括：

将工业摄像头捕捉到的视频流通过光纤传回中控机房；

中控机房对视频流中的传输机胶带图像进行预处理操作；其中，所述预处理操作包括：去噪、增强和裁剪。

本实施例中，在工业摄像头附近部署直达中控机房的光纤网络，将工业摄像头捕捉到的视频流通过光纤传回中控机房(包括：监控服务器、pc监控端、笔记本监控端、移动监控端等)，参见图2。这是由于现场可能会部署多个检测点，所以需要在机房部署交换机来路由不同检测点传回的视频流，保证监控服务器的负载均衡。

本实施例中，去噪和增强算法可以使用常见的传统图像处理算法，例如：利用双边滤波算法进行去噪、利用clahe算法进行图像增强。

本实施例中，预处理后的标准大小的传输机胶带图像(具体为：感兴趣区(regionofinterest，roi))应尽可能地只包含明显的胶带边缘、部分胶带表面和空白背景。多余的矿石和背景都需要去除。明显的胶带边缘是指具有明显光影分割的边缘，例如：一侧是黑色的胶带表面，另一侧则是灰色的水泥地面，这样的边缘就很容易被检测到。多余的矿石会引入很多的直线特征，干扰对胶带边缘位置直线特征的提取，其中，直线特征指深度卷积神经网络处理后得到的位置特征。

在前述基于深度卷积神经网络的传输机胶带跑偏检测方法的具体实施方式中，进一步地，所述利用视频流中的传输机胶带图像训练深度卷积神经网络包括：

将预处理后得到的标准大小的传输机胶带图像输入到深度卷积神经网络，利用深度卷积神经网络中的多个幅度特征分类损失函数计算所述传输机胶带图像对应的多个幅度特征的损失值；

将预处理后得到的标准大小的传输机胶带图像输入到所述卷积神经网络的输入层，由所述深度卷积神经网络的卷积层提取传输机胶带图像的位置特征和幅度特征；

将提取的位置特征和幅度特征送入神经网络中的分类器进行分类，计算位置特征的损失值和幅度特征的损失值；

利用得到的位置特征的损失值和幅度特征的损失值，共同反向调节所述深度卷积神经网络中的所有权重，使得所有权重的加权损失和最低，完成对所述深度卷积神经网络的训练。

本实施例中，如图3所示，所述深度卷积神经网络包括依次对输入的传输机胶带图像进行处理的输入层、多个卷积层、多个全连接层和输出层。对于任意的相邻两层，后一层的输入图像即为前一层的输出图像。卷积层对输入图像进行卷积操作，卷积层中的滤波器实现了在图像各位置共享相同参数，降低了深度卷积神经网络的参数量，通过卷积层可以得到输入传输机胶带图像的特征响应图。全连接层的每一个节点都与上一层的所有节点相连，可以提取更全局的信息，高维的特征通过全连接的方式可转化为紧凑的一维特征向量。

在前述基于深度卷积神经网络的传输机胶带跑偏检测方法的具体实施方式中，进一步地，所述幅度特征分类损失函数包括：胶带偏离幅度损失函数、胶带扭曲幅度损失函数和胶带旋转幅度损失函数，都实现为softmax损失函数，其中，所述softmax损失函数表示为：

其中，l表示损失值，n表示类别数目，x表示输入的传输机胶带图像，y表示幅度特征类别的类别向量，φi(x)表示深度卷积神经网络学到的幅度分类器第i个节点的输出。

本实施例中，以偏离幅度为例，对偏离幅度的类别进行简要说明，例如，偏离幅度的类别可以包括：不偏离、轻微偏离、轻度偏离、中度偏离、完全偏离等，在实际应用中，可以根据实际应用场景确定。

本实施例中，将预处理后得到的传输机胶带图像，输入到训练好的深度卷积神经网络中，得到所述传输机胶带图像对应的位置特征和多个幅度特征；

本实施例中，为了进行位置特征相似度计算，还需预先建立胶带跑偏特征数据库，所述胶带跑偏特征数据库中预先存储多个已知跑偏幅度的候选传输机胶带图像以及每个候选传输机胶带图像对应的位置特征和多个幅度特征。

本实施例中，所述胶带跑偏特征数据库的构建过程具体为：事先准备大量正常情况下运行的传输机胶带图像和出现跑偏情况的传输机胶带图像并打上不同的分类标签。最好在矿山现场进行采集，可以通过适当的预处理操作获得更多的输入图片训练样本。将训练样本及对应的标签输入深度卷积神经网络，执行前向计算，得到深度卷积神经网络的输出特征向量(包括：位置特征和幅度特征)，其中，位置特征通常为一维浮点张量，而幅度特征根据不同的情况会略有区别。

本实施例中，将所述传输机胶带图像对应的位置特征与所述胶带跑偏特征数据库中预先存储的每张候选传输机胶带图像具有的位置特征逐一进行对比并计算相似度，然后根据计算的位置特征相似度，按照位置特征相似度从大到小的顺序进行排序，将排序前n名的候选传输机胶带图像作为候选跑偏图像，或者，将位置特征相似度大于阈值的候选传输机胶带图像作为候选跑偏图像，得到候选跑偏图像列表。

本实施例中，所述根据所述传输机胶带图像对应的多个幅度特征，确定所述传输机胶带图像与每个候选跑偏图像之间的融合相似度得分，具体可以包括以下步骤：

h1，将所述传输机胶带图像对应的多个幅度特征，分别与所述候选跑偏图像列表中的每张候选跑偏图像对应的多个幅度特征逐一进行对比并计算相似度，得到所述传输机胶带图像与每个候选跑偏图像之间的多个幅度特征相似度得分；其中，幅度特征相似度s(x1,x2)表示为：

其中，分别为传输机胶带图像x1、候选跑偏图像x2的幅度估计值；

本实施例中，幅度特征的相似度是使用相似度分数值体现的，相似度得分越高，表明两张图像越相似，越有可能属于同一种跑偏情况。

h2，对得到的多个幅度特征相似度得分分别进行归一化处理后进行分数融合，得到所述传输机胶带图像与每个候选跑偏图像之间的融合相似度得分，归一化处理的公式表示为：

其中，μ为相似度得分均值，σ为得分方差。

本实施例中，按照融合相似度得分的从大到小的顺序，对所述候选跑偏图像列表中的多张候选跑偏图像进行重新排序，重新排序后获得的候选跑偏图像列表中的第一张图像的跑偏情况，即为所述传输机胶带图像进行跑偏检测的结果。

本发明实施例所述的基于深度卷积神经网络的传输机胶带跑偏检测方法，能够保证在对矿山传输机胶带的跑偏情况进行准确及时的检测的同时，能够提高矿山安全生产的整体工作效率和工作质量，维护了矿山现场的生产安全，保障了作业人员的生命安全，具有重大的生产实践意义。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。