一种基于深度学习的带式输送机多运行状态检测方法及装置与流程

本公开涉及煤矿装备智能化，特别涉及一种基于深度学习的带式输送机多运行状态检测方法及装置。

背景技术：

1、带式输送机作为井工煤矿和露天煤矿的主要运输方式，是散状物料连续输送的首选装备，目前正向着大型化、智能化和节能化的方向发展。其中，带式输送机的智能化是积极响应节能减排号召、降低工人劳动轻度、提高系统运行可靠性、实现煤矿等企业可持续高效发展的重要举措，从软件层面而言，它主要包含输送机运行状态的快速精准感知方法以及相应的自适应控制策略两大部分内容。

技术实现思路

1、当前，输送机运行状态的感知方法已经得到了较好的发展，并已逐渐应用到带式输送机系统整机与各关键零部件的全方位与全生命周期管控中。其中，输送带作为带式输送机的最为重要的组成部分之一，起着承载与牵引物料的重要作用，同时也因为它是整个带式输送机系统最终的作用和输出对象，其视在运行状态在很大程度上直接或间接反映着整个带式输送机系统的稳定性，因而对于输送带的运行状态监控具有相当的意义与价值。

2、得益于人工智能和计算机技术的发展，当前已经存在诸多先进的感知技术应用于输送带的运行状态监测中去，例如技术、深度学习技术、智能芯片技术、红外相机技术、弱磁感应技术等，还存在一部分的基于点云处理或者超声波传感器的负载量监测与损伤状态检测技术等；除此之外，针对与输送带直接接触的托辊、滚筒等关键部件，基于振动传感或声音传感的故障诊断或分类技术也被逐渐提出和进一步应用。

3、单纯从基于深度学习和机器视觉的状态监测方法而言，可以发现的是，当前绝大多数的监测方法仅能胜任单方面的检测任务，不能同时兼顾多种任务。这就会导致在同时监测带式输送机的多种运行状态时，需要多种能满足不同检测任务的模型的支持，这种多种模型共同执行的方法一定程度上限制了他们自身在实际场景中的应用，同时也对系统的硬件投入也提出了更高的要求。

4、为了上述技术问题，本公开提供一种基于深度学习的带式输送机多运行状态检测方法及系统。

5、第一方面，本公开提供一种基于深度学习的带式输送机多运行状态检测方法，方法包括：实时采集输送机运行监控图像；利用特征提取网络提取监控图像的特征，将特征分别输入分割网络和预测网络；利用分割网络对监控图像进行语义分割，得到物料负载区域和输送带两侧边缘线；根据物料负载区域，检测负载量，根据输送带两侧边缘线，判断输送带跑偏状态；通过预测网络，获得对于多类别目标的检测框；根据多类别目标的检测框，得到输送异物、输送带损伤、输送带积水、输送沿线撒料、输送区域烟雾、输送区域火灾的检测结果。

6、在一些实施例中，利用特征提取网络提取监控图像的特征，将特征分别输入分割网络和预测网络，包括：利用特征提取网络提取监控图像的特征，获得第一特征及第二特征，第一特征及第二特征为通过特征提取网络输出的不同尺度的特征图；将第一特征输入特征增强网络，获得第一增强特征；将第二特征与第一增强特征输入分割网络；将第一增强特征输入预测网络。

7、在一些实施例中，特征提取网络包括：卷积模块、残差卷积模块及空间金字塔池化模块；其中，卷积模块由卷积层，批量归一化层及损失函数层连接而成；残差卷积模块由卷积模块、残差层及拼接层连接而成；通过特征提取网络中的第一卷积模块和第一残差卷积模块确定第二特征；通过第二残差卷积模块、第三残差卷积模块及空间金字塔池化模块确定第一特征。

8、在一些实施例中，利用分割网络对监控图像进行语义分割，得到物料负载区域和输送带两侧边缘线，包括：利用分割网络对监控图像进行语义分割，得到多个分割结果，确定分割结果的类别；响应于当前分割类别属于输送带左边缘，确定并输出分割结果为左边缘线及其对应于数学几何空间中的方程表达式，左边缘线为分割网络所得输送带左边缘分割线经过拟合之后得到的结果；响应于当前分割类别属于输送带右边缘，确定并输出分割结果为右边缘线及其对应于数学几何空间中的方程表达式，右边缘线为分割网络所得输送带右边缘分割线经过拟合之后得到的结果；响应于当前分割类别不属于输送带边缘，确定并输出分割结果为物料负载区域。

9、在一些实施例中，左边缘线为分割网络所得输送带左边缘分割线经过拟合之后得到的结果，与右边缘线为分割网络所得输送带右边缘分割线经过拟合之后得到的结果，包括：若该状态检测方法应用于带式输送机直线段监控，则拟合方法为线性拟合，若该状态检测方法应用于带式输送机弯曲段监控，则拟合方法为非线性拟合。

10、在一些实施例中，利用分割网络对监控图像进行语义分割，得到多个分割结果，确定分割结果的类别，包括：若带式输送机多运行状态检测方法应用于管状带式输送机，则通过分割网络分割得到输送带单一侧的边缘分割结果，确定并输出边缘分割线及其对应于数学几何空间中的方程表达式，边缘分割线为分割网络所得输送带边缘分割线经过线性拟合得到的结果。

11、在一些实施例中，根据物料负载区域，检测负载量，包括：确定物料负载区域的面积，面积根据像素点数量确定；根据物料负载区域的面积确定物料负载区域占据监控图像的比例；根据比例，确定负载量。

12、在一些实施例中，根据输送带两侧边缘线，判断输送带跑偏状态，包括：通过输送带左边缘线和右边缘线所对应于数学几何空间中的方程表达式，确定输送带的偏移及倾斜状态。

13、在一些实施例中，通过输送带左边缘线和右边缘线所对应于数学几何空间中的方程表达式，确定输送带的偏移及倾斜状态，包括：若多运行状态检测方法应用于带式输送机直线段监控，则通过所得边缘分割线在数学几何空间中的方程表达式，确定边缘分割线的斜率与位置信息，确定输送带的偏移及倾斜状态；若多运行状态检测方法应用于带式输送机弯曲段监控，则通过所得边缘分割线在数学几何空间中的方程表达式，确定边缘分割线的位置信息或对应的面积区域，确定输送带的跑偏状态。

14、在一些实施例中，确定边缘分割线的位置信息或对应的面积区域，确定输送带的跑偏状态，包括：确定识别的输送带内侧边缘曲线与监控图像对角线的交点位置，根据交点位置距离右下角顶点或左上角顶点的距离判断跑偏状态；或，确定输送带内侧边缘线与图像区域围成的面积区域，通过定积分获取面积区域的大小，根据面积区域判断所述跑偏状态。

15、在一些实施例中，根据输送带两侧边缘线，判断输送带跑偏状态，包括：若带式输送机多运行状态检测方法应用于管状带式输送机，则通过所得边缘分割线在数学几何空间中的方程表达式，确定边缘分割线的斜率与位置信息，判断输送带的扭管、跑偏状态。

16、在一些实施例中，方法还包括：采集输送机运行监控图像；标注监控图像，得到多任务标签，多任务标签包括分割标签和检测标签，其中，分割标签是监控图像中的物料负载区域、输送带边缘线；检测标签是监控图像中的输送异物、输送带损伤、输送带积水、输送沿线撒料、监控区域烟雾、监控区域火灾、输送带左右两侧托辊等。通过包含多任务标签的监控图像，训练带式输送机多运行状态检测网络模型。

17、在一些实施例中，通过包含多任务标签的监控图像，训练带式输送机多运行状态检测网络模型，包括：带式输送机多运行状态检测网络模型的损失函数由预测损失和分割损失两部分组成；预测损失由分类损失、位置损失、置信度损失三部分组成，分割损失由分类损失组成。

18、在一些实施例中，预测网络为连接多种尺度特征图的运算层。

19、第二方面，本公开还提供基于深度学习的带式输送机多运行状态检测装置，装置包括：采集模块，用于实时采集输送机运行监控图像；特征提取模块，用于利用特征提取网络提取监控图像的特征，将特征分别输入分割网络和预测网络；分割模块，用于利用分割网络对监控图像进行语义分割，得到物料负载区域和输送带两侧边缘线；负载量与输送带检测模块，用于根据物料负载区域，检测负载量，根据输送带两侧边缘线，判断输送带跑偏状态；多类别目标检测模块，用于通过预测网络，获得对于多类别目标的检测框；根据多类别目标的检测框，得到输送异物、输送带损伤、输送带积水、输送沿线撒料、输送区域烟雾、输送区域火灾的检测结果。

20、本公开的实施例提供的技术方案可以包括以下有益效果：本公开提供了一种能够实时检测带式输送机多种运行状态的方法，其中，用于负载量检测和输送带边缘检测的分割网络和用于输送异物识别、输送带损伤、输送带积水、输送沿线撒料、监控区域烟雾、监控区域火灾、输送带左右两侧托辊等目标检测的预测网络通过同一个特征提取网络和特征增强网络获取特征，进而使得分割网络和预测网络之间在特征提取过程中实现特征信息共享，使得单一网络模型能够同时实现包含负载量检测、输送带跑偏状态检测、输送异物检测、输送带损伤检测、输送带积水检测、输送沿线撒料检测、监控区域烟雾检测、监控区域火灾检测、输送带左右两侧托辊识别等在内的多项任务，为实时监控并保障物料运输过程中的安全性提供技术支撑。本公开的方法仅需构建和训练单一的网络模型即可满足多任务同时检测的需要，大幅降低了网络模型的复杂度，节省了模型训练时间，降低了硬件运算成本。

21、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。