运煤皮带机煤矸石检测方法及煤矸石检测系统与流程

本发明涉及煤矿运输检测，具体涉及运煤皮带机煤矸石检测方法及煤矸石检测系统。

背景技术：

1、煤炭是现如今能源中的重要组成部分，但是原煤在开采后其中含有大量的煤矸石，混杂在原煤中的矸石会降低煤矿的燃烧率，从而降低煤矿的能源利用率，并造成较大的环境污染。在煤矿生产中，运煤皮带作为主要的煤炭运输通道，确保其安全运行至关重要，因为它直接关系到煤炭的高效开采和运输。煤矸石在高速运行的皮带机上可能引发划伤、堵煤等问题。因此，对运煤皮带机上原煤中大块煤矸石的准确识别和分类至关重要。

2、目前绝大多数企业对于煤矸石的筛除都采用人工分拣的方式，不仅工作环境恶劣，而且这种高强度、重复性劳动很容易使人产生疲劳，依靠工人的主观判断很容易造成漏选、错选等问题，同时工作效率也难以得到保证。

3、现有技术中还提出了基于视频监控图像处理的煤矸石检测技术，主要包括目标检测法和图像分类法。目标检测法是先对原煤中的异物进行准确的位置定位，然后再进行识别，但这需要对大量图像进行标注，步骤繁琐而且计算成本大。图像分类法仍然存在样本采集困难数据量少，鲁棒性较差、光照影响和环境等方面的问题，这些因素可能导致图像质量下降，影响分类的准确性。

4、因此，进一步研究和发展适应煤矿井下特殊环境的皮带机煤矸石检测方法显得尤为重要。

技术实现思路

1、有鉴于此，本发明提供了运煤皮带机煤矸石检测方法及煤矸石检测系统，从而解决或者至少缓解了现有技术中存在的上述问题和其它方面的问题中的一个或多个。

2、为了实现前述目的，本发明的第一方面提供了一种基于mobilenetv2模型的运煤皮带机煤矸石检测方法，其中，所述mobilenetv2模型包括倒残差模块，并且在所述倒残差模块中引入置换注意力机制，

3、所述煤矸石检测方法包括如下步骤：

4、以所述mobilenetv2模型作为煤矸石检测预训练模型，并通过开源物料输送图像集对所述煤矸石检测预训练模型进行预训练得到煤矸石预训练模型；

5、获取所述运煤皮带机的物料输送图像集，所述物料输送图像集中包括具有煤矸石的物料输送图像和具有正常煤流的物料输送图像，将所述物料输送图像集划分为训练集和测试集，所述训练集中的图像数量n1大于所述测试集中的图像数量n2，通过所述训练集对所述煤矸石预训练模型进行训练得到煤矸石检测模型、通过所述测试集对所述煤矸石检测模型进行测试，验证所述煤矸石检测模型的有效性；以及

6、利用所述运煤皮带机煤矸石检测模型对所述运煤皮带机的实时物料输送图像的进行煤矸石检测。

7、在如前所述的煤矸石检测方法中，可选地，所述倒残差模块具有顺序的1 x 1的升维卷积、k x k的dwise卷积和1 x 1的线性降维卷积，所述置换注意力机制通过置换注意力模块实现，所述置换注意力模块被引入至所述倒残差模块的最后一层1 x 1线性降维卷积，所述置换注意力模块沿着物料输送图像的通道维度对输入的物料输送图像特征图进行分组，对每组所述物料输送图像特征图进行重新排列分成通道注意力分支和空间注意力分支，处理得到所述物料输送图像特征图的通道依赖系数和空间依赖系数，然后对所述物料输送图像特征图进行集成，实现对通道注意力机制和空间注意力机制的融合。

8、在如前所述的煤矸石检测方法中，可选地，在所述通道注意力机制和所述空间注意力机制融合之后，对于通道注意力输出和空间注意力输出采用hard-sigmoid激活函数进行加权处理，其中，

9、所述hard-sigmoid函数的输入定义为x=f(.)=wu+b，其中u为置换注意力后产生的通道统计量，w为对u进行的尺度操作，b为对u进行的位移操作，

10、所述hard-sigmoid函数的输出定义为：

11、。

12、在如前所述的煤矸石检测方法中，可选地，所述mobilenetv2模型包括顺序的第一级3 x 3卷积、第二级至第十三级的倒残差模块及由三层1 x 1卷积和一个softmax模块组成的第十四级。

13、在如前所述的煤矸石检测方法中，可选地，所述倒残差模块包括将输入和输出短路连接的第一倒残差模块sa-bottleneck-s1和未将输入和输出短路连接的第二倒残差模块sa-bottleneck-s2，并且第二级、第八级至第十级采用第一倒残差模块sa-bottleneck-s1，第三级至第七级、第十一级至第十三级采用第二倒残差模块sa-bottleneck-s2。

14、在如前所述的煤矸石检测方法中，可选地，所述开源物料输送图像集为imagenet数据集，并且在所述预训练时将所述imagenet数据集中的图像大小调整为224 × 224，batch-size设置为32。

15、在如前所述的煤矸石检测方法中，可选地，n1：n2等于8：2。

16、在如前所述的煤矸石检测方法中，可选地，在获取所述运煤皮带机的物料输送图像集后设置有图像预处理的步骤，所述图像预处理包括对所述物料输送图像集进行增强处理，所述数据增强处理包括如下步骤：

17、定义p1个图像增强操作；

18、从所述p1个图像增强操作中选择p2个图像增强操作，p2<p1，随机产生使用所述p2个图像增强操作的概率和幅度，称其为一个策略，一共产生p2个策略；

19、在验证数据集中对所述策略进行训练验证，选择精度最高的图像增强方案。

20、为了实现前述目的，本发明的第二方面提供了一种基于mobilenetv2模型的运煤皮带机煤矸石检测系统，其中，所述煤矸石检测系统包括：

21、运煤皮带机的物料输送图像获取模块，所述物料输送图像获取模块用于获取运煤皮带机运输时的物料输送图像；

22、数据处理设备，所述数据处理设备内设置有经过训练的运煤皮带机煤矸石检测模型，所述运煤皮带机煤矸石检测模型为mobilenetv2模型，并且，所述mobilenetv2模型包括倒残差模块，并且在所述倒残差模块中引入置换注意力机制，所述数据处理设备基于所述运煤皮带机煤矸石检测模型对所述物料输送图像获取模块所获取的物料输送图像进行检测。

23、在如前所述的煤矸石检测系统中，可选地，所述倒残差模块具有顺序的1 x 1的升维卷积、k x k的dwise卷积和1 x 1的线性降维卷积，所述置换注意力机制通过置换注意力模块实现，所述置换注意力模块被引入至所述倒残差模块的最后一层1 x 1线性降维卷积，所述置换注意力模块沿着物料输送图像的通道维度对输入的物料输送图像特征图进行分组，对每组所述物料输送图像特征图进行重新排列分成通道注意力分支和空间注意力分支，处理得到所述物料输送图像特征图的通道依赖系数和空间依赖系数，然后对所述物料输送图像特征图进行集成，实现对通道注意力机制和空间注意力机制的融合；

24、在所述通道注意力机制和所述空间注意力机制融合之后，对于通道注意力输出和空间注意力输出采用hard-sigmoid激活函数进行加权处理，其中，

25、所述hard-sigmoid函数的输入定义为x=f(.)=wu+b，其中u为置换注意力后产生的通道统计量，w为对u进行的尺度操作，b为对u进行的位移操作，

26、所述hard-sigmoid函数的输出定义为：

27、；

28、所述mobilenetv2模型包括顺序的第一级3 x 3卷积、第二级至第十三级的倒残差模块及由三层1 x 1卷积和一个softmax模块组成的第十四级；

29、所述倒残差模块包括将输入和输出短路连接的第一倒残差模块sa-bottleneck-s1和未将输入和输出短路连接的第二倒残差模块sa-bottleneck-s2，并且第二级、第八级至第十级采用第一倒残差模块sa-bottleneck-s1，第三级至第七级、第十一级至第十三级采用第二倒残差模块sa-bottleneck-s2；

30、所述煤矸石检测系统具有图像预处理模块，在获取所述运煤皮带机的物料输送图像集后，所述图像预处理模块对所述物料输送图像集进行增强处理，所述数据增强处理包括如下步骤：定义p1个图像增强操作，从所述p1个图像增强操作中选择p2个图像增强操作，p2<p1，随机产生使用所述p2个图像增强操作的概率和幅度，称其为一个策略，一共产生p2个策略，在验证数据集中对所述策略进行训练验证，选择精度最高的图像增强方案。

31、本发明的运煤皮带机煤矸石检测方法及煤矸石检测系统采用了改进的mobilenetv2结构，在倒残差模块中引入了改进的置换注意力机制，并在进一步的技术方案中采用了hard-sigmoid激活函数。上述改进使得模型能够更加关注重要信息、抑制无用信息，从而提高学习效率和泛化能力，有效地提高了煤矿井下复杂背景中煤矸石检测的性能。