一种基于光流检测与端到端的煤矿运输皮带跑偏检测方法

本发明属于安全监控，具体涉及一种基于光流检测与端到端的煤矿运输皮带跑偏检测方法。

背景技术：

1、皮带是带式输送机的牵引和运载的关键部件，已广泛应用于煤炭、矿山、冶金、化工等领域。在使用过程中，皮带被煤炭或废钢铁等异物或障碍物划伤、皮带老化、输送机的安装调整不当、转载点处落料位置不正造成的负载不均匀等原因，经常出现皮带跑偏等情况，危害皮带安全运行。所以应当对皮带运输过程进行检测与跟踪，监测是否出现跑偏等情况，发现问题并及时处理，从而降低安全风险。

2、现有技术主要是人工定期巡检，检查人员定期对皮带情况进行巡视，当发现皮带出现跑偏，维修人员暂停机器运行，通过调整机尾轴位置逐步调整皮带位置，这种巡查方式无法实现对皮带运行情况的实时监测，检查效率低，有一定的滞后性，难以满足现代生产的需求。

技术实现思路

1、针对现有技术中皮带检测效率较低且具有一定滞后性等问题，本发明提供了一种基于光流检测与端到端的煤矿运输皮带跑偏检测方法，旨在实现实时监测皮带跑偏情况，节省人工巡检时间，提高检测效率以及准确性。

2、为了达到上述目的，本发明采用了下列技术方案：

3、一种基于光流检测与端到端的煤矿运输皮带跑偏检测方法，所述方法包括以下步骤：

4、步骤1，收集不同煤矿场景中皮带运输视频，制作为一个原始煤矿皮带图像数据集，并利用图像标注软件进行标注；

5、步骤2，读取摄像头的实时视频数据，获得视频数据的帧图像，利用光流检测算法获取皮带运行方向的斜率；

6、步骤3，将原始煤矿皮带图像数据集输入托辊检测模型中进行计算，得到皮带两侧的托辊目标框位置信息；

7、步骤4，利用步骤2得到的斜率和步骤3得到的托辊目标框位置信息，确定一条直线，并对托辊目标框进行左右区域的划分；

8、步骤5，通过边缘检测得到图像的边缘图，并基于步骤4中对托辊目标框的位置划分，生成mask掩膜，提取感兴趣区域roi；

9、步骤6，结合直线检测算法，处理步骤5中的边缘图获取直线信息，标出皮带边缘直线，通过皮带以及托辊的位置信息，判断运输过程中皮带是否跑偏。

10、进一步地，所述步骤1收集不同煤矿场景中皮带运输视频，制作为一个原始煤矿皮带图像数据集，并利用图像标注软件进行标注的具体过程如下：

11、步骤101，采集多场景不同煤矿环境下的监控视频，将皮带运输视频逐帧拆分，得到原始煤矿皮带图像数据集；

12、步骤102，利用图像标注软件对原始煤矿皮带图像数据集进行标注，标注对象为皮带旁边的托辊，将标注好的煤矿皮带图像数据集按照比例划分为训练集和测试集，训练集和测试集的数据比例为9:1，煤矿皮带图像数据集中的图像总数不小于1000张。

13、进一步地，所述步骤2读取摄像头的实时视频数据，利用光流检测算法获取皮带运行方向的斜率的具体过程如下：

14、步骤201，读取摄像头的实时视频数据；

15、步骤202，获取视频数据的前10帧图像，利用光流检测算法，计算前10帧图像中各个位置的瞬时位移，从而获取皮带运行方向的斜率s；

16、光流检测算法：依据视频帧与帧之间的各像素相关性来计算图像中各个位置的瞬时位移，输入时序相邻的两帧it-1和it，光流计算帧上每个像素点的移位，使得移位过后各像素点的位置在下一时刻和it一致。

17、进一步地，所述步骤3将原始煤矿皮带图像数据集输入托辊检测模型中进行计算，得到皮带两侧的托辊目标框位置信息的的具体过程如下：

18、步骤301，将步骤102训练后的煤矿皮带图像数据集输入端到端的深度学习目标检测模型中进行训练(如yolo检测模型)，前50轮训练的学习率设置为0.001，batch设置为8，后50轮训练学习率设置为0.0001，batch设置为4，通过100轮训练获取最优模型权重，得到托辊检测模型；

19、步骤302，将步骤201中获得的视频图像输入训练好的托辊检测模型中进行检测；

20、步骤303，得到模型计算的目标框位置信息，包括目标框左上角横坐标偏移量top、纵坐标偏移量left，右下角横坐标偏移量bottom、纵坐标偏移量right。

21、进一步地，所述步骤4利用步骤2得到的斜率和步骤3得到的托辊目标框位置信息，确定一条直线，并对托辊目标框进行左右区域的划分的具体过程如下：

22、步骤401，根据步骤303中托辊检测模型输出的目标框位置信息，将目标框位置信息转换为顶点坐标信息[(top,left),(bottom,right)]，并计算目标框中心点坐标信息(x,y)，计算过程如下：x＝(top+bottom)/2，y＝(left+right)/2；

23、步骤402，根据目标框中心点坐标信息计算两两目标框中心点连线的斜率，并与步骤202中光流检测算法计算得出的皮带运行方向的斜率s做差，取差值最大者，计算其连线上的中心点坐标(m,n)，计算过程如下：m＝(x1+x2)/2，n＝(y1+y2)/2；(x1,y1)，(x2,y2)表示与光流检测算法计算得到的皮带运行方向的斜率s做差，差值最大的两个托辊目标框中心点坐标；

24、步骤403，根据步骤402中得到的坐标(m,n)和步骤202中光流检测算法计算得到的皮带运行方向的斜率s确定一条直线l；将皮带两侧的托辊目标框划分左右区域,具体划分方法为：将各托辊目标框中心点坐标x代入直线l的方程中求解得到根据与y之间的大小关系划分左右区域；

25、步骤404，依据划分左右两侧后的托辊目标框，取左侧两个目标框中心点坐标z1(x1,y1)，z2(x2,y2)，在此坐标点的基础上，再取坐标为z1，z2两点的衍生坐标点z11，z22，衍生坐标点z11，z22的坐标由z1，z2两点在横轴上向右平移10个像素点得到，以z1、z2、z11和z22这4个坐标点的位置来确定左侧皮带感兴趣区域；右侧皮带感兴趣区域由右侧托辊目标框中心点坐标z3(x3,y3)，z4(x4,y4)及其衍生坐标点(在横轴方向向左平移10个像素点)来确定。

26、进一步地，所述步骤5通过边缘检测得到图像的边缘图，并基于步骤4中对托辊目标框的位置划分，生成mask掩膜，提取感兴趣区域roi的具体过程如下：

27、步骤501，使用颜色转换函数，将步骤102训练后的煤矿皮带图像数据集中的彩色图像转换为灰度图像，例如opencv库中的cv.cvtcolor函数，该函数功能实现了色彩空间转换；

28、步骤502，使用高斯滤波器，对步骤501中得到的灰度图像做高斯滤波处理，去除高频噪声，例如opencv库中的cv.gaussianblur函数；

29、高斯滤波是对整幅图像进行加权平均的过程，每一个像素点的值都是由其本身和邻域内的其他像素值经过加权平均后得到的。高斯滤波的原理是根据待滤波的像素点及其邻域点的灰度值按照高斯公式生成的参数规则进行加权平均。

30、步骤503，利用边缘检测算法，如canny边缘检测算法，来提取高斯滤波处理后图像中的边缘线条；生成一个与原图大小维度一致的mask矩阵，并初始化为全0，即全黑；

31、步骤504，对照原图在该mask矩阵上构建感兴趣区域；

32、步骤505，利用多边形绘制函数，如opencv中cv.fillpoly()函数，对所限定的多边形轮廓进行填充，填充为1，即全白；确定两个区域各四个顶点坐标，即步骤404中得到的皮带左右两侧两个感兴趣区域，图形为梯形；

33、步骤506，利用图像位与运算函数，如opencv中cv.bitwise_and()函数，与边缘检测后的图像按位与保留原图像中对应感兴趣区域内的白色像素值，剔除黑色像素值，生成mask掩膜，提取感兴趣区域roi；

34、掩膜，用选定的图像，图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程，用于覆盖的特定图像或物体称为掩模或模板。掩模是由0和1组成的一个二进制图像，当应用掩模时，1值区域被处理，被屏蔽的0值区域不被包括在计算中。

35、进一步地，所述步骤6结合直线检测算法，处理步骤5中的边缘图获取直线信息，标出皮带边缘直线，通过皮带以及托辊的位置信息，判断运输过程中皮带是否跑偏的具体过程如下：

36、步骤601，结合直线检测算法，例如opencv封装好的霍夫变换函数cv.houghlinesp，处理步骤5得到图像中的直线信息；

37、步骤602，对步骤601中得到的直线信息做进一步的预处理，处理方法为：首先借助步骤403中直线l对图像中的直线进行左右划分，分别归到左右两个列表中；其次，对步骤601得到的每条直线信息求取斜率，并对步骤404中的左侧托辊中心点z1，z2计算其斜率lslope，及右侧托辊中心点z3，z4计算其斜率rslope，借助lslope和rslope分别对左右列表中的直线在规定误差范围内进行筛选；

38、步骤603，分别对步骤602筛选后的左右列表中的直线进行最小二法乘拟合，得到斜率与截距；根据直线公式y＝k*x+b，对左列表中的直线拟合得到的斜率与截距，取图像纵坐标轴中点及最大值作为y坐标，计算得到对应的x坐标，连接两点坐标得到左侧皮带边缘直线；对右列表中直线拟合得到的斜率与截距，取图像横坐标轴中点及最大值作为x坐标，计算得到对应的y坐标，连接两点坐标得到右侧皮带边缘直线；

39、步骤604，根据皮带以及托辊的位置信息，判断运输过程中皮带是否跑偏。

40、与现有技术相比本发明具有以下优点：

41、本发明能够实现在皮带运行过程中对皮带的运行状态进行实时检测，方便工作人员及时发现异常情况并进行处理；

42、本发明提供的方法容易调试和推广，具有普适性，能够适用于各种条件下的皮带运输场景，检测速度快，实时性高，能够帮助操作人员更快地掌握现场情况，及时防范由于皮带跑偏可能导致的事故，从而确保作业安全，同时减少人力、时间的浪费。