矿用带式输送机输送带撕裂损伤检测方法与流程

本发明涉及煤矿带式输送机运行监控技术领域，具体涉及一种矿用带式输送机输送带撕裂损伤检测方法。

背景技术：

带式输送机因其运输效率高，是煤矿井下运煤的主要设备。但在井下运煤过程中，由于锚杆、钎子等掉落异物的插入，或较硬物体卡堵而运输皮带向前运动，极易造成输送带的撕裂损伤，当这种损伤不断扩大，会造成运输物掉落，引起生产事故。

机器视觉以其非接触，损耗小，维护简单的优势，越来越多的应用在工业自动化检测场景中。目前，利用机器视觉的方法检测皮带纵撕，主要有以下几类方法：

1、针对可见光或红外光图像进行分析，通过图像或者阈值分割后的图像中的边缘、角点、连通等特征来判断图像中是否存在皮带撕裂损伤，如有损伤计算像素确定损伤的宽度、长度。如公开号为cn110111303a、名称为“一种基于动态图像的大型运载皮带撕裂故障智能检测方法”以及公开号为cn109850518a、名称为“一种基于红外图像的实时矿用胶带预警撕裂检测方法”等中国专利文献所公开的方法。由于煤矿井下光照较弱且不均匀，粉尘潮气较大，上述方法经常会因为无法采集到合适的视频图像，进而无法有效地分割撕裂损伤特征而无法在煤矿井下实际应用。

2、基于机器学习或者深度学习的方法检测皮带是否发生撕裂损伤。如公开号为cn109178831a的中国专利文献所公开的一种皮带机纵向撕裂检测方法，采用svm分类计数检测皮带机是否发生纵向撕裂；又如公开号为cn109879005a的中国专利文献所公开的皮带撕裂检测装置及方法，采用resnet神经网络的训练与推理推测皮带撕裂结果。此类方法主要着眼于撕裂与否的判断，没有撕裂特征向量的具体检测，进而无法跟踪撕裂损伤的趋势变化。

3、基于线性激光图像辅助检测皮带撕裂损伤。如公开号为cn105129370a的中国专利文献所公开的一种带式输送机纵向撕裂检测方法，通过检测线激光曲线是否发生较大波动判断带式输送机是否发生纵向撕裂。此检测方法带面沾有异物或有光干扰时，会影响激光条纹波动性判断造成误判；又如公开号为cn106276132a的中国专利文献所公开的一种基于线激光图像的输送带纵向撕裂在线检测方法，其通过计算激光条纹骨架上点的二阶导数，判断激光条纹波动是否异常，进而判断输送带是否发生纵向撕裂。此检测方法因没有考虑皮带运动方向和条纹波动方向，因此若带面沾有异物会造成错误判断；且上述两种方法都只判断撕裂有无，并没有进一步计算撕裂的特征信息，因而在具体实施过程中无法跟踪撕裂的变化，进而不具有实际指导意义。再如公开号为cn110171691a的中国专利文献公开有一种带式传输机皮带撕裂状态检测方法及检测系统，其利用平行的n道线性激光，通过判断n道线性激光端点的个数是否大于2，且端点间距离是否大于阈值l，判断该道激光有断点；若检测到有断点的激光数量超过设定阈值n，则判定输送带发生撕裂。此方法通过多道线性光进行冗余判断，准确率有了一定提升。但检测方法中并未涉及撕裂损伤的长度、宽度、深度等特征信息计算。

技术实现要素：

本发明的目的是：针对现有技术中存在的问题，提供一种矿用带式输送机输送带撕裂损伤检测方法，采用该方法能够对输送带是否撕裂损伤进行准确检测，有损伤时能够有效计算并输出撕裂损伤的长度、宽度、深度以及损伤轮廓等特征，适于煤矿实施和应用。

本发明的技术方案是：本发明的矿用带式输送机输送带撕裂损伤检测方法，依托用于向输送带背面发射多道平行线性光的多道线性光发射器和用于视频采集及图像处理分析的视觉传感器实施，包括以下步骤：

第一步，视频采集：视觉传感器实时采集处于运动中的输送带被多道线性光所覆盖的带面区域的视频图像；

第二步，单帧图像处理分析：视觉传感器对采集的视频图像逐帧进行单帧图像处理分析，具体包括步骤：

①对采集的视频图像分帧进行图像预处理；

②对预处理后的图像进行阈值分割并二值化；

③二值化后的图像通过对封闭团块的周长、面积约束去除可能的干扰团块，获得多道线性光光条二值化图像；

④对各线性光条的二值化图像，查找光条的上下左右边界，将边界内图像作为roi区域；

⑤在roi图像上，提取各道线性光光条中心线；

⑥判断光条中心线的凹凸特性；

⑦判断光条中心线的连续性特性，寻找中心线上的非正常波动阶跃点；

⑧根据确定的中心线凹凸特性、中心线上的非正常波动阶跃点特征，结合从外部设备输入的输送带运动方向，判断输送带是否有撕裂损伤；若判断为有撕裂损伤，则计算撕裂损伤的宽度和深度，然后进入步骤⑨；若无，则返回步骤①；

⑨根据多道线性光中心线上的撕裂损伤特征融合判断当前图像帧中的撕裂损伤是否为一条损伤的起点，若是，记录起点标记；若否，则判断是否为一条损伤的终点，若是，记录终点标记；若否，则记录损伤边界点信息后返回步骤①；

⑩重复前述步骤①～⑨至所有单帧图像处理分析完毕，视觉传感器判断输送带是否有撕裂损伤记录，若有，进入第三步，若无，则返回第一步；

第三步，多帧图像融合处理分析：视觉传感器对由第二步处理分析完毕后的各单帧图像，结合从外部设备输入的输送带运动速度进行多帧图像融合处理分析，得到输送带撕裂损伤完整信息并输出，具体包括步骤：

a、根据相邻图像帧上损伤存在与否，在图像序列中查找同一条撕裂损伤的起点帧和终点帧；

b、根据起点帧到终点帧的图像帧数及视觉传感器设定的帧率信息，结合从外部设备输入的输送带速度值，计算输送带上该条损伤的长度值；将记录的该条损伤在各图像帧的宽度和深度值进行均值计算得到该条损伤的平均宽度与深度；

c、将记录的该条损伤在各图像帧中的边界点连线，绘制成该条损伤的轨迹轮廓；

d、重复步骤a～c，直至图像序列中所有撕裂损伤均处理完毕，视觉传感器将输送带各条撕裂损伤的坐标位置以及撕裂损伤的长度、宽度、深度和轨迹轮廓信息记录存储并发送外部监控设备。

进一步的方案是：上述多道线性光发射器和视觉传感器分别固定安装在输送带的上带面和下带面之间的皮带机机架上，且多道线性光发射器和视觉传感器设于皮带机机架同一机架单元内的两个托辊之间；多道线性光发射器具有的发射头向上倾斜设置，使用时多道线性光发射器发出的线性光投射在带式输送机上部输送带的背面，视觉传感器以与多道线性光发射器间隔一定距离且视觉传感器具有的图像采集传感器向上倾斜与多道线性光发射器的发射头相向的方式设置。

进一步的方案是：上述第二步的步骤①的具体方法，包括形态学处理和双边滤波，上述形态学处理使用开运算先膨胀再腐蚀，以移除图像帧中因噪声或干扰引起的小像素块；上述双边滤波采用基于高斯分布的加权平均方法，用周边像素亮度值的加权平均代表某个像素的强度，以在保持边缘的前提下使图像降噪平滑。

进一步的方案是：上述第二步的步骤②的具体方法，包括使用最小类间方差结合目标面积的方法确定分割阈值t，按阈值t分割图像并进行二值化处理。

进一步的方案是：上述第二步的步骤⑤的具体方法为：采用按每条光条按列取光条中心点并连线方法提取中心线，包括步骤：

e、查找每条光条的上下边界：按列搜索图像灰度矩阵，灰度值从0→255或者从255→0点的正负两个跳变点即为光条在此列上的上下边界点；

f、将同一光条所有上边界点和所有下边界点分别连线，所得2条曲线即为该条光条的上下边界线；

g、将每条光条边界线按列取中点，将同一光条所取各中点连接的曲线即为该条光条的光条中心线。

进一步的方案是：上述第二步的步骤⑥判断光条中心线的凹凸特性的具体方法为利用曲线凹凸性的定义自动判断光条中心线的凹凸特性：

设函数f(x)是定义在区间β上的光条中心线曲线方程，对区间β内的任意两点和，

若，则f(x)为凹形；

若，则f(x)为凸形。

进一步的方案是：上述第二步的步骤⑦的具体方法为：

求出光条中心线在区间上点的离散导数，其中导数大于设定阈值的点即认为是非正常波动阶跃点，上述阈值根据曲线凹凸特性及输送带运动方向相应设置。

进一步的方案是：上述第二步的步骤⑧中，判断输送带是否有撕裂损伤的具体方法为，通过以下步骤进一步判定由上述第二步的步骤⑦确定的非正常波动阶跃点是否为输送带损伤的纵向边界点：

h、利用光条中心线切线水平特征，找到曲线拐点；

i、滤除伪边界点：比较中心线上非正常波动阶跃点相对于曲线拐点的位置，若在设定范围的邻域内只找到一个非正常波动阶跃点，则认为该波动阶跃点是伪边界点并滤除并进入步骤j；

j、根据中心线上非正常波动阶跃点相对于曲线拐点的位置，融合输送带运动方向，判断各非正常波动阶跃点是输送带异物边界点还是损伤边界点：当输送带运动方向与非正常波动阶跃点在平面坐标系下的纵坐标变化方向不一致时，则判定该非正常波动阶跃点为输送带撕裂损伤的纵向边界点，继而判断输送带有撕裂损伤；反之，当输送带运动方向与非正常波动阶跃点在平面坐标系下的纵坐标变化方向一致时，则判定该非正常波动阶跃点为带面异物引起的光条中心线形变。

进一步的方案是：上述步骤j中判断有撕裂损伤时，计算撕裂损伤的宽度和深度的具体方法为：

k、对判定为输送带损伤的每一处损伤，在当前图像帧中的y条中心线上搜索2×y个边界点，计算每条中心线上2个边界点连线的直线距离，y个距离求取平均值作为损伤在当前图像帧上的宽度值，其中y为小于等于线性光发射器发出的光条总数的自然数；

l、对判定为输送带损伤的每一处损伤，y条中心线上搜索2×y个边界点，计算每条中心线上2个边界点之间的曲线线段的最低点到连接2个边界点的直线间的垂直距离，y个距离求取平均值作为当前损伤的深度值；其中y为小于等于线性光发射器发出的光条总数的自然数。

进一步的方案还有：上述第二步的步骤⑨中，根据多道线性光中心线上的撕裂损伤特征融合判断当前图像帧中的撕裂损伤是否为一条损伤的起点和终点的具体方法为：

m、若当前图像帧满足多道线性光中心线上出现沿输送带运动方向的前n条中心线无形变，而后m条中心线上有损伤形变这一条件，认为当前图像帧中的损伤是一条损伤的起点，若不满足，则根据当前图像帧的前一帧图像帧检测结果为无损伤，而当前帧图像检测结果为有损伤的判据，认为当前图像帧中的损伤为一条损伤的起点；

n、若当前图像帧满足多道线性光中心线上出现沿输送带运动方向的前n条中心线有损伤伤痕形变，而后m条中心线上无形变这一条件，认为当前图像帧中的损伤是一条损伤的终点，若不满足，则根据当前图像帧的前一帧图像帧检测结果为包含损伤，而当前帧图像检测结果为无损伤的判据，认为前一图像帧中的损伤是一条损伤的终点；

其中，n＋m＝线性光发射器发出的线性光总条数。

本发明具有积极的效果：（1）本发明的矿用带式输送机输送带撕裂损伤检测方法，以视觉图像处理算法融合皮带运行特征信息，能够有效地动态跟踪检测输送带是否损伤及有损伤时损伤的长、宽、深等定量特征信息及损伤轮廓、损伤在图片中的位置等有用信息并输出给煤矿相应的监控系统，以便对损伤做出及时相应的处理。（2）本发明的矿用带式输送机输送带撕裂损伤检测方法，其在检测过程中能够有效区别输送带撕裂损伤和输送带沾有异物，从而有效解决现有技术中易将输送带沾有异物误判为损伤的技术问题。（3）本发明的矿用带式输送机输送带撕裂损伤检测方法，其通过多道线性光的冗余判断，能够有效提高输送带撕裂损伤判定的准确性和可靠性。（4）本发明的矿用带式输送机输送带撕裂损伤检测方法，依托的硬件设备简单，布设方便，工作可靠，且算法复杂度不高，能够运行于低功耗的嵌入式系统上，便于煤矿场景的实际应用。

附图说明

图1为本发明的方法所采用的硬件设备在矿用带式输送机上安装的结构示意图；

图2为本发明的方法流程示意图；

图3为本发明方法步骤中利用曲线凹凸性的定义自动判断光条中心线的凹凸特性中凹性的示意图；

图4为本发明方法步骤中利用曲线凹凸性的定义自动判断光条中心线的凹凸特性中凸性的示意图；

图5为本发明方法步骤中所使用的光条中心线离散导数特征示意图，图中类似闪电的曲线为导数曲线，标有点号的2条曲线为光条中心线；

图6为本发明方法步骤中利用输送带运动方向与非正常波动阶跃点在平面坐标系下的纵坐标变化方向判断非正常波动阶跃点是损伤边界点还是输送带异物边界点的示意图。

上述附图中的附图标记如下：

托辊1，输送带2，上带面2-1，下带面2-2，带式输送机机架3，多道线性光发射器4，视觉传感器5。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

（实施例1）

本实施例的矿用带式输送机输送带撕裂损伤检测方法，依托用于向输送带背面发射多道平行线性光的多道线性光发射器和用于视频采集及图像处理分析的视觉传感器实施，如图1所示，多道线性光发射器4和视觉传感器5分别固定安装在输送带2的上带面2-1和下带面2-2之间的带式输送机机架3上，且多道线性光发射器和视觉传感器设于带式输送机机架3同一机架单元内的两个托辊1之间，以避免托辊1对视频图像的影响；多道线性光发射器4具有的发射头向上倾斜设置，使用时多道线性光发射器4发出的线性光投射在输送带2的上带面2-1的背面（也即内端面）上，视觉传感器5以与多道线性光发射器4间隔一定距离且视觉传感器5具有的图像采集传感器向上倾斜与多道线性光发射器4的发射头相向的方式设置。

多道线性光发射器4和视觉传感器5安装完毕后，对多道线性光发射器4所发出的光线进行调整，包括调整每道线性光的长度与光线间隔，使其满足光强集中、亮度高、覆盖输送带2的上带面2-1的背面整个宽度的要求；如果线性光不能覆盖输送带2的上带面2-1的背面整个宽度，则采用多个线性光发射器4组合使用。调整视觉传感器5的安装角度，使其满足不与多道线性光发射器4正面对射、能够完整采集所有线性光条覆盖的输送带2的上带面2-1的背面区域的要求。

多道线性光发射器4和视觉传感器5均为市购产品，视觉传感器5是一台集视频采集与视频分析、融合计算的软硬件一体化平台，构建于低功耗嵌入式系统之上，满足煤矿场景的实施应用，视觉传感器5内置的图像分析算法是基于opencv开发的一套跨平台的软件算法，使用时算法以动态链接库的方式运行于视觉传感器5内部的计算平台上，算法设置了对外的函数接口，通过接口函数与其他模块进行交互获取输送带运动方向、输送带运动速度等外部参数；视觉传感器5对于损伤信息的记录通过消息队列传到系统其他模块。

本实施例的矿用带式输送机输送带撕裂损伤检测方法，主要由以下步骤实施：

第一步，视频采集：视觉传感器5实时采集处于运动中的输送带2被多道线性光所覆盖的带面区域的视频图像；

第二步，单帧图像处理分析：视觉传感器5对采集的视频图像逐帧进行单帧图像处理分析，具体包括步骤：

①对采集的视频图像分帧进行图像预处理：图像预处理包括形态学处理和双边滤波，以去除图像噪点，保持边缘清晰化。形态学处理使用开运算，先膨胀再腐蚀，以移除图像帧中因噪声或干扰引起的小像素块。

前述膨胀就是求局部的最大值的操作，从数学的角度就是图像与核进行卷积，卷积核可以是任何形状核大小，它拥有一个单独定义出来的参考点，称为锚点，可以把卷积核视为模板或者掩码。数学公式如下：

；

前述腐蚀就是求局部最小值的操作，数学公式如下：

。

前述双边滤波采用基于高斯分布的加权平均方法，用周边像素亮度值的加权平均代表某个像素的强度，以在保持边缘的前提下使图像降噪平滑。

②对预处理后的图像进行阈值分割并二值化：采用最小类间方差结合目标面积的方法确定分割阈值t，按阈值t分割图像并进行二值化处理，获得多道激光线条纹二值化图像。

③二值化后的图像通过对封闭团块的周长、面积约束去除可能的干扰团块，获得多道线性光光条二值化图像。

④对各线性光条的二值化图像，查找光条的上下左右边界，将边界内图像作为roi区域（regionofinterest，感兴趣区域）；

⑤在roi图像上，提取各道线性光光条中心线：采用按每条光条按列取光条中心点并连线方法提取中心线，包括步骤：

e、查找每条光条的上下边界：按列搜索图像灰度矩阵，灰度值从0→255或者从255→0点的正负两个跳变点即为光条在此列上的上下边界点；

f、将同一光条所有上边界点和所有下边界点分别连线，所得2条曲线即为该条光条的上下边界线；

g、将每条光条边界线按列取中点，将同一光条所取各中点连接的曲线即为该条光条的光条中心线。

⑥判断光条中心线的凹凸特性：利用曲线凹凸性的定义自动判断光条中心线的凹凸特性：

设函数f(x)是定义在区间β上的光条中心线曲线方程，对区间β内的任意两点和，

若，则f(x)为凹形，如图3所示；

若，则f(x)为凸形，如图4所示。

由于线性光发射器5的安装位置及角度，输送带的运动方向在工程施工完毕后会长时间保持不变，故曲线的凹凸性检测只在算法启动后检测一次即可。

⑦判断光条中心线的连续性特性，寻找中心线上的非正常波动阶跃点：求出光条中心线在区间上点的离散导数，其中导数大于设定阈值的点即认为是非正常波动阶跃点，所述阈值根据曲线凹凸特性及输送带运动方向相应设置。

⑧根据确定的中心线凹凸特性、中心线上的非正常波动阶跃点特征，结合从外部设备输入的输送带运动方向，判断输送带是否有撕裂损伤；若判断为有撕裂损伤，则计算撕裂损伤的宽度和深度，然后进入步骤⑨；若无，则返回步骤①：

本步骤中，判断输送带是否有撕裂损伤的具体方法为，通过以下步骤进一步判定由前述第二步的步骤⑦确定的非正常波动阶跃点是否为输送带损伤的纵向边界点：

h、利用光条中心线切线水平特征，找到曲线拐点；

i、滤除伪边界点：比较中心线上非正常波动阶跃点相对于曲线拐点的位置，若在设定范围的邻域内只找到一个非正常波动阶跃点，如图5中的点a1和点a6，则认为该波动阶跃点是伪边界点并滤除，而图5中的点(a2,a3),(a4,a5),(b1,b2),(b3,b4)则为有效的非正常波动阶跃点，滤除伪边界点后进入步骤j；

j、根据中心线上非正常波动阶跃点相对于曲线拐点的位置，融合输送带运动方向，判断各非正常波动阶跃点是输送带异物边界点还是损伤边界点：当输送带运动方向与非正常波动阶跃点在平面坐标系下的纵坐标变化方向不一致时，则判定该非正常波动阶跃点为输送带撕裂损伤的纵向边界点，如图6中的中心线（1）上的点a和中心线（2）上的点d，继而判断输送带有撕裂损伤；反之，当输送带运动方向与非正常波动阶跃点在平面坐标系下的纵坐标变化方向一致时，则判定该非正常波动阶跃点为带面异物引起的光条中心线形变，如图6中的中心线（1）上的点b和中心线（2）上的点c。

判断有撕裂损伤时，计算撕裂损伤的宽度和深度的具体方法为：

k、对判定为输送带损伤的每一处损伤，在当前图像帧中的y条中心线上搜索2×y个边界点，计算每条中心线上2个边界点连线的直线距离，y个距离求取平均值作为损伤在当前图像帧上的宽度值，其中y为小于等于线性光发射器发出的光条总数的自然数；如图5中(a2,a3)与(b1,b2)属于同一损伤，分别计算a2-a3的直线距离以及b1-b2间的直线距离，然后再将2个直线距离求平均值，即为该处损伤的宽度值；同理，图5中(a4,a5)与(b3,b4)属于同一损伤，采用同样方法求该处损伤的宽度值；

l、对判定为输送带损伤的每一处损伤，y条中心线上搜索2×y个边界点，计算每条中心线上2个边界点之间的曲线线段的最低点到连接2个边界点的直线间的垂直距离，y个距离求取平均值作为当前损伤的深度值；其中y为小于等于线性光发射器发出的光条总数的自然数。如图5中分别计算a2和a3这2个边界点间曲线线段的最低点到连接a2和a3这2个边界点的直线间的垂直距离，b1和b2这2个边界点间曲线线段的最低点到连接b1和b2这2个边界点的直线间的垂直距离，将2个垂直距离求取平均值作为该处损伤的深度值。

⑨根据多道线性光中心线上的撕裂损伤特征融合判断当前图像帧中的撕裂损伤是否为一条损伤的起点，若是，记录起点标记；若否，则判断是否为一条损伤的终点，若是，记录终点标记；若否，则记录损伤边界点信息后返回步骤①；

本步骤中判断当前图像帧中的撕裂损伤是否为一条损伤的起点和终点的具体方法为：

m、若当前图像帧满足多道线性光中心线上出现沿输送带运动方向的前n条中心线无形变，而后m条中心线上有损伤形变这一条件，认为当前图像帧中的损伤是一条损伤的起点，若不满足，则根据当前图像帧的前一帧图像帧检测结果为无损伤，而当前帧图像检测结果为有损伤的判据，认为当前图像帧中的损伤为一条损伤的起点；

n、若当前图像帧满足多道线性光中心线上出现沿输送带运动方向的前n条中心线有损伤伤痕形变，而后m条中心线上无形变这一条件，认为当前图像帧中的损伤是一条损伤的终点，若不满足，则根据当前图像帧的前一帧图像帧检测结果为包含损伤，而当前帧图像检测结果为无损伤的判据，认为前一图像帧中的损伤是一条损伤的终点；

其中，n＋m＝线性光发射器4发出的线性光总条数。

⑩重复前述步骤①～⑨至所有单帧图像处理分析完毕，视觉传感器判断输送带是否有撕裂损伤记录，若有，进入第三步，若无，则返回第一步；

第三步，多帧图像融合处理分析：视觉传感器对由第二步处理分析完毕后的各单帧图像，结合从外部设备输入的输送带运动速度进行多帧图像融合处理分析，得到输送带撕裂损伤完整信息并输出，具体包括步骤：

a、根据相邻图像帧上损伤存在与否，在图像序列中查找同一条撕裂损伤的起点帧和终点帧；

b、根据起点帧到终点帧的图像帧数及视觉传感器设定的帧率信息，结合从外部设备输入的输送带速度值，计算输送带上该条损伤的长度值；将记录的该条损伤在各图像帧的宽度和深度值进行均值计算得到该条损伤的平均宽度与深度；

c、将记录的该条损伤在各图像帧中的边界点连线，绘制成该条损伤的轨迹轮廓；

d、重复步骤a～c，直至图像序列中所有撕裂损伤均处理完毕，视觉传感器将输送带各条撕裂损伤的坐标位置以及撕裂损伤的长度、宽度、深度和轨迹轮廓信息记录存储并发送外部监控设备。

以上实施例是对本发明的具体实施方式的说明，而非对本发明的限制，有关技术领域的技术人员在不脱离本发明的精神和范围的情况下，还可以做出各种变换和变化而得到相对应的等同的技术方案，因此所有等同的技术方案均应该归入本发明的专利保护范围。