一种深井高速提升钢丝绳状态智能视觉检测系统与方法与流程

1.本发明涉及矿井机械系统状态检测技术领域，具体涉及一种深井高速提升钢丝绳状态智能视觉检测系统与方法。


背景技术：

2.提升钢丝绳是矿井提升系统至关紧要的部件，其健康状态直接决定了煤矿的生产是否可以安全平稳进行。所以，研究精确的钢丝绳表面状态检测系统，这对于煤矿的安全来说是至关重要的，而视觉检测是实现钢丝绳表面状态检测的有效技术手段，通过机器视觉代替人工来检测钢丝绳的状态，可大大提高检测的安全性、效率和自动化程度，最终保证矿井提升的安全性。
3.对于视觉检测方法，现有视觉检测方法多是基于图像处理或传统机器学习算法进行损伤识别，存在精度低、效果差等问题，所以实际应用较少。对于深井长行程、高速运行的提升钢丝绳，如何得到清晰的图像并进行可靠存储，需在技术上解决图像拖影和大数据存储问题。此外，在实际情况下，需要对多根钢丝绳依次进行检测，而现有检测方法及装置自动化程度较低，且检测装置位置控制的精度不足，致使多根钢丝绳的检测效率不高。


技术实现要素：

4.针对上述存在的技术不足，本发明的目的是提供一种深井高速提升钢丝绳状态智能视觉检测系统与方法，该系统能够实现对每根钢丝绳全方位检测，并且能够自动依次检测多根钢丝绳，提高了钢丝绳的检测效率和精度；该方法能够对每一根钢丝绳的全表面进行实时采集，能够准确识别钢丝绳表面存在的断丝、磨损等损伤，能够在线测量钢丝绳的直径、捻距等信息，实现对钢丝绳表面状态的全面检测。
5.为解决上述技术问题，本发明采用如下技术方案：
6.本发明提供一种深井高速提升钢丝绳状态智能视觉检测系统，
7.包括用于获取钢丝绳的移动距离信息的损伤定位部分和两组对称设置在钢丝绳两侧的检测装置；
8.所述检测装置包括图像采集部分和位置控制部分；
9.所述图像采集部分包括上盖板，所述上盖板上滑动连接有滑块连接板，所述滑块连接板上设有用于采集钢丝绳表面图像的图像采集单元；
10.所述位置控制部分包括设在上盖板上的动力装置，所述动力装置通过皮带传动系统控制滑块连接板移动，进而控制图像采集部分沿钢丝绳摆设方向移动；
11.所述损伤定位部分、图像采集单元分别电性连接工控机。
12.优选地，所述检测装置还包括用于支撑图像采集部分和位置控制部分的支撑部分，所述支撑部分包括型材架构和设在支撑架内的若干箱体，所述上盖板固定在型材架构的顶部。
13.优选地，所述图像采集单元包括设在相机光源安装板上的相机和若干光源，所述
相机光源安装板固定在滑块连接板上。
14.优选地，所述损伤定位部分包括固定在上盖板端部的编码器安装版，所述编码器安装版上设有相互适配的编码器和滚轮，所述滚轮接触钢丝绳并通过钢丝绳的位移带动其转动，所述滚轮将钢丝绳的位移信息传输给编码器。
15.优选地，其中一个所述位置控制部分还包括设在上盖板上用于测量滑块连接板移动距离的红外测距传感器，所述红外测距传感器电性连接工控机。
16.优选地，所述皮带传动系统包括与动力装置输出端传动连接的同步带，所述上盖板远离动力装置的另一端设有与同步带适配的传动轮，所述同步带与滑块连接板底部连接为其提供传动动力。
17.本发明还提供一种钢丝绳表面损伤进行准确识别的目标检测算法，包括以下步骤：
18.s1、采集钢丝绳上预设的各个采集点的表面图像，包括钢丝绳表面健康图像和钢丝绳表面损伤图像，将采集的钢丝绳表面图像传输至工控机中；
19.s2、当采集到预设数量的钢丝绳表面图像后，通过软件labelimg对钢丝绳表面损伤图像进行标注，生成yolov5目标检测算法所需的训练样本，将训练样本输入到yolov5目标检测算法模型中，对钢丝绳表面损伤进行识别；
20.s3、将输入的图像进行mosaic数据增强用以加快模型训练速度、增强模型的健壮性，即将若干图像进行随机拼接、缩放、裁剪；
21.s4、将增强后的图像进行卷积、归一化、prelu非线性激活和csp特征融合操作，具体步骤为：
22.s41、对增强后的图像进行多段卷积计算，提取不同深度层次图像特征；
23.s42、采用归一化的方式对卷积后的数据进行规范化处理；
24.s43、对规范化的数据引入非线性因素，采用prelu激活函数，避免模型训练停止；
25.s44、在网络中间部分采用csp结构，将图像的相邻层特征融合，为之后的损伤识别检测奠定基础；
26.s45、采用fpn+pan结构进行对钢丝绳表面损伤的检测识别，提升检测的准确率和精确度。
27.本发明还提供一种对钢丝绳表面损伤进行准确分割的图像分割算法，包括以下步骤：
28.s20、采集钢丝绳表面图像并将其输入至u-net网络中，对其进行卷积、池化，下采样提取图像特征；
29.s21、对最深层图像特征进行反卷积和上采样，然后与下采样中对应通道数的特征图进行拼接、特征融合，依次进行反卷积和上采样，最后通过两次卷积和relu非线性激活得到钢丝绳表面图像的分割预测图；
30.s22、将得到的钢丝绳表面分割预测图进行二值化处理，损伤部分像素值设为255，其余部分像素值设为0；
31.s23、对二值化图像进行量化评估，对损伤部分的像素面积进行计算，得到损伤部分的像素点数量，从而实现对钢丝绳表面损伤的量化评估；
32.本发明还提供一种对钢丝绳轮廓边缘进行直径测量的方法，包括以下步骤：
33.s30、采集钢丝绳表面图像并对其进行图像增强处理，提高钢丝绳与背景对比度；
34.b1、对钢丝绳表面图像进行低通非线性滤波，平滑背景，消除噪点，突出钢丝绳边缘轮廓；
35.b2、通过阈值分割处理，得到钢丝绳与背景的分割图；
36.b3、对分割图进行腐蚀膨胀操作，消除图像中的噪点，且能够平滑钢丝绳边缘轮廓；
37.s31、计算钢丝绳边缘轮廓在水平线上两点间的欧氏距离，结合相机的焦距、相机与钢丝绳的物距计算出钢丝绳的直径信息。
38.本发明还提供一种对钢丝绳捻距进行测量的方法，包括以下步骤：
39.s40、采集钢丝绳表面图像并对其进行裁剪，使钢丝绳占据整张图像；
40.s41、将裁剪完的图像灰度化处理，并调整背景像素值为255；
41.s42、对图像进行边缘检测和轮廓提取；
42.s43、通过拟合算法对钢丝绳轮廓周期进行拟合，得到钢丝绳捻距信息。
43.本发明的有益效果在于：
44.1、本发明利用相适配的滚轮与编码器，获取钢丝绳的移动距离信息；
45.2、本发明的图像采集部分能够对钢丝绳的表面图像进行全方位采集；
46.3、本发明通过目标检测算法，对钢丝绳表面损伤准确识别，结合编码器得到的钢丝绳移动距离，可以实现钢丝绳表面损伤的精确定位；
47.4、本发明通过平滑滤波、阈值分割、边缘检测等图像处理技术，对钢丝绳表面图像进行处理，获得钢丝绳的轮廓图像，从而计算得到钢丝绳的直径信息；
48.5、本发明通过图像分割算法，对钢丝绳的表面损伤进行准确分割，从而实现对钢丝绳表面损伤的量化评估。
49.6、本发明的位置控制部分能够控制图像采集部分在采集完一根钢丝绳的表面图像后自动移动至下一根钢丝绳采集位置；在红外测距传感器的作用下，对图像采集部分的移动距离进行测量，保证图像采集部分准确定位到钢丝绳图像采集点。
50.7、本发明能够对深井高速提升钢丝绳的表面状态进行全方位自动检测，可以获取钢丝绳表面损伤类型信息、钢丝绳表面损伤量化信息、钢丝绳表面损伤位置信息，以及钢丝绳的直径信息、钢丝绳的捻距信息。
51.8、本发明解决了深井高速提升钢丝绳表面状态检测的效率低、自动化程度低等问题，可以实现对深井高速提升钢丝绳表面状态进行全方位自动化检测。
附图说明
52.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
53.图1为本发明实施例提供的检测装置的位置分布示意图；
54.图2为本发明实施例提供的位置控制部分的结构示意图；
55.图3为本发明实施例提供的图像采集部分的结构示意图；
56.图4为本发明实施例提供的损伤定位部分的结构示意图；
57.图5为本发明实施例提供的型材架构的结构示意图；
58.图6为本发明实施例中的准确识别钢丝绳表面损伤目标检测算法的流程图；
59.图7为本发明实施例中的准确分割并量化评估钢丝绳表面损伤方法的流程图；
60.图8为本发明实施例中的基于钢丝绳边缘轮廓检测钢丝绳直径方法的流程图；
61.图9为本发明实施例中的测量钢丝绳捻距方法的流程图。
62.附图标记说明：
63.2、位置控制部分，3、图像采集部分，4、支撑部分，5、损伤定位部分，6、钢丝绳围栏，7、通线孔a，8、同步带，9、滑块连接板，10、b传感器l架，11、红外接收器，12、上盖板，13、电机，14、a传感器l架，15、红外发射器，16、光轴导轨，17、导轨座，18、方管，19、防尘罩，20、相机安装架，21、相机，22、相机光源安装板，23、光源螺钉，24，光源安装架，25、光源，26、编码器安装板，27、a编码器l架，28、c编码器l架，29、安装块，30、伸缩柱，31、紧固螺钉，32、压力弹簧，33、止口板，34、编码器，35、滚轮，36、型材架构，37、箱体。
具体实施方式
64.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
65.本发明提供一种深井高速提升钢丝绳状态智能视觉检测系统，
66.包括用于获取钢丝绳的移动距离信息的损伤定位部分5和两组对称设置在钢丝绳两侧的检测装置；
67.所述检测装置包括图像采集部分3和位置控制部分2；
68.所述图像采集部分3包括上盖板12，所述上盖板12上滑动连接有滑块连接板9，所述滑块连接板9上设有用于采集钢丝绳表面图像的图像采集单元；
69.所述上盖板12上还设有通线孔7。
70.所述位置控制部分2包括设在上盖板12上的动力装置13，所述动力装置13通过皮带传动系统控制滑块连接板9移动，进而控制图像采集部分3沿钢丝绳摆设方向移动；
71.所述两个位置控制部分2对称分布在钢丝绳两侧，其中一个位置控制部分2设有红外测距传感器，所述位置控制部分2包括直线模组、光轴导轨16、多个导轨座17、两个传感器l架(包括b传感器l架10和a传感器l架14)。直线模组包括动力装置13、同步带8、直线模组滑块、多个光电开关、直线模组底座，动力装置13选用电机；滑块连接板9滑动连接在光轴导轨16上；所述直线模组底座与上盖板12固定连接；同步带8上固定一直线模组滑块，直线模组滑块顶端开有多个螺纹孔，直线模组滑块与滑块连接板9相固定连接，直线模组滑块侧面与一挡光片相固定连接；光电开关与直线模组底座侧面相固定连接。光轴导轨16水平安装在上盖板12上，光轴导轨16与直线模组平行且安装在靠近多根钢丝绳的方向；光轴导轨16上有多个导轨滑块，导轨滑块顶面开有螺纹孔，导轨滑块顶面与直线模组滑块顶面处于同一平面，导轨滑块与滑块连接板9相固定连接。
72.导轨座17为“凸”形，导轨座17底面与上盖板12相固定连接，导轨座17顶面与光轴
导轨16底面相固定连接，对其起到支撑固定的作用。所述红外测距传感器包括红外发射器15和红外接收器11；红外发射器15与红外接收器11水平安装在光轴导轨16与直线模组之间，红外发射器15与a传感器l架14相固定连接，a传感器l架14固定连接在上盖板12；红外接收器11与b传感器l架10相固定连接，b传感器l架10固定连接在滑块连接板9上。
73.所述损伤定位部分5、图像采集单元分别电性连接工控机。
74.所述检测装置还包括用于支撑图像采集部分3和位置控制部分2的支撑部分4，所述支撑部分4包括型材架构36和设在支撑架内的若干箱体37，所述上盖板12固定在型材架构36的顶部。
75.所述图像采集单元包括设在相机光源安装板22上的相机21和若干光源25，所述相机光源安装板22固定在滑块连接板9上。
76.所述两个图像采集部分3对称分布在多根钢丝绳两侧，图像采集部分3包括滑块连接板9、方管18、图像采集单元。方管18底面与滑块连接板9相固定，方管18与滑块连接板9连接处都开有腰型孔，方管18顶面与图像采集单元相固定连接；所述图像采集单元包括相机光源安装板22、相机安装架20、光源安装架24、相机21、光源25和防尘罩19；所述相机安装架20为“凸”形，将相机21置于“凸”形口中，与相机安装架20相固定连接，相机安装架20与相机光源安装板22相固定连接；所述光源安装架24为l形，光源安装架24短外侧通过光源螺钉23与相机光源安装板22固定连接，光源安装架24长外侧与光源25相固定连接，多个光源25对称分布在相机21两侧，光源25的出光端对准相机21；所述防尘罩19与相机光源安装板22侧面相固定连接，将相机21、光源25覆盖在内。
77.所述损伤定位部分5包括固定在上盖板12端部的编码器安装版26，所述编码器安装版26上设有相互适配的编码器34和滚轮35，所述滚轮35接触钢丝绳并通过钢丝绳的位移带动其转动，所述滚轮35将钢丝绳的位移信息传输给编码器34。
78.损伤定位部分5还包括多个编码器l架、编码器支架。多个编码器l架包括多个a编码器l架27、和c编码器l架28；多个a编码器l架27顶面固定连接在两侧上盖板12，编码器安装板26分别与多个a编码器l架27的前面连接固定，编码器安装板26与多个a编码器l架27连接部分开有腰型孔。所述c编码器l架28前面与编码器安装板26连接固定，编码器安装板26与c编码器l架28连接部分开有腰型孔，c编码器l架28水平面开有腰型孔。所述编码器支架包括止口板33、压力弹簧32、伸缩柱30、安装块29；所述止口板33上开有编码器安装孔和伸缩柱安装孔；所述压力弹簧32安装在止口板编码器安装孔和伸缩柱安装孔之间，使编码器可以在一定范围内摆动；所述伸缩柱30固定安装在止口板伸缩柱安装孔中；所述安装块29通过紧固螺钉31固定在伸缩柱30上，安装块29底面与c编码器l架28水平面连接固定。所述编码器34设在止口板33上，编码器34与滚轮35相连接；
79.为了方便调整滚轮35到钢丝绳的径向距离，a编码器l架27顶面开有腰型孔，上盖板12与a编码器l架27连接处开有腰型孔，所述编码器安装板26与c编码器l架28连接处开有腰型孔，所述安装块29通过紧固螺钉31固定在伸缩柱30上，所述c编码器l架28与安装块29的连接处开有腰型孔，通过改变螺栓在腰型孔中的位置、改变安装块29在伸缩柱30上的位置，可以对滚轮35到钢丝绳的径向距离进行调节。
80.为了方便调整两侧支撑部分4到多根钢丝绳的距离，所述编码器安装板26两侧开有腰型孔，能够调节支撑部分4距离多根钢丝绳的远近。
81.其中一个所述位置控制部分2还包括设在上盖板12上用于测量滑块连接板9移动距离的红外测距传感器，所述红外测距传感器电性连接工控机。
82.所述皮带传动系统包括与动力装置13输出端传动连接的同步带8，所述上盖板12远离动力装置13的另一端设有与同步带8适配的传动轮，所述同步带8与滑块连接板9底部连接为其提供传动动力。
83.为了方便调整相机21到多根钢丝绳的物距，在图像采集部分3中，滑块连接板9与方管18连接处开有腰型孔，方管18底面开有腰型孔；在另一个图像采集部分3中，滑块连接板9与采集安装板22连接处开有腰型孔，可以对相机21到多根钢丝绳的物距进行调节。
84.为了方便调整多个光源25之间的夹角，采集安装板22与光源安装架24连接处开有两对螺纹孔，通过改变螺钉23的位置来实现多个光源25角度的调节。
85.本发明实施例还提供一种钢丝绳表面损伤进行准确识别的目标检测算法，包括以下步骤：
86.s1、采集钢丝绳上预设的各个采集点的表面图像，包括钢丝绳表面健康图像和钢丝绳表面损伤图像，红外测距传感器配合工控机控制图像采集部分的移动距离，使图像采集部分精准定位在钢丝绳图像采集点；相机、光源、编码器开始工作，采集的钢丝绳表面图像传输至上位机中，将采集的钢丝绳表面图像传输至工控机中；
87.s2、在采集到一定数量的钢丝绳表面图像后，包括钢丝绳表面健康图像和钢丝绳表面损伤图像。对钢丝绳表面损伤图像，通过软件labelimg对其进行标注，生成目标检测算法所需的训练样本。对现有经典目标算法进行优选，包括yolov3,yolov4,yolov5,yolox和ssd目标检测算法；将钢丝绳表面图像的训练样本输入到各个目标检测算法模型中，在模型训练完成后，对各个模型的训练结果进行测试。在考虑召回率recall，平均精确度map，检测速度(帧/秒)等性能评估指标下，对各个目标检测算法模型进行优选。使最终选择的目标检测算法模型具有高召回率，高平均精确度和高的实时检测速度。经过训练，优选yolov5目标检测算法对钢丝绳表面损伤进行识别；
88.s3、将输入的图像进行mosaic数据增强用以加快模型训练速度、增强模型的健壮性，即将4张图像进行随机拼接、缩放、裁剪；
89.s4、将增强后的图像进行卷积、归一化、prelu非线性激活和csp特征融合操作，具体步骤为：
90.s41、对增强后的图像进行多段卷积计算，提取不同深度层次图像特征；
91.s42、采用归一化的方式对卷积后的数据进行规范化处理；
92.s43、对规范化的数据引入非线性因素，采用prelu激活函数，避免模型训练停止；
93.s44、在网络中间部分采用csp结构，将图像的相邻层特征融合，为之后的损伤识别检测奠定基础；
94.s45、采用fpn+pan结构进行对钢丝绳表面损伤的检测识别，提升检测的准确率和精确度。
95.a1 fpn结构形似“金字塔”，这种结构通过上采样将深层特征与浅层特征融合起来，对图像进行预测。这种结构方向是从深层到浅层，更注重图像深层特征的语义信息。
96.a2 pan结构为“倒金字塔”，结构方向是从浅层到深层，与fpn结构方向相反。这种结构更注重浅层特征的定位信息。
97.yolov5网络模型可以满足矿井提升钢丝绳实时检测的需求，其检测速度可以达到140fps。结合损伤定位部分中编码器的位置信息，可以对钢丝绳表面损伤部位进行确定，同时将损伤类型、位置信息保存至工控机。
98.本发明实施例还提供一种对钢丝绳表面损伤进行准确分割的图像分割算法，包括以下步骤：
99.s20、采集钢丝绳表面图像并将其输入至u-net网络中，对其进行卷积、池化，下采样提取图像特征；
100.s21、对最深层图像特征进行反卷积和上采样，然后与下采样中对应通道数的特征图进行拼接、特征融合，依次进行反卷积和上采样，最后通过两次卷积和relu非线性激活得到钢丝绳表面图像的分割预测图；
101.s22、将得到的钢丝绳表面分割预测图进行二值化处理，损伤部分像素值设为255(白色)，其余部分像素值设为0(黑色)；
102.s23、对二值化图像进行量化评估，对损伤部分(白色区域)的像素面积进行计算，得到损伤部分的像素点数量，从而实现对钢丝绳表面损伤的量化评估；
103.本发明实施例还提供一种对钢丝绳轮廓边缘进行直径测量的方法，包括以下步骤：
104.s30、采集钢丝绳表面图像并对其进行图像增强处理，提高钢丝绳与背景对比度；
105.b1、对钢丝绳表面图像进行低通非线性滤波，平滑背景，消除噪点，突出钢丝绳边缘轮廓；
106.b2、通过阈值分割处理，得到钢丝绳与背景的分割图；
107.b3、对分割图进行腐蚀膨胀操作，消除图像中的噪点，且能够平滑钢丝绳边缘轮廓；
108.s31、计算钢丝绳边缘轮廓在水平线上两点间的欧氏距离，结合相机的焦距、相机与钢丝绳的物距计算出钢丝绳的直径信息。
109.本发明实施例还提供一种对钢丝绳捻距进行测量的方法，包括以下步骤：
110.s40、采集钢丝绳表面图像并对其进行裁剪，使钢丝绳占据整张图像；
111.s41、将裁剪完的图像灰度化处理，并调整背景像素值为255；
112.s42、对图像进行边缘检测和轮廓提取；
113.s43、通过拟合算法对钢丝绳轮廓周期进行拟合，得到钢丝绳捻距信息。
114.本发明中的总体结构紧凑，各零部件数量合理，比较节省成本；本发明中的直线模组为同步带式，工作声音小，无噪声污染；本发明中的图像采集部分可以实现自动化控制，节省人力，效率高；本发明中的结构连接处存在多处腰型孔，使实际安装时更方便、更具灵活性；本发明中的损伤检测算法检测速度快，可以实现实时检测，提高检测效率；本发明中使用的方法可实现钢丝绳直径、捻距的测量，并且能够对钢丝绳表面损伤进行定位和量化评估。
115.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。