基于机器视觉的索股无人跟随牵引智能识别系统和方法与流程

1.本发明涉及悬索桥索股架设施工领域。更具体地说，本发明涉及一种基于机器视觉的索股无人跟随牵引智能识别系统和方法。


背景技术：

2.在现有的悬索桥索股架设施工中，通常采用人工跟随拽拉器的方法来监测索股牵引架设的状态并判断异常，即人工现场观测和判断拽拉器工作状态是否正常，被架设索股是否正好落入托滚中，索股是否出现“散丝”等，若发现问题则用对讲机报警并停下拽拉器，排除故障。此种方法需要专人在猫道上跟随监测，费时费力且人员高空作业，存在安全隐患。
3.新兴的基于机器视觉的图像识别技术具有非接触、远距离、高精度、省时省力、实时监测等众多优点，已广泛应用于桥梁施工领域，但迄今还没有将这项技术用于索股牵引状态识别的施工案例。


技术实现要素：

4.本发明的一个目的是提供一种基于机器视觉的索股无人跟随牵引智能识别系统和方法，以解决上述提及的索股牵引架设状态识别的问题。
5.为了实现根据本发明的这些目的和其它优点，提供了一种基于机器视觉的索股无人跟随牵引智能识别系统，包括：
6.数据采集模块，其包括前视高清相机、后视高清相机和北斗定位终端，所述前视高清相机和后视高清相机分别采集拽拉器的前视画面和后视画面，所述北斗定位终端与所述后视高清相机连接为一体，用于采集拽拉器的位置信息；
7.数据无线传输模块，其用于数据采集模块的数据传输；
8.边缘计算终端，其用于接收数据无线传输模块传送的拽拉器的前视画面和后视画面以及拽拉器的位置信息，所述边缘计算终端还包括索股姿态异常识别模块、异常状态预警模块，所述索股姿态异常识别模块用于通过拽拉器的前视画面和后视画面识别索股异常状态，并通过异常状态预警模块报警；
9.接收端，其接收异常状态预警模块发送的异常报警信息。
10.优选的是，所述数据无线传输模块采用无线ap和无线网桥融合方式。
11.优选的是，所述异常报警信息包括索股异常姿态类别、异常姿态画面截图及拽拉器当前的位置信息。
12.优选的是，所述边缘计算终端还包括卷扬机控制模块，其用于控制卷扬机启闭，所述索股姿态异常识别模块识别索股异常状态后还通过卷扬机控制模块控制卷扬机停机。
13.本发明还提供了一种基于机器视觉的索股无人跟随牵引智能识别方法，包括如下步骤：
14.步骤一、在拽拉器上安装智能识别系统，并与后台接收端进行通讯连接；
15.步骤二、启动智能识别系统并开始索股牵引施工；
16.步骤三、数据采集模块通过前视高清相机和后视高清相机分别采集拽拉器的前视画面和后视画面，并通过北斗定位终端采集拽拉器的位置信息，将数据采集模块采集的数据通过数据无线传输模块传输至边缘计算终端，边缘计算终端获取拽拉器的前视画面和后视画面数据后通过索股姿态异常识别模块识别索股异常状态，当边缘计算终端识别到异常后，通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机；
17.步骤四、接收端的操作人员接收到异常报警信息后通过后台查看异常姿态画面截图，确定是否异常，如果异常，则操作人员根据拽拉器当前位置信息快速到达拽拉器位置进行处理，处理完成后通过卷扬机控制模块控制卷扬机启动工作，如果操作人员确认是错误的异常报警信息，则通过卷扬机控制模块控制卷扬机继续工作；
18.步骤五、重复上述步骤三和步骤四直至整个待牵引索股牵引施工完成。
19.优选的是，索股姿态异常识别模块识别索股异常状态具体方法为：
20.3.1、对采集的索股姿态图像进行语义分割，得到图像中索股像素语义分割区域和托滚像素语义分割区域；
21.3.2、利用步骤3.1得到的托滚像素语义分割区域，提取该区域的外接矩形；
22.3.3、利用步骤3.1得到的索股像素语义分割区域，计算该区域和步骤3.2得到的外接矩形的交集区域，并计算各区域的几何参数，各参数如下：
23.(x
w1
,y
w1
)——托滚外接矩形最左侧点的坐标；
24.(x
w2
,y
w1
)——托滚外接矩形最右侧点的坐标；
25.(x
rmin
,y
r1
)——索股区域最左侧点的坐标；
26.(x
rmax
,y
r2
)——索股区域最右侧点的坐标；
27.w
rmax
——索股区域最大宽度值；
28.3.4、基于托滚外接矩形和索股区域的几何参数，进行异常判断，具体包括：
29.①
正常：若x
w1
＜x
rmin
且x
rmax
＜x
w2
且w
rmax
/(x
w2-x
w1
)＜threshold1，此时，系统正常工作，卷扬机不停机；其中，threshold1为阈值；
30.②
散丝：若x
w1
＜x
rmin
且x
rmax
＜x
w2
且w
rmax
/(x
w2-x
w1
)≥threshold1；此时，系统正常工作，卷扬机不停机，系统通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
31.③
脱滚：
32.工况1：若x
rmin
＜x
w1
且x
w1
＜x
rmax
，此时索股在左侧脱离托滚，但未完全脱离，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
33.工况2：若x
rmax
＜x
w1
，此时索股在左侧完全脱离托滚，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机；
34.工况3：若x
w2
＜x
rmax
且x
rmin
＜x
w2
，此时索股在右侧脱离托滚，但未完全脱离，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
35.工况4：若x
w2
＜x
rmin
，此时索股在右侧完全脱离托滚，此时通过异常状态预警模块
将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机。
36.优选的是，所述步骤3.1中索股姿态图像进行语义分割的具体步骤如下：
37.3.1.1、数据标注：采集大量数据采集模块采集的索股姿态图像，包括索股正常姿态及异常姿态图像，利用标注工具进行标注；
38.3.1.2、模型训练：采用基于深度学习的语义分割模型对数据进行训练；
39.3.1.3、模型推理：利用3.1.2训练好的模型，对新输入的图像进行语义分割，得到索股姿态语义分割图像，可得到图像中的托滚像素语义分割区域和索股像素语义分割区域。
40.优选的是，所述步骤3.4中，阈值threshold1取值为0.45。
41.优选的是，所述步骤3.1.2采用deeplabv3+模型对数据进行训练，得到索股姿态图像语义分割模型。
42.本发明至少包括以下有益效果：
43.本发明的智能识别系统和方法能实时监测拽拉器牵引施工时索股状态的异常情况及拽拉器位置信息，主动实时预警，不再需要工人全程陪跑。该方法提高了现场索股架设的智能化水平，节约人工，提高了牵引效率，可操作性强，适用于工程现场。
44.本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
45.图1为本发明智能识别系统的结构示意图；
46.图2为本发明索股牵引结构示意图；
47.图3为本发明语义分割示意图；
48.图4为本发明各区域的几何参数示意图；
49.图5为本发明异常判断的结构示意图。
50.附图标记说明：1、前视高清相机，2、后视高清相机，3、北斗定位终端，4、边缘计算终端，5、拽拉器，6、被牵引索股。
具体实施方式
51.下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
52.需要说明的是，下述实施方案中所述实验方法，如无特殊说明，均为常规方法，所述试剂和材料，如无特殊说明，均可从商业途径获得；在本发明的描述中，术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
53.如图1和图2所示，本发明提供一种基于机器视觉的索股无人跟随牵引智能识别系统，包括：
54.数据采集模块，其包括前视高清相机1、后视高清相机2和北斗定位终端3，所述前
视高清相机1和后视高清相机2分别采集拽拉器5的前视画面和后视画面，所述北斗定位终端3与所述后视高清相机2连接为一体，用于采集拽拉器5的位置信息；拽拉器5连接被牵引索股6；
55.数据无线传输模块，其用于数据采集模块的数据传输；
56.边缘计算终端4，其用于接收数据无线传输模块传送的拽拉器5的前视画面和后视画面以及拽拉器5的位置信息，所述边缘计算终端4还包括索股姿态异常识别模块、异常状态预警模块，所述索股姿态异常识别模块用于通过拽拉器5的前视画面和后视画面识别索股异常状态，并通过异常状态预警模块报警；
57.接收端，其接收异常状态预警模块发送的异常报警信息。
58.在上述技术方案中，数据采集模块包括2个高清相机和1个北斗定位终端3，其中2个高清相机分别采集拽拉器5的前视画面和后视画面(重点关注的对象)，用于提供拽拉器5前后高清图像画面；北斗定位终端3与后视高清相机2绑定，用于提供拽拉器5的位置信息。边缘计算终端4接收通过数据无线传输模块传送的拽拉器5前后高清图像数据和拽拉器5定位数据，边缘计算终端4还包括有索股姿态异常识别模块，用于识别索股异常状态。当边缘计算终端4识别到异常后，通过异常状态预警模块将异常报警信息及时发送给后台接收端的现场操作人员。
59.在另一种技术方案中，所述数据无线传输模块采用无线ap和无线网桥融合方式。为实现现场高清画面正常传输，采用融合无线ap+无线网桥的方式，该方法相比单纯的无线ap，组网更稳定，可实现拽拉器5在运动模式且信号干扰条件下的高清数据稳定传输，且性价比高。
60.在另一种技术方案中，所述异常报警信息包括索股异常姿态类别、异常姿态画面截图及拽拉器5当前的位置信息。现场人员确认索股状态并采取下一步措施，比如：系统识别到“脱滚”，现场人员通过手机(即接收端后台)异常姿态画面查看截图确定发生了“脱滚”，根据拽拉器5当前的定位信息快速到达拽拉器5位置进行处理；另一种情况，由于算法不可能100％准确，当系统识别到异常，现场人员确认是错误时，则指挥卷扬机继续工作。
61.在另一种技术方案中，所述边缘计算终端4还包括卷扬机控制模块，其用于控制卷扬机启闭，所述索股姿态异常识别模块识别索股异常状态后还通过卷扬机控制模块控制卷扬机停机。当边缘计算终端4识别到异常后，也会及时通过卷扬机控制模块对卷扬机进行操控，比如：系统识别到索股脱滚后，会立即控制卷扬机停机。异常预警模块和卷扬机控制模块同时工作，且受边缘计算终端4控制。
62.本发明还提供一种基于机器视觉的索股无人跟随牵引智能识别方法，包括如下步骤：
63.步骤一、在拽拉器5上安装智能识别系统，并与后台接收端进行通讯连接；
64.步骤二、启动智能识别系统并开始索股牵引施工；
65.步骤三、数据采集模块通过前视高清相机1和后视高清相机2分别采集拽拉器5的前视画面和后视画面，并通过北斗定位终端3采集拽拉器5的位置信息，将数据采集模块采集的数据通过数据无线传输模块传输至边缘计算终端4，边缘计算终端4获取拽拉器5的前视画面和后视画面数据后通过索股姿态异常识别模块识别索股异常状态，当边缘计算终端4识别到异常后，通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷
扬机控制模块控制卷扬机停机；
66.步骤四、接收端的操作人员接收到异常报警信息后通过后台查看异常姿态画面截图，确定是否异常，如果异常，则操作人员根据拽拉器5当前位置信息快速到达拽拉器5位置进行处理，处理完成后通过卷扬机控制模块控制卷扬机启动工作，如果操作人员确认是错误的异常报警信息，则通过卷扬机控制模块控制卷扬机继续工作；
67.步骤五、重复上述步骤三和步骤四直至整个待牵引索股牵引施工完成。
68.在另一种技术方案中，索股姿态异常识别是边缘计算终端4的核心，索股姿态异常识别模块识别索股异常状态具体方法为：
69.3.1、对采集的索股姿态图像进行语义分割，得到图像中索股像素语义分割区域和托滚像素语义分割区域，如图3所示，底色代表背景，矩形框分割区域代表托滚，内部的类梯形框分割区域代表索股；
70.3.2、利用步骤3.1得到的托滚像素语义分割区域(外侧的矩形框区域)，提取该区域的外接矩形；
71.3.3、利用步骤3.1得到的索股像素语义分割区域(内部的类梯形框区域)，计算该区域图像和步骤3.2得到的外接矩形的交集区域，并计算各区域的几何参数，如图4所示，各参数如下：
72.(x
w1
,y
w1
)——托滚外接矩形最左侧点的坐标；
73.(x
w2
,y
w1
)——托滚外接矩形最右侧点的坐标；
74.(x
rmin
,y
r1
)——索股区域最左侧点的坐标；
75.(x
rmax
,y
r2
)——索股区域最右侧点的坐标；
76.w
rmax
——索股区域最大宽度值；
77.3.4、如图5所示，基于托滚外接矩形和索股区域的几何参数，进行异常判断，具体包括：
78.①
正常：若x
w1
＜x
rmin
且x
rmax
＜x
w2
且w
rmax
/(x
w2-x
w1
)＜threshold1，此时，系统正常工作，卷扬机不停机；其中，threshold1为阈值；根据不同的工程进行适应性调整，可选的是，threshold1取0.45；
79.②
散丝(异常)：若x
w1
＜x
rmin
且x
rmax
＜x
w2
且w
rmax
/(x
w2-x
w1
)≥threshold1；此时，系统正常工作，卷扬机不停机，系统通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
80.③
脱滚(异常)：
81.工况1：若x
rmin
＜x
w1
且x
w1
＜x
rmax
，此时索股在左侧脱离托滚，但未完全脱离，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
82.工况2：若x
rmax
＜x
w1
，此时索股在左侧完全脱离托滚，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机；
83.工况3：若x
w2
＜x
rmax
且x
rmin
＜x
w2
，此时索股在右侧脱离托滚，但未完全脱离，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
84.工况4：若x
w2
＜x
rmin
，此时索股在右侧完全脱离托滚，此时通过异常状态预警模块
将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机。
85.在另一种技术方案中，所述步骤3.1中索股姿态图像进行语义分割的具体步骤如下：
86.3.1.1、数据标注：采集大量数据采集模块采集的索股姿态图像，包括索股正常姿态及异常姿态图像，利用labelme标注工具进行标注；其中，背景标注为0，托滚标注为1，索股标注为2；
87.3.1.2、模型训练：采用基于深度学习的语义分割模型对数据进行训练；可选的是，采用deeplabv3+模型，得到索股姿态图像语义分割模型；
88.3.1.3、模型推理：利用3.1.2训练好的模型，对新输入的图像进行语义分割，得到索股姿态语义分割图像，可得到图像中的托滚像素语义分割区域和索股像素语义分割区域。
89.尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。