一种全断面隧道掘进机换刀机器人视觉定位结构及方法与流程
本发明涉及全断面隧道掘进机自动换刀的技术领域，尤其涉及一种全断面隧道掘进机换刀机器人视觉定位结构及方法。
背景技术：
全断面隧道掘进机是一种集机、电、光、液、传感、控制等多种技术于一体的大型机械化、自动化、集成化隧道开挖衬砌成套设备，具有自动化程度高、施工速度快、安全经济、对地表沉降及地面交通影响小等突出特点。刀盘是全断面隧道掘进机的核心部件，在掘进机掘进过程中直接与掌子面接触，刀盘上的滚刀难免磨损严重，磨损到一定程度后就要及时更换。目前，滚刀的更换基本采用人工操作，面对高压、高湿环境，换刀作业风险和时间成本都很高。针对全断面隧道掘进机的自动换刀技术，国内外部分企业和专家学者开始进行初步研究，未有效应用于实际工况中，其中关于自动换刀过程中滚刀的精确定位问题研究，目前尚未看到有效技术手段。
由于全断面隧道掘进机刀盘直径达10米以上，体积大，重量大，导致惯性大，虽然刀盘主轴安装有旋转编码器，可以实现刀盘相对准确的停机，但依旧难保证十分精确。对于换刀机器人来说，如果按照既定程序路径走，微小的偏差都将导致换刀机器人末端执行器无法准确抓取磨损的滚刀刀座，导致无法顺利完成换刀动作，偏差大时还可能导致换刀机器人末端执行器撞机，产生破坏性结果。
技术实现要素：
针对现有自动换刀过程中不能对滚刀进行精确定位的技术问题，依托全断面隧道掘进机实际工况，本发明提出一种全断面隧道掘进机换刀机器人视觉定位结构及方法，通过图像采集处理手段实现换刀机器人末端执行器的精确定位，实现换刀机器人的精准换刀动作；且成本低、易实现，对全断面隧道掘进机换刀机器人自动换刀技术的成功研发提供了可能。
为了达到上述目的，本发明的技术方案是这样实现的：一种全断面隧道掘进机换刀机器人视觉定位结构，包括相机装置，相机装置固定在换刀机器人末端执行器上。
还包括反光件，反光件固定在容纳滚刀的刀箱上，相机装置与上位机相连接，上位机与机器人控制系统相连接。
所述反光件的数量设有至少两个、均固定在刀箱正面上；所述反光件为包括反光片，反光片通过固定螺钉固定在刀箱上。
所述相机装置包括工业相机和相机镜头，相机镜头可拆卸连接在工业相机上，工业相机通过支架固定在换刀机器人末端执行器的固定爪的中部。
所述支架上固定有相机光源，相机光源的数量设有两个、且分别设置在工业相机的两侧。
一种全断面隧道掘进机换刀机器人视觉定位方法，其步骤如下：
步骤一：确定标定图像：根据任一刀箱的位置设定标定位置，机器人控制系统控制换刀机器人末端执行器移动到特定位置，手动调节机器人控制系统内的参数使换刀机器人末端执行器正对刀箱，上位机开启工业相机和相机光源，对反光件所在的刀箱进行图像采集，并将采集的图像作为标定图像。
步骤二：换刀机器人末端执行器按照机器人控制系统设定的路径移动到待拆卸滚刀所在刀箱的正面，上位机开启工业相机和相机光源，对反光件所在的刀箱正面进行图像采集；
步骤三：上位机对步骤二采集的图像进行识别，确定换刀机器人末端执行器的当前姿态，计算当前姿态与标定图像的姿态的旋转角偏差值，上位机将旋转角偏差值传送至机器人控制系统，对换刀机器人末端执行器的姿态进行调整；
步骤四：工业相机采集姿态调整后反光件所在的刀箱的图像，上位机对姿态调整后的图像进行识别确定换刀机器人末端执行器的当前位置，计算当前位置与标定图像的标定位置的距离偏差值，上位机将距离偏差值传送至机器人控制系统，利用距离偏差值对换刀机器人末端执行器的位置进行调整；
步骤五：工业相机采集位置调整后的反光件所在的刀箱的图像，上位机对位置调整后的图像进行识别，确定换刀机器人末端执行器的当前位置，计算当前位置在xy平面内与标定图像的标定位置的偏差值，上位机将偏差值传送至机器人控制系统，利用偏差值对换刀机器人末端执行器的位置进行调整；
步骤六：完成换刀机器人末端执行器位姿的修正，进行下一步的换刀动作。
所述特定位置位于刀箱的中心线上，且距离刀箱正面的距离的范围30-50cm；所述工业相机在图像采集前，利用巡检机器人利用高压水对待采集图像的刀箱冲洗，机器人控制系统调整换刀机器人末端执行器的位置使工业相机的轴线与刀盘正面所在的平面垂直。
所述反光件的数量设有3个，且三个反光件分别固定在刀箱的任意三个角上；将3个反光件的中心作为特征点，上位机通过图像处理方法识别三个特征点在采集图像视野范围内的像素坐标；且标定图像中三个特征点在视野范围内的像素坐标分别为a(xa,ya)、b(xb,yb)和c(xc,yc)。
所述步骤三中计算当前姿态与标定图像的姿态的旋转角偏差值的方法为：
s31：上位机通过图像处理方法对步骤二中采集的图像中的三个特征点进行识别，得到换刀机器人末端执行器当前姿态下三个特征点在视野范围内的像素坐标分别为a1'(x'1a,y'1a)和b1'(x'1b,y'1b)和c1'(x'1c,y'1c)；
s32：计算
s33：夹角θ1为旋转角偏差值，通过线段ab与线段a′1b′1所在直线的斜率判断换刀机器人末端执行器当前姿态相对于标定姿态的旋转方向，线段a′1b′1所在直线的斜率大于线段ab所在直线的斜率，则旋转方向为正，反之，旋转方向为负。
所述步骤四中计算当前位置与标定图像的标定位置的距离偏差值的方法为：
s41：上位机通过图像处理方法对步骤四中采集的姿态调整后的图像中的三个特征点进行识别，得到换刀机器人末端执行器在当前位置下三个特征点在视野范围内的像素坐标分别为a2'(x'2a,y'2a)和b2'(x'2b,y'2b)和c2'(x'2c,y'2c)；
s42：根据拍照距离与成像大小成正比的原理，则在当前位置换刀机器人末端执行器距滚刀的刀箱正面的距离d1的计算为：
其中，d0为标定图像的标定位置与换刀机器人末端执行器距滚刀的刀箱正面的距离，a2'b2'表示当前采集图像中a2'、b2'两点的像素距离，ab表示标定图像中a、b两点的像素距离；
s43：当前位置与标定为的距离偏差值为：δd＝d1-d0。
所述步骤五中计算当前位置在xy平面内与标定图像的标定位置的偏差值的方法为：
步骤s51：上位机通过图像处理方法对步骤五中采集的位置调整后的图像中的三个特征点进行识别，得到换刀机器人末端执行器在当前位置下三个特征点在视野范围内的像素坐标分别为a3'(x'3a,y'3a)和b3'(x'3b,y'3b)和c3'(x'3c,y'3c)；
步骤s52：则换刀机器人末端执行器的当前位置在xy平面内与标定图像的标定位置在x方向的偏差值δx，δy分别为：
根据步骤s32的原理计算分别计算直线bc与直线b'c'之间的夹角θ2、直线ac与直线a'c'之间的夹角θ3，取夹角θ1、θ2和θ3的平均值作为旋转角偏差值；根据步骤s42的原理通过线段bc与线段b'2c'2及线段ac与a'2c'2线段的长度关系分别计算一个距离偏差值，取三次计算的平均值作为最终的距离偏差值；根据步骤s52中的原理通过b点和c点计算换刀机器人末端执行器在xy平面内的偏差值，取三次计算的平均值作为换刀机器人末端执行器在xy平面内与标定位置的偏差值。
本发明的有益效果：解决全断面隧道掘进机人工换刀难度大、风险高、效率低等突出问题，以全断面隧道掘进机实际工况为基础，通过架设于换刀机器人末端执行器上的工业相机及光源，采用图像识别处理的方法，获得换刀机器人末端执行器当前位姿与标定位姿的偏差并进行纠偏，从而实现换刀机器人末端执行器的精确定位，最终实现换刀机器人的精准换刀动作。本发明为全断面隧道掘进机换刀机器人自动换刀过程中机器人末端执行器的精确定位问题提供了可能，具有良好的可实现性和经济性，为全断面隧道掘进机换刀机器人的成功研制奠定了基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为全断面隧道掘进机换刀机器人拆装滚刀的示意图，其中，(a)为拆刀前刀箱与换刀机器人末端执行器的相对位置，(b)为拆刀后刀箱与换刀机器人末端执行器的相对位置。
图2为本发明的换刀机器人末端执行器和相机光源装置的结构示意图。
图3为本发明的反光件的结构示意图。
图4为本发明的相机光源装置的结构示意图。
图5为本发明的刀箱的正视图。
图6为本发明的视觉定位方法的流程图。
图7为本发明的旋转角和距离偏差计算的示意图。
图8为本发明的xy平面内位置偏差计算的示意图。
图中，1为换刀机器人末端执行器，1-1为固定爪，2为反光件，2-1为固定螺栓，2-2为反光片，3为刀箱，4为滚刀刀座，5为滚刀，6为相机光源装置，6-1为支架，6-2为工业相机，6-3为相机镜头，6-4为相机光源。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，如图2所示，一种全断面隧道掘进机换刀机器人视觉定位结构，包括相机装置6，相机装置6固定在换刀机器人末端执行器1上。相机装置6固定在换刀机器人末端执行器1前部的固定爪1-1中部，换刀机器人末端执行器1在更换滚刀前拍摄刀箱3前端的图像，对刀箱3的进行图像处理，计算出换刀机器人末端执行器1当前位姿相对标准换刀位姿的偏差值，然后机器人控制系统根据偏差值调节换刀机器人末端执行器1的位姿，实现控制换刀机器人末端执行器1自动精确移动到滚刀刀座4的正前方，实现对刀箱3内滚刀的更换。在拆装滚刀过程中换刀机器人末端执行器1与刀箱3的位置关系如图1所示，在自动更换滚刀过程中需要判定换刀机器人末端执行器1相对刀箱3的位姿偏差值，根据偏差值精确调整换刀机器人末端执行器1的位姿使其正对滚刀刀座4，然后机器人控制系统控制换刀机器人末端执行器1抓取刀座4，将待更换的滚刀5取出。
还包括反光件2，反光件2固定在容纳滚刀5的刀箱3的正面上，反光件2与相机装置6相对应，相机装置6拍摄刀箱3正面的图像可以方便采集到反光件，后续图像处理中将反光件2作为特征点，方便对拍摄的图像进行识别。相机装置6与上位机相连接，相机装置6拍摄的图像的大小相等，相机装置6将拍摄的刀箱3的正面的图像传送至上位机，上位机进行图像识别处理，计算换刀机器人末端执行器1当前位姿相对标定位姿的偏差值，根据偏差值换刀机器人控制系统调整换刀机器人末端执行器1的位姿使其移动到正对滚刀刀座4。
所述反光件2的数量设有至少两个、均固定在刀箱3正面上；如图3所示，所述反光件2为包括反光片2-2，反光片2-2通过固定螺钉2-1固定在刀箱3上，反光片2-2内嵌于固定螺栓2-1上，防止在实际恶劣工况下反光片2-2脱落，同时通过固定螺栓2-1固定于刀箱正面三个角的位置，作为视觉定位的特征识别点。
如图4所示，所述相机装置6包括工业相机6-2和相机镜头6-3，相机镜头6-3可拆卸连接在工业相机6-2上，工业相机6-2和相机镜头6-3通过自带螺纹相连，工业相机6-2通过支架6-1固定在换刀机器人末端执行器1的固定爪1-1的中部，支架6-1通过螺栓固定于换刀机器人末端执行器1的固定爪1-1上。
所述支架6-1上固定有相机光源6-4，相机光源6-4的数量设有两个、且分别设置在工业相机6-2的两侧，可有效消除光照不均匀给图像采集带来的影响，便于后期图像数据处理。工业相机6-2和相机光源6-4均通过螺钉固定于支架6-1上。上位机与机器人控制系统相连接，机器人控制系统检测到换刀机器人末端执行器1移动到预设的换刀位置附近时，将信号发送至上位机，上位机触发信号，开启工业相机6-2和相机光源6-4，进行图像采集。
实施例2，如图6所示，一种全断面隧道掘进机换刀机器人视觉定位方法，其步骤如下：
步骤一：确定标定图像：根据任一刀箱3的位置设定标定位置，机器人控制系统控制换刀机器人末端执行器1移动到特定位置，手动调节机器人控制系统内的参数使换刀机器人末端执行器1正对刀箱3，上位机开启工业相机6-2和相机光源6-4，对反光件2所在的刀箱3进行图像采集，并将采集的图像作为标定图像。
所述工业相机6-2在图像采集前，先由安装在掘进机上的巡检机器人利用高压水对待采集的刀箱进行冲洗，确保刀箱、刀座和刀具表面清洁，为下一步图像采集和数据处理做准备。换刀机器人末端执行器1按照机器人控制系统设定的路径移动到换刀位置附近，机器人控制系统调整换刀机器人末端执行器1的位置使工业相机6-2的轴线与刀盘3正面所在的平面垂直。换刀机器人末端执行器1到达预定位置后，触发工业相机6-2和光源6-4开启，开始进行图像采集。所述特定位置距离刀箱3正面的距离的范围为30-50cm，且位于刀箱3正面中心周围1m×1m范围内，方便后续图像处理。所述反光件2的数量设有3个，且三个反光件2分别固定在刀箱3的任意三个角上，如图5所示，刀箱3的上部两个角上均设有一个反光件，刀箱3下部的一个角上设有一个反光件，从而构成直角三角形。
换刀机器人末端执行器按照程序设定路径移动到指定的特定位置后，开始进行图像的采集和数据处理，图像识别采用opencv的canny算法检测轮廓，寻找特征中心坐标。将3个反光件2的中心作为特征点，上位机通过图像处理方法识别三个特征点在采集图像视野范围内的像素坐标；且标定图像中三个特征点在视野范围内的像素坐标分别为a(xa,ya)、b(xb,yb)和c(xc,yc)，点a、b和c分别是三个反光件作为三个特征识别点在标定图像中的像素坐标，拍摄标定图像的换刀机器人末端执行器1的位置为标定位置、姿态是标定姿态。图7中点a、b和c所在图像为标定图像，点a1'、b1'和c1'所在图像为换刀机器人末端执行器1的当前位置采集到的图像。
步骤二：换刀机器人末端执行器1按照机器人控制系统设定的路径移动到待拆卸滚刀5所在刀箱3的正面，上位机开启工业相机6-2和相机光源6-4，对反光件2所在的刀箱3正面进行图像采集。
采集图像并进行数据处理，识别区分三个特征点，计算当前图像中任意两个特征点连线与标定图像中对应特征点连线之间的夹角，得到换刀机器人末端执行器1当前姿态与标定姿态的旋转角偏差，将旋转角偏差信号传输给机器人控制系统，由机器人控制系统将换刀机器人末端执行器1旋转至标定姿态。
步骤三：上位机对步骤二采集的图像进行识别，确定换刀机器人末端执行器1的当前姿态，计算当前姿态与标定图像的姿态的旋转角偏差值，上位机将旋转角偏差值传送至机器人控制系统，对换刀机器人末端执行器1的姿态进行调整。
所述步骤三中计算当前姿态与标定图像的姿态的旋转角偏差值的方法为：
s31：上位机通过图像处理方法对步骤二中采集的图像中的三个特征点进行识别，得到换刀机器人末端执行器1当前姿态下三个特征点在视野范围内的像素坐标分别为a1'(x'1a,y'1a)和b1'(x'1b,y'1b)和c1'(x'1c,y'1c)；
s32：计算
s33：夹角θ1为旋转角偏差值，通过线段ab与线段a′1b′1所在直线的斜率判断换刀机器人末端执行器1当前姿态相对于标定姿态的旋转方向，线段a′1b′1所在直线的斜率大于选段ab所在直线的斜率，则旋转方向为正，反之，旋转方向为负。
根据步骤s32的原理计算分别计算直线bc与直线b'c'之间的夹角θ2、直线ac与直线a'c'之间的夹角θ3，取夹角θ1、θ2和θ3的平均值作为旋转角偏差值。
步骤四：工业相机6-2采集姿态调整后反光件2所在的刀箱3的图像，上位机对姿态调整后的图像进行识别确定换刀机器人末端执行器1的当前位置，计算当前位置与标定图像的标定位置的距离偏差值，上位机将距离偏差值传送至机器人控制系统，利用距离偏差值对换刀机器人末端执行器1的位置进行调整。
采集图像并进行数据处理，识别区分三个特征点，计算当前图像任意两特征点之间距离与标定图像中对应特征点间距离的比值，根据图像采集距离与图像成像大小成正比的原理，计算换刀机器人末端执行器1当前位置与标定位置的偏移量，将偏移量信号传输给机器人控制系统，由机器人控制系统将末端执行器1移动到标定距离处。
所述步骤四中计算当前位置与标定图像的标定位置的距离偏差值的方法为：
s41：上位机通过图像处理方法对步骤四中采集的姿态调整后的图像中的三个特征点进行识别，得到换刀机器人末端执行器1在当前位置下三个特征点在视野范围内的像素坐标分别为a2'(x'2a,y'2a)和b2'(x'2b,y'2b)和c2'(x'2c,y'2c)；
s42：根据拍照距离与成像大小成正比的原理，则在当前位置换刀机器人末端执行器1距滚刀的刀箱3正面的距离d1的计算为：
其中，d0为标定图像的标定位置与换刀机器人末端执行器1距滚刀的刀箱3正面的距离，a2'b2'表示当前采集图像中a2'、b2'两点的像素距离，ab表示标定图像中a、b两点的像素距离；
s43：当前位置与标定为的距离偏差值为：δd＝d1-d0。
根据步骤s42的原理通过线段bc与线段b'2c'2及线段ac与a'2c'2线段的长度关系分别计算一个距离偏差值，取三次计算的平均值作为最终的距离偏差值。
步骤五：工业相机6-2采集位置调整后的反光件2所在的刀箱3的图像，上位机对位置调整后的图像进行识别，确定换刀机器人末端执行器1的当前位置，计算当前位置在xy平面内与标定图像的标定位置的偏差值，上位机将偏差值传送至机器人控制系统，利用偏差值对换刀机器人末端执行器1的位置进行调整。
采集图像并进行数据处理，识别区分三个特征点，计算当前图像中任意特征点与标定图像中对应特征点之间距离在x轴、y轴上的偏移量，将偏移量信号传输给机器人控制系统，由机器人控制系统将末端执行器1移动到标定位置。图8中abc所在图像为标定图像，a3'b3'c3'所在图像是经过步骤三和四位姿调整后，换刀机器人末端执行器当前位置采集到的图像，a、b、c为三个特征识别点。
所述步骤五中计算当前位置在xy平面内与标定图像的标定位置的偏差值的方法为：
步骤s51：上位机通过图像处理方法对步骤五中采集的位置调整后的图像中的三个特征点进行识别，得到换刀机器人末端执行器1在当前位置下三个特征点在视野范围内的像素坐标分别为a3'(x'3a,y'3a)和b3'(x'3b,y'3b)和c3'(x'3c,y'3c)；
步骤s52：则换刀机器人末端执行器1的当前位置在xy平面内与标定图像的标定位置在x方向的偏差值δx，δy分别为：
根据步骤s52中的原理通过b点和c点计算换刀机器人末端执行器1在xy平面内的偏差值，取三次计算的平均值作为换刀机器人末端执行器1在xy平面内与标定位置的偏差值。
步骤六：完成换刀机器人末端执行器1位姿的修正，进行下一步的换刀动作。
每次换刀前，重复步骤二至六，可实现换刀机器人末端执行器1的精确定位，顺利完成拆刀动作，换刀机器人末端执行器1按照机器人控制系统预先设定的路径将拆下的旧滚刀存放于刀具存储箱中，从另一个存储箱中取出新滚刀，按照机器人控制系统记录的上次拆刀路径将新滚刀准确安装在刀箱中，完成整个换刀流程，且上述图像采集处理过程均可通过计算机高级编程语言实现，易实现，易扩展。
本发明致力于解决全断面隧道掘进机人工换刀难度大、风险高、效率低等突出问题，以全断面隧道掘进机实际工况为基础，提供一种全断面隧道掘进机换刀机器人视觉定位结构及方法，全断面隧道掘进机换刀机器人技术中机器人末端执行器的精确定位是一大技术难题，本发明通过设计的视觉定位结构，并采用图像识别处理方法，可以实现对换刀机器人末端执行器位姿的精确纠偏，为全断面隧道掘进机换刀机器人自动换刀的末端执行器精确定位技术提供可能。
本发明的全断面隧道掘进机换刀机器人视觉定位结构，实现换刀机器人末端执行器的精确定位，为换刀机器人采用视觉定位提供了结构基础，本发明的全断面隧道掘进机换刀机器人视觉定位方法，可以实现换刀机器人末端执行器位姿的精确修正，最终实现换刀机器人的精准换刀动作，为下一步的换到动作的顺利完成提供保障。本发明具有良好的可实现性和经济性，为全断面隧道掘进机换刀机器人自动换刀技术提供了借鉴。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！