一种基于单目视觉的盾构机滚刀刀座位姿的测量方法与流程

本发明属于视觉检测相关技术领域，更具体地，涉及一种基于单目视觉的盾构机滚刀刀座位姿的测量方法。

背景技术：

换刀作业是掘进设备的核心作业环节，目前还是以人工换刀为主。在掘进过程中，装备经常面临高压、高湿等极端作业环境，特别是超大型泥水复合盾构机，极端环境下进行人工换刀作业存在着极大的安全风险，且换刀效率较低，“机器代人”的安全高效作业模式已成为提升掘进装备智能化的关键，研制出一款自动换刀的换刀机器人迫在眉睫。针对换刀机器人的视觉测量系统，根据刀具刀座固有的特征信息，在复杂环境下能够精准快速地对刀具刀座进行定位是目前要解决的一大难点。

为缩短换刀时间，提高隧道掘进效率，保障施工人员安全，急需一种基于新型滚刀刀座自身特征的换刀机器人单目视觉测量方法。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于单目视觉的盾构机滚刀刀座位姿的测量方法，通过计算实际图像与位姿模板库中模板的距离特征值，确定实际刀座的位姿，该方法计算精确度高，另外，采用将刀座位姿模板库进行分层的方法，大大简化了计算量，缩短收敛时间，提高效率。

为实现上述目的，按照本发明，提供了一种基于单目视觉的盾构机滚刀刀座位姿的测量方法，其特征在于该测量方法包括下列步骤：

s1根据盾构机滚刀的刀座各个自由度的实际运动范围，设定所述刀座运动每个自由度的步长，所述刀座按照设定的步长进行运动以此变换位姿，获取在不同位姿下刀座上各个角点在相机坐标系下的空间坐标，-通过相机投影模型获得所有位姿下刀座各个角点的图像坐标，一个刀座位姿作为一个刀座位姿模板，以此形成包括有所有位姿的刀座位姿模板库；

s2采集待测量刀座所在位姿处的实际图像，对该实际图像进行处理，获得该实际图像中刀座各个角点的坐标以及与该实际图像对应的倒角距离变换图；

s3通过倒角距离变换图，分别计算位姿库中每个模板与实际刀座之间的距离特征值，所有距离特征值中的最小值对应的位姿模板对应的刀座位姿即为所述待测量刀具的实际位姿；其中，所述距离特征值按照下列方式进行计算：

对于任意的位姿模板，将该位姿模板与所述倒角距离变换图进行比对，获取位姿模板中的各个角点在所述倒角距离变换图中对应的点，以此获得多个角点对应点，计算角点对应点与所述倒角距离变换图中各个角点之间的距离值，其中最小的距离值作为该角点对应点的倒角距离，构建所有角点对应点的倒角距离与所述距离特征值之间的关系式，计算获得位姿模板与倒角距离变换图之间的距离特征值。

进一步优选地，在步骤s1中，所述通过相机投影模型获得所有位姿下刀座各个角点的图像坐标，按照下列步骤进行：

s11将世界坐标系与相机坐标系重合，获取在不同位姿下，在相机坐标系中刀座上各个角点的世界坐标；

s12对相机进行标定，获得相机坐标系与图像坐标系的转换关系；

s13将步骤s1中获得的在相机坐标系中各个角点的世界坐标，利用步骤s12中获得的转换关系，计算获得在图像坐标系中刀座各个角点的图像坐标。

进一步优选地，在步骤s2中，所述实际图像对应的倒角距离变换图的获取按照下列步骤进行：

s21对刀座实际图像进行预处理获得多个感兴趣区域；对所有感兴趣区域进行边缘提取，以此获得每个感兴趣区域对应的一条或多条闭合边界轮廓线；

s22设定长度阈值范围，在所有闭合边界轮廓线中获取满足所述长度阈值范围的闭合边界轮廓线，对于每条满足长度阈值范围的闭合边界轮廓曲线，按照曲率将其进行分割，以此获得多条线段，在该多条线段中剔除长度小于预设最小长度阈值的线段，剩余的线段进行共线处理，共线处理后的线段为特征线段；

s23将所有边界轮廓曲线对应的特征线段两两相交，交点即为所需的角点，该交点的图像坐标即为角点的图像坐标，以此获得刀座上所有角点的图像坐标；

s24根据所有角点的图像坐标，将所述实际图像转化为只包含角点的二值图像，利用该二值图像计算获得所述实际图像对应的倒角距离变换图。

进一步优选地，步骤s21中，所述图像预处理包括灰度化、中值滤波、图像增强和全局阈值分割。

进一步优选地，在步骤s3中，所述距离特征值为所有角点的倒角距离的均方根。

进一步优选地，在步骤s3中，所述距离特征值中的最小值按照下列步骤进行计算获得：

s31对于所述刀座位姿模板库中的所有模板，将所有模板按照预设分层步长分为n层；

s32从第n层开始，逐层计算每层中所有模板与实际刀座对应的倒角距离变换图之间的距离特征值，直至获得第1层中的最小距离特征值，该第1层中最小的距离特征值对应的模板的位姿即为所需待测量刀座的实际位姿。

进一步优选地，在步骤s32中，逐层计算每层中所有模板与实际刀座对应的倒角距离变换图之间的距离特征值，优选按照下列步骤进行：

(1)对于当前层，计算该当前层中可行域内所有模板与实际刀座对应的倒角距离变换图之间的距离特征值；

(2)当该当前层中的模板r对应的距离特征值在设定的可接受阈值范围内时，以所述模板r为中心设定搜索范围，获取在下一层中在所述搜索范围内所有的模板，该搜索范围即为所述下一层的可行域，将该下一层作为当前层，返回步骤(1)，直至当前层为第1层。

进一步优选地，在步骤s31中，所述将模板按照设定步长分为n层，从第1层到第n层，其预测分层步长逐渐增大。

进一步优选地，在步骤(2)中，所述模板r为一个或者多个。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具备下列有益效果：

1.本发明中采用的刀座位姿模板库用于存储刀座不同位姿下的数据，其中存储过程中存储的是刀座角点坐标，相比与存储整幅图像而言，大大缩减了存储的空间，同时也简化了后续的计算过程，缩短计算时间；

2.本发明中通过计算实际刀座图像与位姿库中每个模板的距离特征值的最小值，以最小距离特征值对应的模板的位姿作为刀座的估计位姿，以此确定刀座位姿准确，精度高；

3.本发明中在计算获得模板位姿库中最小距离特征值对应的模板时，采用对模板数据库进行分层处理，然后逐层计算距离特征值，设定每层搜索范围，逐层缩小计算范围，该方法收敛速度快，极大地缩短了计算时间，并提高了计算精度。

附图说明

图1是按照本发明的优选实施例所构建的基于单目视觉的盾构机滚刀刀座位姿的测量方法的流程图；

图2是按照本发明的优选实施例所构建的单目视觉的盾构机滚刀刀座位姿测量系统的结构示意图；

图3是按照本发明的优选实施例所构建的刀座的结构示意图；

图4是按照本发明的优选实施例所构建的实际刀座图像角点获取处理示意图，其中，(a)是长度约束后获得的刀座示意图；(b)是剔除不符合长度要求的线段后的刀座示意图；(c)是刀座角点示意图；

图5是按照本发明的优选实施例所构建的刀座倒角距离变换图示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图2所示，光源和工业相机等视觉组件固定在机械手上，被测刀座置于固定平台上，本发明的实施例中采用高亮度高均匀度且易散热的条形光源，两个光源分别置于工业相机的两侧，选取刀座的16个特征角点，角点位置分布如图3所示，图中标记的16个点即为角点，相机通过网线连接到工控机，工控机控制相机采集刀座图像。

如图1所示，一种基于单目视觉的盾构机滚刀刀座位姿测量方法，该方法包括下列步骤：

s1根据盾构机滚刀的刀座各个自由度的实际运动范围，以及依据测量精度设定的刀座运动每个自由度的步长，所述刀座按照设定的步长进行运动以此变换位姿，获取在不同位姿下刀座上各个角点在世界坐标系下的空间坐标，通过相机投影模型获得所有位姿下刀座各个角点的图像坐标，一个刀座位姿作为一个刀座位姿模板，以此形成包括有所有位姿的刀座位姿模板库；

s2采集待测量刀座所在位姿处的实际图像，对该实际图像进行处理，获得该实际图像中刀座各个角点的图像坐标以及只含角点的二值图像的倒角距离变换图；

s3通过倒角距离变换图，分别计算位姿库中每个模板与实际刀座之间的距离特征值，所有距离特征值中的最小值对应的位姿模板对应的刀座位姿即为所述待测量刀座的实际位姿；其中，所述距离特征值按照下列方式进行计算：

对于任意的位姿模板，将该位姿模板与所述倒角距离变换图进行比对，获取位姿模板中的各个角点在所述倒角距离变换图中对应的点，以此获得多个角点对应点，计算角点对应点与所述倒角距离变换图中各个角点之间的距离值，其中最小的距离值作为该角点对应点的倒角距离，构建所有角点对应点的倒角距离与所述距离特征值之间的关系式，计算获得位姿模板与倒角距离变换图之间的距离特征值。

进一步优选地，在步骤s1中，所述刀座位姿模板库的搭建，按照下列步骤进行：

s11将世界坐标系与相机坐标系重合，获取在不同位姿下，在相机坐标系中刀座上各个角点的世界坐标；

s12对相机进行标定，获得相机坐标系与图像坐标系的转换关系；

本实施例中，采用7×7的halcon圆形标定板，利用halcon标定助手对单目测量系统进行标定，标定得到的相机内部参数矩阵为：

其中，(cx,cy)为图像主点坐标，fx＝f*sx，fy＝f*sy，f为相机的有效焦距，sx、sy为像元的高、宽。

s13将步骤s1中获得的在相机坐标系中各个角点的世界坐标，利用步骤s12中获得的转换关系，计算获得在图像坐标系中刀座各个角点的图像坐标。

利用步骤s11获得的刀座各角点在相机坐标系下的三维坐标(xw,yw,zw)，以及步骤s12中的内部参数矩阵int，计算获得在图像坐标系中角点的图像坐标(u,v)，按照下列方式计算：

其中，s为尺度因子。

进一步优选地，在步骤s2中，所述实际图像对应的倒角距离变换图的获取按照下列步骤进行：

s21对刀座实际图像进行预处理获得多个感兴趣区域(roi)；对所有roi进行边缘提取，以此获得每个感兴趣区域对应的一条或多条闭合边界轮廓线，具体包括：

(1)对采集到的刀座图像进行预处理，首先对图像进行灰度化处理；

(2)对步骤(1)得到的灰度图像采用7×7的方形掩码进行中值滤波处理去除噪声，进一步增强图像对比度，突出刀座图片的边缘和角点；

(3)采用全局阈值分割方法，设定灰度值参数(70，255)对步骤(2)得到的图像进行分割，分离前景与背景，得到刀座roi；

(4)采用bresenham直线拟合算法，提取刀座轮廓，获得步骤(3)得到的每个roi的边界轮廓闭合曲线；

s22设定长度阈值范围，在所有闭合边界轮廓线中获取满足所述长度阈值范围的闭合边界轮廓线，对于每条满足长度阈值范围的闭合边界轮廓曲线，按照曲率将其进行分割，以此获得多条线段，在该多条线段中剔除长度小于预设最小长度阈值的线段，剩余的线段进行共线处理，共线处理后的线段为特征线段，具体包括：

(1)通过长度约束，筛选出如图4(a)所示的刀座外侧最大的两个轮廓曲线，将曲率作为曲线分割的约束，用长度至少6个像素点的直线或是弧线逼近两个轮廓曲线，完成轮廓曲线的分割；

(2)设定长度阈值50，对步骤(1)中分割得到的线段进行长度约束，去掉长度小于预设最小长度阈值的线段，得到如图4(b)所示的剩余线段，对于剩余线段，调用halcon中的共线算子对其进行处理，得到刀座的16条特征线段；

s23将所有边界轮廓曲线对应的特征线段两两相交，交点即为所需的16个特征角点，交点的图像坐标即为角点的图像坐标，以此获得如图4(c)所示的刀座16个特征角点的图像坐标；

s24根据所有角点的图像坐标，将角点作为目标前景，获得只含角点的二值图像，并求得二值图像的如图5所示的倒角距离变换图。

进一步地，在步骤s2中，获取倒角距离变换图为现有计算方法，直接调用halcon的距离转换算子即可实现，故在此不再累述。

进一步地，步骤s3中，获取所述待测量刀座的实际位姿，按照下列步骤进行：

s31对于所述刀座模板位姿数据库中的所有模板，将模板按照设定步长分为n层；

所述将模板按照设定步长分为n层，从第1层到第n层设定的步长逐渐增大，本实施例中，相邻层的步长设定为整数倍，对于第i层，任选一个模板作为初始模板后，根据设定的步长，即可获得该层中其他的模板，进而确定整层中所有的模板；

s32从第n层开始，通过倒角距离变换图，逐层计算每层中所有模板与实际刀座之间的距离特征值，直至在第1层中获得最小的距离特征值，该第1层中最小的距离特征值对应的模板的位姿即为所需的位姿；

逐层计算每层中所有模板与实际刀座之间的距离特征值，优选按照下列步骤进行：

(1)对于当前层，计算该当前层中可行域内所有模板与所述实际刀座对应的倒角距离变换图之间的距离特征值；

(2)当该当前层中的模板r对应的距离特征值在设定的可接受阈值范围内时，以所述模板r为中心设定搜索范围，获取在下一层中在所述搜索范围内所有的模板，该搜索范围即为所述下一层的可行域，将该下一层作为当前层，返回步骤(1)，直至当前层为第1层。

进一步优选地，在步骤(2)中，所述模板r为一个或者多个。

进一步优选地，在步骤s31中，所述将模板按照设定步长分为n层，从第1层到第n层，其预测分层步长逐渐增大。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。