基于视觉引导的工业机器人自动销孔装配的方法与流程

本发明涉及自动控制领域，具体涉及一种基于视觉引导的机械臂自动销孔装备的方法与系统。

背景技术：

销孔装配是工业生产线上工业机器人的一项重要工作。目前工业生产线上大部分的机器人仅能通过传统示教的方式在严格定义的结构化环境执行预定指令。这种方式存在两个问题，第一，对于环境的改变无法做出相应的调整，鲁棒性很差；第二，即使执行相同的指令，机器人的运动都会产生误差，影响插孔结果。近年来，利用视觉引导技术已经成为工业机器人获得周围环境和减小误差的主要手段，它使工业机器人有了一定的自主判断能力，增加了作业系统的灵活性和鲁棒性。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种基于视觉引导的工业机器人自动销孔装配的方法。

根据本发明提供的一种基于视觉引导的工业机器人自动销孔装配的方法，包括：

步骤1：在机械臂上安装摄像机；标定摄像机内参，获取摄像机坐标系与机器人坐标系的转换关系；

步骤2：获取与待抓取定位销对应的特征模板图像作为识别定位依据；移动机械臂到定位销待抓取位置，摄像机采集待抓取定位销的数字图像，记为第一数字图像；

步骤3：将第一数字图像与特征模板图像进行匹配，得到待抓取定位销的旋转角度及待抓取定位销的中心在机器人坐标系下的坐标；根据所述待抓取定位销的旋转角度及待抓取定位销的中心在机器人坐标系下的坐标，调整机械臂对定位销进行抓取；

步骤4：利用机械臂上的末端执行器调整抓取后的定位销姿态，使定位销竖直向下；移动机械臂到待插孔位置，即定位销位于销孔的上方；

步骤5：获取离线标定出的定位销在能够插入销孔的位置时的销孔图像标准圆心坐标、销孔图像标准半径R1，记为标准位置；摄像机采集销孔的数字图像，记为第二数字图像；

步骤6：在第二数字图像中识别出销孔图像圆心坐标、销孔图像半径，并利用销孔实际半径与销孔图像半径，通过摄像机内参得到深度相对偏差；并计算销孔图像圆心坐标与销孔图像标准圆心坐标的平面相对偏差；

若深度相对偏差、平面相对偏差均小于设定的偏差阈值，则进入步骤8继续执行；否则，则将深度相对偏差与平面相对偏差转换到机器人坐标系下，继续步骤7继续执行；

步骤7：根据机器人坐标系下的深度相对偏差与平面相对偏差，移动机械臂来消除偏差，进入步骤5继续执行；

步骤8：控制机械臂将定位销垂直插入销孔中。

优选地，在所述步骤1中：

摄像机坐标系与机器人坐标系的转换关系为：

T_CW＝T_CE*T_EW；

其中，T_CW表示摄像机坐标系与机器人坐标系变换矩阵，T_EW表示机器人末端与机器人的坐标变换关系，T_CE表示摄像机相对于机器人末端的外参数。

优选地，在所述步骤2中：

所述特征模板图像以定位销的边缘轮廓作为特征；

所述定位销待抓取位置，是指移动摄像机至定位销存放平台上的设定高度，使摄像机光轴垂直于定位销存放平台的台面所在平面。

优选地，所述步骤3包括：

通过与特征模板图像进行匹配，在第一数字图像中得到相同的边缘轮廓；对通过匹配所得的边缘轮廓建立最小包络矩形，计算出最小包络矩形的中心点在第一数字图像中的坐标以及最小包络矩形的长边的旋转角度；所述最小包络矩形的长边的旋转角度是指，所述最小包络矩形的长边相对于特征模板图像中边缘轮廓所对应最小包络矩形的长边的夹角；

根据所述最小包络矩形的中心点在第一数字图像中的坐标以及最小包络矩形的长边的旋转角度，利用摄像机内参，得到最小包络矩形在摄像机坐标系下的位姿，并通过所述摄像机坐标系与机器人坐标系的转换关系，得到最小包络矩形在机器人坐标系中的位姿；

根据最小包络矩形在机器人坐标系中的位姿，调整机械臂抓取定位销。

优选地，在所述步骤4中：

所述移动机械臂到待插孔位置，是指：移动夹取定位销后的机械臂至销孔上方，旋转末端执行器的转轴，保持定位销和摄像机光轴都平行销孔轴向。

优选地，所述步骤6包括：

在第二数字图像中提取圆或圆弧的轮廓，拟合得到销孔图像圆心坐标、销孔图像半径；

计算深度相对偏差：

$\mathrm{\Δ}z=rf\left(\frac{(R1-R2)}{(R1\×R2)}\right)$

其中，Δz表示深度相对偏差，r表示销孔实际半径，f为摄像机焦距，R1为销孔图像标准半径，R2为销孔图像半径；

计算销孔图像圆心坐标与销孔图像标准圆心坐标的平面相对偏差；

利用销孔图像半径R2与销孔实际半径r的比例，将深度相对偏差、平面相对偏差分别转变为深度实际偏差、平面实际偏差。

优选地，所述步骤7包括：

根据深度实际偏差、平面实际偏差移动移动机械臂来消除偏差。

优选地，摄像机为CCD工业相机；执行器末端有一转轴用于调整定位销方向。

与现有技术相比，本发明具有如下的有益效果：

本发明利用CCD工业相机作为视觉系统，采用定位销轮廓识别算法、定位算法，完成包括定位销的识别、定位、抓取以及插孔等作业任务。本发明可精确估计定位销在空间中的位姿，精度高。本发明中图像匹配和识别均基于轮廓，容易实现，实时性好。本发明实现了基于单目手眼机械臂从零件抓取到插销作业的完全自动化，同时保持了硬件成本，提高了机器人的工作效率和质量。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的主流程示意图。

图2是本发明中机械臂与相机坐标系转换的关系图。

图3是本发明所运用的末端执行器的结构图。

图4是本发明机械臂抓取定位销的结构主视图。

图5是本发明机械臂插孔作业时的结构主视图。

图中：

1-定位销

2-销孔

3-机械臂

4-摄像机

5-末端执行器

6-定位销存放平台

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明涉及工业自动化控制，针对当前工业控制中采用示教方式进行销孔装配中所产生的误差提供一种基于视觉反馈自动化定位销抓取及插孔作业的方法。该方法具体包括如下步骤：步骤一，建立系统参数化模型并完成手眼相机标定；步骤二，确定不同尺寸定位销特征模板；步骤三，在实际工件图像中搜索模板实例，并确定定位销位姿；步骤四，机器人按照计算的轨迹完成定位销抓取并调整抓取姿态；步骤五，确定可执行插孔作业时的圆孔在图像中的半径和圆心坐标，记为标准位置；步骤六，机器人移动到插孔上方附近，根据圆孔实际尺寸和图像大小，利用相机模型估计相机当前位置与标准位置的实际误差，并移动机械臂；步骤七，重复步骤五，六至机械臂移动到标准位置，完成插孔。

根据本发明提供的一种基于视觉引导的工业机器人自动销孔装配的方法，包括：

步骤1：在机械臂上安装摄像机；标定摄像机内参，获取摄像机坐标系与机器人坐标系的转换关系；

步骤2：获取与待抓取定位销对应的特征模板图像作为识别定位依据；移动机械臂到定位销待抓取位置，摄像机采集待抓取定位销的数字图像，记为第一数字图像；

步骤3：将第一数字图像与特征模板图像进行匹配，得到待抓取定位销的旋转角度及待抓取定位销的中心在机器人坐标系下的坐标；根据所述待抓取定位销的旋转角度及待抓取定位销的中心在机器人坐标系下的坐标，调整机械臂对定位销进行抓取；

步骤4：利用机械臂上的末端执行器调整抓取后的定位销姿态，使定位销竖直向下；移动机械臂到待插孔位置，即定位销位于销孔的上方；

步骤5：获取离线标定出的定位销在能够插入销孔的位置时的销孔图像标准圆心坐标、销孔图像标准半径R1，记为标准位置；摄像机采集销孔的数字图像，记为第二数字图像；

步骤6：在第二数字图像中识别出销孔图像圆心坐标、销孔图像半径，并利用销孔实际半径与销孔图像半径，通过摄像机内参得到深度相对偏差；并计算销孔图像圆心坐标与销孔图像标准圆心坐标的平面相对偏差；

若深度相对偏差、平面相对偏差均小于设定的偏差阈值，则进入步骤8继续执行；否则，则将深度相对偏差与平面相对偏差转换到机器人坐标系下，继续步骤7继续执行；

步骤7：根据机器人坐标系下的深度相对偏差与平面相对偏差，移动机械臂来消除偏差，进入步骤5继续执行；

步骤8：控制机械臂将定位销垂直插入销孔中。

优选地，在所述步骤1中：

摄像机坐标系与机器人坐标系的转换关系为：

T_CW＝T_CE*T_EW；

其中，T_CW表示摄像机坐标系与机器人坐标系变换矩阵，T_EW表示机器人末端与机器人的坐标变换关系，T_CE表示摄像机相对于机器人末端的外参数。

优选地，在所述步骤2中：

所述特征模板图像以定位销的边缘轮廓作为特征；

所述定位销待抓取位置，是指移动摄像机至定位销存放平台上的设定高度，使摄像机光轴垂直于定位销存放平台的台面所在平面。

优选地，所述步骤3包括：

通过与特征模板图像进行匹配，在第一数字图像中得到相同的边缘轮廓；对通过匹配所得的边缘轮廓建立最小包络矩形，计算出最小包络矩形的中心点在第一数字图像中的坐标以及最小包络矩形的长边的旋转角度；所述最小包络矩形的长边的旋转角度是指，所述最小包络矩形的长边相对于特征模板图像中边缘轮廓所对应最小包络矩形的长边的夹角；

根据所述最小包络矩形的中心点在第一数字图像中的坐标以及最小包络矩形的长边的旋转角度，利用摄像机内参，得到最小包络矩形在摄像机坐标系下的位姿，并通过所述摄像机坐标系与机器人坐标系的转换关系，得到最小包络矩形在机器人坐标系中的位姿；

根据最小包络矩形在机器人坐标系中的位姿，调整机械臂抓取定位销。

优选地，在所述步骤4中：

所述移动机械臂到待插孔位置，是指：移动夹取定位销后的机械臂至销孔上方，旋转末端执行器的转轴，保持定位销和摄像机光轴都平行销孔轴向。

优选地，所述步骤6包括：

在第二数字图像中提取圆或圆弧的轮廓，拟合得到销孔图像圆心坐标、销孔图像半径；

计算深度相对偏差：

$\mathrm{\Δ}z=rf\left(\frac{(R1-R2)}{(R1\×R2)}\right)$

其中，Δz表示深度相对偏差，r表示销孔实际半径，f为摄像机焦距，R1为销孔图像标准半径，R2为销孔图像半径；

计算销孔图像圆心坐标与销孔图像标准圆心坐标的平面相对偏差；

利用销孔图像半径R2与销孔实际半径r的比例，将深度相对偏差、平面相对偏差分别转变为深度实际偏差、平面实际偏差。

优选地，所述步骤7包括：

根据深度实际偏差、平面实际偏差移动移动机械臂来消除偏差。

优选地，摄像机为CCD工业相机；执行器末端有一转轴用于调整定位销方向。

下面对本发明进行更为具体地说明。

本发明提供的一种基于视觉引导的工业机器人自动销孔装配的方法包括以下步骤：

步骤1：采用非线性模型相机的线性标定方法，采用平面靶标，通过多视点采集靶标图像，实现相机内参的标定。

如图2所示，利用平面靶标建立靶标坐标系G，假设W为机器人坐标系，E为机器人末端坐标系，C为相机坐标系。另设TCG为相机对于靶标的外参数。固定TWG，获取三组不同的TCG，通过离线方式计算出摄像机相对于机器人末端的外参数TCE，即所求手眼标定的参数。TEW可时时读取，因此相机坐标系与机器人坐标系的转换关系也可时时求出TCW＝TCE*TEW。

步骤2：确定待抓取定位销的特征模板。本发明中，以定位销的图像轮廓作为特征，用于下一步模板匹配算法的依据。如图4所示，移动相机至存放定位销平台上固定高度Z1，使相机光轴垂直于平面，并获取图像。利用背光光源增强图像的对比度。进行图像滤波预处理和图像增强预处理，降低噪声的影响，并从图像中减去末端执行器遮挡的部分。

步骤3：根据待抓取定位销特征模板在获取的图像中利用高精度广义霍夫变换匹配相同的边缘轮廓。该算法在零件贴合的情况下仍具有强鲁棒性。通过匹配所得的边缘轮廓计算最小包矩形，计算出矩形的中心点在图像平面内的XY坐标以及长边延X轴旋转的角度。根据所求中心点XY坐标和旋转角度，利用相机内参计算其在像极坐标系下的位姿，并通过步骤1标定的转换关系转换到机器人坐标系中，调整机械臂末端执行器进行抓取。

步骤4：如图3所示利用末端执行器调整抓取后的定位销姿态使其竖直向下。

步骤5：离线标定出当定位销能够垂直插入小孔时，其圆心在图像中的XY坐标和图像半径R1，记为标准图像坐标和半径。如图5所示，移动夹取定位销后的机械臂至孔上方，保持定位销和相机光轴都垂直小孔平面。获取图像，进行图像滤波预处理和图像增强预处理，降低噪声的影响，并从图像中减去末端执行器遮挡的部分。

步骤6：提取圆或部分圆的轮廓，用最小二乘法拟合圆的圆心和半径。利用之前标定的相机内参和公式。估计出相机距离标准深度的相对偏差。期中r表示圆孔的实际半径，f为相机焦距，R2为图像中圆孔的半径。计算图像圆心坐标与标准位置圆心坐标的偏差，利用圆图像半径R2与实际半径r的比例将图像偏差转变为实际偏差。

步骤7：将计算的深度相对偏差与平面内的实际偏差转换到机器人坐标系，并移动机械臂。多次重复上述步骤5、6，使误差为零，即达到标定的标准位置，垂直插入，完成插销过程。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。