基于标定点提取的手眼标定方法、系统及计算机存储介质与流程

本发明涉及机器视觉分拣领域，特别涉及一种基于标定点提取的手眼标定方法、系统及计算机存储介质。

背景技术

近年来，在机械臂的分拣领域，一般通过示教工业机械臂来指导工业机械臂抓取物料，采用这种方法需要将待抓取的工件固定到固定位置，然后示教机械臂到指定的位置抓取。采用这种方法对周围机械设备的要求较高，增加了设备成本；增加了工件预定位步骤，降低了生产效率；并且当工件的位置发生变化时，需要重新调整周围的机械设备并对机械臂重新编程，自适应性较差。

所以，为了降低生产成本，提高生产效率，提高自适应性，需要对传统的示教抓取方案做出改进。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于标定点提取的手眼标定方法、系统及计算机存储介质，能根据图像坐标，确定机械臂的实际抓取坐标，可以提高机械臂分拣的自适应性，提高机械臂的智能化水平，降低设备成本，提高生产效率。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供一种基于标定点提取的手眼标定方法，包括：

根据标定板提取标定点图像像素坐标和建立世界坐标系，确定摄像机坐标系与世界坐标系的相对关系；

根据标定板的标定点图像像素坐标，确定图像像素坐标与摄像机坐标之间的映射关系；

根据标定点和世界坐标系，建立机械臂用户坐标系，确定世界坐标系与机械臂用户坐标系之间的关系。

在一个可能的设计中，所述方法还包括：利用标定板提取标定点标定摄像机参数。

在一个可能的设计中，所述利用标定板提取标定点标定摄像机参数，包括：利用标定板，根据预设标定方法标定摄像机的内参数和畸变系数。

在一个可能的设计中，所述根据标定板提取标定点图像像素坐标和建立世界坐标系，确定摄像机坐标系与世界坐标系的相对关系，包括：

提取标定板上各个标定点图像像素坐标；

在标定板上建立世界坐标系，确定标定板各个标定点在世界坐标系下的世界坐标；

根据标定点图像像素坐标以及标定点在世界坐标系下的世界坐标，确定摄像机坐标系与世界坐标系的相对关系。

在一个可能的设计中，所述在标定板上建立世界坐标系，确定标定板各个标定点在世界坐标系下的世界坐标，包括：将标定板上的某一标定点设置为原点，原点与任意其他一个标定点的连线作为x轴，y轴在标定板平面，按照右手系建立世界坐标系，确定各个标定点pobji的世界坐标为{(xw1,yw1,0),(xw2,yw2,0),...(xwi,ywi,0)...(xwn,ywn,0)}，其中，xwi表示标定点世界坐标的x值，ywi表示标定点世界坐标的y值。

在一个可能的设计中，所述根据标定点图像像素坐标以及标定点在世界坐标系下的世界坐标，确定摄像机坐标系与世界坐标系的相对关系，包括：采用以下方式确定摄像机坐标系与世界坐标系的相对关系t1：

其中，t1为4×4的矩阵，r1为3×3旋转矩阵，t1为3×1的平移矩阵。

在一个可能的设计中，所述根据标定板的标定点图像像素坐标，确定图像像素坐标与摄像机坐标之间的映射关系，包括：

确定图像像素坐标与摄像机坐标理论映射关系；

结合已确定的图像像素坐标与摄像机坐标的理论映射关系，确定图像像素坐标与摄像机坐标的实际映射关系。

在一个可能的设计中，所述确定图像像素坐标与摄像机坐标理论映射关系，包括：空间中一个三维点p(xc,yc,zc)与摄像机光心相连，连线与成像平面相关于点p1(u,v)，点p1(u,v)为空间三维点p(xc,yc,zc)在成像平面上的投影，确定图像像素坐标映射到摄像机坐标的理论映射关系。

在一个可能的设计中，所述结合已确定的图像像素坐标与摄像机坐标的理论映射关系，确定图像像素坐标与摄像机坐标的实际映射关系，包括：

确定所有标定点在摄像机坐标系中的摄像机坐标；

将所有标定点的摄像机坐标拟合在一个平面上，确定图像像素坐标与摄像机坐标的映射关系。

在一个可能的设计中，所述根据标定点和世界坐标系，建立机械臂用户坐标系，确定世界坐标系与机械臂用户坐标系之间的关系；包括：设置建立机械臂用户坐标系；确定世界坐标系与机械臂用户坐标系之间的关系。

在一个可能的设计中，所述设置建立机械臂用户坐标系；包括：

设置用户坐标系原点与世界坐标系原点重合；

将用户坐标系原点与任意其他一个标定点的连线作为x轴方向，，y轴方向在世界坐标系xy平面，并按照右手系确定用户的z轴方向，建立用户坐标系。

在一个可能的设计中，所述确定世界坐标系与机械臂用户坐标系之间的关系；包括：世界坐标系与机械臂用户坐标系的位置关系为t2，可以采用以下方式来确定：

[xu,yu,zu,1]^t＝t2·[xw,yw,zw,1]^t

其中，(xu,yu,zu)为用户坐标，[xu,yu,zu,1]^t为[xu,yu,zu,1]的转置，[xw,yw,zw,1]^t为[xw,yw,zw,1]的转置。

在一个可能的设计中，所述根据标定点和世界坐标系，建立机械臂用户坐标系，确定世界坐标系与机械臂用户坐标系之间的关系；进一步包括：确定图像像素坐标(u,v)与机械臂用户坐标(xu,yu,zu)的映射关系，并采用以下方式确定两者之间的映射关系：

[xu,yu,zu,1]^t＝t2·[xw,yw,zw,1]^t。

在一个可能的设计中，所述根据标定点和世界坐标系，建立机械臂用户坐标系，确定世界坐标系与机械臂用户坐标系之间的关系；进一步包括：设置机械臂的运行参考坐标系为用户坐标系，根据图像像素坐标确定机械臂的运行抓取坐标。

根据本发明的另一个方面，提供一种基于标定点提取的手眼标定系统，应用于所述的基于标定点提取的手眼标定方法，所述系统包括：多标定板、摄像机、机械臂；其中：

所述标定板，用于提取标定点标定摄像机参数，提取标定点图像像素坐标，建立世界坐标系，确定摄像机坐标系与世界坐标系的相对关系；以及根据标定点和世界坐标系，建立机械臂用户坐标系，确定世界坐标系与机械臂用户坐标系之间的关系；

所述摄像机，用于建立摄像机坐标系，并根据标定点图像像素坐标，确定图像像素坐标与摄像机坐标系的映射关系；

所述机械臂，用于根据将用户坐标系作为运行参考坐标系，自主确定抓取位置。

一种计算机可读存储介质，所述计算机可读存储介质上存储有基于标定点提取的手眼标定方法程序，所述基于标定点提取的手眼标定方法程序被处理器执行时实现本发明实施例所述的基于标定点提取的手眼标定方法步骤。

与现有技术相比，本发明提供一种基于标定点提取的手眼标定方法、系统及计算机存储介质，通过利用标定板提取标定点标定摄像机内外参数的基础上，根据约束公式确定图像像素坐标与摄像机坐标之间的映射关系，然后确定摄像机坐标系与世界坐标系的关系，确定世界坐标系与机械臂用户作业坐标系的关系，从而确定了图像像素坐标与机械臂用户坐标的映射关系的技术方案，通过图像像素坐标得到机械臂的用户作业坐标(实际抓取坐标)，进而引导机械臂抓取动作，减少了示教过程，增加了机械臂作业的自适应性，提高机械臂的智能化水平，降低设备成本，提高生产效率。

附图说明

图1是本发明实施例提供的一种基于标定点提取的手眼标定方法流程图；

图2是本发明实施例提供的一种摄像机成像的示意图；

图3是本发明实施例提供摄像机安装位置及坐标系相对位置示意图；

图4为本发明实施例提供的一种基于标定点提取的手眼标定系统的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

本发明提供一种基于标定点提取的手眼标定方法，利用标定板提取标定点标定摄像机内外参数的基础上，根据约束公式确定图像像素坐标与摄像机坐标之间的映射关系，然后确定摄像机坐标系与世界坐标系的关系，确定世界坐标系与机械臂用户作业坐标系的关系，从而确定了图像像素坐标与机械臂用户坐标的映射关系的技术方案，通过图像像素坐标得到机械臂的用户作业坐标(实际抓取坐标)，进而引导机械臂抓取动作，减少了示教过程，增加了机械臂作业的自适应性，提高机械臂的智能化水平，降低设备成本，提高生产效率。

请参考图1。本发明实施例提供一种基于标定点提取的手眼标定方法，包括：

s1、利用标定板提取标定点标定摄像机参数；

s2、根据标定板提取标定点图像像素坐标和建立世界坐标系，确定摄像机坐标系与世界坐标系的相对关系；

s3、根据标定板的标定点图像像素坐标，确定图像像素坐标与摄像机坐标之间的映射关系；

s4、根据标定点和世界坐标系，建立机械臂用户坐标系，确定世界坐标系与机械臂用户坐标系之间的关系。

进一步地，利用标定板提取标定点标定摄像机参数的步骤s1，具体包括：

确定摄像机的参数。利用标定板，根据预设标定方法标定摄像机的内参数m1和畸变系数dis。其中，所述预设标定方法如下：

dis＝[k1k2p1p2k3](2)

其中，fx，fy为摄像机焦距。cx，cy为主点像素坐标。k1，k2，k3为径向畸变系数，p1，p2为切向畸变系数。

进一步地，根据标定板提取标定点图像像素坐标和建立世界坐标系，确定摄像机坐标系与世界坐标系的相对关系的步骤s2，具体包括：

请参考图3。将标定板平面贴在工作平面上方，与工作平面平行，标定板上标定点的位置是固定不变的，标定点的形式为角度或圆点。

提取标定板上各个标定点图像像素坐标。

在标定板上建立世界坐标系，世界坐标系的xy平面位于标定板平面，确定标定板各个标定点在世界坐标系下的世界坐标。

根据标定点图像像素坐标以及标定点在世界坐标系下的世界坐标，利用3d-2d姿态估计pnp方法确定摄像机坐标系与世界坐标系的相对关系t1。

具体过程如下：

s21、将标定板上的某一标定点设置为原点，原点与任意其他一个标定点的连线作为x轴，y轴在标定板平面按照右手系建立世界坐标系，确定各个标定点pobji的世界坐标为{(xw1,yw1,0),(xw2,yw2,0),...(xwi,ywi,0)...(xwn,ywn,0)}，其中，xwi表示标定点世界坐标的x值，ywi表示标定点世界坐标的y值。

s22、提取标定点的图像像素坐标为{(u1,v1),(u2,v2),...(ui,vi),...(un,vn)}，其中，ui为标定点图像的横坐标，vi为标定点图像的纵坐标。

s23、设置摄像机坐标系与镜头的相对位置固定，原点与光点重合，z轴与光轴重合。

s24、根据标定点图像像素坐标以及标定点在世界坐标系下的世界坐标，利用3d-2d姿态估计方法pnp，获得世界坐标系与摄像机坐标系的相对位置。

所述pnp估计方法如下：标定板上的n个标定点p和其投影p，利用李代数ζ表示相机坐标系在基坐标系下的位姿，标定点的坐标为pi＝[xwiywizwi]^t，其投影的像素坐标为pixeli＝[uivi]^t，像素位置和空间点位置的关系如下：其中k为摄像机的内参数矩阵，ζ^∧为ζ的反对称矩阵，对公式最小化。

根据最小化结果，获得世界坐标系与摄像机坐标系的相对位置t1：

其中，t1为4×4的矩阵，r1为3×3旋转矩阵，t1为3×1的平移矩阵。

进一步地，根据标定板的标定点图像像素坐标，确定图像像素坐标与摄像机坐标之间的映射关系的步骤s3，具体包括：

图像像素坐标与摄像机坐标的映射关系，可以通过以下方式来确定：

s31、确定图像像素坐标与摄像机坐标的理论映射关系

如图2所示，空间中一个三维点p(xc,yc,zc)与摄像机光心相连，连线与成像平面相关于点p1(u,v)，点p1(u,v)为空间三维点p(xc,yc,zc)在成像平面上的投影。由三角相似关系，确定图像像素坐标映射到摄像机坐标具有以下理论映射关系：

s32、结合已确定的图像像素坐标与摄像机坐标的理论映射关系，确定图像像素坐标与摄像机坐标的实际映射关系。

将标定板贴在工作平面上，采集多幅标定板图像，计算确定所有标定点在摄像机坐标系中的摄像机坐标。

将所有标定点的摄像机坐标拟合在一个平面上，确定图像像素坐标与摄像机坐标的映射关系。

具体过程如下：

a)确定所有标定点在摄像机坐标系中的摄像机坐标。

对s31中的理论映射关系公式(5)进行约束。

各标定点世界坐标为{(xw1,yw1,0),(xw2,yw2,0),...(xwi,ywi,0)...(xwn,ywn,0)}，根据公式(4)计算得到所有标定点在摄像机坐标系下的摄像机坐标为pci＝{(xc1,yc1,zc1),(xc2,yc2,zc2),...(xci,yci,zci)...(xcn,ycn,zcn)}。

b)将所有标定点的摄像机坐标pci拟合在一个平面内。

利用所有标定点的世界坐标构造矩阵tsvd，tsvd＝[xw1,yw1,zw1；xw2,yw2,zw2；...；xwn,ywn,zwn]；

对矩阵tsvd进行svd分解(singularvaluedecomposition，奇异值分解)，获得拟合平面的单位法向量n＝(nx,ny,nz)；所述svd分解为：

tsvd＝uσv^t

其中，σ为奇异值组成的n×3对角矩阵，对角线元素从大到小排列；u为n×n的方阵，v^t为3×3的矩阵；v^t里面对应奇异值最小的向量为拟合平面的法向量对法向量进行单位化。

利用单位法向量n和(x0,y0,z0)((x0,y0,z0)为所有摄像机坐标的平均值)确定得到以下拟合平面约束公式(6)：

nx(xc-x0)+ny(yc-y0)+nz(zc-z0)＝0(6)

其中，(xc,yc,zc)为工作平面内任意点的摄像机坐标。

c)对图像像素坐标(u,v)进行畸变矫正，矫正后的图像像素坐标为(u′,v′)：

u′＝u+u(1+k1r²+k2r⁴+k3r⁶)+[2p1u+vp2(r²+2u²)](7)

v′＝v+v(1+k1r²+k2r⁴+k3r⁶)+[p1(r²+2v²)+2p2u](8)

其中，r²＝u²+v²。

d)根据矫正后的图像像素坐标(u′,v′)，得到图像像素坐标与摄像机坐标的实际映射关系。

根据上述公式(5)和公式(6)，采用以下公式(9)确定图像像素坐标与摄像机坐标的实际映射关系。

进一步地，根据标定点和世界坐标系，建立机械臂用户坐标系，确定世界坐标系与机械臂用户坐标系之间的关系的步骤s4，具体包括：

请参考图3。

s41、设置建立机械臂用户坐标系。具体包括：

s411、设置用户坐标系原点与世界坐标系原点重合。

可以通过在机械臂的末端安装针尖，用针尖戳世界坐标系原点使用户坐标系原点与世界坐标系原点重合。

s412、将用户坐标系原点与任意其他一个标定点的连线作为x轴方向，y轴方向在世界坐标系xy平面，并按照右手系确定用户的z轴方向，建立用户坐标系。

可以通过将针尖移动到另一个标定点，设置原点到该标定点的方向为x轴方向，y轴方向在世界坐标系xy平面，并按照右手系确定用户的z轴方向。

s42、确定世界坐标系与机械臂用户坐标系之间的关系。世界坐标系与机械臂用户坐标系的位置关系为t2，可以采用以下方式来确定：

[xu,yu,zu,1]^t＝t2·[xw,yw,zw,1]^t(11)

其中，(xu,yu,zu)为用户坐标，[xu,yu,zu,1]^t为[xu,yu,zu,1]的转置，[xw,yw,zw,1]^t为[xw,yw,zw,1]的转置。

在图3中，由于用户坐标系原点与世界坐标系原点重合，所以，在图3中，世界坐标系与机械臂用户坐标系在工作平台上显示是重合的。

s43、利用公式(4)、(10)、(11)确定图像像素坐标(u,v)与机械臂用户坐标(xu,yu,zu)的映射关系。

s44、设置机械臂的运行参考坐标系为用户坐标系，则根据图像像素坐标可以确定机械臂的运行抓取坐标。

请参考图4。本发明实施例提供了一种基于标定点提取的手眼标定系统，包括：标定板、摄像机、机械臂；其中：

该标定板，用于提取标定点标定摄像机参数，提取标定点图像像素坐标，建立世界坐标系，确定摄像机坐标系与世界坐标系的相对关系；以及根据标定点和世界坐标系，建立机械臂用户坐标系，确定世界坐标系与机械臂用户坐标系之间的关系；

该摄像机，用于建立摄像机坐标系，并根据标定点图像像素坐标，确定图像像素坐标与摄像机坐标系的映射关系；

该机械臂，用于根据将用户坐标系作为运行参考坐标系，自主确定抓取位置，抓取工件。

需要说明的是，上述的基于标定点提取的手眼标定系统实施例与方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在基于标定点提取的手眼标定系统实施例中均对应适用，这里不再赘述。

另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有基于标定点提取的手眼标定方法的一个或者多个程序，所述基于标定点提取的手眼标定方法的一个或者多个程序被处理器执行时以实现本发明实施例提供的基于标定点提取的手眼标定方法的以下步骤：

s1、利用标定板提取标定点标定摄像机参数；

s2、根据标定板提取标定点图像像素坐标和建立世界坐标系，确定摄像机坐标系与世界坐标系的相对关系；

s3、根据标定板的标定点图像像素坐标，确定图像像素坐标与摄像机坐标之间的映射关系；

s4、根据标定点和世界坐标系，建立机械臂用户坐标系，确定世界坐标系与机械臂用户坐标系之间的关系。

需要说明的是，上述计算机可读存储介质上的基于标定点提取的手眼标定方法实施例与方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在上述计算机可读存储介质的实施例中均对应适用，这里不再赘述。

本发明提供一种基于标定点提取的手眼标定方法、系统及计算机存储介质，通过利用标定板提取标定点标定摄像机内外参数的基础上，根据约束公式确定图像像素坐标与摄像机坐标之间的映射关系，然后确定摄像机坐标系与世界坐标系的关系，确定世界坐标系与机械臂用户作业坐标系的关系，从而确定了图像像素坐标与机械臂用户坐标的映射关系的技术方案，通过图像像素坐标得到机械臂的用户作业坐标(实际抓取坐标)，进而引导机械臂抓取动作，减少了示教过程，增加了机械臂作业的自适应性，提高机械臂的智能化水平，降低设备成本，提高生产效率。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。