专利名称：：一种用于机器人制孔系统的手眼视觉标定方法
技术领域：
：本发明涉及一种用于机器人制孔系统的手眼视觉标定方法，属于先进制造与自动化领域。
背景技术：
：机器人制孔系统作为一种较新的自动化技术，对于飞机制造以及其他需要大量制孔的工业领域有着重要意义。为了实现机器人制孔系统的智能化和柔性化，需要为机器人加装视觉系统。通过视觉系统可以为机器人的制孔过程提供导航和定位信息。现有技术中，机器人视觉主要有激光视觉或摄像机视觉两种视觉传感方式。前者主要是利用激光跟踪仪等设备获取目标点位置信息，其特点是精度高，伹是设备价格昂贵而且得到的信息比较单一。摄像机视觉在机器人系统中也较为广泛，其特点是信息量大，速度较快，精度及自动化程度较高且成本相对较低，因此基于摄像机的手眼视觉可以适用于机器人制孔系统，手眼关系的标定是手眼视觉技术应用的关键环节。以前的手眼l见觉标定方法大多将摄像机的内、外参数同时求解出来，其过程复杂需要求解大量矩阵齐次变换方程AX=XB(Y.C.ShiuandS.Ahmad,"Calibrationofwrist-mountedroboticsensorsbysolvinghomogeneoustransformequationsoftheformAX=XB，，，IEEETrans.Robot.Automat.，vol.5,pp.16-29，Feb.1989)，这些方法在计算过程中由于计算机舍入误差的积累最终影响标定精度。除此之外还可采用三坐标测量设备进行手眼标定(周富强、张广军，现场双经纬仪三维坐标测量系统U].机械工程学报,vol.40,No.l，2004，pp.l65-169)，但该方法成本高，且不适用于在工业环境下的现场标定。Productmanuals,ABBRobotDocumentIRB1410M2004,2004公开了机器人"四点法"，用于标定机器人末端TCP(ToolCenterPoint)。机器人工作前在所加工的零件上建立一个坐标系，此坐标系即为工件坐标系，机器人通常工作在工件坐标系下。例如工件坐标系的建立可以由"三点法"标定得到，见Productmanuals,ABBRobotDocumentIRB1410M2004,2004。工件坐标系是根据工件自由建立的，而且建立的方法不仅限于"三点法"，甚至可以把机器人基坐标系也建立为工件坐标系，工件坐标系的目的是为了方便机器人对工件的加工。对于机器人制孔系统而言，由于机器人末端执行器要始终垂直于工件表面，手眼关系中的摄像机深度信息并不重要，因此可以将标定方法进行简化从而减少不必要的计箅增强现场标定的可靠性与实用性。
发明内容6本发明的目的是为了解决现有技术存在的上述不足和缺陷，提供一种用于机器人制孔系统的二维手眼视觉标定方法，该方法操作简便易于掌握，计算量少，成本低且具有较高的精度，能够满足机器人制孔系统在生产过程中的应用需要。本发明的一种用于机器人制孔系统的手眼视觉标定方法，包括以下几个步骤首先标定出机器人末端执行器上的工具坐标系原点即TCP,在所拍摄的平面内建立景物坐标系然后拍摄此平面内的两点，并用TCP接触这两点从而得到摄像机成像坐标系与景物坐标系之间的关系，并利用此关系计算出TCP在景物坐标系中的位置关系。最后，通过建立的景物坐标系作为中间转换坐标系间接得到了TCP与摄像机成像坐标系之间的位置关系，即得到了手眼关系。具体为步骤一:利用"四点法"将机器人末端执行器的刀具中心点标定为工具坐标系原点即TCP;步骤二将标定模板平面与机器人基坐标系底平面平行放置；步骤三调整机器人末端与摄像机同时垂直于标定模板；步骤四记录摄像机拍摄标定模板成清晰图像时，工具坐标系TCP的位置，在图像中选择任意两点"与P'2，并计算出两点在摄像机成像坐标系？o'/中的位置以及与坐标系;c轴所成的夹角y;步骤五用TCP点接触标定模板上确定的A与A，并记录A与A在机器人基坐标系W中的位置坐标，计算出A与P2连线在机器人基坐标系W中与坐标系&轴所成的夹角^;步骤六计算机器人末端TCP距离标定模板高度为Z/w时摄像机成像坐标xV/系与景物坐标系x炒的比例关系k;步骤七计算摄像机成像坐标系foy与景物坐标系，之间的旋转角度、位置转换关系、TCP在景物坐标系x^中的位置坐标以及TCP在摄像机成像坐标系;cV/中对应的位置关系，得到机器人手眼的相对关系；步骤八确定目标点在景物坐标系辟中的位置，得到目标点在机器人的工件坐标系中的位置坐标，实现目标点的定位并为机器人制孔提供导航信息。本发明的优点在于本发明忽略了手眼关系中摄像机的深度信息，将标定过程转化为几何关系，标定过程简便，计算量小，不需要昂贵的三坐标测量设备且精度较高，具有较高的实用价值，能够满足机器人制孔系统的实际工作需求。图1是本发明的一种用于机器人制孔系统的手眼视觉标定方法的流程图2是本发明的坐标系在器人制孔系统中的关系示意图3是本发明的步骤一到步骤七中的坐标示意图；图4是本发明的步骤八中的坐标示意图。具体实施例方式下面将结合附图和实施例对本发明作进一步的详细说明。本发明是一种用于机器人制孔系统的手眼视觉标定方法，流程如图1所示，包括以下几个步骤本发明所用的坐标系转换关系，如图2所示，其中W为机器人的世界坐标系(WorldCoordinate),通常此坐标系与机器人基坐标系重合，本发明中所述的世界坐标系与基坐标系表示的是同一个坐标系。E为机器人末端坐标系，在工业机器人中此坐标系一般称为工具坐标系(ToolCoordinate),此坐标系的原点为TCP(ToolCenterPoint)。C为摄像机成像坐标系(ImagingCoordinate)。景物坐标系x炒定义在摄像机所拍摄的平面，其原点。为摄像机成像坐标系xV/原点在摄像机所拍摄的平面中的对应点即摄像机所能拍摄最大范围的左上角点，其坐标轴x、j;与摄像机成像坐标系x、y'平行。步骤一:利用"四点法"将机器人末端执行器的刀具中心点标定为工具坐标系原点即TCP。利用机器人工具坐标系的"四点法"将机器人末端执行器上刀具的中心尖点标定为TCP,如图3所示，其中P点代表末端执行器上的TCP,ZX与iX分别代表平行机器人基坐标系两坐标轴的方向，P点在景物坐标系x炒中的坐标为(Xp,力)。步骤二将标定丰莫板平面与机器人基坐标系底平面平行放置。将所用的标定模板放在平台上，调整平台使标定模板所在平面与机器人基坐标系底平面平行。步骤三调整机器人末端与摄像机同时垂直于标定模板。使机器人末端垂直于机器人基坐标系底平面，通过安装或调节摄像机光轴，使得摄像机也垂直于机器人基坐标系底平面，此时机器人末端与摄像机同时垂直于标定模板。步骤四记录摄像机拍摄标定模板成清晰图像时，工具坐标系TCP的位置，在图像中选择任意两点/^与P'2,并计算出两点在摄像机成像坐标系xV/中的位置以及与坐标系;c'轴所成的夹角^。用摄像机拍摄标定模板并调整机器人末端TCP与标定模板之间的距离，直到拍摄所成的图像清晰为止，记录此时由机器人系统得到的TCP的坐标值为(《，《，《)。在图像中选择拍摄到的任意两点/^与P'2，如图3所示，摄像机成像坐标系为x'o'/，两个点分别为/^与P'2，P'i与P'2在摄像机成像坐标系xV/中的位置坐标为(:c',，/,)与(;c'2,/2)，标定模板上与/^与p'2对应的两点记为A与A，坐标为0q")与",:^)，根据直角三角形的边角关系可以计算出W与户'2连线HAP'』的距离为1IZi^ll为摄像机成像坐标系xVy内P、与P'2两点间连线距离的像素值；P',与P'2两点连线与x'轴的夹角n一1414(2)x一c2步骤五用TCP点接触标定模板上确定的A与A，并记录A与A在机器人基坐标系W中的位置坐标，计算出p,与A连线在机器人基坐标系W中与坐标系xw轴所成的夹角e。用TCP点接触标定丰莫板上在步骤四中选择的A与P2,通过工具坐标系E到机器人基坐标系W的转换可以从工业机器人系统中得到A与P2两点在机器人基坐标系W中的位置坐标分别为(《，,，《)与(《，K，《)，因为A与A所在标定模板平面与机器人基坐标系底面平行，因此两点在在轴方向的值相同，即z「-《，则与步骤四同理计算出A与A连线的距离M,-《)(3)II^aII为景物坐标系x炒中a与p2两点连线的实际距离；A与A连线与基坐标系&轴方向的夹角^:W^ff(4)由于机器人末端垂直于标定模板因此用步骤四记录的拍摄清晰时TCP的位置坐标以及TCP与标定模板上a或a点接触时TCP的位置坐标在机器人基坐标系Z轴方向的值相减，算出拍摄清晰时TCP距标定模板垂直距离，此距离将作为定位时机器人末端TCP距离标定模板的高度/^:"w=Izp-《1=卜广《1(5)步骤六计算机器人末端TCP距离标定模板高度为/^时摄像机成像坐标xV/系与景物坐标系x炒的比例关系k。在机器人末端TCP距离标定模板的高度为/^时，将步骤四及步骤五中确定的|2||、||p,P2|相比，计箅出在此高度时摄像机的放大率，即摄像机成像坐标系xV/与景物坐标系x炒的比例关系。如图3所示，摄像机成像坐标系为xV/，与之对应的景物坐标系为xcy。步骤四中在图像中选择任意两点为P't与P'2,在摄像机成像坐标系xV/中的位置坐标为(x',，")与(〈，/2)A与A在景物坐标系加少的位置坐标分别记为(A，乂)与(A,h)。由于景物坐标系x炒与摄像机成像坐标系;c'o'/平行，因此a，a连线与景物坐标系;c轴夹角也为^，且摄像机成像坐标系xV/与景物坐标系XC^为比例放大关系，比例系数&为(6)||筋则景物坐标系x"中的(">0与摄像机成像坐标系为x'o'/中(x'、y')的关系为(7)由步骤四得到的与坐标，也就得到了a与a在景物坐标系中的具体坐标值分别为(Wi)"(iJ'i)(8)(W2)"(2，力)(9)步骤七:计算摄像机成像坐标系xV/与景物坐标系，之间的旋转角度、位置转换关系、TCP在景物坐标系;c炒中的位置坐标以及TCP在摄像机成像坐标系;cVy中对应的位置关系，得到机器人手眼的相对关系。由户',与A2两点连线与？轴的夹角^与S与尸2连线与基坐标系&轴方向的夹角0得到景物坐标系加y相对于世界坐标系W的转角-为-.一-y(10)根据步骤四得到的拍摄清晰时TCP的位置坐标(^,^，)以及步骤五中A在机器人基坐标系W中的位置坐标(<，《，《)，得出TCP从拍摄位置到与a接触时TCP所移动的距离投影在景物坐标系平面内的距离为iw"(-《)2+(力-,)2""与世界坐标系、轴的夹角5为(12)5-、由此可得PA与景物坐标系X轴的夹角w为6>=^-^(13)将ll/^ll在景物坐标系得两轴方向上分解，记x轴方向分解的距离为D,y轴方向分解的距离为H，则可以得到Z)—l/!pJ.cosft;(14)"^HI邵il卜sin^(15)通过步骤六求出的A在景物坐标系中的坐标值(^乂卜々0O算出TCP在景物坐标系，中距离原点的x轴方向的偏移量d以及y轴方向的偏移量h，即图3中P点在景物坐标系xoy中的坐标fcc-|观Icos(3+;^-0)」Wl.sin("7-。+Vi—V、-Z)-力—(16)由于景物坐标系;c炒与摄像机成像坐标系x'o'/的比例关系k已知，则通过式(16)建立了TCP与摄像机成像坐标系fo'/的关系，完成标定，得到的机器人手眼的相对关系。步骤八确定目标点在景物坐标系:ccy中的位置，得到目标点在机器人的工件坐标系中的位置坐标，实现目标点的定位并为机器人制孔提供导航信息。以与标定时相同的机器人末端姿态及拍摄距离拍摄目标点，利用步骤七得到的机器人手眼关系进行目标点的定位，通过计算目标点在摄像机成像坐标系JC'o>'中的位置以及利用摄像机成像坐标系xV/与景物坐标系x炒之间的关系确定目标点在景物坐标系xoy中的位置，然后通过TCP与景物坐标系xoy之间的位置关系，得到目标点相对于TCP之间的位置关系，从而得到了目标点在机器人建立的工件坐标系中的位置坐标实现了目标点的定位并为机器人10制孔提供了导航信息。机器人末端姿态与标定时相同以及TCP距离工件的高度//保持不变，则比例系数k以及景物坐标系xcy相对于工件坐标系的转角-不变，TCP在景物坐标系mj;中的位置坐标也不变，如图4所示，图中x'w与；^为与末端执行器垂直的工件坐标系两轴方向平行，设A点为机器人需要制孔的点，坐标为工件坐标系中的坐标(^,")，当摄像机拍摄到A点时，得到图像中A'点在摄像机成像坐标系;cVy中的坐标为(x、，y,)，则A点在景物坐标系加;;中的坐标为(^,力)=^(^'">^)。P点为末端执行器TCP在景物坐标系，中的位置，其坐标值(、，力)已经由步骤七获得,其具体值由图4中TCP在两轴方向上的偏移量c/和"来表示。A点到TCP的距离分别在景物坐标系x^中x轴与y轴方向上分解的距离分别为Z)'和i/',如图4所示￡>'=^-c/'(17)^(18)根据几何关系得出A点到TCP的距离||/14||:1l吟V/T+D'2(19)A点到TCP连线与景物坐标系，中;c轴的夹角《为"^务(20)得到A点到TCP连线与工件坐标系平行的x'^轴的夹角《为5=6/+^(21)将|/^|在xV轴与/w轴方向上分解得到TCP移动到A点在工件坐标系下两轴方向上的偏移量分别为"和^^AHN卜"(22)^剩.si"(23)则A点在工件坐标系中的位置坐标(A，力)为(A，h)+p+网彌"HI碎si")(24)求出的A点在工件坐标系中的坐标，实现为机器人末端执行器制孔提供导航信息。实施例应用本发明所述的方法，首先用末端执行器进行制孔得到孔的实际位置坐标，然后用摄像机拍摄，进行定位得到孔的定位坐标并箅出定位误差，数据如表1所示_表1定位误差数据表<table>tableseeoriginaldocumentpage11</column></row><table><table>tableseeoriginaldocumentpage12</column></row><table>表中Ax，Ay为定位坐标与实际坐标在两轴方向上的偏差，定位误差根据下式计算￡=如2+2(25)从表1中的结果可以看出本发明所述方法的定位误差在土0.3mm以内，可以满足机器人制孔系统的定位精度要求。权利要求1、一种用于机器人制孔系统的手眼视觉标定方法，其特征在于，包括以下几个步骤W为机器人的世界坐标系(WorldCoordinate)，世界坐标系与基坐标系表示的是同一个坐标系；E为机器人末端坐标系，也为工具坐标系(ToolCoordinate)，此坐标系的原点为TCP(ToolCenterPoint)；C为摄像机成像坐标系(ImagingCoordinate)；景物坐标系xoy定义在摄像机所拍摄的平面，其原点o为摄像机成像坐标系x′o′y′原点在摄像机所拍摄的平面中的对应点即摄像机所能拍摄最大范围的左上角点，其坐标轴x、y与摄像机成像坐标系x′、y′平行；步骤一利用“四点法”将机器人末端执行器的刀具中心点标定为工具坐标系原点即TCP；利用机器人工具坐标系的“四点法”将机器人末端执行器上刀具的中心尖点标定为TCP，计为P，在景物坐标系xoy中位置坐标为(xp，yp)；步骤二将标定模板平面与机器人基坐标系底平面平行放置；将所用的标定模板放在平台上，调整平台使标定模板所在平面与机器人基坐标系底平面平行；步骤三调整机器人末端与摄像机同时垂直于标定模板；使机器人末端垂直于机器人基坐标系底平面，通过安装或调节摄像机光轴，使得摄像机也垂直于机器人基坐标系底平面，此时机器人末端与摄像机同时垂直于标定模板；步骤四记录摄像机拍摄标定模板成清晰图像时，工具坐标系TCP的位置，在图像中选择任意两点p′1与p′2，并计算出两点在摄像机成像坐标系x′o′y′中的位置以及与坐标系x′轴所成的夹角γ；用摄像机拍摄标定模板并调整机器人末端TCP与标定模板之间的距离，直到拍摄所成的图像清晰为止，记录此时由机器人系统得到的TCP的坐标值为(xpw，ypw，zpw)；在图像中选择拍摄到的任意两点p′1与p′2，p′1与p′2在摄像机成像坐标系x′o′y′中的位置坐标为(x′1，y′1)与(x′2，y′2)，标定模板上与p′1与p′2对应的两点记为p1与p2，坐标为(x1，y1)与(x2，y2)，根据直角三角形的边角关系计算出p′1与p′2连线||p′1p′2||的距离为<mathsid="math0001"num="0001"><math><![CDATA[<mrow><mo>|</mo><mo>|</mo><msub><msup><mi>p</mi><mo>′</mo></msup><mn>1</mn></msub><msub><msup><mi>p</mi><mo>′</mo></msup><mn>2</mn></msub><mo>|</mo><mo>|</mo><mo>=</mo><msqrt><msup><mrow><mo>(</mo><msub><msup><mi>x</mi><mo>′</mo></msup><mn>2</mn></msub><mo>-</mo><msub><msup><mi>x</mi><mo>′</mo></msup><mn>1</mn></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><msub><msup><mi>y</mi><mo>′</mo></msup><mn>2</mn></msub><mo>-</mo><msub><msup><mi>y</mi><mo>′</mo></msup><mn>1</mn></msub><mo>)</mo></mrow><mn>2</mn></msup></msqrt><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>]]></math></maths>||p′1p′2||为摄像机成像坐标系x′o′y′内p′1与p′2两点间连线距离的像素值；p′1与p′2两点连线与x′轴的夹角<mathsid="math0002"num="0002"><math><![CDATA[<mrow><mi>γ</mi><mo>=</mo><msup><mi>tg</mi><mrow><mo>-</mo><mn>1</mn></mrow></msup><mfrac><mrow><msub><msup><mi>y</mi><mo>′</mo></msup><mn>1</mn></msub><mo>-</mo><msub><msup><mi>y</mi><mo>′</mo></msup><mn>2</mn></msub></mrow><mrow><msub><msup><mi>x</mi><mo>′</mo></msup><mn>1</mn></msub><mo>-</mo><msub><msup><mi>x</mi><mo>′</mo></msup><mn>2</mn></msub></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>]]></math></maths>步骤五用TCP点接触标定模板上确定的p1与p2，并记录p1与p2在机器人基坐标系W中的位置坐标，计算出p1与p2连线在机器人基坐标系W中与坐标系xw轴所成的夹角θ；用TCP点接触标定模板上的p1与p2，通过工具坐标系E到机器人基坐标系W的转换从工业机器人系统中得到p1与p2两点在机器人基坐标系W中的位置坐标分别为(x1w，y1w，z1w)与(x2w，y2w，z2w)，因为p1与p2所在标定模板平面与机器人基坐标系底面平行，因此两点在在轴方向的值相同<mathsid="math0003"num="0003"><math><![CDATA[<mrow><msubsup><mi>z</mi><mn>1</mn><mi>w</mi></msubsup><mo>=</mo><msubsup><mi>z</mi><mn>2</mn><mi>w</mi></msubsup><mo>,</mo></mrow>]]></math>id="icf0003"file="A2009100912770003C1.tif"wi="14"he="4"top="44"left="45"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>则与步骤四同理计算出p1与p2连线的距离<mathsid="math0004"num="0004"><math><![CDATA[<mrow><mo>|</mo><mo>|</mo><msub><mi>p</mi><mn>1</mn></msub><msub><mi>p</mi><mn>2</mn></msub><mo>|</mo><mo>|</mo><mo>=</mo><msqrt><msup><mrow><mo>(</mo><msubsup><mi>x</mi><mn>2</mn><mi>w</mi></msubsup><mo>-</mo><msubsup><mi>x</mi><mn>1</mn><mi>w</mi></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><msubsup><mi>y</mi><mn>2</mn><mi>w</mi></msubsup><mo>-</mo><msubsup><mi>y</mi><mn>1</mn><mi>w</mi></msubsup><mo>)</mo></mrow><mn>2</mn></msup></msqrt><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow>]]></math></maths>||p1p2||为景物坐标系xoy中p1与p2两点连线的实际距离；p1与p2连线与基坐标系xw轴方向的夹角θ<mathsid="math0005"num="0005"><math><![CDATA[<mrow><mi>θ</mi><mo>=</mo><msup><mi>tg</mi><mrow><mo>-</mo><mn>1</mn></mrow></msup><mfrac><mrow><msubsup><mi>y</mi><mn>1</mn><mi>w</mi></msubsup><mo>-</mo><msubsup><mi>y</mi><mn>2</mn><mi>w</mi></msubsup></mrow><mrow><msubsup><mi>x</mi><mn>1</mn><mi>w</mi></msubsup><mo>-</mo><msubsup><mi>x</mi><mn>2</mn><mi>w</mi></msubsup></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>]]></math></maths>由于机器人末端垂直于标定模板，因此用步骤四记录的拍摄清晰时TCP的位置坐标以及TCP与标定模板上p1或p2点接触时TCP的位置坐标在机器人基坐标系Z轴方向的值相减，则算出拍摄清晰时TCP距标定模板垂直距离，此距离将作为定位时机器人末端TCP距离标定模板的高度Hw<mathsid="math0006"num="0006"><math><![CDATA[<mrow><msub><mi>H</mi><mi>w</mi></msub><mo>=</mo><mo>|</mo><msub><mi>z</mi><mi>p</mi></msub><mo>-</mo><msubsup><mi>z</mi><mn>1</mn><mi>w</mi></msubsup><mo>|</mo><mo>=</mo><mo>|</mo><msub><mi>z</mi><mi>p</mi></msub><mo>-</mo><msubsup><mi>z</mi><mn>2</mn><mi>w</mi></msubsup><mo>|</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>]]></math></maths>步骤六计算机器人末端TCP距离标定模板高度为Hw时摄像机成像坐标系x′o′y′与景物坐标系xoy的比例关系k；在机器人末端TCP距离标定模板的高度为Hw时，将步骤四及步骤五中确定的||p′1p′2||、||p1p2||相比，计算高度为Hw时摄像机的放大率，摄像机成像坐标系x′o′y′与景物坐标系xoy的比例关系k；<mathsid="math0007"num="0007"><math><![CDATA[<mrow><mi>k</mi><mo>=</mo><mfrac><mrow><mo>|</mo><mo>|</mo><msub><msup><mi>p</mi><mo>′</mo></msup><mn>1</mn></msub><msub><msup><mi>p</mi><mo>′</mo></msup><mn>2</mn></msub><mo>|</mo><mo>|</mo></mrow><mrow><mo>|</mo><mo>|</mo><msub><mi>p</mi><mn>1</mn></msub><msub><mi>p</mi><mn>2</mn></msub><mo>|</mo><mo>|</mo></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>]]></math></maths>则景物坐标系xoy中的(x、y)与摄像机成像坐标系为x′o′y′中(x′、y′)的关系为<mathsid="math0008"num="0008"><math><![CDATA[<mrow><mfencedopen='['close=']'><mtable><mtr><mtd><mi>x</mi></mtd></mtr><mtr><mtd><mi>y</mi></mtd></mtr></mtable></mfenced><mo>=</mo><mi>k</mi><mfencedopen='['close=']'><mtable><mtr><mtd><msup><mi>x</mi><mo>′</mo></msup></mtd></mtr><mtr><mtd><msup><mi>y</mi><mo>′</mo></msup></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>]]></math></maths>由步骤四得到的p′1与p′2坐标，得到p1与p2在景物坐标系xoy中的具体坐标值分别为(x1，y1)＝k(x′1，y′1)(8)(x2，y2)＝k(x′2，y′2)(9)步骤七计算摄像机成像坐标系x′o′y′与景物坐标系xoy之间的旋转角度、位置转换关系、TCP在景物坐标系xoy中的位置坐标以及TCP在摄像机成像坐标系x′o′y′中对应的位置关系，得到机器人手眼的相对关系；由p′1与p′2两点连线与x′轴的夹角γ与P1与P2连线与基坐标系xw轴方向的夹角θ得到景物坐标系xoy相对于世界坐标系W的转角φ为φ＝θ-γ(10)根据步骤四得到的拍摄清晰时TCP的位置坐标(xp，yp，zp)以及步骤五中p1在机器人基坐标系W中的位置坐标(x1w，y1w，z1w)，得出TCP从拍摄位置到与p1接触时TCP所移动的距离投影在景物坐标系xoy平面内的距离||pp1||为<!--2--><mathsid="math0009"num="0009"><math><![CDATA[<mrow><mo>|</mo><mo>|</mo><msub><mi>pp</mi><mn>1</mn></msub><mo>|</mo><mo>|</mo><mo>=</mo><msqrt><msup><mrow><mo>(</mo><msub><mi>x</mi><mi>p</mi></msub><mo>-</mo><msubsup><mi>x</mi><mn>1</mn><mn>2</mn></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><msub><mi>y</mi><mi>p</mi></msub><mo>-</mo><msubsup><mi>y</mi><mn>1</mn><mi>w</mi></msubsup><mo>)</mo></mrow><mn>2</mn></msup></msqrt><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>11</mn><mo>)</mo></mrow></mrow>]]></math></maths>pp1与世界坐标系xw轴的夹角δ为<mathsid="math0010"num="0010"><math><![CDATA[<mrow><mi>δ</mi><mo>=</mo><msup><mi>tg</mi><mrow><mo>-</mo><mn>1</mn></mrow></msup><mfrac><mrow><msub><mi>y</mi><mi>p</mi></msub><mo>-</mo><msubsup><mi>y</mi><mn>1</mn><mi>w</mi></msubsup></mrow><mrow><msub><mi>x</mi><mi>p</mi></msub><mo>-</mo><msubsup><mi>x</mi><mn>1</mn><mi>w</mi></msubsup></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>12</mn><mo>)</mo></mrow></mrow>]]></math></maths>由此得到pp1与景物坐标系x轴的夹角ω为ω＝δ-φ(13)将||pp1||在景物坐标系得两轴方向上分解，记x轴方向分解的距离为D，y轴方向分解的距离为H，则得到D＝||pp1||·cosω(14)H＝||pp1||·sinω(15)通过步骤六求出的p1在景物坐标系中的坐标值(x1，y1)＝k(x′1，y′1)算出TCP在景物坐标系xoy中距离原点的x轴方向的偏移量d以及y轴方向的偏移量h，P点在景物坐标系xoy中的坐标<mathsid="math0011"num="0011"><math><![CDATA[<mrow><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>x</mi><mi>p</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>p</mi></msub></mtd></mtr></mtable></mfenced><mo>=</mo><mfencedopen='['close=']'><mtable><mtr><mtd><mi>d</mi></mtd></mtr><mtr><mtd><mi>h</mi></mtd></mtr></mtable></mfenced><mo>=</mo><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>x</mi><mn>1</mn></msub><mo>-</mo><mi>D</mi></mtd></mtr><mtr><mtd><mi>H</mi><mo>+</mo><msub><mi>y</mi><mn>1</mn></msub></mtd></mtr></mtable></mfenced><mo>=</mo><mfencedopen='['close=']'><mtable><mtr><mtd><msub><msup><mi>kx</mi><mo>′</mo></msup><mn>1</mn></msub><mo>-</mo><mo>|</mo><mo>|</mo><msub><mi>pp</mi><mn>1</mn></msub><mo>|</mo><mo>|</mo><mo>·</mo><mi>cos</mi><mrow><mo>(</mo><mi>δ</mi><mo>+</mo><mi>γ</mi><mo>-</mo><mi>θ</mi><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mo>|</mo><mo>|</mo><msub><mi>pp</mi><mn>1</mn></msub><mo>|</mo><mo>|</mo><mo>·</mo><mi>sin</mi><mrow><mo>(</mo><mi>δ</mi><mo>+</mo><mi>γ</mi><mo>-</mo><mi>θ</mi><mo>)</mo></mrow><mo>+</mo><msub><msup><mi>ky</mi><mo>′</mo></msup><mn>1</mn></msub></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>16</mn><mo>)</mo></mrow></mrow>]]></math></maths>比例关系k为已知，则通过式(16)建立了TCP与摄像机成像坐标系x′o′y′的关系，完成标定，得到机器人手眼的相对关系；步骤八确定目标点在景物坐标系xoy中的位置，得到目标点在机器人的工件坐标系中的位置坐标，实现目标点的定位并为机器人制孔提供导航信息；机器人末端姿态与标定时相同以及TCP距离工件的高度Hw保持不变，则比例系数k以及景物坐标系xoy相对于工件坐标系的转角φ不变，TCP在景物坐标系xoy中的位置坐标也不变，x′w与y′w为与末端执行器垂直的工件坐标系两轴方向平行，当摄像机拍摄到A点时，得到图像中A′点在摄像机成像坐标系x′o′y′中的坐标为(x′A，y′A)，则A点在景物坐标系xoy中的坐标为(xA，yA)＝k(x′A，y′A)；P点为末端执行器TCP在景物坐标系xoy中的位置，其坐标值(xp，yp)已经由步骤七获得，其具体值由TCP在x轴、y轴方向上的偏移量d′和h′来表示；设A点为机器人需要制孔的点，坐标为工件坐标系中的坐标(xA，yA)，A点到TCP的距离分别在景物坐标系xoy中x轴与y轴方向上分解的距离分别为D′和H′D′＝xA-d′(17)H′＝h′-yA(18)根据几何关系得出A点到TCP的距离||PA||<mathsid="math0012"num="0012"><math><![CDATA[<mrow><mo>|</mo><mo>|</mo><mi>PA</mi><mo>|</mo><mo>|</mo><mo>=</mo><msqrt><msup><mi>H</mi><mrow><mo>′</mo><mn>2</mn></mrow></msup><mo>+</mo><msup><mi>D</mi><mrow><mo>′</mo><mn>2</mn></mrow></msup></msqrt><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>19</mn><mo>)</mo></mrow></mrow>]]></math></maths>A点到TCP连线与景物坐标系xoy中x轴的夹角ω′为<mathsid="math0013"num="0013"><math><![CDATA[<mrow><msup><mi>ω</mi><mo>′</mo></msup><mo>=</mo><msup><mi>tg</mi><mrow><mo>-</mo><mn>1</mn></mrow></msup><mfrac><msup><mi>H</mi><mo>′</mo></msup><msup><mi>D</mi><mo>′</mo></msup></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>20</mn><mo>)</mo></mrow></mrow>]]></math></maths>得到A点到TCP连线与工件坐标系平行的x′w轴的夹角δ′为δ′＝ω′+φ(21)将||PA||在x′w轴与y′w轴方向上分解得到TCP移动到A点在工件坐标系下两轴方向上的偏移量分别为id="icf0014"file="A2009100912770005C1.tif"wi="7"he="5"top="43"left="45"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>和id="icf0015"file="A2009100912770005C2.tif"wi="6"he="5"top="43"left="58"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/><mathsid="math0014"num="0014"><math><![CDATA[<mrow><msub><mi>D</mi><msub><mi>x</mi><mi>w</mi></msub></msub><mo>=</mo><mo>|</mo><mo>|</mo><mi>PA</mi><mo>|</mo><mo>|</mo><mo>·</mo><mi>cos</mi><msup><mi>δ</mi><mo>′</mo></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>22</mn><mo>)</mo></mrow></mrow>]]></math></maths><mathsid="math0015"num="0015"><math><![CDATA[<mrow><msub><mi>H</mi><msub><mi>y</mi><mi>w</mi></msub></msub><mo>=</mo><mo>|</mo><mo>|</mo><mi>PA</mi><mo>|</mo><mo>|</mo><mo>·</mo><mi>sin</mi><msup><mi>δ</mi><mo>′</mo></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>23</mn><mo>)</mo></mrow></mrow>]]></math></maths>则A点在工件坐标系中的位置坐标(x1，yA)为(xA，yA)＝(xp+||PA||·cosδ′，yp-||PA||·sinδ′)(24)求出的A点在工件坐标系中的坐标，实现为机器人末端执行器制孔提供导航信息。全文摘要本发明公开了一种用于机器人制孔系统的手眼视觉标定方法，首先标定出机器人末端执行器上的工具坐标系原点即TCP，在所拍摄的平面内建立景物坐标系然后拍摄此平面内的两点，并用TCP接触这两点从而得到摄像机成像坐标系与景物坐标系之间的关系，并利用此关系计算出TCP在景物坐标系中的位置关系。最后，通过建立的景物坐标系作为中间转换坐标系间接得到了TCP与摄像机成像坐标系之间的位置关系，即得到了手眼关系。本发明忽略了手眼关系中摄像机的深度信息，将标定过程转化为几何关系，标定过程简便，计算量小，不需要昂贵的三坐标测量设备且精度较高，具有较高的实用价值，能够满足机器人制孔系统的实际工作需求。文档编号G06T7/00GK101630409SQ20091009127公开日2010年1月20日申请日期2009年8月17日优先权日2009年8月17日发明者姚艳杉,宗光华,强战,毕树生,祥王申请人:北京航空航天大学