专利名称：机器人系统中再校准三维视觉传感器的方法和设备的制作方法
技术领域：
本发明涉及包括三维视觉传感器的工业机器人系统，尤其涉及再校准三维视觉传感器的方法和执行再校准方法的设备。
背景技术：
在利用机器人系统的各种应用中广泛使用三维视觉传感器。三维视觉传感器的使用可大致分类为下述两情况(i)和(ii)。
(i)将三维视觉传感器的传感头安装在机器人臂上而使用三维视觉传感器。该传感头表示具有光学系统(包括光学探测器)的传感器部分，该光学系统用于测量对象，并且传感头的控制和探测信号的处理是由视觉传感控制器执行的。在本说明书中，依照相关技术领域的实践，表达“在机器人臂上安装三维视觉传感器”有时所用的意思为“在机器人臂上安装三维视觉传感器的传感头”。
(ii)将三维视觉传感器的传感头设置在机器人外部的固定位置而使用三维视觉传感器。
在任一情况中，公知的是为了通过使用三维视觉传感器、以合适的精确性执行测量，则需要“校准”。用于三维视觉传感器的校准方法在例如JP2690603B，JP2686351B，JP08-5351A，JP08-233516A和JP08-272414A中具体描述。
因而，用于三维视觉传感器的各种校准方法是公知的，但是经常是这种情况通过校准一旦获得合适的测量精确性之后，测量精确性下降，使得精确的测量变得不可能。上述的情形(i)中，当安装在机器人臂上的视觉传感器(传感头)的安装位置(包括如下述描述中的方位)从执行校准的位置移位时，所述情况会增加。在情形(ii)中，当视觉传感器(传感头)的设置位置从执行校准的固定位置移位时，相同的情况会出现。
例如，当安装在机器人臂上的视觉传感器碰撞到传感器周围的对象(包括如下述情况的人)的时候，当撞击施加在视觉传感器上而导致机器人臂与机器人臂周围的对象的碰撞时，或者当设置在固定位置的传感器撞击对象时，会引起传感器的移位。同样，即使传感器的表面上的位置没有移位，内部光学系统的排列可能会因为撞击等由校准时刻的排列而发生改变，引起测量精确性的降低。
常规的，当这样的情况发生时或者假定已经发生时，要再次执行相同的校准工作。然而，为了再次执行相同的校准工作，有必要的是，测量目标和视觉传感器之间的相对位置关系应该通过再次使用校准夹板(jig)、需要沉重的工作负荷和不可避免的延长系统的停工时间，而精确的重新生成。本说明书中参考的“测量目标”表示通过用于校准目的的视觉传感器识别的目标，并且例如在校准夹板上绘制的一组点被使用作测量目标。
发明内容
依照本发明，使用当三维视觉传感器可以常规测量时获取的数据，从而不需全部重复校准工作简单执行再校准，凭此减轻用于再校准的工作负荷。
依照本发明，当三维视觉传感器是在可以常规测量的状态(第一状态)时，以至少一可选的相对位置关系安置三维视觉传感器和测量目标，且然后通过三维视觉传感器测量测量目标，从而获取预定的“参考数据”。该“参考数据”可以是下述(I)和(II)的任一中。
(I)利用与校准相关的参数获取，且之后由三维视觉传感器保存的位置/方位数据(表示测量目标的至少一个位置和方位的数据)。
(II)测量目标上的特征量数据。
“可选的相对位置关系”可以在数目上是2个或更多，且在这种情况下，相应于每一相对位置关系获取且存储位置数据。
如果在上述预处理之后，例如由于机器人的干扰，需要三维视觉传感器再校准(第二状态)，至少近似地再生三维视觉传感器和测量目标之间的相对位置关系，从而与以获取的预定数据的位置关系大致相同。然后，再次测量测量目标，从而探测测量目标上的特征量数据。利用通过再测量获取的数据和已经获取的参考数据，执行再校准。
本发明提供用于机器人系统的三维视觉传感器的再校准方法，该三维视觉传感器保存有与校准相关的多个参数。
依照本发明的一方面，再校准方法包括步骤(a)当三维视觉传感器是在可常规测量的状态中时，以至少一可选的相对位置关系安置三维视觉传感器和测量目标，使用与校准相关的并保存在三维视觉传感器中的参数，由该三维视觉传感器测量测量目标，以获取表示测量目标的至少一个位置和方位的位置/方位数据；(b)安置三维视觉传感器和测量目标，从而在三维视觉传感器在所述状态之后进行再校准的时候，至少近似地再生该至少一相对位置关系，且然后通过三维视觉传感器测量测量目标，从而获取测量目标上的特征量数据；以及(c)基于特征量数据和位置/方位数据，更新与三维视觉传感器的校准相关的参数，其中，步骤(a)中以该至少一相对位置关系安置三维视觉传感器和测量目标，和步骤(b)中安置三维视觉传感器和测量目标从而至少近似地再生该至少一相对位置关系，所述步骤(a)和步骤(b)都是通过移动机器人而执行的，该机器人支撑三维视觉传感器和测量目标的至少一个，以及在步骤(b)，为了在步骤(b)中至少近似地再生该至少一相对位置关系，移动机器人从而再生于步骤(a)中建立了该至少一相对位置关系的机器人位置。
依照本发明的另一方面，再校准方法包括步骤(a)当三维视觉传感器是在可常规测量的状态中时，以至少一可选的相对位置关系安置三维视觉传感器和测量目标，然后通过三维视觉传感器测量测量目标，从而获取测量目标上的特征量数据，以及保存特征量数据；(b)安置三维视觉传感器和测量目标，从而在三维视觉传感器在所述状态之后进行再校准的时候，至少近似地再生该至少一相对位置关系，且然后通过三维视觉传感器测量测量目标，从而获取测量目标上的特征量数据；以及(c)基于在步骤(a)保存的与三维视觉传感器的校准相关的参数、所述步骤(a)中获取的特征量数据以及所述步骤(b)中获取的特征量数据，更新与三维视觉传感器的校准相关的参数，其中，步骤(a)中以该至少一相对位置关系安置三维视觉传感器和测量目标，和步骤(b)中安置三维视觉传感器和测量目标从而至少近似地再生该至少一相对位置关系，所述步骤(a)和步骤(b)都是通过移动机器人而执行的，该机器人支撑三维视觉传感器和测量目标的至少一个，以及在步骤(b)，为了在步骤(b)中至少近似地再生该至少一相对位置关系，移动机器人从而再生于步骤(a)中建立了该至少一相对位置关系的机器人位置。
三维视觉传感器和测量目标之一安装在机器人的臂上，而三维视觉传感器和测量目标的另外一个放置在该机器人臂之外的预定位置，从而在步骤(a)中以该至少一相对位置关系进行安置，并且在步骤(b)中至少近似地再生该至少一相对位置关系。
同样，三维视觉传感器安装在机器人的臂上，而测量目标放置在与该机器人臂不同的位置，从而在步骤(a)中以该至少一相对位置关系进行安置，并且在步骤(b)中至少近似地再生该至少一相对位置关系。
此外，三维视觉传感器安装在机器人的臂上，而测量目标放置在另一机器人的臂上，从而在步骤(a)中以该至少一相对位置关系进行安置，并且在步骤(b)中至少近似地再生该至少一相对位置关系。
本发明进一步提供一种以安装在机器人上的测量目标再校准三维视觉传感器的设备。
依照本发明一方面，再校准设备包括用于保存与三维视觉传感器的校准相关的多个参数的装置；用于移动机器人到至少一机器人位置的装置，在该位置三维视觉传感器临近于测量目标；目标位置信息探测装置，其用于通过三维视觉传感器的测量，探测在该至少一机器人位置的测量目标上的位置信息；目标特征量信息探测装置，其用于通过三维视觉传感器的测量，探测在该至少一机器人位置的测量目标上的特征量信息；响应于参考数据获取指令，使得目标位置信息探测装置使用所保存的与三维视觉传感器的校准相关的参数探测和测量目标有关的位置信息，并将所探测的位置信息作为表示该测量目标的至少一个位置和方位的位置/方位数据存储的装置；响应于再校准指令，使得目标特征量信息探测装置探测测量目标上的特征量信息，并且获取作为特征量数据的探测的特征量信息的装置；以及参数更新装置，其用于基于特征量数据和位置/方位数据，更新与三维视觉传感器的校准相关的参数。
依照本发明的另一方面，再校准设备包括用于保存与三维视觉传感器的校准相关的多个参数的装置；用于移动机器人到至少一机器人位置的装置，在该位置三维视觉传感器临近于测量目标；目标位置信息探测装置，其用于通过三维视觉传感器的测量，探测在该至少一机器人位置的测量目标上的位置信息；目标特征量信息探测装置，其用于通过三维视觉传感器的测量，探测在该至少一机器人位置的测量目标上的特征量信息；响应于参考数据获取指令，使得目标位置信息探测装置使用所保存的与三维视觉传感器的校准相关的参数探测和测量目标有关的位置信息，并将所探测的位置信息作为表示该测量目标的至少一个位置和方位的位置/方位数据存储的装置；响应于再校准指令，使得目标特征量信息探测装置探测测量目标上的特征量信息，并且获取作为特征量数据的探测的特征量信息的装置；以及参数更新装置，其用于基于特征量数据和位置/方位数据，更新与三维视觉传感器的校准相关的参数。
依照本发明的另一方面，再校准设备包括用于保存与三维视觉传感器的校准相关的多个参数的装置；用于移动机器人到至少一机器人位置的装置，在该位置三维视觉传感器临近于测量目标；目标特征量信息探测装置，其用于通过三维视觉传感器的测量，探测在该至少一机器人位置的测量目标上的特征量信息；
响应于参考数据获取指令，使得目标特征量信息探测装置探测测量目标上的特征量信息，并且将探测的特征量信息存储作为参考特征量数据的装置；响应于再校准指令，使得目标特征量信息探测装置探测测量目标上的特征量信息，并且获取作为特征量数据的探测的特征量信息的装置；以及参数更新装置，其用于基于特征量数据，参考特征量数据，和在参考数据获取指令接收时保存的、与三维视觉传感器的校准相关的参数，更新与三维视觉传感器的校准相关的参数。
依照本发明的另一方面，再校准设备包括用于保存与三维视觉传感器的校准相关的多个参数的装置；用于移动机器人到至少一机器人位置的装置，在该位置三维视觉传感器临近于测量目标；目标特征量信息探测装置，其用于通过三维视觉传感器的测量，探测在该至少一机器人位置的测量目标上的特征量信息；响应于参考数据获取指令，使得目标特征量信息探测装置探测测量目标上的特征量信息，并且将探测的特征量信息存储作为参考特征量数据的装置；响应于再校准指令，使得目标特征量信息探测装置探测测量目标上的特征量信息，并且获取作为特征量数据的探测的特征量信息的装置；以及参数更新装置，其用于基于特征量数据，参考特征量数据，和在参考数据获取指令接收时保存的、与三维视觉传感器的校准相关的参数，更新与三维视觉传感器的校准相关的参数。
依照本发明，三维视觉传感器可以简单地再校准。特别的，在再校准的时候，不必要使用用于在三维视觉传感器和测量目标之间再生相对位置关系的校准夹板，利用在相同机器人位置获取的测量目标的位置数据(在常规测量过程中获取)和特征量(在再校准过程中获取)实现再校准。相应的，与传统技术不同，再校准不需用于贴附和分离校准夹板的劳力和视觉，并且三维视觉传感器可以在非常短的时间内恢复到常规状态。
图1显示了本发明的实施例中使用的三维视觉传感器的主要部分的配置；
图2显示了通过使用校准夹板校准三维传感器的方法；图3显示了校准的细节；图4显示了依照实施例的排列1；图5显示了依照实施例的排列2；图6显示了实施例的位置数据获取步骤；图7显示了实施例的再校准步骤；图8通过示例的方式显示了由N个点(N＝12)的矩阵构成的点图形，其中第1个和最后一个点的坐标分别是(Xa1，Ya1，Za1)和(XaN，YaN，ZaN)；图9是说明点图形的单个点的位置可以由点图形排列的信息和测量目标的位置/方位的信息的组合而计算的示图；图10是总结参照实施例说明处理的关系的示图；图11是说明图10中显示的关系修改例的示图；图12是总结处理的关系的示图，该处理的关系是参照本发明的实施例说明的处理的修改例。
具体实施例方式
图1显示了本发明的实施例中使用的三维视觉传感器(全文中只参照作“视觉传感器”)的主要部分的配置。显示的视觉传感器本身是本领域中公知的典型代表，其包括传感头30和三维视觉传感控制器10，该传感头30包括用于测量对象的光学系统和光学探测装置，该三维视觉传感控制器10用于控制传感头30和处理与三维测量相关的信息。传感头30中安置有激光束发射器34、用于驱动发射器的激光驱动部32、用于以激光束扫描对象的镜35、以及用于驱动镜的镜扫描部33。传感头也同样装配有用于获取对象40的二维图像的摄像机31和接收照射到对象40的激光束的反射。
另一方面，三维视觉传感控制器10包括CPU11，例如ROM12、RAM13、非易失性存储器14、和帧存储器17的一组存储器，用于与机器人控制器等交换数据的通信I/F(接口)15，用于与例如监视器等外部设备交换数据的输入/输出设备I/F(接口)16，用于驱动摄像机31从而从其获取图像的摄像机I/F(接口)18，以及用于与激光驱动部32和镜扫描部33交换数据的激光控制I/F(接口)19。
在三维测量时，由CPU11运行存储在ROM12等中的程序，于是激光束经由以预定角度θ设置的镜35(通常，在多个角度连续地设置镜)照射到对象40上，并且，对应于每一设置角度θ，经由摄像机31获取激光束的图像且存储在帧存储器17中。然后，通过图像处理从获取的图像提取特征量，并且使用特征量和预先存储在非易失性存储器14中的校准数据或类似数据(之后存储的校准数据)，计算对象40的例如位置和方位的信息。在摄像机31对对象40的常规成像的情况中，二维图像存储在帧存储器17中，且经受获取图像处理从而从图像中提取特征量。同样，使用所需的预先存储在非易失性存储器14中的校准数据等，计算特征量数据等。
本发明应用于三维视觉传感器的再校准，且因而自然假定在再校准之前执行合适的校准，从而获取代表校准内容的多个参数(全文中只参照为“校准参数”)。再校准之前由校准获取的校准参数对于后面描述的“位置数据的获取”(点图形位置数据，在本实施例中)也同样是必须的。
同样参考图2，将说明“再校准之前的校准”。在本发明的下面的描述中，术语“每一”也用于代表实际中数量是单个的元素。为执行校准，首先，如图2所示，具有用于校准的测量目标51的校准夹板50贴附于传感头30，且在预定位置设置测量目标51。基于使用的校准方法，在单个位置，或者在多个位置顺序设置测量目标。在图示的例子中，测量目标顺序设置在两个位置上，在每一设置的位置，依照采用的校准方法，通过使用传感头30和视觉传感控制器10执行预定的测量，从而获取校准数据。下面，将说明典型的校准方法。
测量目标51具有印记在其上的点图形，且校准夹板50配置为当测量目标51设置在每一预定位置时，点图形52的每一点位于与传感头30相对的一定已知位置。将参考图3说明校准细节。
在图3中，参考标记60A和60B表示位于各个设置位置的测量目标(图2中的51)。
下面，标记60A和60B不仅表示测量目标还表示各个设置位置。也就是，60A和60B代表设置在图3中显示的各个位置中的测量目标(尽管数量上是单个)。相似的，参考标记61和62用于代表当测量目标设置在图3所示的各个位置时，点图形(图2中的52)假定的位置。
如上述一样，当通过校准夹板50将测量目标放置在每一设置位置时，印记在其上的点图形61和62的每一点都位于已知的位置。例如，如图所示定义一坐标系统80，相应于作为传感测量参考坐标系统(全文中参照为传感坐标系统)的测量目标60A，点图形61和62的位置可表示如下点图形61的位置＝(Xa1，Ya1，Za1)点图形62的位置＝(Xb1，Yb1，Zb1)其中，在图示的例子中，Za1＝0。
如果测量目标上的点图形的点数目是N，且点分别标号为1到N，则单个点的位置可通常表示如下点图形61的第i个点的位置＝(Xai，Yai，Zai)点图形62的第i个点的位置＝(Xbi，Ybi，Zbi)其中，i＝1，2，...，N，且图示的例子中，Za1＝Za2＝...＝ZaN＝0。
然后，依照利用摄像机31的常规成像，对在相应位置设置的测量目标60A，60B成像，于是在视线71，72的延长线上的成像平面上形成测量目标的图像。图像上单个点图形61和62的图像坐标(其纵轴和水平轴可分别参照作Vt和Hz)可以表示如下(Vai，Hai)(Vbi，Hbi)(其中i＝1，2，...，N)(Vai，Hai)可看作是相应于点图形61探测的一类特征量，且(Vbi，Hbi)可看作是相应于点图形62探测的一类特征量。
由于传感坐标系统80上的每一点的位置如上所述是已知的，则本领域公知的校准计算技术应用于该特征量的组合，从而，对于给定的图形特征量(V，H)，可以计算由图形特征量确定的视线与测量目标60A相交的交点(Xa，Ya，Za)，和由视线与测量目标60B相交的交点(Xb，Yb，Zb)。
用于计算在测量目标60A和60B上的交点的公式可由下述表达式组(1)表示(V，H)→(Xa，Ya，Za)(V，H)→(Xb，Yb，Zb) ...(1)
一旦获取两交点(Xa，Ya，Za)和(Xb，Yb，Zb)，经过这两个点的直线的方程式可由简单计算推导。代表直线的方程式是“视线方程式”，其由下述表达式(2)简单表示(Xa，Ya，Za)，(Xb，Yb，Zb)→“视线方程式”...(2)之后，利用镜35以想要的角度θ导向而照射的激光束的亮点63，64由摄像机31成像，于是亮点的图像在视线73，74的延长线上的成像平面上形成。通过利用上述表示式(1)的关系，获取亮点63和64作为坐标系统80上的三维位置。
在激光束是窄缝束的情况下，取代亮点63和64，两条亮直线形成在各个测量目标上。然后，相应于测量目标上的每一亮线(直线)，计算多个亮点的三维位置，从而可以唯一确定一平面(全文参照为激光窄缝束平面)，该平面包括形成两亮线的激光窄缝束。
相似的，镜35的角度θ改变到不同角度，在每一角度获取激光窄缝束平面，从而可以计算相应于想要的角度θ的激光窄缝束平面。用于计算激光窄缝束平面的方程式由下述表达式(3)表示θ→“激光窄缝束平面的方程式”...(3)因而，得到方程式(1)到(3)，于是完成校准。特别的，单个方程式(1)到(3)的计算内容(例如多项式)和多个特定的参数(例如，多项式的单项的系数和常量)都存储在视觉传感器的存储器中。
以设置两个位置测量目标执行前述校准方法。可以选择的以设置在单个位置的测量目标执行校准。下面将简要说明这样校准的示例。下面，假定图3中显示的测量目标60A为“设置在单个位置的测量目标”，且定义在测量目标60A上的坐标系统80参考作“测量目标坐标系统”。
如果摄像机31的象素大小和摄像机31中使用的镜头的焦距是已知的，则成像平面可以假定位于与摄像机镜头的中心位置距离焦距的位置。当给定可选图像特征量(V，H)时，相应于摄像机的成像平面定义坐标系统(XY平面与成像平面相重合的三维坐标系统；全文参考作为成像平面坐标系统)，从而可以确定对象图像的位置(Xc，Yc，Zc)。也就是，相应于测量目标上的N个点的图形，获取下述组合
图像特征量(Vai，Hai)成像平面坐标系统上的对象图像位置(Xci，Yci，Zci)测量目标坐标系统上的对象位置(Xai，Yai，Zai)(其中i＝1，2，...，N)。然后在该组合上执行校准计算，从而获取摄像机成像平面坐标系统和测量目标坐标系统之间的相对位置关系。因此，当给定可选图像特征量(V，H)，可以计算成像平面坐标系统上的对象图像位置(Xc，Yc，Zc)，和视线与测量目标60A相交的交点(Xa，Ya，Za)。
计算这些值的方程式由下述表达式组(1’)简单表示(V，H)→(Xc，Yc，Zc)(V，H)→(Xa，Ya，Za) ...(1’)一旦获取两点(Xc，Yc，Zc)和(Xa，Ya，Za)，可由简单计算获取视线方程式。
计算的方程式可由下述表达式(2’)简单表示(Xc，Yc，Zc)，(Xa，Ya，Za)→“视线方程式”...(2’)之后，如上述“两个位置设置”的情况，利用镜35以想要的角度θ导向而照射的激光束的亮点63由摄像机31成像，从而，在视线73的延长线上的成像平面上形成亮点的图像。通过利用上述表达式(1’)的关系，获取亮点63作为测量目标坐标系统80上的三维位置。
在激光束是窄缝束的情况下，在测量面板60A上形成了取代亮点63的亮的直线。激光束发射器34是点光源，由亮点63代表的点光源和直线(亮线)形成一个平面。因而，将镜35的角度θ以每次δθ(小角度)的幅度连续改变到不同的角度，且在每一角度得到的平面与以δθ变换的相应的相对角度相关，从而可以获取点光源的位置。因此，对于给定的可选角度θ，可以计算该角度的激光窄缝束平面。
由下述表达式(3’)简单表示计算方程式θ→“激光窄缝束平面” ...(3’)因而，得到方程式(1’)和(3’)，于是完成按照“单个位置设置”方法的校准。特别的，单个方程式(1’)到(3’)的计算内容(例如，多项式)和多个特定参数(例如，多项式的单项的系数和常熟)如“两位置设置”的情况一样存储在视觉传感器的存储器中。
利用如上述的“单位置设置”或“两位置设置”校准的三维视觉传感器，以下述方式测量对象。首先，基于测量过程中镜的角度θ，依照方程式(3)或(3’)获取用于该角度的激光窄缝束，且然后基于表示激光束的亮点的图像特征量(V，H)，依照方程式(1)和(2)或方程式(1’)和(2’)得到从摄像机31到亮点的视线。之后，同时解激光窄缝束平面的方程式和视线方程式，从而获取亮点的三维位置。
基于应用，可常规测量的三维时间传感器从夹板50分离，且然后安置在机器人臂上或机器人外部的固定位置。下面描述了“布置1”和“布置2”的典型情况，其中，为了方便，参考数字103用于表示结合校准说明的测量目标(51，60A，60B)。
布置1如图4所示，当测量目标103固定在合适的位置(临近机器人101但没有干扰)时，传感头102(与图1中显示的相同，与具有其它元件的情况一样)安装在机器人101的一个臂上。在图示的例子中，由固定部件将测量目标103固定在机器人的机座上。
机器人101连接于机器人控制器100，和三维视觉传感控制器104连接于传感头102。机器人控制器100和三维视觉传感控制器104通过例如通信线路105互相连接。
布置2如图5中所示，传感头102安置在机器人101外部的固定位置(在图示的例子中，在支柱106上的固定位置)。测量目标103贴附于机器人101的臂。
如布置1一样，机器人101连接于机器人控制器100，且三维视觉传感控制器104连接于传感头103。同样，机器人控制器100和三维视觉传感控制器104通过例如通信线路105互相连接。
无论采用哪种布置，当视觉传感器102可以常规测量时，为进一步的再校准执行一系列操作，该操作包括将机器人臂移动到相对于机器人101预先设置的可选位置P1和P2、测量测量目标103以及存储在点图形上的数据。下面，将说明单个步骤。
步骤S1将机器人移动到位置P1，从而以“第一相对位置关系”安置视觉传感器102和测量目标103。
步骤S2通过机器人控制器100的键盘手动操作，编程的指示等，将一指令输出到三维视觉传感控制器104，该指令(包括位置数据获取指令)用于使得视觉传感器102测量测量目标103。
步骤S3计算传感器坐标系统(或测量目标坐标系统)80中的点图形位置。在这种情况中，使用在前述校准时保存的校准参数。应注意的是，不像图3所示的情况，传感器坐标系统(或测量目标坐标系统)80并不必须一定要在一测量目标上建立。
步骤S4将步骤S3中获取的数据作为“点图形位置A”存储在视觉传感器的非易失性存储器14。
步骤S5将机器人移动到位置P2，从而以“第二相对位置关系”安置视觉传感器102和测量目标103。
步骤S6通过机器人控制器100的键盘手动操作，编程的指示等，将一指令输出到三维视觉传感控制器104，该指令(包括位置数据获取指令)用于使得视觉传感器102测量测量目标103。
步骤S7再次计算传感器坐标系统(或测量目标坐标系统)80中的点图形位置。在这种情况中，使用在前述校准时保存的校准参数。应注意的是，不像图3所示的情况，传感器坐标系统(或测量目标坐标系统)80并不必须一定要在一测量目标上建立。
步骤S8将步骤S7中获取的数据作为“点图形位置B”存储在视觉传感器的非易失性存储器14。
上面完成了用于再校准的预处理(位置数据获取步骤)。如果由于背景技术中描述的各种原因而之后需要视觉传感器102的再校准，则执行再校准步骤。图7是总结再校准的流程图，且下面将说明单个步骤。
步骤S11将机器人移动到位置P1。因此，至少近似地再生视觉传感器102和测量目标103之间的“第一相对位置关系”。(通常，可以假定视觉传感器的位置/方位已经改变，且因而再生的关系包括有相应的非准确性。)步骤S12通过机器人控制器100的键盘手动操作，编程的指示等，将一指令输出到三维视觉传感控制器104，该指令(包括再校准指令)用于使得视觉传感器102测量测量目标103。
步骤S13提取测量目标103上的点图形的图像坐标。
步骤S14将步骤S13中提取的图像坐标作为图像坐标A短暂存储在视觉传感器的非易失性存储器14中。
步骤S15将机器人移动到位置P2，因此，至少近似地再生视觉传感器102和测量目标103之间的“第二相对位置关系”。(同样在这种情况下，通常，可以假定视觉传感器的位置/方位已经改变，且因而再生的关系包括有相应的非准确性。)步骤S16通过机器人控制器100的键盘手动操作，编程的指示等，将一指令输出到三维视觉传感控制器104，该指令(包括再校准指令)用于使得视觉传感器102测量测量目标103。
步骤S17提取测量目标103上的点图形的图像坐标。
步骤S18将步骤S17中提取的图像坐标作为图像坐标B短暂存储在视觉传感器的非易失性存储器14中。
步骤S19利用数据“点图形位置A”，“点图形位置B”，“图像坐标A”和“图像坐标B”，执行用于再校准的校准计算。也就是，通过利用这些数据项，可以更新(再次计算并存储)前述方程式(1)和(2)或方程式(1’)和(2’)。同样，通过执行前述激光束校准，可能更新(再次计算并存储)方程式(3)或(3’)。这完成了再校准。
步骤S20在步骤S19中获取的校准参数存储在视觉传感器的存储器中，取代了先前的校准参数，于是处理结束。
在实施例的上面描述中，利用机器人将三维视觉传感器和测量目标带入相对位置关系。然而，在实施在单个位置上设置测量目标的前述校准方法时，仅需要确定一个相对位置关系。
同样，作为布置1或2的修改，测量目标103可以安置在不同机器人的臂上，从而建立每一相对位置关系，且至少近似地再生关系。例如，测量目标可以贴附在“不同机器人”的臂上，且位置P3可以用作是前述“固定位置”的替代。
进一步，在实施例的上面描述中，在获取参考数据的时候和再校准的时候，由三维视觉传感器测量测量目标，从而获取测量目标的“位置”数据。更特别的，在图6的流程的步骤S3和S4中，探测参考传感器坐标系统的测量目标的点图形位置，且存储作为点图形位置A，而且在步骤S7和S8中，探测参考传感器坐标系统的测量目标的点图形位置，且存储作为点图形位置B(参考数据获取)。然后，在图7的流程的步骤S13，S14，S17和S18中，以相似的方式(用于再校准的数据获取)执行测量目标上的点图形的图像坐标的提取，和提取的图像坐标A和B的暂存。
通过获取测量目标的“方位”数据，取代测量目标的“位置”数据，可同等地执行本发明。下面将简要说明理由。下述解释只考虑点图像位置A，因为尽管分开地描述，但是如之前描述的以与三维视觉传感器相对的不同位置设置相同的测量目标获取上述实施例的点图形位置A和B。
依照前述实施例的存储点图形位置A的方式，示例了测量测量目标且存储与之相关的位置信息的方法。依照说明书中使用的表达式，存储位置数据(Xai，Yai，Zai)(其中i＝1，2，...，N)。所提供的传感器坐标系统是由∑s表达，(Xai，Yai，Zai)代表∑s中的坐标。图8显示了N个点(N＝12)的矩阵构成的点图形的示例，且显示了其第一点和最后一点的坐标分别是(Xa1，Ya1，Za1)和(XaN，YaN，ZaN)。
作为测量测量目标且存储与之相关的位置信息的另一方法，测量目标的“方位”可由下述方法存储。如果测量目标上的点图形的布置是已知的，与通过测量点图形的单个点的位置所获取的信息相等同的信息，可以通过测量测量目标的位置/方位而得到。也就是，如果预先准备点图形的布置的信息，通过利用布置信息并结合关于测量目标的位置/方位的信息，可以马上计算点图形的单个点的位置。这将参照图9进行描述。
下面，固定建立在测量目标上的坐标系统参照作∑t。假定测量目标上的点图形的布置是已知的，单个点的布置可表达为Di(其中i＝1，2，...，N)其中Di表示坐标系统∑t中的坐标。更特别的，单个点的布置表达为Di＝(xi，yi，zi)(其中i＝1，2，...，N)。
然后测量测量目标，且与之相关的位置信息存储作为从传感器坐标系统∑s看的∑t位置/方位(全文表达为T)。作为本领域中公知的，T是齐次变换矩阵。因而，如果Di是预先知道的，通过利用下面的方程式(4)，传感器坐标系统∑s上的位置(坐标)可以转换为坐标系统∑t上的位置(坐标)，反之亦然。因此测量目标的位置/方位T的存储等同于存储(Xai，Yai，Zai)。
上面参考实施例解释的处理可以总结为图10所示的关系图。在该图中，“测量对象”可使用为用于实施例的上述描述中参考的“测量目标”的更一般的术语。依照本发明，同样可能改变图示的关系。在图10的关系示图中，由测量对象(测量目标)上的特征量信息和已由相同的传感器保存的与三维视觉传感器的校准相关的参数(在更新之前的数据)，计算测量对象(测量目标)上的位置信息。因此，图10中显示的关系可改写为图11中所显示的。
这里考虑获取位置信息的定时。在上面的实施例中(图10)，在获取参考数据的时候获取位置信息(位置/方位数据)，但是将理解实质上只有在该定时获取测量对象(测量目标)上的特征量信息。
对此，可以取代图10中显示的关系采用图12中显示的处理的关系。也就是，为获取参考数据，当三维视觉传感器是在可常规测量的状态时，以至少一可选的相对位置关系安置三维视觉传感器和测量目标(测量对象)，且然后由三维视觉传感器测量测量目标(测量对象)，从而获取测量目标(测量对象)上的特征量数据，该特征量数据被存储。
然后，在三维视觉传感器是在可常规测量的状态之后再校准三维视觉传感器的时候，安置三维视觉传感器和测量目标(测量对象)，从而可至少近似地再生该至少一相对位置关系，且然后通过三维视觉传感器测量测量目标(测量对象)从而获取测量目标(测量对象)上的特征量。
之后，基于三维视觉传感器在可常规测量的状态时获取的与校准相关的参数，更新在参考数据获取的时候获取的特征量数据、在再校准数据获取时获取的特征量数据、和与三维传感器的校准相关的参数。
与前述实施例相同，在参考数据获取的时候，以该至少一相对位置关系安置三维视觉传感器和测量对象，且安置相同的元件，从而在再校准的时候至少近似地再生该至少一相对位置关系，该两安置都是通过移动机器人而执行，该机器人支撑三维视觉传感器和测量对象中的至少一个。同样，为了在再校准的时候至少近似地再生该至少一相对位置关系，移动机器人从而再生机器人位置，在该位置，该至少一相对位置关系在参考数据获取的时候建立了。
进一步，取代通过机器人装置规定三维视觉传感器和测量对象之间的两相对位置关系，以设置在单个位置的测量对象执行校准的方法可以如上述一样被采用，该情况中，可以只规定一相对位置关系。而且，可以采用该方法，其中在不同机器人臂上安置测量目标103，从而建立至少一相对位置关系，且至少近似地再生该至少一相对位置关系。
权利要求
1.一种再校准三维视觉传感器的方法，该三维视觉传感器保存与机器人系统中的校准相关的多个参数，所述方法包括步骤(a)当三维视觉传感器是在可常规测量的状态中时，以至少一可选的相对位置关系安置三维视觉传感器和测量目标，使用与校准相关的并保存在三维视觉传感器中的参数，由该三维视觉传感器测量测量目标，以获取表示测量目标的至少一个位置和方位的位置/方位数据；(b)安置三维视觉传感器和测量目标，从而在三维视觉传感器在所述状态之后进行再校准的时候，至少近似地再生该至少一相对位置关系，且然后通过三维视觉传感器测量测量目标，从而获取测量目标上的特征量数据；以及(c)基于特征量数据和位置/方位数据，更新与三维视觉传感器的校准相关的参数，其中，步骤(a)中以该至少一相对位置关系安置三维视觉传感器和测量目标，和步骤(b)中安置三维视觉传感器和测量目标从而至少近似地再生该至少一相对位置关系，所述步骤(a)和步骤(b)都是通过移动机器人而执行的，该机器人支撑三维视觉传感器和测量目标的至少一个，以及在步骤(b)，为了在步骤(b)中至少近似地再生该至少一相对位置关系，移动机器人从而再生于步骤(a)中建立了该至少一相对位置关系的机器人位置。
2.如权利要求1所述的再校准三维视觉传感器的方法，其中三维视觉传感器和测量目标之一安装在机器人的臂上，而三维视觉传感器和测量目标的另外一个放置在该机器人臂之外的预定位置，从而在步骤(a)中以该至少一相对位置关系进行安置，并且在步骤(b)中至少近似地再生该至少一相对位置关系。
3.如权利要求1所述的再校准三维视觉传感器的方法，其中三维视觉传感器安装在机器人的臂上，而测量目标放置在与该机器人臂不同的位置，从而在步骤(a)中以该至少一相对位置关系进行安置，并且在步骤(b)中至少近似地再生该至少一相对位置关系。
4.如权利要求1所述的再校准三维视觉传感器的方法，其中三维视觉传感器安装在机器人的臂上，而测量目标放置在另一机器人的臂上，从而在步骤(a)中以该至少一相对位置关系进行安置，并且在步骤(b)中至少近似地再生该至少一相对位置关系。
5.一种再校准三维视觉传感器的方法，该三维视觉传感器保存与机器人系统中的校准相关的多个参数，所述方法包括步骤(a)当三维视觉传感器是在可常规测量的状态中时，以至少一可选的相对位置关系安置三维视觉传感器和测量目标，然后通过三维视觉传感器测量测量目标，从而获取测量目标上的特征量数据，以及保存特征量数据；(b)安置三维视觉传感器和测量目标，从而在三维视觉传感器在所述状态之后进行再校准的时候，至少近似地再生该至少一相对位置关系，且然后通过三维视觉传感器测量测量目标，从而获取测量目标上的特征量数据；以及(c)基于在步骤(a)保存的与三维视觉传感器的校准相关的参数、所述步骤(a)中获取的特征量数据以及所述步骤(b)中获取的特征量数据，更新与三维视觉传感器的校准相关的参数，其中，步骤(a)中以该至少一相对位置关系安置三维视觉传感器和测量目标，和步骤(b)中安置三维视觉传感器和测量目标从而至少近似地再生该至少一相对位置关系，所述步骤(a)和步骤(b)都是通过移动机器人而执行的，该机器人支撑三维视觉传感器和测量目标的至少一个，以及在步骤(b)，为了在步骤(b)中至少近似地再生该至少一相对位置关系，移动机器人从而再生于步骤(a)中建立了该至少一相对位置关系的机器人位置。
6.如权利要求5所述的再校准三维视觉传感器的方法，其中三维视觉传感器和测量目标之一安装在机器人的臂上，而三维视觉传感器和测量目标的另外一个放置在该机器人臂之外的预定位置，从而在步骤(a)中以该至少一相对位置关系进行安置，并且在步骤(b)中至少近似地再生该至少一相对位置关系。
7.如权利要求5所述的再校准三维视觉传感器的方法，其中三维视觉传感器安装在机器人的臂上，而测量目标放置在与该机器人臂不同的位置，从而在步骤(a)中以该至少一相对位置关系进行安置，并且在步骤(b)中至少近似地再生该至少一相对位置关系。
8.如权利要求5所述的再校准三维视觉传感器的方法，其中三维视觉传感器安装在机器人的臂上，而测量目标放置在另一机器人的臂上，从而在步骤(a)中以该至少一相对位置关系进行安置，并且在步骤(b)中至少近似地再生该至少一相对位置关系。
9.一种用于再校准安装在机器人臂上的三维视觉传感器的设备，包括用于保存与三维视觉传感器的校准相关的多个参数的装置；用于移动机器人到至少一机器人位置的装置，在该位置三维视觉传感器临近于测量目标；目标位置信息探测装置，其用于通过三维视觉传感器的测量，探测在该至少一机器人位置的测量目标上的位置信息；目标特征量信息探测装置，其用于通过三维视觉传感器的测量，探测在该至少一机器人位置的测量目标上的特征量信息；响应于参考数据获取指令，使得目标位置信息探测装置使用所保存的与三维视觉传感器的校准相关的参数探测和测量目标有关的位置信息，并将所探测的位置信息作为表示该测量目标的至少一个位置和方位的位置/方位数据存储的装置；响应于再校准指令，使得目标特征量信息探测装置探测测量目标上的特征量信息，并且获取作为特征量数据的探测的特征量信息的装置；以及参数更新装置，其用于基于特征量数据和位置/方位数据，更新与三维视觉传感器的校准相关的参数。
10.一种利用安装在机器人上的测量目标再校准三维视觉传感器的设备，包括用于保存与三维视觉传感器的校准相关的多个参数的装置；用于移动机器人到至少一机器人位置的装置，在该位置三维视觉传感器临近于测量目标；目标位置信息探测装置，其用于通过三维视觉传感器的测量，探测在该至少一机器人位置的测量目标上的位置信息；目标特征量信息探测装置，其用于通过三维视觉传感器的测量，探测在该至少一机器人位置的测量目标上的特征量信息；响应于参考数据获取指令，使得目标位置信息探测装置使用所保存的与三维视觉传感器的校准相关的参数探测和测量目标有关的位置信息，并将所探测的位置信息作为表示该测量目标的至少一个位置和方位的位置/方位数据存储的装置；响应于再校准指令，使得目标特征量信息探测装置探测测量目标上的特征量信息，并且获取作为特征量数据的探测的特征量信息的装置；以及参数更新装置，其用于基于特征量数据和位置/方位数据，更新与三维视觉传感器的校准相关的参数。
11.一种用于再校准安装在机器人臂上的三维视觉传感器的设备，包括用于保存与三维视觉传感器的校准相关的多个参数的装置；用于移动机器人到至少一机器人位置的装置，在该位置三维视觉传感器临近于测量目标；目标特征量信息探测装置，其用于通过三维视觉传感器的测量，探测在该至少一机器人位置的测量目标上的特征量信息；响应于参考数据获取指令，使得目标特征量信息探测装置探测测量目标上的特征量信息，并且将探测的特征量信息存储作为参考特征量数据的装置；响应于再校准指令，使得目标特征量信息探测装置探测测量目标上的特征量信息，并且获取作为特征量数据的探测的特征量信息的装置；以及参数更新装置，其用于基于特征量数据，参考特征量数据，和在参考数据获取指令接收时保存的、与三维视觉传感器的校准相关的参数，更新与三维视觉传感器的校准相关的参数。
12.一种利用安装在机器人上的测量目标再校准三维视觉传感器的设备，包括用于保存与三维视觉传感器的校准相关的多个参数的装置；用于移动机器人到至少一机器人位置的装置，在该位置三维视觉传感器临近于测量目标；目标特征量信息探测装置，其用于通过三维视觉传感器的测量，探测在该至少一机器人位置的测量目标上的特征量信息；响应于参考数据获取指令，使得目标特征量信息探测装置探测测量目标上的特征量信息，并且将探测的特征量信息存储作为参考特征量数据的装置；响应于再校准指令，使得目标特征量信息探测装置探测测量目标上的特征量信息，并且获取作为特征量数据的探测的特征量信息的装置；以及参数更新装置，其用于基于特征量数据，参考特征量数据，和在参考数据获取指令接收时保存的、与三维视觉传感器的校准相关的参数，更新与三维视觉传感器的校准相关的参数。
全文摘要
用于机器人系统的三维视觉传感器的再校准方法和设备，从而减轻用于再校准所需的工作负荷。当视觉传感器是常规时，通过机器人以一个或更多的相对位置关系安置视觉传感器和测量目标，并且利用之后保存的校准数据，测量目标从而获取点图形的位置/方位信息等。在再校准过程中，近似地再生每一相对位置关系，并且再次测量目标，从而获取图像上特征量信息或点图形的位置/方位等。基于特征量数据和位置信息，更新与视觉传感器的校准相关的参数。在机器人臂上安装带有相对位置关系的视觉传感器和目标。在再校准过程中，利用保存的校准参数、同样还有视觉传感器的常规操作期间和再校准过程中获取的特征量信息，可以计算位置信息，并且基于计算结果可以更新校准参数。
文档编号G01B11/26GK1727839SQ20051008736
公开日2006年2月1日 申请日期2005年7月28日 优先权日2004年7月28日
发明者伴一训, 管野一郎 申请人:发那科株式会社