沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
【专利摘要】本发明提供一种在不同的已知高度处利用至少两个（例如平行的）物体平面在一3D容积空间中沿三个不连续平面生成用于视觉系统摄像机的摄像机校准的系统和方法。对于任何指定高度的第三（例如平行的）平面，所述系统和方法根据起初的两个校准通过内插/外推自动生成摄影机校准数据。这降低了在两个以上的高度处设置校准物体的需要，加快了校准程序并简化了用户校准设置，且还允许对空间限制的、校准物体不易达到的高度进行内插/外推。可在每一高度处利用全2D手眼校准，或在第一高度处利用手眼校准然后在第二高度处沿高度（如Z）方向通过平移至一已知的位置对校准板进行校准。
【专利说明】沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
【技术领域】
[0001]本发明涉及视觉系统摄像机的校准，更特别地是涉及到关于多个不连续的目标平面校准视觉系统摄像机的系统和方法。
【背景技术】
[0002]在机器视觉系统(此处也称为“视觉系统”)中，一个或多个摄像机在一成像场景内一物体或表面上用于执行视觉系统程序。这些程序可包括检测、符号解码、对齐和各种其它的自动化任务。更特别地，视觉系统可用于检测通过成像场景的扁平工件。所述场景通常由一个或多个视觉系统摄像机成像，所述视觉系统摄像机可包括内部或外部视觉系统处理器，视觉系统处理器运行相关联的视觉系统程序生成结果。通常需要校准一个或多个摄像机，使其执行视觉任务具有足够的精度和可靠性。一校准板可用于校准摄像机。
[0003]一校准板通常设置为一扁平物，其表面上可见独特的图案。所述独特的图案通常是精心且精细地设计的，以便使用户能够很容易地辨别摄像机所获取的校准板的影像上每个可见的特征。一些典型的图案包括但不限于点网格、网格线，或类蜂巢图案、三角形棋盘格等。从校准板的设计了解每个可见特征的特点，如相对于暗含于设计内的参考位置和/或坐标系的位置和/或方向。
[0004]棋盘格图案的设计在执行校准中的准确性和稳定性方面具有一定的优势，即使在存在有其它非理想条件下的角度和镜头畸变、图案部分损坏和照明不均匀的情况下。更特别地，在静止物体的二维(2D)校准中，通过校准棋盘格的边缘，来确定棋盘格方块边角的相对位置，通常足以确定视觉系统的准确性，并视情况向摄像机的处理器提供适当的校正因数，以便鉴于这种校正因数测量运行时的物体。
[0005]在大致了解刚性体(如校准板)的某些校准原则的进一步的背景下，一动作的特征可通过一对姿态来描绘:动作之前的开始姿态和所述动作之后的结束姿态——此处的“姿
态”定义为在任何一个特定时间处、一些基本坐标系内的一组描述主体状态的数值-主
体的虚拟表征。例如，在二维中，一刚性体的特征可通过三个数字描述:x方向的平移、Y方向的平移和旋转度R。在校准板的上下文环境中，姿态描述了当摄像机和校准板之间有相对运动时校准板如何呈现给摄像机。通常，在标准的所谓“手眼校准”中，一校准板以各种不同的姿态呈现给摄像机，且每个摄像机采集每一个这种姿态的校准板的影像。对于机器视觉手眼校准，通常将校准板移动至多个预定的姿态，摄像机采集校准板处于该姿态时的各个影像。这种手眼校准的目标是在“运动坐标系”中确定摄像机和校准板的刚性体姿态。运动坐标系可通过多种方式定义。姿态(特指处于空间中的校准板和/或摄像机情况下的)中的数字必须转换为适当的坐标系。一旦选择了单个统一坐标系，姿态和动作就在全局坐标系中描述/表达。该所选坐标系通常称为“运动坐标系”。通常“动作”由一能够实施物理动作的物理装置提供，如机械手臂，或是运动平台，如起重机架。要注意，板能够相对于一个或多个固定摄像机移动，或摄像机能够相对于固定板移动。这种动作实施装置的控制器采用数值(即姿态)来命令装置实施任何所需的动作，且这些值表达在所述装置的本地坐标系中。要注意，尽管能够选择任何运动坐标系相对于运动实施装置和摄像机提供一共同的全局坐标系，但很多时候需要选择运动实施装置的本地坐标系作为整体运动坐标系。
[0006]因此，手眼校准通过实施动作(移动校准板或移动摄像机)和在该动作之前和之后采集图像来将系统校准为一单个运动坐标系，以确定该动作对移动的物体的影响。通过进一步的背景，这不同于标准的“非手眼”校准，在“非手眼”校准中机器视觉应用一般没有任何动作实施装置。在这种情况下，利用一个采集到的在所有摄像机的视野内的一特定位置处的板的影像，“摄像机”通常相对于校准板本身的坐标系全部得以校准。机器视觉校准软件从通过每个摄像机所获得的板的影像推算每个摄像机的相对位置。这种校准称为“校准摄像机至板”，而手眼校准称为“校准摄像机至运动坐标系”。
[0007]当机器视觉系统采用手眼校准时，其软件使用命令动作(对其来说命令动作数据是已知的)通过关联在影像中观察到的动作效应分辨姿态。校准的另一个结果是摄像机影像中的每一像素位置与运动坐标系中的物理位置之间的映射，以便在图像空间中找到一位置后，可平移运动坐标系中的位置且可命令运动实施装置对其施加作用。
[0008]在各种制造工序中，需要对齐一扁平工件，或更一般地，一有用特征存在于通常平行的不连续平面内的工件。更特别地，在组装应用中，一个工件与另一个工件对齐。一个示范性的工序需要将一移动电话或平板电脑的保护玻璃插入至其外壳中。另一示范性的工序涉及打印应用，其中工件与工艺设备对齐，例如在对移动电话、平板电脑或平板显示器的保护玻璃屏幕进行丝印时。在这种制造工序中，工件必须沿参考平面的X-Y轴方向对齐，且还在不同的高度处(即沿正交Z轴)进行该对齐。一些工件可能在多个高度处拥有多个对齐特征。每一有用高度都需要准确和精确的摄像机校准，确保通过视觉系统对该对齐进行适当地分析和验证。
[0009]虽然在这种工序中可采用三维(3D)视觉系统的应用，但可预想到，在物体的平面在每个高度保持平行的情况下，2D视觉系统可充分地执行。校准通常是很耗时的过程，且必须在工作区的空间限制内进行。因此有必要在这种“2.5D”装置中，在沿平行平面(即物体在不同的高度位置之间，不经历关于X轴或Y轴的旋转)高度变化的情况下，提供一种用于准确且方便地校准视觉系统摄像机的系统和方法。该系统和方法应合意地允许测量多个待准确校准的高度，同时使校准板的操控和设置达到最低限度。
【发明内容】
[0010]本发明所述的一种在不同的已知高度处利用至少两个(说明性地，为平行平面)物体平面在一 3D容积空间中沿三个或更多(即至少三个)不连续的平面生成用于视觉系统摄像机的摄像机校准的系统和方法克服了现有技术的缺点。对于任意第三指定平面(说明性地，该平面在一指定高度处与起初的两平面中的一个或多个平行)，系统和方法根据起初的两个校准通过线性内插/外推自动生成准确的摄像机校准数据。理论上这种方法是准确的，且不用使用任何明确的近似法。这降低了在两个以上的高度处设置校准板或类似的校准物体的需要，加快了校准程序并简化了用户校准设置。另外，说明性的系统和方法理想地实现了高度校准，通常这通过校准物体是无法达成的(例如，由于空间限制——如成像壳体的内部凹槽)。可在每个高度处利用全2D手眼校准，或在第一高度处利用手眼校准对校准板进行校准，然后仅沿高度(Z)方向平移(通常该平移关于Z轴不旋转且关于X和Y轴不平移或旋转)将其移动至第二高度。
[0011]在一个说明性的实施例中，提供一种沿至少三个(或更多)不连续平面校准视觉系统摄像机的系统和方法，且包括视觉系统摄像机组件，其具有在一立体空间内的视野。还提供了校准物体，其具有可在一平面板上设置为棋盘格图案的校准特征。校准程序通过所采集的校准物体图像执行(a)立体空间的第一平面内校准物体的第一校准，和(b)立体空间的第二平面内校准物体的第二校准，所述第二平面沿分离轴从第一平面分离。一内插/外推程序从第一校准和第二校准接收校准数据，所述内插/外推程序沿与每个像素有用位置相关联的每一 3D光线操作。然后其生成立体空间内第三平面的校准数据，所述第三平面沿轴从第一平面和第二平面隔开。在说明性的实施例中，内插/外推程序为常规的线性内插/外推程序。说明性地，第一平面、第二平面和第三平面中的至少两个可相互平行。当不平行时，在内插程序中使用限定平面的方程来确定光线穿过每一平面的交点。说明性地，至少第一校准和第二校准的其中一个可包括一相对于运动坐标系的手眼校准。可选地，校准物体在第一高度和第二高度之间以一已知的方式移动，以便使物体的新位置在移动后是已知的。例如，这种已知的运动可仅沿垂直轴发生，且第一校准或第二校准中的任一个采用映射至运动坐标系的校准物体的一单独影像。可相对于制造装置中的运动实施装置的运动方向限定运动坐标系，该运动实施装置移动第一物体和第二物体中的一个。运动实施装置可为作用于其中一个物体的一操控器或运动平台。因此，第三平面与沿轴的一位置相关联，在第二物体组装至第一物体期间，第二物体位于该位置。视觉系统摄像机组件可包括一个或多个视觉系统摄像机，每一个都相对于立体空间具有其各自的具有不连续方向的光轴。此外，视觉系统摄像机和运动坐标系可为彼此固定的，或彼此相对运动。设想到，运动通常可出现在摄像机和运动坐标系之间，而不论成像物体其本身是否相对于运动坐标系运动。
【专利附图】
【附图说明】
[0012]下面参考附图对本发明进行描述，其中:
[0013]图1为视觉系统摄像机和相关联的处理器装置的原理图，所示为根据一说明性的实施例，三个或更多示范性的平面在其不连续的高度处关于3D运动坐标系的定位；
[0014]图1A为根据图1的实施例的一示范性的制造装置，其利用视觉系统，在示范性的平行平面内，使第一物体与第二物体通过其之间的相对运动对齐；
[0015]图2为利用图1的装置进行整个校准过程的流程图，在两个不连续的高度处采用校准板(或类似物体)的影像以对第三或更多高度进行校准参数的内插；
[0016]图3为在两个不连续的高度中的每一个处利用校准板执行手眼校准的子过程的流程图；以及
[0017]图4为在第一高度处利用校准板执行手眼校准的一可选子过程的流程图，然后准确地且以一已知的方式将板移动至第二高度，以便省略第二手眼校准步骤。
【具体实施方式】
[0018]图1为在由所示运动坐标(X，Y，Z)轴112所表示的三个维度内采集场景110的影像的一视觉系统摄像机装置100的原理图。场景110需要三个或更多(至少三个)不连续的高度，如平面120、122和124所示。为了加以说明，各个平面120、122和124是平行的，只有Z轴上的高度改变，且关于相对应的X或Y轴没有旋转。因此，所述场景可定义为一 2.5维(2.5D)的空间。也就是说，一物体的位置沿Z轴为变量，但是在所定义的相互之间保持平行的平面(120、122、124等)内并不存在变量。在进一步的实施例中，且如下所述，各平面可为不平行的，并可沿一更普遍的分离轴在一些穿过每一平面的位置处分离。在图1的说明性实例中，该分离轴为一穿过每个示范性的平面的垂直轴。
[0019]如图所示，装置100包括至少一个视觉系统摄像机140，所述视觉系统摄像机140具有一影像传感器(或简称“传感器”)142，例如CMOS传感器，其接收来自场景的穿过一镜头组件144的光线。如下进一步所述，镜头组件可为常规的针孔型镜头144，其具有常规的焦距和光圈设置，或为根据市售或定制设计的远心镜头146 (虚线所示)。摄像机可定义一光轴0A，其平行于Z轴或朝向关于Z轴成一角度的方向(即不平行于Z轴)。
[0020]说明性地，所示直线R在不同的/不连续的(X，Y)位置处，即平面124上的(XI，Y1)，平面122上的(X2，Y2)，平面120上的(X3，Y3)处，定义了与三个不同的示范性Z高度的平行平面相交的3D光线。要注意，实际上相交的平面超过三个，且任何其它的平行平面都可以是校准操作(内插/外推)的物体，如下所述。对于针孔摄像机，该光线R穿过摄像机的光心。对于远心摄像机，光线平行于光轴。对于这两种型号的摄像机，由于摄像机的投影几何形状，所有的三个点都刚好在摄像机传感器上的相同的像素位置处成像。通常，传感器上的每个像素位置都对应一穿过空间的3D光线，3D光线在每个平面内通常不同的(X，Y)位置处与三个或更多平面相交。对于针孔摄像机，不同像素位置的3D光线在摄像机的光心处汇聚，而对于远心摄像机，这些3D光线平行于光轴。
[0021]摄像机传感器142将采集到的影像数据(例如颜色或灰度像素值)传输至一视觉系统处理器和相应的视觉系统程序150。视觉系统处理器/程序150可全部或部分包含在摄像机外壳内，或可设置于一单独的、远程处理装置中，如PC，通过合适的有线或无线通信线路连接至传感器组件142 (以及任何相关联的处理/预处理回路)。视觉系统生成的数据——例如利用边缘检测和其它常规对齐技术得到的对齐数据——可通过下游数据处理程序154加以利用，包括但不限于自动机械操控程序。可建立一反馈环路，以便当移动一个或同时两个物体并采集物体的影像时，能够调节自动机械操控器在物体之间限定一准确接合的路径。视觉系统处理器/程序150内还包含一校准程序152。校准程序152生成并存储用于修改摄像机在沿X、Y和Z的不同位置处从物体特征采集到的影像数据的校准值，以便其精确地表达这种特征在空间中和/或相对于其它位置的准确位置。
[0022]视觉系统装置100可设置于多种制造工序中一例如如图1A所示的制造装置/工序170，其中保护玻璃172由一操控器175相对于外壳174 (例如平板电脑，“智能”手机等)进行操控。当视觉系统178设法将保护玻璃的边缘176与外壳174的一相连的搁板(177-如虚线所示)对齐时，该实例的玻璃172和外壳174通常分别保持在平行平面内。如上文所述，可选地，物体特征可存在于不平行的平面中。将对齐信息传输至操控器的自动机械控制组件179，以使其能够适当地将玻璃172引导至外壳上以适当地组装。两个物体之间的对齐平移和旋转发生于X-Y平面内。监视示范性的物体的视觉系统178需要准确的高度信息，以便其能够沿Z轴适当地将保护玻璃从上覆外壳的一位置移动至与外壳接合的位置。在执行采用视觉系统适当地协助部件的操控的各种制造工序中，非常需要在X和Y轴上准确地(例如微米级内)找到部件特征，且获得精确的高度信息使得能够达到这一高精度。在所示的实例中，利用一运动平台180在X和/或Y上旋转和平移外壳174，利用操控器175在Z轴上平移保护玻璃176 (且可选地，在X和/或Y轴上平移和/或旋转)。操控器175和/或运动平台180也可关于Z轴旋转(曲线箭头RZ)其各自的部件。更一般地，可构建和设置运动实施装置的结构，以便包含于其中的部件的组装随以下任一情况发生:(a)提供给第一部分(如保护玻璃)的所有动作；(b)提供给第二部分(如外壳)的所有动作，或(C)，如图所示，提供给每一部分的某些动作。在所示的实例中，运动平台180定义了系统的运动坐标系(X，Y，Z)。但是，在可选结构中，这可通过操控器(XM，YM, Z)限定，或在两个运动实施装置都经历运动的情况下，利用手眼校准技术为每个装置都唯一地限定一不连续的运动坐标系，且二者都通过手眼技术映射至一统一的参考坐标系。该统一参考坐标系可基于装置的运动坐标系或一完全独立的坐标系。此处所使用的术语“运动坐标系”也应指的是一统一(全局)坐标系。
[0023]注意，此处所使用的术语“程序”和/或“处理器”应从广义上来理解，包括各种立足于功能和组件的电子硬件和/或软件。此外，所述的程序或处理器能够与其它程序和/或处理器组合或分为多个子程序或处理器。根据此处的实施例可对这种子程序和/或子处理器进行各种不同的组合。同样地，可明确设想到，此处的任何功能、程序和/或处理器能够利用电子硬件、软件(包括程序指令的非暂时的计算机可读媒介)或硬件和软件的结合实施。
[0024]为了利用校准程序152进行校准，用户将校准板160放置于空间的一 X_Y平面(例如，底部平面120)内。板160可限定多种几何特征结构。说明性地，为一棋盘板，其具有方形亮块162和暗块164 (或其它对比鲜明的结构一例如可视和不可视、反光和不透明等)的棋盘格形图案。这些方块在其边界处限定一组棋盘格方块的边角，其检测可利用常规技术——例如，基于对比的边缘检测，且对应于每个方块边角的影像像素位置可限定在每个采集到的影像内。要注意，所示校准板是高度简化了的，实际上面积可更大或更小，且通常包含明显数量更多或更小(毫米级或更小)的棋盘格方块。
[0025]明显能够预想到，在可选的实施例中可利用非基于光强或基于光强以外的原理的传感器，和可采用适当的校准物体和相关的校准图案。传感器能够根据其工作原理和被成像特征的性质分辨校准特征。例如，可采用在不可见波长(UV，IR)中成像的传感器，且一些特征以该不可见波长投射光线。为了加以说明，术语“传感器”、“摄像机”和“校准物体”应从广义上理解，包括非基于光强度的成像系统和相关的物体特征。
[0026]参考图2，现在利用所示校准板160对一利用视觉系统的校准程序152实施的说明性的校准过程200进行进一步的详细说明。在步骤210中，板放置在摄像机视野内第一高度处(例如平面120中和高度Ζ3)，且采集和存储至少一个影像用于校准过程中。如果需要的话(例如在如下所述的手眼校准的情况下)，可利用相对于X-Y平面移至不同的已知位置的校准板采集多个影像。
[0027]然后在步骤220中将校准板160移至第二平行平面(例如平面124和高度Zl)。在该高度处，在步骤230中采集校准板160的一个或多个影像，并在步骤230中存储。
[0028]在步骤240中，为每个有用像素位置计算一 3D光线(例如图1中的光线R)。分别通过两个高度的校准来映射像素位置，由此获得该3D光线在第一高度和第二高度处与平面的交点。然后，在步骤250中，根据已知的数学方法，沿共同的Z轴为第三有用高度(例如平面122和高度Z2)执行一线性内插(或外推)步骤。可对任何有用像素位置执行该线性内插/外推步骤，该步骤基于利用这样的事实，即每一个这样的有用像素位置与3D空间中的一光线R对应，其中所述光线R与所有用于校准的平行于两平面120和124的平面相交(例如，在平面124上的交点(XI，Yl)处，在平面122上的交点(X2，Y2)处，在平面120上的交点(X3，Y3)处等)。说明性地，任何第三平面的内插/外推都是基于光线交点的X-Y位置和平面的Z高度之间的线性关系。该内插/外推使得过程200在步骤260中生成每个内插高度的校准值，作为摄像机组件参数的一部分存储起来。这些校准值确保当一物体在该高度处成像时，视觉系统准确地将其测量出来。可选地，明确预想到，内插/外推程序可在运行时快速(on-the-fly)使用，以在任意给定高度找出一物理位置。
[0029]要注意，能够预想到，校准过程中的每个物理空间应以一已知的方式线性关联起来。说明性地，视觉系统程序(即对齐程序)可基于制造工序的运动坐标系(物体穿过场景的运动方向)限定物理空间。该运动坐标系通常存在于一 2D平面中，其平行于如图所示的待沿X-Y平面对齐的扁平部件。从而，该2D运动坐标系沿所示的Z轴正交地垂直延伸/挤出，其中该Z轴垂直于X-Y运动坐标平面。在任何指定的Z高度处，物理坐标空间为2D运动坐标系在指定的Z高度处在平行平面上的正交投影。
[0030]如上所述，所述平面可为平行或不平行布置。当不平行时，内插可采用已知的方程，其描述两个已校准平面中的每一个和第三待校准平面。这些方程以本领域的技术人员熟知的方式，用于光线与每个指定的平面的相交。
[0031]可在第一高度和第二高度的每一个处以多种方式执行校准板的运动和定位。例如，校准板可位于由运动平台支撑的第一高度处，运动平台上支撑有一物体(例如一外壳)，且可利用放置于运动平台上的精确的间距块将第二高度从第一高度隔开，然后在比第一高度更高的第二高度处支撑校准板。可选地，操控器可支撑校准板，并准确地移动(可能只沿第一高度和第二高度之间的Z轴移动)。
[0032]参考图3中的子过程300 (其可为过程200的一部分)，为了在每个高度建立并保持运动坐标系，一种方法是利用校准板在每个高度执行全2D手眼校准。这使得板在位于第一高度处的X-Y平面内，相对第二高度进行X-Y平移和/或旋转——这能够降低对准确地限制仅Z轴方向运动的需要。在许多制造装置中，这种灵活性能够提升整个校准程序的便利性(下文作进一步说明)。步骤310中，校准板位于一个平面内的第一高度处。步骤320中，在制造工序中，在平面内至少两个不连续的位置中的每一个处采集校准板的影像。这些影像存储起来，并用于(步骤350) — 2D手眼校准过程中，以建立运动坐标系，以及相对于该坐标系建立校准板的相对2D方向的映射。然后将校准板移至第二高度，并利用操控器、垫片或类似物将其保持在第二高度。板在第二高度处的相对X-Y位置和/或在X-Y平面内的旋转不需要与板在第一高度处时完全一致。然后在运动之前和之后(即通过运动平台180)在至少两个不同的位置处沿运动方向采集板的影像，并执行一全2D手眼校准过程以再一次建立运动坐标系并映射校准板的方向至该坐标系(步骤350)。
[0033]过程200的一可选的子过程400如图4所示。在该步骤400中，步骤410处，校准板又是位于第一高度处。步骤420，在第一高度处，如上文所述执行一手眼校准。在步骤430中，根据该手眼校准建立运动坐标系并映射至校准板的方向。然后，在步骤440中，校准板仅沿Z轴移动，在X或Y轴没有任何平移或旋转，亦没有任何关于Z轴的旋转。这能够利用在第一高度和第二高度之间运动的Z轴运动平台实现，这样的平台可设置于制造装置中。可选地，操控器能够支撑校准板，并仅沿Z方向移动。要注意，这种在Z轴方向上唯一的运动为更广泛的概念的一个实例，其中从一个位置移动到另一个位置的运动以一已知的方式进行，如此系统可获知结束位置和方向。其可为相对于第一平面限定第二平行或非平行平面的运动。一旦将校准板移至第二高度/位置，就在步骤450中采集并利用单个影像(或从多个采集到的影像中使用一个影像)以在第二高度处校准。因为板在一已知的第二位置(例如，除了沿Z方向的纯粹平移外，以无须任何动作的方式移动)，其可在步骤460中映射至已建立的运动坐标系，且校准值可由此产生。然后步骤200沿Z轴为其它任何第三平行平面内插/外推。
[0034]在可选的实施例中，校准板的本地坐标系可用作运动坐标系的等同物来定义视觉系统的全局坐标系。同样地，如果板以一已知的方式(例如只沿Z轴)在第一高度和第二高度的每一个之间移动，每个高度处的单个影像可用于校准和随后的内插。
[0035]如上所述，说明性的实施例的系统和方法可通过一摄像机组件140实施，摄像机组件140具有一根据针孔镜头144模型或远心镜头146模型创建的镜头。对于远心摄像机，光线平行于光轴，且对于针孔和远心摄像机型号，根据每个摄像机的投影几何形状，所有的三个(或更多)点在摄像机的传感器上处成像。因此，沿每一光线的内插/外推程序对任一种摄像机型号都是类似的。
[0036]应当清楚，用于涉及位于多个平行平面处的物体的工序中的校准视觉系统的系统和方法，提供了一种利用定位在两个不连续的高度处的校准板或其它结构自动(即通过视觉系统的内部计算功能)生成各种高度处的校准数据的有效和更方便的方法。这简化并加快了校准程序，减少制造工序中的停机时间，在校准的物理方面减少用户参与。以及，由于所述说明性的系统和方法使用线性内插/外推来生成准确的校准数据，其理想地实现了通常经由校准物体所无法获得的高度和/或位置校准(例如由于空间限制——如一成像壳体的内部凹槽)。
[0037]应当进一步明确，本文的原理，尽管是关于单个视觉系统摄像机而描述，但其可应用于多摄像机组件中的每个摄像机，单独或一起使用，如在标准手眼校准实践中一样。说明性地，如图所示有第二摄像机190(如图1中虚线所示)，其具有在不连续的方向相对于第一摄像机的轴OA的光轴OAl。该视觉系统摄像机190包括内部和/或外部视觉系统处理器/程序(也由块150表示)，和相关联的校准程序(也由块152表示)。该处理器和/或程序可为多个摄像机(例如基于PC的处理器/程序或主/从处理装置，所述处理装置在一个(或多个)摄像机上具有一主处理器，在其它摄像机上具有从处理器)共用。可选地，每个摄像机都能够通过相关联的处理器/程序生成自己的校准数据，且所有的数据都能提供给一单独的处理器(如PC)。因此，术语“视觉系统摄像机组件”应从广义上来理解，包括各种形式的由一个或多个不连续的视觉摄像机(每个视觉摄像机通常都包含其自身的光学封装和相连的影像传感器)组成的装置。通过执行上述的外推/内插程序，为每个摄像机，生成其自身的精确校准数据的一个版本。此外，明确预想到，视觉系统摄像机(包括多个摄像机)可为固定的或关于运动坐标系相对运动的(图1中的双箭头M)。无论物体其自身是固定的或是关于运动坐标系相对运动的，摄像机的这种相对运动均会发生。还预想到，摄像机和物体(运行时的物体，校准板等)都可处于相对运动，或仅仅物体关于运动坐标系处于相对运动。由于应用于移动摄像机/物体，此处所述的方法能够在存在相对运动的情况下利用手眼校准的标准理论和技术实现。
[0038]前文已详细描述了本发明的说明性的实施例。在不脱离本发明的发明思想和范围的情况下可进行各种修改和增加。为提供多种与新实施例相关的结合特征，上述各种实施例中的每一个实施例的特征可适当地与其它所述实施例的特征相结合。此外，虽然前文描述了一些本发明的装置和方法的单独的实施例，但本文的描述仅仅是对本发明原理的应用的说明。例如，尽管此处所述的示例性的制造工序涉及到相对于外壳来操控保护玻璃，各种可在一 2.5D空间内实施的其它制造工序也是能够设想到的一例如在电路板上放置电路芯片、在框架内安装窗玻璃等等。此外，虽然两个不连续高度用在内插/外推过程中，预想到能够在更多的物理高度进行板的校准来提高准确度。此外，第一高度和第二高度不需要分别限定出一较低的和较高的平面，且能够可选地限定一较高的和较低的平面，以这种顺序校准。同样，任何用于线性内插/外推生成校准数据的第三高度的平面都不必须存在于第一高度和第二高度之间，内插能够在离摄像机成像平面的对应一平面的距离处产生可靠的结果。更一般地，本文使用的术语“内插”、“外推”和/或“内插/外推”一般来说指的是线性内插和/或外推，但也可限定类似的数学过程和/或额外的过程，结合传统的线性内插和/或外推程序使用。另外，虽然对一个校准物体的使用进行了描述，明确预想到在进一步的实施例中可采用多个校准物体(具有类似/相同或不同的特征图案)。因此，此处采用了“至少一个”校准物体。此外，此处所用的各种方向和定位的术语如“垂直的”、“水平的”、“向上”、“向下”、“底部”、“顶部”、“侧部”、“前”、“后”、“左”、“右”等都只是用作相对的惯例而不作为关于一固定坐标系(如重力)的绝对方向。因此，该描述仅仅起示例性的作用，而并不旨在限制本发明的范围。
【权利要求】
1.一种沿至少三个不连续平面校准视觉系统摄像机的系统，包括: 一具有立体空间内视野的视觉系统摄像机组件； 至少一个具有校准特征的校准物体； 一校准程序，其通过所采集的校准物体图像执行(a)立体空间的第一平面内利用校准物体的第一校准，和(b)立体空间的第二平面内利用校准物体的第二校准，所述第二平面沿一轴从第一平面分离；和 一内插/外推程序，其与校准程序相关联，该校准程序从第一校准和第二校准接收校准数据，从而在立体空间内生成至少一第三平面的校准数据，所述第三平面沿轴从第一平面和第二平面隔开。
2.根据权利要求1所述的系统，其中至少第一校准和第二校准的其中一个包括相对于运动坐标系的手眼校准。
3.根据权利要求2所述的系统，其中相对一制造装置中的运动实施装置的运动方向限定运动坐标系，该运动实施装置移动第一物体和第二物体中的一个。
4.根据权利要求3所述的系统，其中运动实施装置包括操控器和运动平台的其中一个。
5.根据权利要求3所述的系统，其中第三平面与沿轴的一位置相关联，将第一物体与第二物体组装期间，第一 物体和第二物体中的至少其中一个的一个对齐特征存在于该位置。
6.根据权利要求2所述的系统，其中第一校准和第二校准其中的每一个都包括相对于运动坐标系的手眼校准。
7.根据权利要求2所述的系统，其中校准物体以一已知的方式在第一校准和第二校准之间移动，且第一校准或第二校准采用映射至运动坐标系的校准物体的一单个影像。
8.根据权利要求2所述的系统，其中视觉系统摄像机组件为以下其中一个:(a)固定的或(b)关于运动坐标系相对运动的。
9.根据权利要求1所述的系统，其中内插/外推限定为线性内插/外推程序。
10.根据权利要求1所述的系统，其中视觉系统摄像机组件包括多个视觉系统摄像机，每个视觉系统摄像机都具有一光轴，每个视觉系统摄像机的光轴相对立体空间具有不连续的方向。
11.根据权利要求1所述的系统，其中摄像机传感器对光强成像，且至少其中一些校准特征通过摄像机组件在不连续的不同光强处成像。
12.根据权利要求1所述的系统，其中至少第二平面和第三平面中的一个与第一平面平行。
13.一种沿至少三个不连续平面校准视觉系统摄像机的方法，包括以下步骤: 通过具有立体空间内视野的视觉系统摄像机组件采集影像； 在视野内定位至少一个具有校准特征的校准物体； 通过所采集的影像执行(a)立体空间的第一平面内利用校准物体的第一校准，和(b)立体空间的第二平面内利用校准物体的第二校准，所述第二平面沿一轴从第一平面分离；和 从第一校准和第二校准接收校准数据，从而通过内插和外推在立体空间内生成至少第三平面的校准数据，所述第三平面沿轴从第一平面和第二平面隔开。
14.根据权利要求13所述的方法，其中至少第一校准和第二校准的其中一个包括相对于运动坐标系的手眼校准。
15.根据权利要求14所述的方法，其中相对一制造装置中的运动实施装置的运动方向限定运动坐标系，该运动实施装置移动第一物体和第二物体中的一个。
16.根据权利要求14所述的方法，进一步包括以下所述其中一个:(a)相对运动坐标系维持视觉系统摄像机组件在一固定位置，或(b)相对运动坐标系移动视觉系统摄像机组件。
17.根据权利要求13所述的方法，其中第三平面与沿轴的一位置相关联，将第一物体与第二物体组装期间，第一物体和第二物体中的至少其中一个的至少一个对齐特征存在于该位置。
18.根据权利要求13所述的方法，其中第一校准和第二校准的每一个都包括相对于运动坐标系的手眼校准。
19.根据权利要求13所述的方法，进一步包括:仅沿第一校准和第二校准之间的轴以一已知的方式移动校准物体，以及在第一校准或第二校准中采用映射至运动坐标系的校准物体的一单个影像。
20.根据权利要求13所述的方法，其中内插/外推限定为线性内插/外推。
21.根据权利要 求13所述的方法，其中至少第二平面和第三平面中的一个与第一平面平行。
【文档编号】G01C25/00GK104006825SQ201410058977
【公开日】2014年8月27日 申请日期:2014年2月20日 优先权日:2013年2月25日
【发明者】刘刚, G·什瓦拉姆, C·C·马里恩 申请人:康耐视公司