具有计算机生成的虚拟参照物的机器视觉系统的制作方法

背景技术：

以下公开涉及机器视觉系统。特别地，本公开涉及在质量控制或需要测量物体的其它类似任务中使用的测量机器视觉系统。更具体地，本公开涉及一种使用参照物的机器视觉系统。计算机控制的机器视觉系统被用于各种应用中。一种典型的应用是对制造业中制造的物体的质量控制。通过使用一个或多个摄像头对所制造的物体成像，能够测量物体的各种属性。该测量可以涉及测量整个物体或物体的一些选定特征。因此，取决于所选择的特征，测量可以是一维、二维或三维的，或者甚至可以组合维度来执行。除了尺寸和形状以外，还能够测量其它特性，诸如颜色、粗糙度或其它此类特征。机器视觉系统的测量通常是通过将所制造的物体与模型物体进行比较来进行的。所获得的结果通常给出所测量的物体与所使用的模型物体的相对差异。

测量三维坐标仅需要两个摄像头，这是因为可以由两个二维图像来计算三维坐标，但前提是所测量的点在两个图像中都可见。然而，通常摄像头的数量较大。这是由于大量的摄像头增加了测量的覆盖范围和准确性。摄像头通常被定位为，使得它们可以看到所测量的物体的所有特征，或者至少看到尽可能多的特征。相应地，通常不是所有摄像头都能看到测量的特征。除了增加摄像头的数量以外，还已知许多其它构思(诸如精确校准和图像处理算法)以提高测量准确性。此外，能够为特定物体规划摄像头位置，或者使用更准确的摄像头或特定照明来提高从期望特征获取的图像的质量。

测量机器视觉系统特别擅长在不同条件下类似地识别被测特征。因此，在测量物体时，即使条件发生变化，也将类似地检测到诸如边缘和孔的特征。由此，甚至能够准确地测量物体的位置或形状的微小变化。尽管从所获取的图像得出的测量结果是精确的，但无法将该测量结果与利用其它测量工具(诸如坐标测量机)测得的测量结果进行比较。这是由于难以使用常规机器视觉系统和方法来测量例如边缘的绝对位置。虽然能够准确地测量被测物体的尺寸、位置或其它变化的相对变化，但是难以测量绝对标度的相同变化，而不是相对差异。

在常规解决方案中，有时通过准确地测量被测物体的位置或通过将被测物体放置在测量治具中来补充这些测量，以便知道准确的位置。当确切地知道位置时，能够测量待测量物体的至少一些绝对测度。一种方法是制作参照物(“黄金物体”)，其被尽可能准确地制造以满足物体的标称尺寸。另一种方法是利用绝对参照测量系统准确地测量参照部件，并将测得的差与参照部件值相加，从而得到与绝对标度相当的结果。

然而，如果需要测量不同类型的物体或大量物体，那么这些方法可能存在问题。如果在可以进行测量之前需要准确地定位被测物体，则这些测量将太慢。相应地，如果需要测量不同类型的物体，那么可能还需要在测量之间可能需要改变的不同类型的治具或其它定位手段。所有这些机械方法都是昂贵的并且容易磨损。即使通过适当的数学或光学定位方法来避免使用机械治具，仍然需要购买和使用便宜的绝对参照测量系统。

技术实现要素：

公开了一种使用计算机生成的虚拟参照物的机器视觉系统。当虚拟参照物的精确测度已知时，该机器视觉系统能够测量绝对标度上的差异。在该机器视觉系统中，基于计算机绘图来产生虚拟参照物。计算机生成的虚拟参照物被进一步处理以便实现高真实感精度。该处理可以包含将来自所制造的真实物体的图像的多个部分进行组合或者通过计算产生看起来像真实被测物体的图像。当计算机生成的虚拟参照物基于模型图时，它不包括由制造公差引起的不准确性，但包括物体在被设计时的所有特征和特性。

在一个方面中，公开了一种用于测量物体的方法。该方法包括接收计算机生成的三维虚拟参照物，其中，所接收的虚拟参照物是基于物体的模型图生成的，并且所述虚拟参照物包括物体的精确坐标，其中，精确坐标包括至少一个离散点的坐标；获取物体的至少两个图像，其中，所获取的至少两个图像是利用至少两个不同的视觉传感器获取的；基于所获取的图像确定物体上的至少一个离散点的三维位置，其中，所确定的三维位置与计算机生成的三维虚拟参照物在相同的坐标系中；确定虚拟参照物上相应的离散点坐标；以及基于所获取的图像上的至少一个离散点的所确定的位置和虚拟参照物上的相应的精确坐标，计算物体上的至少一个离散点的绝对标度位置。

如上所述的方法便于测量物体的绝对标度，而无需具有精确制造的参照物。上述方法消除了与参照物的磨损相关的所有问题。上述方法还有助于消除由测量公差引起的不准确性。这提供了改进的测量品质，同时降低了成本。

在一个实施例中，该方法还包括基于物体的模型图生成计算机生成的虚拟参照物。在一个实施例中，所述生成还包括接收附加信息，该附加信息包括以下中的至少一个：照明设置信息、物体材料信息、物体颜色信息或视觉传感器参数。视觉传感器参数包括摄像头坐标和定向。在另一个实施例中，所述生成还包括获取所制造的物体的至少一个图像；基于模型图生成投影视图，其中，投影视图与获取所制造的物体的至少一个图像的方向相对应；以及在生成的投影视图上对准至少一个所获取的图像的至少一部分。

在另一个实施例中，所述生成还包括基于模型图和所接收的附加信息来产生物体的逼真图像。

在一个实施例中，上述方法被实现为包括计算机程序代码的计算机程序，该计算机程序代码被设置为当在计算设备中执行计算机程序时执行上述方法。

在一个实施例中，公开了一种包括至少一个处理器和至少一个存储器的控制器。所述至少一个处理器被配置为执行如上所述的方法。在另一个实施例中，公开了一种机器视觉系统。所述机器视觉系统包括：壳体；摄像头系统，其包括位于所述壳体内部的多个摄像头；照明系统，其包括位于所述壳体内部的多个照明设备；以及如上所述的控制器，其中，所述控制器连接到机器视觉系统并且被配置为执行如上所述的方法。

使用计算机生成的虚拟参照物提供了多个益处。计算机生成可以在不涉及制造公差的情况下执行，因此，计算机生成的虚拟参照物与物体的规划精确匹配，而无需制造昂贵的参照物以及对制造的参照物进行准确测量。因此，使用计算机生成的虚拟参照物增大了测量的准确性。

使用计算机生成的虚拟参照物的另一益处在于，当已知对绝对标度的精确测度时，可以容易地在绝对标度上计算在测量中观察到的差异。这样做的另一个益处在于，当不需要测量参照物时，也可以避免由测量公差引起的不准确性。

传统的真实参照物还易于出现机械磨损和由暴露于制造现场环境而引起的其它问题。例如，执行测量的人可能弄掉参照物，这可能导致划痕和其它机械缺陷。此外，有时灰尘和其它杂质可能使得物体看起来不同。在一些情况下，甚至暴露于阳光也可能是参照物的可见变化的来源。所有这些与曝光相关的缺陷可通过使用计算机生成的虚拟参照物来避免。

附图说明

提供对机器视觉系统的进一步理解并构成本说明书的一部分的附图示出了多个实施例，并且与说明书一起有助于解释机器视觉系统的原理。在附图中：

图1是机器视觉系统的示例；

图2是机器视觉系统的方法的示例；

图3是用于生成计算机生成的虚拟参照物的方法的示例；

图4是用于生成计算机生成的虚拟参照物的方法的示例。

具体实施方式

现在将详细参考实施例，其示例在附图中示出。

在下文中，将讨论包含计算机生成的虚拟参照物的第一测量。随后，将讨论用于制备计算机生成的虚拟参照物的两种可选方法。计算机生成的虚拟参照物应该被理解为一个或多个参考图像(也被称为参考视图)，其是虚拟参照物的计算机生成的视图。因此，计算机生成的虚拟参照物不应被理解为一个参考视图，而是包括一个或多个参考视图的集合，所述一个或多个参考视图从各个角度示出物体并且可能具有不同参数。此外，计算机生成的参考模型还可以具有来自相同角度且具有不同照明或其它设置的若干参考视图。此外，本领域技术人员应理解，计算机生成的虚拟参照物不必是完整的物体。只要覆盖了要测量的特征(感兴趣的区域)就足够了。

在以下描述中，讨论了包含多个摄像头的机器视觉系统。然而，摄像头这一表述仅用于提供理解，因为常规的数码摄像头通常适于此目的。代替常规的摄像头，也可以使用能够产生适于比较的图像的其它类型的视觉传感器。这些视觉传感器包括不同类型的专用摄像头，例如热摄像仪、扫描仪、数字x射线成像设备、可弯曲成像单元、三维摄像头等。

在图1中，公开了示出机器视觉系统的示例的框图。在图1中，公开了测量站102。测量站102包括四个摄像头100a～100d和三个照明设备101a～101c。摄像头和照明设备的数量不限于四个和三个，而是可以自由选择。通常，摄像头和照明设备的数量较高。摄像头和照明设备可以被附接到一个或多个框架，这些框架进一步被附接到测量站102。代替框架，摄像头和照明设备还可以直接附接到测量站102的壁上。使用常规校准方法将摄像头校准到所选择的坐标系，如果需要的话，还可以将照明设备校准到所选择的坐标系。

测量站102还包括用于将待测量的物体103携带到测量站内部的输送机104。输送机仅为一个示例。待测量的物体也可通过使用诸如工业机器人的其它手段来携带，或者其可由执行测量的人来放置。

在本说明书中，假设环境光是测量站所处的大厅或房屋的照明条件。环境光可以是来自房屋中的窗户或照明设备的自然光。有益的是，可以关闭测量站102，使得环境光不干扰测量，然而，这不是必需的。例如，如果测量受益于精确限定的照明布置，则可以补偿环境光。使用强效的照明布置，即使一些泄露的环境光可能引起测量条件的一些变化，仍可以使用测量站102。如果使用输送机，则可以例如通过在输送机开口处使用门或帘来关闭测量站102。如果待测量的物体由人放置于测量平台，则易于制造环境光被完全消除的密封的测量站。如果不能完全消除环境光，则可以使用用于补偿环境光的附加照明设备。

使用网络连接108将测量站102连接到控制器105。网络连接可以是有线的或无线的。控制器可以布置在测量站处或者它可以处于远程位置。如果控制器105位于测量站102处，则可以例如从用于控制制造现场的多个系统的控制室远程操作控制器。控制器105包括至少一个处理器106和至少一个存储器107。处理器被配置为执行计算机程序代码，以便执行测量。至少一个存储器107被配置为存储计算机程序代码和相关数据，例如，所获取的测量图像和参考视图。控制器105通常连接到另外的计算设备，例如，用于测量图像和测量条件的可能的长期存储。

测量站102可以如以下参照图2～4的示例中所述的那样使用。图2公开了使用计算机生成的虚拟参照物的方法的示例。图3和图4公开了用于生成参考视图的方法的两个示例。使用计算机生成的虚拟参照物的益处在于参考的尺寸是精确缩进尺寸。这是由于没有制造虚拟参照物，因此不存在由制造公差引起的不准确性。本领域技术人员将理解，所提出的示例仅为示例，并且其它类似原理可以用于利用计算机生成的虚拟参照物的测量中。

在图2中，公开了一种方法的示例。在该方法中，可以使用测量站，诸如图1的测量站或类似的测量站。在测量中，首先，在步骤200中接收至少一个计算机生成的虚拟参照物。可以以二维投影视图的形式接收计算机生成的虚拟参照物，该二维投影视图可以容易地与使用常规摄像头获取的图像进行比较。然而，模型也可以是三维的，使得可以从三维模型创建二维投影视图，或者首先计算比较的离散特征的三维位置，随后将其与计算机生成的参照物进行比较。类似的原理也可以用于包含两个或更多个透镜的摄像头。这些摄像头通常被称为三维摄像头或立体摄像头。在该方法中，仅需要接收计算机生成的虚拟参照物的必要视图。例如，当仅测量一个特征时，仅具有一个参考可能就足够了。然而，通常存在与不同摄像头视图和可能的物体定向相对应的多个参考视图。

计算机生成的虚拟参照物可以与可选相关设置相关联，这些设置在步骤201中也被接收。例如，如果计算机生成的虚拟参照物包含例如使用可用照明设备的子集的特定照明设置，则当接收可选设置时，该子集的灯可以是激活的。计算机生成的虚拟参照物可以是使用特定照明设备生成的，并且在测量时使用相同的照明设备是有益的，因为这将提供比较图像之间的更好的对应。

在接收到参考视图和可能的可选设置之后，在步骤202，测量站准备好接收待测量的第一物体。这可以通过例如使用传送带、测量人员、机器人设备或用于将物体放置到测量站的测量平台的任何其它手段进行。

在步骤203，通过获取多个图像来测量物体。随后，在步骤204，将图像与相应的参考视图进行比较。该比较可以类似于常规比较，其中，所实现的结果是相对差异。然而，由于已知计算机生成的虚拟参照物的精确测度，因此还可以计算被测量物体的绝对测度。

在本申请中，绝对标度或绝对测度意味着一种布置，其中，测度可以以精确的单位表示，诸如公制的纳米、毫米或米。

当测量物体时，确定物体上离散点的位置并与计算机生成的虚拟参照物进行比较。在本申请中，离散点意指物体上的点或特征。这些点或特征包括例如孔、凹槽、边缘、拐角和在物体上具有精确位置并且该精确位置已经由设计者确定的类似点。传统上，机器视觉系统使用投影在物体上的点云。这些点云不是物体上的离散点，因为它们的位置相对于物体是未知的并且它们不是物体的一部分。

当从计算机生成的虚拟参照物得出离散点时，已知它们处于理想的正确位置，因为不会存在由于制造公差引起的任何偏差。

在下文中，公开了用于提供计算机生成的虚拟参照物的两种不同方法。然而，以下方法应该被认为是方法示例，并且可以使用用于生成计算机生成的虚拟参照物的任何其它方法。

在图3中，示出了用于提供计算机生成的虚拟参照物的方法。

在步骤300，用于生成计算机生成的虚拟参照物的起点是接收待测量物体的模型图。通常，该图是cad图或其它类似的计算机辅助设计工具绘图。待测量的物体可以是能够使用计算机控制的机器视觉系统测量的任何物体。通常，这些机械部件用作汽车、移动电话、家用设备和包含机械部件的任何其它设备的部件。模型图包括该物体的坐标。图的坐标可以是二维的或三维的。坐标精确地定义了坐标系中的尺寸，该坐标系与在测量中使用的坐标系相对应。

随后，在步骤301，接收根据模型图制造的物体。该物体不必是所谓的黄金物体，而是具有制造过程的不精确性的普通物体。因此，已知的是，该物体不是理想的，并且与图中所示的理想测度具有偏差。

在步骤302，使用所接收的物体的图来生成投影模型。该投影通常是物体的二维视图。为了生成投影视图，必须知道观察方向和与视觉传感器相关的其它参数。这些参数包括例如视觉传感器位置、旋转角度、焦距、透镜误差和生成与摄像头图像相对应的视图可能必需的其它参数。当使用相同的参数获取图像和产生视图时，最终结果在相同的坐标系中，并且可以彼此进行比较而无需任何进一步处理。然而，在一些应用中可以使用进一步的图像处理。

该过程还包括：在步骤303，获取与所生成的投影模式相对应的一个图像或多个图像。所获取的图像优选地包括处于与实际测量条件相对应的条件下的物体。

最后，将所获取的图像和投影模型进行组合，以选择图像的至少一部分并在投影模型上准确地对准所选择的图像。该对准可以是完全自动的，然而，还可以通过手人工对准必要的部分。为了足够准确，可以缩放所获取的图像和投影模型，使得对准过程可以非常准确地进行。组合的结果可以用作计算机生成的虚拟参照物。

在上面未讨论测量设置，然而，它们可以与计算机生成的虚拟参照物一起存储。因此，在测量时可以使用与用于获取图像以生成计算机生成的虚拟参照物相同的照明。

在图4中，公开了用于生成计算机生成的虚拟参照物的另一种方法。该方法通过在步骤400中接收待测量物体的模型图而开始。该步骤至少部分地类似于图3的步骤300。所接收的模型图可以是由坐标指示的一组彼此互连以便创建物体的点。

为了提供计算机生成的虚拟参照物，在步骤401中，还接收其它物体属性。这些其它属性包括例如制造材料、物体的颜色等。因此，能够确定物体反光如何以及在摄像头上看起来如何。

如上所述，典型的测量站通常包括多个独立可控的照明设备。也可以控制光的强度、波长和其它属性。为了生成可以与摄像头所拍摄的图像比较的计算机生成的参考模型，知道在使用哪种照明设置是有益的。因此，在步骤402中接收要使用的照明设置是有益的。

当生成计算机生成的虚拟参照物时，需要知道视角。因此，与图3的方法一样，需要知道用于对被测量的物体成像的摄像头的信息。这例如可以通过在步骤403中接收摄像头标识来实现，该摄像头标识可以用于检索摄像头位置和定向。

当模型图和附加属性已知时，在步骤404，可以生成计算机生成的虚拟参照物。计算机生成的虚拟参照物应当在视觉上尽可能逼真。这可以使用诸如扫描线渲染或光线追踪的渲染技术来实现，这些技术是用于可视表面确定的方法。光线追踪是一种通过追踪光通过图像平面中的像素的路径并模拟其与虚拟物体相遇的效果来生成图像的技术，所生成的图像可用作计算机生成的虚拟参照物。光线追踪能够产生高度的视觉真实感并且适合于该目的。光线追踪技术在计算上要求高。然而，由于计算机生成的虚拟参照物和表示计算机生成的虚拟参照物的图像可以预先计算，所以昂贵的计算可以在计算中心或类似的地方进行，而不需要由测量站进行。因此，与常规解决方案相比，可以实现模型物体的高准确性，而不需要增加计算能力。

在以上示例中，摄像头和照明设备可以是常规的摄像头和照明设备，然而，并不限于此。因此，可以使用针对特定波长设计的专用摄像头和专用照明设备。因此，光不需要是人眼可见的。因此，本领域技术人员将理解，计算机生成的虚拟参照物被提供为摄像头可视的。例如，在一些测量中，使用人眼看不到的紫外或红外波长可能是有用的。类似的原理适用于其它视觉传感器类型，诸如扫描仪或产生可以与计算机生成的虚拟参照物比较的图像或测量的其它测量设备。因此，表述“图像”应被广泛地理解为覆盖利用可以不同地观看物体的各种图像生成设备所生成的图像。

在以上示例中，公开了计算机生成的虚拟参照物的使用。在测量中，计算机生成的虚拟参照物像常规参照物那样使用。

当测量计算机生成的虚拟参照物的三维离散点时，对于kx3维矩阵v，其中，k表示测量点的数量。被测量的真实物体具有类似的矩阵r，然而，这些矩阵在没有定位的情况下不在相同的位置或者甚至不在相同的坐标系中。因此，通过计算r-v不能直接地计算差异。然而，由于目的是获得矩阵r形式的绝对标度结果，自然在可用的测量公差内，例如通过使用以下或任何其它合适的类似方法足以获得r。

定位的问题可以通过使用常规的定位方法来解决。一个示例是常规的3-2-1法。另一个常用选项是使用最佳拟合方法。这些定位方法仅是示例，并且其它方法也是可用的。可用的方法可能具有不同的准确性，并且在选择方法时需要将其考虑在内。

为了提供更好的理解，在以下段落中公开了一种计算坐标的方法。假设所获取的二维图像上的单个测量点或特征的坐标为：

vk＝{x1vk，y1vk，x2vk，y2vk，…xnvk，ynvk}

其中，n是摄像头的编号，k是测量点的编号。因此，能够形成kx2n维矩阵v，其中k也是测量点的编号，n是摄像头的编号。相应地，可以生成相同维度的矩阵d，其中每一行的形式为：

{x1dk，y1dk，x2dk，y2dk，…xndk，yndk}

其中，n也是摄像头的编号，并且每个值都描绘了二维平面中的真实测量点和虚拟测量点之间的差。相应地，测量的二维坐标的坐标以矩阵形式m＝v+d显示在图上，其中m具有与v和d相同的维度，并且每一行具有相同的形式{x1mk，y1mk，x2mk，y2mk，…xnmk，ynmk}。绝对标度三维矩阵r是kx3矩阵，其中每个行xk、yk和zk是矩阵m行的函数：

rk＝{xkykzk}＝fk(x1mk，y1mk，x2mk，y2mk，…xnmk，ynmk)

因此，

r＝f(m)

上述方法可以被实现为包括计算机程序代码的计算机软件，该计算机程序代码在能够与外部设备进行通信的计算设备中执行。当软件在计算设备中执行时，其被配置为执行上述创造性方法。软件在计算机可读介质上实施，使得它可以被提供给计算设备，诸如图1的控制器105。

如上所述，示例性实施例的组件可包括计算机可读介质或存储器，用于保存根据本发明的教导编程的指令以及用于保存本文所描述的数据结构、表、记录和/或其它数据。计算机可读介质可包括参与向处理器提供指令用以执行的任何合适的介质。计算机可读介质的常见形式可包括，例如，软盘、软磁盘、硬盘、磁带、任何其它合适的磁介质、cd-rom、cd±r、cd±rw、dvd、dvd-ram、dvd±rw、dvd±r、hddvd、hddvd-r、hddvd-rw、hddvd-ram、蓝光盘、任何其它合适的光学介质、ram、prom、eprom、flash-eprom、任何其它合适的存储芯片或盒式磁带、载波，或计算机可以从中读取的任何其它合适的介质。

本领域技术人员明白，随着技术的进步，机器视觉系统的基本思想可以以各种方式实现。因此，机器视觉系统及其实施例不限于上述示例；相反，它们可以在权利要求的范围内变化。