通过物体虚拟装配训练装配系统的视觉系统的制作方法

通过物体虚拟装配训练装配系统的视觉系统的制作方法
【专利摘要】本发明提供了一种将工件引导至最优位置以训练装配系统的系统和方法，所述装配系统通常没有使用CMM或类似的计量设备。当所述工件位于它们各自的工作站时，所述系统和方法给出工件在共用坐标系中的特征图像。此能力使得用户能够对工件的装配结果进行“虚拟装配”的可视化处理而无需对工件进行事实上的装配。此虚拟装配有助于相对于各自的工作站将工件放置至需要的相对对齐位置。所述系统和方法说明性地利用来自用于引导工件的摄像机的图像生成了一合成图像，帮助用户想象零件在装配后是怎样的。所述用户能够在各自的工作站中对工件的图像进行重定位直至所述合成图像具有需要的外观。
【专利说明】
通过物体虚拟装配训练装配系统的视觉系统
[0001] 相关申请
[0002] 本申请要求于2015年3月3日提交的名称为VISION SYSTEM FOR TRAINING AN ASSEMBLY SYSTEM THROUGH VIRTUAL ASSEMBLY OF 0BJECTS(用于通过物体虚拟装配来训 练装配系统的视觉系统）的美国临时申请62/127，808的优先权，并且要求2016年3月1日提 交的美国申请15/058，118的优先权，这些申请的教导内容通过引用清楚地并入本文。
技术领域
[0003] 本发明涉及一种机器视觉系统，更具体地，涉及一种用于在制造环境中引导工件 组件和其它物体的视觉系统。
【背景技术】
[0004] 在机器视觉系统中（此处亦可称为"视觉系统"），利用一个或多个摄像机对成像区 域内的物体或表面执行视觉系统进程。该进程可包括监测、解码符号、对齐及各种其他自动 化任务。特别地，视觉系统可用于监测一通过成像区域的扁平工件。典型的，一个或多个视 觉摄像机对该区域进行成像，该摄像机包括内置或者外接视觉系统处理器，用于与视觉系 统进程共同生成结果。一个或多个摄像机被标定以使得其能够足够精确且可靠地来执行视 觉任务。可以使用一标定板来标定一个或多个摄像机，并且建立一共用的（全局的）坐标系 (也称为"运动坐标系"），其中所有摄像头的像素位置被映射到坐标系中的相关点，从而实 现在任意摄像机中的成像特征位于坐标空间内。可通过使用公知的"手-眼"标定技术来实 现此标定。
[0005] 视觉系统的一种显著应用是应用在通过自动装配机构的物体(也称为"工件"）装 配中，该自动装配机构可包括移动平台（运动平台）以及机械手(例如，执行"拾取和放置"操 作或其它类型的运动装置/运动平台），该移动平台将工件精确支撑在装配位置，该机械手 在"装配运动"中将另一工件移动至其被装配至工件的上层对齐位置。
[0006] 视觉系统中装配工件的具体应用包括将一个平坦工件与另一平坦工件对齐。例 如，在拾取和放置操作中，可通过机械手操作将一电池放置位于移动平台上的手机的井 (well)上方并且放入该井内。
[0007]此类视觉系统首先被训练，使得在该系统的运行操作期间，每一工件与其它工件 准确对齐。在训练期间，将工件定位在它们各自的工作站处，使得当被装配时，所装配的工 件具有所需的相互位置关系。在训练之后，在运行期间，为了应对任何位移或尺寸变化，将 工件重新定位在它们各自的工作站中，然后装配工件。从而当工件-装配进程开始时，部件 被以与它们在训练时间段相同的相互位置关系放置。
[0008]当前的训练技术包括将工件放置在它们各自的工作站中、训练系统、装配工件以 及在分开的测量系统上(如坐标测量机(CMM))测量装配误差。所测量的误差(a)用于引导工 件的重新定位(分别通过机械手和运动平台）以及重新训练装配系统，或(b)在一些装配系 统上，作为校正系数并入，在运行期间通过它们各自的机构应用该校正因子来校正一个或 两个部件。使用通过重新定位工件来训练的缺点为其是一个反复并且耗时的过程。用户需 要多次重复训练步骤，直到实现所需的装配特性。同样，将校正系数并入机械手和/或运动 平台装配运动中的挑战是没有建立CMM坐标系和装配系统坐标系之间的关系。因此，校正系 数的计算也是一个反复和耗时的过程。

【发明内容】

[0009]本发明通过提供一种用于将工件引导至优化位置来训练装配系统的系统及方法 来克服现有技术缺点，该装配系统一般可以使用CMM或类似测量装置。所述系统和方法在一 公共坐标系中表示工件处于它们各自的工作站中时的图像特征。此能力允许用户可以看见 装配工件的结果而无需实际装配它们。这在本文中称为"虚拟装配"。所述系统和方法使用 虚拟装配来帮助引导将工件放置在它们各自的工作站中，使得当被装配时，所装配的工件 将具有所需的相对对齐。在一个实施例中，所述系统和方法通过使用来自在引导工件中使 用的摄像机的图像来生成一复合图像(其可以是多张所获取的工件图像构造所得的拼接图 像），所述复合图像帮助用户可视化部件将如何随着装配而呈现。用户可重新定位工件在它 们各自工作站中的图像，直到所述复合图像具有所需的外貌。在另一实施例中，用户可以找 出工件图像上的特征并且将该特征信息表示在公共坐标系中。用户可以将横跨工件的特征 之间的关系与对于正确装配的部件所设计的关系做比较，并且使用该结果来将工件引导至 优化装配的位置。在第三实施例中，通过使用在先前实施例中提取的特征，将所述工件自动 重新定位至优化位置。
[0010]举例说明，通过一校正过程，可将图像特征从多个工作站中映射至一公共坐标系。 例如，在使用可重复拾取和放置的机械手来装配部件的系统上，一校正目标可通过使用机 械手转移该目标以在多个工作站处成像。可以使用合适的夹具来实现如工件一样操纵该目 标。通过这种方式，所述校正目标经历和工件相同的平移，因此，工件特征的坐标在操作期 间跟随与工件路径相同的从拾取工作站至放置工作站的路径。可选地，基于对装配进程的 了解，映射参数可通过具体化来手动计算。
[0011] 有利地，所述系统和方法可使得可使得能够实现来自任意数量工作站的任意数量 工作件虚拟装配，以为了训练一装配系统，该装配系统将这些工件装配成单个装配物体。
[0012] 在一说明性实施例中，提供了一种在装配系统中虚拟装配物体的系统及方法，所 述装配系统具有至少一个含有第一工件的第一工作站，所述装配系统在两者间将第二工件 对齐装配至第一工件。一个或者多个视觉系统摄像机以及一视觉系统处理器总成，被设置 为对第一工件和第二工件进行成像。所述多个摄像机在一共用坐标系中标定。对齐进程，生 成所述第一工件和第二工件在所述共用坐标系中的图像和特征中的至少一个。操作进程， 包括被设置来定位第一工件上的第一组特征和第二工件上的第二组特征的视觉工具，所述 视觉工具相对于第二组特征自动对齐第一组特征。装配误差计算模块，基于在虚拟装配过 程中通过操作进程的第一工件和第二工件的操作程度计算装配误差。例如，所述第二工件 在远离第一工作站的第二工作站中成像。
[0013] 在实施例中，所述视觉系统摄像机至少对第三工件成像。所述对齐进程生成所述 第三工件在所述共用坐标系中的图像和特征中的至少一个。所述操作进程因此被设置为允 许相对于所述第一工件和第二工件中的至少一个虚拟装配第三工件以将第三工件的图像 和特征中的至少一个和所述第一工件和第二工件中的至少一个的图像和特征中的至少一 个相对齐。所述装配误差计算模块由此基于第三工件相对于所述第一工件和第二工件中至 少一个的操作程度计算装配误差。所述第一工件由视觉系统摄像机在第一工作站成像，以 及第二工件和第三工件中的每一个由视觉系统摄像机在第二工作站成像。例如，至少第四 工件可由视觉系统摄像机在第四工作站成像。通过这种方式，所述系统和方法可被用于训 练装配系统，该装配系统在任意数量的工作站装配任意数量的工件。
[0014] 在实施例中，对所述第一工件成像的视觉系统摄像机中的至少一个以及对所述第 二工件成像的视觉系统摄像机中的至少一个随后被映射(标定)到离散的(分离的/不同的） 坐标系。因此，使用基于两离散坐标系的界面装配所述第一工件以及第二工件。在实施例 中，所述工作站中的至少一个为装配平台，并且所述工作站中的至少另一个为拾取位置。例 如，所述装配误差可在至少3个自由度中定义。所述界面可具有一显示和用户界面，用于所 述第一工件的图像与所述第二工件的图像手动对齐。所述第一工件和所述第二工件中的至 少一个的图像可为缝合图像。所述界面可为整个操作进程或处理器的部分，该处理器也包 括视觉工具，该视觉工具相对于第二组特征自动对齐第一组特征。
[0015] 例如，至少一个视觉系统摄像机对所述第一工件和第二工件中的至少一个进行成 像。所述一个或多个视觉系统摄像机被构造和设置来获取在装配系统训练和/或运行操作 中使用的图像。该一个或多个摄像机与在对齐进程中使用的一个或多个摄像机分开（无 关）。所述装配平台可定义一运动平台，以及所述装配系统具有一可复验的操纵器，所述操 纵器从所述拾取位置移动所述第二工件至所述运动平台。例如，所述第一工件和第二工件 (和/或第三工件、第四工件等）中的至少一个定义由视觉系统摄像机成像的一平坦表面。
[0016] 例如，所述系统和方法可以包括：（a)第一标定进程，标定所有对第一工作站成像 的视觉系统摄像机至第一坐标系，其中标定的视觉系统摄像机的全部或者子集适用于在装 配系统的工作时间内使用；（b)第二标定进程，标定所有对第二工作站成像的视觉系统摄像 机至第二坐标系，其中标定的视觉系统摄像机的全部或者子集适用于在装配系统的工作时 间内使用;第三标定进程，将第一坐标系和第二坐标系绑定至所述共用坐标系，其使用标定 的视觉系统摄像机的不同离散子集将第一坐标系和第二坐标系绑定至所述共用坐标系；以 及(d)来自（a)和(b)的在第一工作站和第二工作站中的每一个中标定的视觉系统摄像机的 全部或者子集在虚拟装配中基于所述共用坐标系使用，所述共用坐标系基于(a)中的第一 标定进程和(b)中的第二标定进程和(c)中第三标定进程建立。
【附图说明】
[0017] 下文将参考附图对本发明进行描述，其中：
[0018] 图1所示为根据说明性实施例，相对于与工件装配系统一起使用的示例性运动平 台设置的多摄像机视觉系统的示意图，该工件装配系统包括一虚拟训练处理(器）；
[0019] 图2所示为相对示例性拾取和放置装配设置来设置的两摄像机视觉系统的示意 图，其中一工件与另一工件对齐，该图显示了拾取和放置操纵器位于位置拾取工作站，以提 取一工件；
[0020] 图3所示为图2中的两摄像机视觉系统和示例性拾取和放置装配设置的示意图，该 图显示拾取和放置机械手位于放置工作站，以将工件相对对齐地装配在一起；
[0021] 图4所示为图2中的两摄像机视觉系统和示例性拾取和放置装配设置的示意图，该 图显示一标定板位于拾取工作站摄像机的视场中，用于拾取工作站摄像机相对全局坐标系 的标定；
[0022] 图5所示为图2中的两摄像机视觉系统和示例性拾取和放置装配设置的示意图，该 图显示一标定板位于放置工作站摄像机的视场中，用于放置工作站摄像机相对全局坐标系 的标定；
[0023] 图6所示为将装配系统中的多个摄像机标定至一共用坐标系的步骤流程图；
[0024] 图7所示为生成工件在每个工作站的缝合图像以及使用该缝合图像生成复合图像 的步骤流程图；
[0025]图8所示为表示在第一工作站使用第一工件上的四个示例性十字特征(基准点）来 生成第一缝合图像的四摄像机系统的示意图；
[0026] 图9所示为在第二工作站使用第二工件上的四个示例性圆形特征(基准点）来生成 第二缝合图像的四摄像机系统的示意图；
[0027] 图10所示为使用各自基准点未对齐的图8中的第一缝合图像和图9中的第二缝合 图像的复合图像的示意图；
[0028] 图11所示为使用各自基准点对齐的图8中的第一缝合图像和图9中的第二缝合图 像的复合图像的示意图；
[0029]图12所示为由用户观察的图形用户界面(GUI)显示的示意图，其中多摄像机(例如 四摄像机)设置对放置在平台上的工件边缘进行成像；
[0030] 图13所示为由用户观察的图形用户界面(GUI)显示的示意图，其中多摄像机设置 对放置在运动平台上的工件边缘进行成像；
[0031] 图14所示为在多摄像机设置中由用户观察的图形用户界面(GUI)显示的示意图， 其中当工件处于产生未对齐装配的位置时，该GUI显示四张为复合图像内的区域的图像； [0032]图15所示为在多摄像机设置中由用户观察的图形用户界面(GUI)显示的示意图， 其中当工件处于产生对齐装配的位置时，该GUI显示四张为复合图像内的区域的图像；
[0033]图16所示为基于使用虚拟装配的视觉工件对齐来训练装配系统的步骤流程图；以 及
[0034]图17所示为使用特征关系来虚拟装配工件的步骤流程图。
【具体实施方式】
[0035]图1示出了装配系统100,其采用运动平台110以至少三个自由度（例如，Xs、Ys和 ΘΜ)移动支撑第一工件112。工件112通常沿自身至少一部分是平面的（即是平的），其带有 的平面位于沿平台110的ζ轴Zs的特定高度。该平台可以称为"装配站"，并且由多个摄像机 130摄像，其中每个摄像机成像的视野为第一工件112占据的整个区域中的一部分。下面进 一步描述摄像机130及其功能。
[0036]在此配置100中，取放机构或"操纵器"120有选择地在源点（没有在此实例中以图 示出）和重合了图示的第一工件112的位置之间配合和运送第二(平面的）工件122。对此配 置的目的而言，"拾取位置"或"拾取站"是在不同高度处，使第二工件122成像（即是预第一 工件重叠）的地方，如图1所示。在另一个实施例中（例如，如下面的图2-5所示），拾取位置/ 站位于远程的源点，其中所述操纵器（比如，可重复拾放的机构)从该源点索取工件以装配 在第一工件上。在本实例中的装配任务包含精确放置具有外边缘126、118的第二工件122到 由第一工件112上的相应内边缘116、118界定的凹口 114中。操纵器120沿多个自由度移 动--例如沿轴Xm、Ym和Zm，及每个轴的旋转方向（例如，沿轴Zm的?z:m)。在此配置100中的 每个摄像机130对第二工件122的顶面呈现，该顶面对比第一工件112的顶面处于不同的高 度(z轴）。
[0037]每个摄像机130可操作地连接至视觉系统处理器140,该视觉系统处理器可以整体 或部分地整合为摄像机壳体内的定制的视觉处理器电路，或者可以提供在交互的远程计算 机设备150中，包括但不限于PC、膝上型轻便计算机、平板电脑、智能手机等。注意到，在采用 超过一个摄像机的装配系统中，每个摄像机适应为发送自身获得的图像或提取自该图像的 信息到中央处理器。中央处理器然后在装配期间整合来自各个摄像机的信息。当利用远程 计算机设备时，所述计算机设备150可以包含显示器和关联的图形用户界面接口（GUI)控制 器，比如键盘、鼠标和/或触摸屏。视觉处理器140运行多种视觉系统进程(或者单元/模型）， 包含各种视觉工具142,比如边缘查找器、斑点分析器、检索工具、测径工具等。例如，视觉处 理器140包括对齐处理(器），用于以一种方式实现来自两个工件的图像数据的对齐，下面进 一步描述此方式。标定处理(器）146促进将来自两个部分的图像所提取的图像特征映射到 普通(运动)坐标系，例如使用下面进一步描述的标定板和手眼标定程序来标定。例如，训练 处理(器）148实现本文考虑的多个训练处理程序以复位工件，从而精确地相对于第一工件 装配第二工件。注意到，可以将视觉处理器140建立为多个交互的摄像机处理器(或其他设 备），或者是单摄像机装配中的一中央处理器(或者远程计算机设备）。
[0038] 通过非限制性的实例，通常参考到2015年6月8日申请的，标题为SYSTEM AND METHOD FOR TYING TOGETHER MACHINE VISION ⑶ORDINATE SPACES IN A GUIDED ASSEMBLY ENVIRONMENT，第62/201，723号美国临时申请。该申请作为有用的背景信息以参 考的方式并入本文，其涉及在远程位置之间建立普通的坐标系。更具体地，这里并入的申 请，通过提供在标定时间内使用实时工件上的特征在两个位置一同绑定坐标空间的系统和 方法，克服了从操纵器(和关联的抓取器)在拾放位置之间传递标定目标所产生的问题。该 系统和方法提供至少三个不同的方案/技术一一其中之一为在两个位置都能成像和识别相 同的特征;其中之一为实时工件的成像特征在每个位置都不同（其中，CAD或工件的测量再 现是可用的）；并且其中之一为，将包含运动平台的第一位置标定到使用手眼标定的运动平 台，并且通过在位置之间往返传递实时零件，使第二位置以手眼标定到相同的运动平台。例 如，可以通过运动多个具有不同的位姿的实时工件，提取特征并在每个位置累积这些特征， 来改进起先的两种技术;然后使用累积的特征来绑定所述两个坐标空间。更一般地，该系统 和方法单独标定这两个位置，并且通过传递工件为这两个位置一起绑定坐标空间，使操纵 器构造和布置/适配为在装配期间传递该工件，并且使用该工件的特征而不是使用标定板 的特征。
[0039]在所述并入申请的示例性实施例中，用于标定视觉系统的系统和方法处于通过操 纵器将在第一位置的第一工件传递到所提供的第二位置的环境中。实施在第一工件的操 作，依赖于对第一位置和第二位置的一起进行的坐标空间绑定。至少一个视觉系统摄像机 布置为对位于第一位置时的第一工件成像，并且对位于第二位置时的第一工件进行成像。 相对于第一位置对至少一个视觉系统摄像机标定，以得到定义第一坐标空间的第一标定数 据，并且相对于第二位置对至少一个视觉系统摄像机(潜在相同的一个或多个摄像机)标 定，以得到定义第二坐标空间的第二标定数据。在来自第一工件的第一图像的第一位置识 别至少第一工件的特征。基于在第一图像中识别的特征，针对关联于第一位置的第一坐标 空间定位第一工件。至少抓取或移动一次第一工件到预定的第二位置处的操纵臂地点，在 第二位置获得第一工件的第二图像。基于在第二图像中识别的特征，针对关联于第二位置 的第二坐标空间定位第二工件。由此一起绑定第一坐标空间和第二坐标空间。例如，当第一 图像中识别的特征与第二图像中识别的特征相同时，所述系统和方法包括：（a)针对第一标 定数据对第一图像中的识别特征的位置进行映射；（b)针对第二标定数据对第二图像中的 识别特征的位置进行映射；以及(c)计算第二位置的映射特征到第一位置的映射特征的映 射转换。可选地，当第一图像中识别的一些特征与第二图像中识别的特征不同时，所述系统 和方法包括：（a)针对第一标定数据对第一图像中的识别特征的位置进行映射；（b)对与第 一工件的特征位置的储存规格关联的转换进行计算；（c)针对第二标定数据对第二图像中 的识别特征的位置进行映射；（d)当工件位于第一位置时，使用步骤(b)中计算的转换，以得 出来自第一坐标空间中的第二图像的识别的特征的位置；以及(e)计算第二位置的映射特 征到第一位置的对应转换特征的映射转换。第一工件的规格可以基于第一工件的CAD模型， 或者第一工件的测量模型（例如，OM生成的测量尺寸）。例如，所述系统和方法可以包括： (a)在第一位置或第二位置以运动呈现设备迭代地移动第一工件到多个不同的位姿；（b)识 别每个第一位置和第二位置的每个位姿的特征；以及( c)累积识别的特征信息以增加精度， 其中第一工件为相同的工件或者是多个离开的工件中的一个。在各个实施例中，所述系统 和方法包括从图像坐标系至第一位置处的标定坐标系的映射，并且其中所述映射是唯一 的。在多个实施例中，第二位置有第二工件，其中第一工件与第二工件以期望对齐的方式放 置配合到第二工件中，和/或第二工件可以是零件、容器或支架，用于进一步处理第一工件。 此外，在各个实施例中，该操作可以是至少一个相对于另一物体的对齐操作、在第一工件上 的打印操作和在第一工件上的涂覆操作，以及所述操作可以在远离第一位置和第二位置的 位置至少部分执行。
[0040] 运动平台110包括运动控制器和/或针对视觉处理器传输运动信息的控制处理器 160。这可以精确地知道和/或由视觉处理器跟踪平台110的位置。平台110可以使用各种编 码器或其他传感设备以生成运动信息。运动控制器170还可以提供至操纵器120,以传送与 其关联的运动信息172至视觉处理器140。
[0041] 进一步如下描述，虚拟装配允许用户利用摄像机及其提供的图像以（通过视觉系 统)对工件进行虚拟装配。在这样的虚拟装配过程中，用户使用操作处理(器），获得在随后 的操作中使用的装配误差信息，以调整物理装配机构的移动，从而代表性地实现通过装配 误差矫正而修改的（典型）可重复的物理装配步骤组合。在示例性实施例中，采用合适的调 整，基于来自虚拟装配的数据，利用运动平台使装配误差最小化。可选地，有其他的运动设 备可以适应装配误差矫正/调整。
[0042] 而所述装配系统通常布置为高可重复性机构，明确考虑到，在运行期间（或以非重 复的方式)可以编程或输入运动变化的装配系统可以使用本文图示和描述的虚拟装配和虚 拟装配流程来实施训练。
[0043] 还注意到，在此处各个实施例描述的物理工件装配配置包含任意数量(例如一个 或四个)的对运动平台各个区域进行成像的摄像机。在可选的配置中，每个站的摄像机数量 具有高可变性。同理，整个系统中的站数量也具有高可变性。在本实施例中，单个站成像有 不同的高度两个工件。下面进一步如图2-4的实施例所示，一个或多个摄像机分别定位为分 别拍摄两个离开的工作站一一一个拾取站和一个放置站。这些摄像机中的每一个被标定为 公共坐标系。
[0044] 根据进一步的实施例，还清楚考虑到多于两个站，使一个或多个关联的摄像机可 以提供在整个虚拟装配和虚拟装配配置中。例如，可以提供额外的拾取站或中间装配站。在 虚拟装配中采用的所有摄像机可以被标定为(基于运动平台或另一个坐标系来创建的）公 共坐标系，并且来自每个站摄像机的图像可以是此处描述的虚拟装配和虚拟装配进程的一 部分。
[0045] 图2尤其说明了运动平台210和拾放(操纵器)机构220的可使用根据一实施例的系 统和方法的替代配置200。拾取站222包括第二工件224,该第二工件由操纵臂220拾起(箭头 250)然后直接(箭头252)沿轨道225至运动平台210,在本实施例中该运动平台定义一放置 站。在装配期间，第一工件212适配为以合适的互相之间的对齐方式接收第二工件224,一般 如上文所述。平台210沿两个或更多的自由度(例如，轴Xs、Ys，旋转Θ Ζ&)移动，并且驻于沿轴 Zs的一高度。操纵器220至少沿轴Ym并且在轴Zm沿拾/放方向移动。还考虑关于轴Zm的旋转 ezm。在放置操作(箭头350)期间，平台210和操纵器220的运动组合足以使第二工件224相对 于第一工件212对齐，如图3所示。
[0046]在此配置200中，至少一个摄像机分别对每个站(210、222)成像。摄像机240、242预 视觉处理(器)260交互，如上文描述的布置。一个或两个站可以包括额外的摄像机244(如平 台210处的虚线所示）。视觉处理(器）260还操作地与平台运动控制器270和操纵器控制器 280互相连接，以上文描述的方式提供运动信息。
[0047] 现在参考图4和5,其所示为从两个摄像机到公共坐标系映射特征的自动化技术。 该技术分别包含拾取站摄像机242和放置站摄像机的标定，以及用于标定安装在多个站的 多个摄像机的流程600。开始，流程600(在步骤610)执行平台210上的一个或多个摄像机 240、244(或者图1中的平台110上的摄像机130)的手眼标定，使得所有摄像机定义公共或运 动坐标系。
[0048] 注意到本文所使用的词语"所有摄像机"，指的是本发明虚拟装配中的系统所采用 的全部摄像机。清楚考虑到，可以从任务中省去视觉系统所使用的摄像机。主要考虑到，对 来自每个站的至少一个摄像机标定为公共坐标系并且生成训练进程中使用的图像。
[0049]通过普遍理解的特定标定原理的深入【背景技术】，对于刚体（比如标定目标或 "板"），运动可以由一对位姿来表征:运动前的瞬时起始位姿和运动后的瞬时结束位姿一一 此处的"位姿"定义为在任何一个特定瞬间在一些基础坐标系中的一组描述物体状态的数 值一一物体的虚拟特性。例如，在二维中，刚体可以表征为三个维度:平移X、平移Y和旋转R。 当一个或多个摄像机与标定板之间存在相对运动时，标定板纹理中的位姿描述了如何让标 定板呈现到一个或多个摄像机。典型地，在常规的所谓"手眼标定"中，标定板以若干个不同 的位姿呈现至一个或多个摄像机，而每个摄像机在每个这样的位姿来获取标定板的图像。 对于视觉系统手眼标定，通常将标定板移动至多个预设的位姿，其中摄像机获取相应的标 定板图像。手眼标定的目的在于确定一个或多个摄像机的刚体位姿和"运动坐标系"中的标 定板。可以用多种方式来定义运动坐标系。需要在合适的坐标系中解析位姿的数量(具体指 定标定板和/或摄像机处于空间内的位置）。一旦选择单个公共坐标系，则在该公共/全局坐 标系描述/解析所述位姿和运动。这个选择的坐标系一般命名为"运动坐标系"。通常，呈现 (render)物理运动的物理设备提供"运动"，该物理设备比如是机械臂或运动平台，比如是 起重台架。注意到，标定板可以相对于一个或多个静态的一个或多个摄像机移动，或者一个 或多个摄像机可以相对于静态的标定板移动。这类运动呈现设备的控制器采用数值（即是 位姿)来命令该设备来执行任何期望的运动，并且对于该设备，这些数值是在本地坐标系中 解析。注意到，尽管可以选择任何运动坐标系来提供相对于运动呈现设备和一个或多个摄 像机的公共、全局坐标系，通常期望选择运动呈现设备的本地坐标系作为总体的运动坐标 系。
[0050]手眼标定，因此，通过对运动的呈现(移动标定板或移动相机），将系统标定为单一 的运动坐标系，以及获取在该运动之前和在之后获取图像，以确定该运动在一移动对象上 的效果。
[0051 ]再次参照图4-6,程序600的下一个步骤620负责将标定目标/板410放置在其中一 个站台（即拾取站222,或在由机械手120夹持的同时），相机(或多个相机)242在该位置处获 取目标410的一个或多个图像。该信息储存于视觉进程260(或视觉处理器140)。然后在步骤 630中，目标410转移到其他站台（即运动平台210(或110))。然后于步骤640中，通过相机(或 多个相机)240、244,或130,在该平台处获取目标410的一个或多个图像。然后在程序600的 步骤650中，基于在目标410中使用步骤640的图像而查找到的边缘，将所有相机240、242、 244(或130)的像素位置映射到标定目标坐标。然后在步骤660中，使用于步骤640中所获取 的在该平台处的标定目标的图像，来计算标定板坐标至运动平台坐标系的映射。在步骤670 中，平台处相机的像素位置映射到运动平台210 (或110)的坐标系。
[0052] 应当注意的是，610、660和670是可选的。为了本发明的目的，可止于步骤650,因为 已获得将装配系统中的所有相机的像素映射至标定板坐标系的能力。执行步骤660和670的 优点为，有助于生成一合成图像，其X和Y轴极大地对齐至运动平台的X和Y轴，以通过控制电 动机轻易操作合成图像。
[0053]在已将相机像素位置映射至公共坐标系的情况下，视觉系统可利用该信息置为训 练模式，并用于虚拟地相互对齐工件图像。
[0054]现参照图7,其示出程序700,用于生成每一站中的工件的缝合(stitch)和合成图 像。在步骤710中，程序700计算由上述确定的公共坐标系中的每一站的每一相机成像的区 域。在步骤720中，计算包含所有区域的边界方框。在步骤730中，程序700生成两个缝合图 像，每一站对应一个。说明性地，该缝合图像的高度和宽度每个均相同，且可由用户定义。 [0055]如本文所使用的，术语"缝合图像"或"缝合"涉及将两个或以上源图像合并为一个 合成的结果图像。当一相机视野太小，很难捕捉整个所需场景，从而需要多个图像时，该进 程是有用的。对本领域技术人员而言，存在有各个不同的可用技术，来生成缝合图像。所述 视觉系统可以，例如，包括一缝合工具，例如Natick，MA的Cognex公司所提供的Cognex Image Stitching工具。该工具运行于和所有源图像和结果图像共用的计算空间中。每一源 图像包含唯一的标定变换，将其图像映射进公共的空间中。概念性地，该图像缝合工具在公 共空间中建造结果，且得出的缝合图像包含一变换，其将公共空间结果映射入缝合图像中。 该缝合图像可以形成一"合成图像"的基础，其在本文中定义为合成进程的结果，在该进程 中，合并不同图像的特征以生成单一图像。该合成图像为虚拟装配系统的GUI所用，以使用 户或自动进程可以操纵工件(或多个工件），以生成用于训练该系统的虚拟工件总成。
[0056]在图8的示例中，包含四个基准点/特征(在本示例中为叉符号810)的第一工件800 在第一站经由四个示例性的具有如虚线框820所示视野的相机成像。应注意四个相机中的 每一个的视野820在缝合图像中具有任意的朝向，因为无需担心将相机物理上对齐至公共 坐标系(X1，Y1)。同样地，在图9的示例中，包含四个基准点/特征(在本示例中为叉符号910) 的第二工件900在第二站经由四个示例性的具有如虚线框920所示视野的相机成像。应注意 四个相机中的每一个的视野920在缝合图像中再次具有任意的朝向，因为无需担心将相机 物理上对齐至公共坐标系(XI，Υ1)。
[0057]在程序700的步骤740中，一变换将缝合图像的角映射至边界方框的角。然后，在步 骤750中，对于每一站，程序700使用该变换将每一相机的图像像素映射入相应的缝合图像 中。下一步，在步骤760中，程序通过，例如，对两个图像求平均，对来自750的缝合图像进行 编辑，以生成合成图像。合成图像代表一虚拟总成，并可用于推断装配的质量。应注意这些 步骤是示例性的用于生成经标定（图6)的缝合和合成图像的各种各样的程序和技术.这些 程序通常采用将一图像中的特征位置映射至公共坐标系的能力。
[0058]图10显示一示例性的在一合成图像中处于不对齐朝向的工件800和900的视图，其 中通过对来自两个站的缝合图像进行求平均来生成该合成图像。应注意各自的基准点810 和910相互偏离中心。反过来，当如图11所示对齐时，合成图像描述了对齐的工件，其中类似 尺寸的缝合图像的基准点相互移动至对准。
[0059]图12-15显示了具有相似的描述的图形用户界面(GUI)显示。在图12中，四-相机的 配置生成置于(例如)拾取平台的第一工件的四个各自的图像1210、1220、1230和1240。应注 意，由于各自的相机相对于平台和工件的物理放置，工件的各自的边缘1212、1222、1232和 1242在每一图像中的大小不同。图13为由用户观察到的GUI显示，其中该四-相机配置生成 置于(例如)运动平台的第二工件的四个各自的图像1310、1320、1330和1340。再次地，由于 相机的定位，各自的边缘1312、1322、1332和1342大小不同。
[0060] 在图14中示出了一GUI显示，其中，四个图像1410、1420、1430和1440为，当工件处 于将导致不对齐的装配的位置时的合成图像内的区域。应注意每一图像的边缘是歪斜的 (skewed)。反过来，在图15中，四个显示的图像1510、1520、1530和1540为，当工件处于将导 致对齐的装配的位置时的合成图像内的区域。应注意边缘在每一图像中交叠。
[0061] 应注意，尽管所描述的GUI包含对应于四个相机的四个图像，可设想，相对于给定 数量的对站/场景进行成像的相机，可显示更少的图像。例如，在设置有多余的和/或有限 的/没有有用的图像信息的情况下，某些图像可省略。因此可在所述的显示视图中设置包含 两个或三个图像的合成图像。可设想到，在显示的合成图像中呈现每一工件上的足够的特 征信息，允许用户(或自动进程)在虚拟装配过程中对齐那些工件。
[0062] 可清楚地设想到，各种各样的技术可用于生成上述的缝合和合成图像。通常，这样 的技术采用将每一图像的像素映射至公共坐标系的能力。此外，上述的合成图像为对缝合 图像的平均。该合成图像可通过可替换的表示来定义，以及因此可使用其它技术生成。对于 在每一站使用一个相机的装配系统，可省略缝合程序，且可直接地通过进程执行图像的合 成。可注意，缝合程序采用来自一站的多个相机的图像，以生成用于该站的工件的单一图 像。在各种实施例中，缝合和合成操作可合并为单一的视觉任务。
[0063] 通常，本发明的系统和方法具有这样的优点，当工件处于它们的各自的站中，工件 上的特征，表达于一公共的(全局或运动)坐标系中。存在有至少三种技术，其中在训练期间 提供反馈以帮助将工件置于所需的朝向（例如由X和y平移和旋转限定的"姿势"）。如下：
[0064] 1.视觉对准
[0065] 该技术可用于在公共坐标系中具有重叠视野的装配系统(例如图1的机构100)。在 每一站处，使用位于该站的所有相机来生成缝合图像。对于任一给定相机中的任一像素，公 共坐标系中的位置为已知的，因此可生成缝合图像。一旦生成缝合图像，由进程通过合成位 于两个站的缝合图像来生成合成图像(例如通过对缝合图像求平均）。再次，这是可能的，因 为可以表达公共坐标系中的任一站处的像素。这事实上，虚拟装配该两个工件，帮助用户轻 易地对装配的部件的可能的样子进行可视化。即，用户手动地或使用由GUI提供的控制，平 移和旋转各自的工件(例如运动平台上的工件)的两个图像中的至少一个。这些可包括一鼠 标、触摸屏和/或数据输入框。用户继续该平移/旋转进程，直到工件处于适当的对准，以表 示装配的对象处于所需的配置和关联的外观。包含两个工件的所得对象因此为，"虚拟地" 装配。在虚拟装配期间，用户可以对合成图像上的一些突出的特征进行变焦放大，并移动位 于站台处的运动平台，直到实现所需的装配。一旦完成，用户可以训练该装配系统。参照图 16的程序1600,由用户进行的视觉对准，概括来说必需:通过观察装配图像(步骤1610)估计 装配质量;调整一个或两个站台中工件(或多个工件）的位置，直到一合成图像限定所需的 外观(步骤1620);并采用经调整的合成图像的所需的视觉外观来训练工件装配系统(步骤 1630) 〇
[0066] 2.通过计算工件上的特征关系来对准
[0067] 该技术可用于在公共坐标系具有重叠或无重叠视野的装配系统。在该技术中，用 户可以使用视觉工具，该视觉工具定位每一工件上的至少一个特征，并计算它们之间在公 共坐标系中的几何学关系。例如，工件(或多个工件)可包括如上所述的基准点，并可使用基 准点查找器来定位其位置和朝向。然后，用户可以对工件中的一个或多个进行重定位，直到 虚拟装配部件的特征之间的几何学关系匹配对应的装配部件的设计文件中的关系。可通过 在拾取和放置位置中的至少一个中手动地重定位工件，或通过控制运动平台，来实现这样 的移动。在一示例性实施例中，用户可以定位一个工件上的两个点特征，和第二工件上的三 个点特征。虚拟装配系统可设计为取特征对，其中在每一工件上取一个特征，以及测量它们 之间的距离并反馈至用户。用户可以重定位工件，直到它们之间的距离与对应的正确装配 的部件一致。
[0068] 参照图17的程序1700。在步骤1710中，用户创建特征查找器，其可以定位第一工件 上的特征并表达为用户在公共坐标系查找的位置。在步骤1720中，用户创建特征查找器，其 可以定位第二工件上的特征并表达为用户在公共坐标系查找的位置。用户通过使用视觉进 程(或视觉处理器)和关联的GUI中的视觉工具来执行这一步。然后，在步骤1730中，用户对 一个或两个站台中的工件的位置进行调整，直到特征组之间的关系匹配所需的设计关系。 特征查找器可设计为定位任一图像(原始图像、缝合图像或合成图像)上的特征。更通常地， 用户训练装配系统，如步骤1740所示。
[0069] 3.自动化引导
[0070] 可选地或者额外地，自动引导能够用于引导工件至训练所需的位置。在前述的例 子中，在装配中用户会被要求输入点对之间的距离。一旦用户输入校正值，所述装配系统则 能够通过移动运动机构(例如操作器运动平台）移动零件，直至达到需要的虚拟装配的零件 中的几何关系。通过使用合适的界面能够明确地实现此点，所述界面将误差校正系数转化 为平台的线性驱动电机的标示动作(registered motion)。举例来说，在采用XXY平台的情 况下，X和Y输入值沿正交轴线进行平移，而差分XY输入值则生成相对于Z轴的旋转(允许3个 自由度上的移动）。只要最终的装配配置达到系统确认，就能够通过所述交界面从虚拟装配 中将误差校正值直接转换出来。
[0071] -般地，使用以上训练技术中的任何一种均能生成一组映射的运动误差校正值， 所述校正值关于运动平台的运动控制器或者操作器或者两者存储。这些值用于修改运动， 因此工件可通过装配系统的可复验部件得到合适的对齐。
[0072] 在另外的实施例中，可清楚地想象到，所述虚拟系统能够用于在任意数量的工作 站上装配任意数量的工件。举例来说，所述虚拟装配系统能够联合物理系统使用，所述物理 系统将典型的工件1六，181，182，1(：装配进一装配的单个物体中-其中14在工作站4中成像， WBl和WBl在工作站B中成像，而WC则在工作站C中成像。用户能够虚拟地将所有工件装配至 装配完整的物体中，而每一装配工作站/平台中的装配误差则被计算以对物理系统进行训 练。
[0073] 在进一步的实施例中，可建立群组的视觉系统相机用于虚拟装配，以使每一群组 包括每一站的至少一个相机，且所有相机映射到公共坐标系。按初始的组，可分别地标定群 组，以使每一群组映射特征至不同的离散的坐标系。然后使用来自这些群组的图像，执行对 整个对象的虚拟装配。此外，用于虚拟装配的一组视觉系统相机，可以与用于训练和运行物 理装配系统的相机组相同或不相同。
[0074]应该清楚，以上描述的系统和方法，以避免尝试使用工件的物理移动带来出错的 方式，允许用户更容易地考虑装配系统中的动作误差。该系统和方法还避免使用对设置和 训练进程增加时间和成本的CMM或相似的计量学装置。
[0075]前文已经详细描述了本发明的实施例。在不脱离本发明的发明思想和范围情况下 可进行各种修改和增加。为提供多种与新实施例相关的结合特征，上述各种实施例中的每 一个实施例的特征可适当地与其他所述实施例的特征相结合。此外，虽然前文描述了一些 本发明的设备和方法的单独的实施例，但本文的描述仅仅是对本发明原理的应用的说明。 例如，此处所使用的术语"进程(process)"和/或"处理器"应从广义上来理解，包括各种基 于功能和组件的电子硬件和/或软件(并可替换地称为功能性"模块"或"元件"）。此外，一所 述的程序或处理器能够与其他程序和/或处理器组合或分为多个子程序或处理器。根据此 处的实施例可对这种子程序和/或子处理器进行各种不同的组合。同样地，可明确设想到， 此处所述的任何功能、程序和/或处理器能够利用电子硬件、软件(包括程序指令的非暂时 计算机可读的媒介）、或硬件和软件的结合实施。还有，本文应用的方向性和方位性的术语， 如"纵向"、"水平方向"、"上方"、"下方"、"低端"、"顶端"、"侧边"、"前边"、"后边"、"左边"、 "右边"等，只适用于相对情况，与固定坐标系统中的绝对方位，如重力，不同。因此，该描述 仅仅起示例性的作用，而并不旨在限制。
【主权项】
1. 一种在装配系统中虚拟装配物体的系统，具有至少一个含有第一工件的第一工作 站，所述装配系统在两者间将第二工件对齐装配至第一工件，所述系统包括： 一个或者多个视觉系统摄像机以及一视觉系统处理器总成，被设置为对第一工件和第 二工件进行成像，所述多个摄像机在一共用坐标系中标定； 对齐进程，生成所述第一工件和第二工件在所述共用坐标系中的图像和特征中的至少 一个； 操作进程，具有定位第一工件上的第一组特征和第二工件上的第二组特征的视觉工 具，所述视觉工具相对于第二组特征自动对齐第一组特征，以对齐所述第一工件和第二工 件的图像和特征中的至少一个;以及 装配误差计算模块，基于在虚拟装配过程中操作进程的第一工件和第二工件的操作程 度计算装配误差。2. 根据权利要求1所述的系统，其中所述第二工件在远离第一工作站的第二工作站中 成像。3. 根据权利要求2所述的系统，进一步包括至少一个第三工件，所述视觉系统摄像机对 第三工件进行成像，所述对齐进程生成所述第三工件在所述共用坐标系中的图像和特征中 的至少一个，所述操作进程被设置为允许相对于所述第一工件和第二工件中的至少一个操 作第三工件以将第三工件的图像和特征中的至少一个和所述第一工件和第二工件中的至 少一个的图像和特征中的至少一个相对齐，以及其中所述装配误差计算模炔基于第三工件 相对于所述第一工件和第二工件中至少一个的操作程度计算装配误差。4. 根据权利要求3所述的系统，其中所述第一工件由视觉系统摄像机在第一工作站成 像，以及第二工件和第三工件中的每一个由视觉系统摄像机在第二工作站成像。5. 根据权利要求4所述的系统，进一步包括至少一个由视觉系统摄像机在第四工作站 中成像的第四工件。6. 根据权利要求2所述的系统，进一步包括： (a) 第一标定进程，标定所有对第一工作站成像的视觉系统摄像机至第一坐标系，其中 标定的视觉系统摄像机的全部或者子集适用于在装配系统的工作时间内使用； (b) 第二标定进程，标定所有对第二工作站成像的视觉系统摄像机至第二坐标系，其中 标定的视觉系统摄像机的全部或者子集适用于在装配系统的工作时间内使用； (c) 第三标定进程，将第一坐标系和第二坐标系绑定至所述共用坐标系，其使用标定的 视觉系统摄像机的不同离散子集将第一坐标系和第二坐标系绑定至所述共用坐标系；以及 (d) 其中，来自步骤(a)和步骤(b)的在第一工作站和第二工作站中的每一个中标定的 视觉系统摄像机的全部或者子集在虚拟装配中基于所述共用坐标系使用，所述共用坐标系 基于步骤(a)中的第一标定进程和步骤(b)中的第二标定进程和步骤(c)中第三标定进程建 立。7. 根据权利要求2所述的系统，其中所述第一工作站和第二工作站中的一个为装配平 台并且所述第一工作站和第二工作站中的另一个为拾取位置。8. 根据权利要求7所述的系统，其中所述装配平台定义一运动平台，以及所述装配系统 具有一可复验的操纵器，所述操纵器从所述拾取位置移动所述第二工件至所述运动平台。9. 根据权利要求1所述的系统，其中所述装配误差在至少3个自由度中定义。10. 根据权利要求1所述的系统，进一步包括显示器和用户界面以人工对齐所述第一工 件的至少一个图像以及所述第二工件的至少一个图像。11. 根据权利要求1所述的系统，进一步包括至少一个视觉系统摄像机对第一工件和第 二工件中的至少一个进行成像，所述至少一个视觉系统摄像机被构建和设置为获取图像， 所述图像用于所述装配系统的训练和运行中的至少一项，并与对齐进程的使用无关。12. 根据权利要求1所述的系统，其中所述操作进程使用（a)缝合的第一工件的图像以 及(b)缝合的第二工件的图像中的至少一项。13. 根据权利要求12所述的系统，其中所述第一工件和第二工件的图像相对于交界面 组成一合成图像。14. 根据权利要求1所述的系统，其中所述第一工件和第二工件中的至少一个定义由所 述视觉系统摄像机成像的平坦表面。15. -种虚拟装配物体的方法，使用具有至少一个含有第一工件的第一工作站的装配 系统，所述装配系统在两者间将第二工件对齐装配至第一工件，所述方法包括： 通过一个或者多个视觉系统摄像机和视觉系统处理器总成获取第一工件和第二工件 的图像，所述多个摄像机在一共用坐标系中标定。 生成所述第一工件和第二工件在所述共用坐标系中的图像和特征中的至少一个； 相对于第一工件自动操作第二工件以对齐所述第一工件和第二工件的图像和特征中 的至少一个；以及 基于第一工件和第二工件在虚拟装配过程中的操作程度计算装配误差。16. 根据权利要求15所述的方法，其中获取图像的步骤包括获取第二工件在远离第一 工作站的第二工作站中的图像。17. 根据权利要求16所述的方法，其中所述第一工作站和第二工作站中的一个为装配 平台并且所述第一工作站和第二工作站中的另一个为拾取位置。18. 根据权利要求15所述的方法，其中所述装配误差在至少3个自由度中定义。19. 根据权利要求15所述的方法，进一步包括使用显示器和用户界面以人工对齐所述 第一工件的至少一个图像以及所述第二工件的至少一个图像。
【文档编号】G05B19/42GK105938618SQ201610121089
【公开日】2016年9月14日
【申请日】2016年3月3日
【发明人】G·希瓦拉姆, W·福斯特
【申请人】康耐视公司