视觉数据的高通量自动注释的制作方法

本公开涉及用于获取和处理视觉数据的系统和方法，并且更具体地涉及用于获取和处理视觉数据以获得对象上界标的坐标的系统和方法。

背景技术：

此部分的陈述仅提供与本公开相关的背景信息，且可能并不构成现有技术。

视觉伺服已经在自动化系统中使用。视觉伺服是指基于视觉的机器人控制，它使用视觉数据来执行任务，例如组装、交付或检查零件。界标检测是许多自动化任务的核心。界标检测使用通过视觉系统捕获的数据来检测对象(诸如机器部件或组装的机器部件)上的兴趣点(即界标)。

可以在检查任务中使用界标来检测不对准或不良连接。可以将捕获的图像上的各种界标的位置与各种界标之间的测量位置或距离进行比较，以进行自动检查。例如，当发动机配线未正确连接时，捕获图像中导线上各种界标的位置可能与参考图像上的界标位置不一致。

然而，获得界标的位置信息并不容易。设计用于从视觉数据中提取界标的位置信息的算法既费时又不可靠。深度学习为各种自动化任务中的界标检测提供了一个自然的平台。然而，机器学习方法通常依赖于大量的训练数据。为了实现深度学习，需要对数以百计的图像进行手动注释和标记，以识别各种界标。在一些复杂的应用(如组装传动零件)中，必须在每个捕获的图像上检测数十个或甚至数百个界标，以通过机器人操纵器提供对配合零件的精确而可靠的引导。用多个界标对每一图像进行注释是一项艰巨的任务，使得界标检测的深度学习方案的实现不切实际。

在本公开中解决了上述问题和相关需求。

技术实现要素：

在本公开的一种形式中，提供了一种获取和处理视觉数据的方法。所述方法包括：将特定颜色的光引导到对象上的多个界标中的至少一个，以照亮所述多个界标中的所述至少一个；当所述对象上的所述多个界标中的所述至少一个被照亮时，获得所述对象的第一图像；以及从所述第一图像提取所述多个界标中的所述至少一个的坐标。

在其他特征中，多个界标中的至少一个的坐标由坐标确定模块自动从第一图像提取，并且基于第一图像上的照明点的位置而获得。

所述方法还包括：基于在第一图像上捕获的光的颜色来提取多个界标中的至少一个的身份；在多个界标中的至少一个停止被照亮之后，立即获得对象的第二图像；通过图像分离模块将第一图像与第二图像分离；以及将多个界标中的至少一个的坐标与第二图像配对以形成训练数据集。交替地捕获第一图像和第二图像。

在其他特征中，可用多种不同颜色的光逐个或同时照亮所述对象上的所述多个界标。多个界标中的每一个与不同颜色的光相关联。多种不同颜色的光可以是脉冲光。所述方法还包括：将脉冲光与触发相机以捕获所述对象的图像的相机触发器同步，以及移动和调整照明系统以允许将脉冲光引导到界标中的对应界标。脉冲光由激光脉冲器生成，激光脉冲器在每隔一个相机帧捕获时被触发。

在本公开的另一形式中，提供了一种获取和处理视觉数据的方法，所述方法包括：将多种颜色的光引导到对象上的多个界标；当多个界标的每一个被照亮时，捕获对象的第一图像；从第一图像提取多个界标的坐标；以及基于在第一图像上捕获的光的颜色确定每个界标的身份。

应当注意，在下面的描述中单独阐述的特征可以以任何技术上有利的方式彼此组合，并且阐述本公开的其他变型。本说明书特别地结合附图另外表征并指定了本公开内容。

另外的应用领域将通过本文提供的说明书变得明显。应当理解，描述和具体示例仅出于说明的目的，而非旨在限制本公开的范围。

附图说明

为了可以很好地理解本公开，现在将参考附图描述通过举例的方式给出的本公开的各种形式，在附图中：

图1是根据本公开的教导构建的用于获取和处理视觉数据的系统的示意图；

图2是根据本公开的教导用于获取和处理视觉数据的处理模块；和

图3是根据本公开的教导的获取和处理视觉数据的方法的流程图。

本文所述的附图仅出于说明的目的，而不意图以任何方式限制本公开的范围。

具体实施方式

以下描述本质上仅仅是示例性的，而无意对本公开、应用或用途进行限制。应当理解，贯穿各附图，对应的附图标号指示相同或对应的零件和特征。

在本申请中，包括下面的定义，术语“模块”可以用术语“电路”代替。术语“模块”可以是指以下项、是以下项的一部分或包括以下项：专用集成电路(asic)；数字、模拟或混合模拟/数字分立电路；数字、模拟或混合模拟/数字集成电路；可组合的逻辑电路；现场可编程门阵列(fpga)；执行代码的处理器电路(共享、专用或群组)；存储由处理器电路执行的代码的存储器电路(共享、专用或群组)；提供所述的功能性的其它合适的硬件部件；或者上述的一些或全部的组合，诸如在片上系统中。

模块可以包括一个或多个接口电路。在一些示例中，接口电路可以包括连接到局域网(lan)、互联网、广域网(wan)或其组合的有线或无线接口。本公开的任何给定模块的功能性可以分布在经由接口电路连接的多个模块间。例如，多个模块可以允许载荷平衡。在另一个示例中，服务器(也被称为远程或云)模块可以代表客户端模块完成某些功能性。

参考图1，根据本公开的教导用于获取和处理视觉数据的系统10包括视觉系统12、照明系统18和处理模块30(如图2所示)，视觉系统12包括用于捕获对象16的图像的一个或多个相机14，照明系统18用于照亮对象16上的多个界标20-1、20-2、20-3、……、20-n，处理模块30用于处理由相机14捕获的图像。对象16可以是机械部件、多个机械部件的总成或总成的一部分。在图1的示例性示例中，对象16是内燃发动机。对象16上的多个界标20-1、20-2、20-3、……、20-n可以是导线的尖端、发动机盖的角部、螺钉的尖端/螺纹、螺钉的主轴、配合螺纹孔的边缘/中心、电缆的尖端/连接器、齿或齿轮的轴线等。

视觉系统12安装在可移动台架24上，使得视觉系统12可相对于对象16移动，并且视觉系统12的相机14的姿态可被调整以从各种视角捕获对象16的图像，并且获得对象16的多个界标20-1、20-2、20-3、……、20-n的更好的视图和更好的图像。在一种形式中，可移动台架24可以是具有多个自由度的机器人臂。尽管未在附图中示出，但是应当理解，只要视觉系统12可以独立于照明系统18移动以允许视觉系统12从不同的视角捕获对象16上的多个界标的更好的图像，视觉系统12和照明系统18就可以安装在同一机器人臂上。

照明系统18被配置为发射不同颜色/波长的光。在图1的示例性实施例中，照明系统18可以包括具有多个激光脉冲器26的多光束激光系统。多个激光脉冲器26被配置为向对象16上的多个界标20-1、20-2、20-3、……、20-n发射具有不同波长(且因此具有不同颜色)的激光束。多个激光脉冲器26发射具有对应于对象16上的多个界标的多个波长/颜色的光。因此，多个界标20-1、20-2、20-3、……、20-n中的每一个都将由激光脉冲器26中的对应一个照亮，并由来自对应的激光脉冲器的独特颜色的光标记。预先确定与每个界标相关联的激光脉冲器的颜色编码或激光波长。因此，可以在期望的时间用特定颜色的已知激光束照亮每个界标。多个界标20-1、20-2、20-3、……、20-n可以由来自对应激光脉冲器的光逐个或同时照亮。

在操作中，照明系统18可以相对于对象16适当地移动，并且激光脉冲器26相对于对象16的角度可以手动或自动地调整。这样，来自激光脉冲器26之一的激光束可以被引导并指向对应的界标以照亮对应的界标。同时，移动视觉系统12并调整相机14的姿态，使得对应的界标在相机14的视野内，并且使得可以从各种视角获取感兴趣的界标的多个图像。

因此，当拍摄对象16的一个或多个图像时，特定的界标被来自对应的激光脉冲器26的光照亮并标记。所捕获的图像(即，光开帧)显示了特定的界标由特定颜色的光注释。环境中对象16上的特定界标的位置信息(即，坐标)是捕获的图像上的由特定颜色的光所照亮的点的坐标。还可以通过检查图像上捕获的光的颜色来确定特定界标的身份。因此，可以从捕获的图像上每个照明点的位置和颜色自动提取每个界标的2d坐标和身份。由于通过发射预定颜色的光自动执行对界标的注释，因此可以实现用于训练用于界标检测的神经网络的视觉数据的高通量注释。

此外，当对象上的特定界标未被照亮时，相机14还拍摄特定界标的图像(光关帧)。将所提取的界标的2d坐标和身份与对应的光关帧配对，以形成用于界标检测的训练数据集。

参考图2，处理模块30被配置为处理由相机14捕获的视觉数据(即图像)，并将训练数据输出到训练数据集38。处理模块30包括图像分离模块32和坐标确定模块34。

相机触发器36可以与激光脉冲器26同步以捕获对象16的图像。因此，当致动激光脉冲器26以发射光时，相机触发器36同时触发相机36以捕获对象16的图像。当通过激光脉冲器26照射任何界标时，相机14捕获对象16的第一图像(即，激光开帧)。

此外，一旦激光脉冲器26停止发射光，相机触发器36还触发相机16以捕获第二图像(即，光关帧)。第二图像是在没有界标被照亮时拍摄的。作为示例，激光器可以在每隔一个捕获的帧上脉冲。因此，所捕获的图像在第一图像和第二图像之间交替，第一图像具有在被光照亮的相机视野中的界标，在第二图像中没有界标被照亮。在另一种形式中，如果照明系统18不包括激光脉冲器，则照明系统18可以被致动以发射光且被停用以停止发射光，并且相机触发器可以与照明系统18的致动和停用同步，以便获得第一图像(光开帧)和第二图像(光关帧)。

第一图像和第二图像都被发送到处理模块30以进行进一步处理。处理模块30的图像分离模块32被配置为接收第一图像和第二图像两者，将第一图像与第二图像分离，并且仅将第一图像发送到坐标确定模块34。坐标确定模块34基于第一图像确定多个界标的2d坐标。如先前所述，当特定激光束打开时拍摄第一图像。第一图像由不同颜色的光注释，这有助于识别在第一图像的每个上照亮的特定界标。因此，可以由坐标确定模块34从捕获的第一图像上的每个照明点的位置和颜色自动提取每个界标的2d坐标和身份。

图像分离模块34将第二图像输出到训练数据集38。坐标确定模块34将所提取的多个界标的2d坐标和界标的身份输出到训练数据集38，其中所提取的相关界标的2d坐标和身份与第二图像配对以形成用于机器学习的训练数据。

参考图3，根据本公开的教导的获取和处理视觉数据的方法50从在步骤52中将特定颜色或波长的光引导到对象上的界标中的对应一个开始。照明系统包括对应于对象上的多个界标的不同颜色/波长的多种光。每个界标用不同颜色的光进行颜色编码。来自照明系统的光可以处于可见光谱或不可见光谱中。

在步骤54中，当界标中的对应一个被照亮时，同时触发相机14以捕获对象的第一图像。在视觉数据捕获期间，相机14由可移动平台24四处移动，以覆盖各种部件及其对应的界标的所有可能的视角。

接下来，在步骤56中，光关闭并停止照亮界标中的特定一个，同时触发相机14拍摄对象的第二图像。因此，还捕获了在特定界标不被照亮下对象16的第二图像(激光关帧)。光开相机触发器的定时与对应的光开相机触发器的定时足够接近，使得出于神经网络训练的目的，由相机的运动引起的两个帧(光开帧和光关帧)之间的差异可以忽略不计。这可以通过使用高帧率相机以确保两个连续帧之间的时间滞后最小来实现。可以重复步骤52至56以捕获从不同视角可视化的特定界标的图像。

在针对特定界标捕获了对象的第一和第二图像之后，所述方法返回到步骤52以在另一或其余的界标被不同颜色/波长的光照亮下继续捕获对象的第一和第二图像。当在步骤58确定已经逐个(或同时)照亮了所有界标并且已经捕获了每个界标的第一和第二图像时，第一图像(具有被照亮界标的图像)和第二图像(没有照亮的界标)被发送到图像分离模块32，其中在步骤60中将第二图像与第一图像分离。

将第一图像发送到坐标确定模块以进行进一步处理。在步骤62中，从第一图像中提取多个界标的2d坐标。激光脉冲器的颜色编码可用于区分每个界标并确定每个界标的身份。在步骤64中，将特定界标的2d坐标和身份与下一个可用的光关帧(即，第二图像)配对，并将其添加到训练数据集。所述方法在步骤66中结束。

可以理解，在本公开的另一种形式中，可以同时执行捕获第一和第二图像的步骤、将第一图像与第二图像分离的步骤、从第一图像提取界标的2d坐标的步骤，而无需等待直到照亮所有界标并拍摄它们的图像之后。换句话说，可以将特定界标的第一图像和第二图像发送到图像分离模块32以进行分离并且坐标确定模块34可以提取所述特定界标的坐标以形成训练数据，同时照亮另一界标并拍摄它的图像。

可替代地，尽管未在附图中示出，但是应当理解，如果光源具有多个激光指示器以允许同时发射不同颜色的光，则可以用不同颜色的光同时照亮所有界标。因此，不需要逐个照亮界标，从而节省了获得所有界标的坐标并形成训练数据的时间。

总而言之，对于每个界标，相机16被操作以捕获光发射下的对象的第一图像(即，光开帧)和没有光发射下的对象的第二图像(即，光关帧)。随着相机的移动，视觉系统会捕获图像，其中一些图像由不同颜色的光标记，而其他图像则是没有任何光照的正常图像。所有这些图像被收集到处理模块中以进行进一步的后处理。处理第一图像以提取界标的2d坐标和身份。提取的2d坐标和标识的界标与它们对应的光关帧配对，以形成用于机器学习的训练数据集。

当光打开和关闭时，相机会拍摄界标图像，以便用于机器学习的视觉数据不受光照亮的影响。仅使用第一图像来提供相对于视觉系统的界标的坐标。每个图像用于向训练数据集传递不同的数据。光开图像(即第一图像)用于提取坐标和身份信息，而光关图像(即第二图像)用于机器学习，因为在正常训练中，图像不应受光照亮的影响。

本公开的描述在本质上仅是示例性的，且因此，不脱离本公开的实质的变型意图在本公开的范围内。这些变化不应被视为脱离本公开的精神和范围。

根据本发明，一种获取和处理视觉数据的方法包括：将特定颜色的光引导到对象上的多个界标中的至少一个，以照亮所述多个界标中的所述至少一个；当所述对象上的所述多个界标中的所述至少一个被照亮时，获得所述对象的第一图像；以及从所述第一图像提取所述多个界标中的所述至少一个的坐标。

根据实施例，由坐标确定模块执行从第一图像提取多个界标中的至少一个的坐标。

根据实施例，基于第一图像上的照明点的位置来获得多个界标中的至少一个的坐标。

根据实施例，上述发明的特征还在于，基于在所述第一图像上捕获的光的颜色来提取所述多个界标中的所述至少一个的身份。

根据实施例，上述发明的特征还在于，在所述多个界标中的所述至少一个停止被照亮之后，立即获得所述对象的第二图像。

根据实施例，上述发明的特征还在于，将所述多个界标中的所述至少一个的所述坐标与所述第二图像配对以形成训练数据集。

根据实施例，上述发明的特征还在于，用多种不同颜色的光逐个照亮所述对象上的所述多个界标。

根据实施例，所述多个界标中的每一个与不同颜色的光相关联。

根据实施例，上述发明的特征还在于，当所述多个界标中的每一个被照亮时，捕获所述对象的第一图像。

根据实施例，上述发明的特征还在于，在所述多个界标中的每一个的照亮停止之后，立即捕获所述对象的第二图像。

根据实施例，交替地捕获所述第一图像和所述第二图像。

根据实施例，上述发明的特征还在于，通过图像分离模块将第一图像与第二图像分离。

根据实施例，在捕获对应于所有界标的第一图像和第二图像之后，将第一图像与第二图像分离。

根据实施例，上述发明的特征还在于，将所述提取的坐标与对应的第二图像配对以形成训练数据集。

根据实施例，多种不同颜色的光是脉冲光。

根据实施例，上述发明的特征还在于，将所述脉冲光与触发相机以捕获所述对象的图像的相机触发器同步。

根据实施例，上述发明的特征还在于，移动和调整照明系统以允许将所述脉冲光引导到所述界标中的对应界标。

根据本发明，一种获取和处理视觉数据的方法包括：将多种颜色的光引导到对象上的多个界标；当多个界标的每一个被照亮时，捕获对象的第一图像；从第一图像提取多个界标的坐标；以及基于在第一图像上捕获的光的颜色确定每个界标的身份。

根据实施例，上述发明的特征还在于，当多个界标中的每一个停止被照亮时，捕获对象的第二图像，其中将多个界标中的每一个的第二图像与多个界标中的每一个的坐标配对以形成训练数据集。

根据实施例，所述多种光由激光脉冲器生成，所述激光脉冲器在每隔一个相机帧捕获时被触发。