将导线接触件与连接器的插入孔对准及插入的方法和系统与流程

[0001]
按照示例实施方式提供一种方法、系统和计算机程序产品，以便将导线接触件与连接器的插入孔对准，并且更具体地，涉及使用机器视觉系统将导线接触件与连接器的导线接触件插入孔自动对准并且将导线接触件插入到连接器的相应孔中。


背景技术：

[0002]
由多根导线组成的线束在各种行业中被用来携带无数不同类型的信号。线束组件的导线必须经常端接有导线接触件，并且所得的导线端被插入连接器的导线接触插入孔中，诸如插入连接器的橡胶垫圈中。因为线束中的每根导线都是特有的并且可携带不同类型的信号，所以线束组件的导线端必须被插入连接器的特定导线接触件插入孔中，以便进行正确连接。
[0003]
可将线束组件的导线端手动地插入由连接器限定的相应导线接触件插入孔中。由于线束组件一般包括数百根导线，因此这种手动连接过程可能相对耗时且容易出错，结果，会增加包括线束组件的整个组件的成本。如此，已开发出用于将线束组件的导线端插入连接器的导线接触件插入孔中的自动化技术，以努力减少进行连接所花费的时间并对应地降低所得组件的成本。然而，线束组装机通常需要连接器处于非常受限制和受控制的一组位置中，以便增加将线束组件的导线端正确地插入连接器的导线接触件插入孔中的可能性。因此，线束组装机限制了连接器可表现出的灵活性，因此，并不适于所有情况。


技术实现要素：

[0004]
提供了用于将导线接触件与连接器所限定的插入孔对准以便促成将线束组件的导线端自动插入连接器的导线接触件插入孔中的方法、系统和计算机程序产品。通过促成将线束组件的导线端自动插入连接器的导线接触插入孔中，创建这种连接所需的时间以及对应地与所得组件关联的成本能降低，同时与连接关联的出错率减少。示例实施方式的方法、系统和计算机程序产品提供了相对于连接器可被定位的方式的很大灵活性，同时仍允许线束组件的导线端被牢固地插入并电连接到连接器的适当导线接触件插入孔。
[0005]
在示例实施方式中，提供了一种将导线接触件与连接器的插入孔对准并且将所述导线接触件插入所述连接器的相应孔中的系统。该系统可包括：具有末端执行器的机器人，其中，末端执行器包括导线夹和固定到末端执行器的至少两个图像捕获装置；以及计算装置。所述计算装置可被配置为：处理由所述图像捕获装置捕获的图像以建立将所述导线接触件与连接器表面中的所述连接器的所述目标孔对准的校正变换；致使所述机器人使所述末端执行器平移，以使所述导线夹沿着所述校正变换移动；致使所述机器人使所述末端执行器前进，直到与所述连接器表面进行接触；基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部；致使所述机器人使所述末端执行器前进，以将所述导线接触件朝向所述连接器再移动预定的附加量；基于所述导线接触件再移动所述预定的附加量，用所述导线夹处的力反馈来确认对准是否正确。
[0006]
根据一些实施方式，被配置为基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部的所述计算装置被配置为：响应于在所述导线夹处观察到的力高于预定义值而确认所述导线接触件未与所述连接器的所述目标孔对准；以及响应于在所述导线夹处观察到的力低于所述预定义值而确认所述导线接触件与所述连接器的所述目标孔对准。根据一些实施方式，被配置为处理由所述图像捕获装置捕获的图像以建立将所述导线接触件与所述连接器的所述目标孔对准的校正变换的所述计算装置可被配置为：在处理后的所述图像内，识别所述导线接触件的顶端和所述导线接触件延伸所沿着的方向；以及根据处理后的所述图像建立将所述导线接触件的所述顶端和所述导线接触件延伸所沿着的所述方向与所述目标孔在所述机器人的所述末端执行器的三维坐标系的轴线上对准的校正变换。
[0007]
一些实施方式的计算装置可被配置为：确定所述导线夹能朝向所述连接器前进的最大距离；致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动；随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈满足插入力值，确定所述导线接触件被完全插入所述连接器中；以及随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈在达到所述导线夹能朝向所述连接器前进的所述最大距离之前无法满足所述插入力值，确定所述导线接触件未被完全插入所述连接器中。响应于所述计算装置确定所述导线接触件被完全插入所述连接器中，所述计算装置还被配置为：致使所述机器人使所述末端执行器缩回，以使所述导线夹背离所述连接器移动；响应于在所述导线夹上的力反馈没有超过拉力测试值的情况下所述导线夹移动拉动距离，确认所述导线接触件被不正确插入；以及响应于在所述导线夹未移动拉动距离的情况下所述导线夹上的力反馈超过拉力测试值，确认所述导线接触件被正确插入。
[0008]
根据一些实施方式，响应于所述计算装置确定所述导线接触件未被完全插入所述连接器中，所述计算装置还可被配置为：致使所述导线夹释放对所述导线接触件的夹持；致使所述机器人使所述末端执行器缩回，以使所述导线夹背离所述连接器移动；致使所述导线夹重新夹持所述导线接触件；以及致使所述机器人使所述末端执行器前进以将所述导线夹和所述导线接触件朝向所述连接器移动。根据一些实施方式，可基于设置在所述机器人与所述导线夹之间的力传感器来建立力反馈。可按力扭矩传感器可能能够准确地检测三个正交轴线中的力和绕这三个轴线中的每个的扭矩这样的方式，可在机器人和末端执行器之间采用具有力扭矩的工具接口。可替代力扭矩传感器布置或与力扭矩传感器相结合使用的另一示例实施方式是导线夹中的应变计或应变计阵列。单个应变计可能不能够建立沿着其接收力的轴线，但是可在示例实施方式中用于检测插入连接器中或从连接器中拉出的导线接触件的力反馈。如有期望，可使用应变计来识别沿着其接收到力的轴线。一些实施方式的计算装置可被配置为：在由所述图像捕获装置捕获的图像中，识别所述导线接触件的可见部分的取向；以及使用所述导线接触件的所述取向计算所述机器人的所述末端执行器的坐标系中的校正移动。
[0009]
本文中提供的实施方式可包括一种用于将导线接触件与连接器的目标孔对准并将所述导线接触件插入所述目标孔中的方法。所述方法可包括：从与机器人的末端执行器附接的至少两个图像捕获装置获得所述末端执行器的导线夹的捕获图像；处理由所述图像
捕获装置捕获的图像以建立将所述导线接触件与连接器表面中的所述连接器的所述目标孔对准的校正变换；致使所述机器人使所述末端执行器平移，以使所述导线夹沿着所述校正变换移动；致使所述机器人使所述末端执行器前进，直到与所述连接器表面进行接触；基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部；致使所述机器人使所述末端执行器前进，以将所述导线接触件朝向所述连接器再移动预定的附加量；基于所述导线接触件再移动所述预定的附加量，用所述导线夹处的力反馈来确认对准是否正确。
[0010]
根据一些实施方式，基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部可包括：响应于在所述导线夹处观察到的力高于预定义值而确认所述导线接触件未与所述连接器的所述目标孔对准；以及响应于在所述导线夹处观察到的力低于所述预定义值而确认所述导线接触件与所述连接器的所述目标孔对准。处理由所述图像捕获装置捕获的图像以建立将所述导线接触件与所述连接器的所述目标孔对准的校正变换可包括以下步骤：在处理后的所述图像内，识别所述导线接触件的顶端和所述导线接触件延伸所沿着的方向；以及根据处理后的所述图像建立将所述导线接触件的所述顶端和所述导线接触件延伸所沿着的所述方向与所述目标孔在所述机器人的所述末端执行器的三维坐标系的轴线上对准的校正变换。
[0011]
所述方法可包括：确定所述导线夹能朝向所述连接器前进的最大距离；致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动；随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈满足插入力值，确定所述导线接触件被完全插入所述连接器中；并且随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈在达到所述导线夹能朝向所述连接器前进的所述最大距离之前无法满足所述插入力值，确定所述导线接触件未被完全插入所述连接器中。
[0012]
根据一些实施方式，响应于确定所述导线接触件被完全插入所述连接器中，所述方法可包括：致使所述机器人使所述末端执行器缩回，以使所述导线夹背离所述连接器移动；响应于在所述导线夹上的力反馈没有超过拉力测试值的情况下所述导线夹移动拉动距离，确认所述导线接触件被不正确插入；以及响应于在所述导线夹未移动拉动距离的情况下所述导线夹上的力反馈超过拉力测试值，确认所述导线接触件被正确插入。响应于确定所述导线接触件未被完全插入所述连接器中，所述方法可包括：致使所述导线夹释放对所述导线接触件的夹持；致使所述机器人使所述末端执行器缩回，以使所述导线夹背离所述连接器移动；致使所述导线夹重新夹持所述导线接触件；以及致使所述机器人使所述末端执行器前进以将所述导线夹和所述导线接触件朝向所述连接器移动。基于所述机器人与所述导线夹之间的力传感器来建立所述导线夹处的力反馈。可选地，所述方法可包括以下步骤：在由所述图像捕获装置捕获的图像中，识别所述导线接触件的可见部分的取向；以及使用所述导线接触件的所述取向计算所述机器人的所述末端执行器的坐标系中的校正移动。
[0013]
本文中提供的实施方式可包括一种用于将导线接触件与由连接器限定的目标孔中对准并将所述导线接触件插入所述目标孔中的计算机程序产品。该计算机程序产品可包括至少一个非暂态计算机可读存储介质，该至少一个非暂态计算机可读存储介质具有存储在其中的计算机可执行程序代码指令。所述计算机可执行程序代码指令包括用于进行以下
步骤的程序代码指令：从与机器人的末端执行器附接的至少两个图像捕获装置获得所述末端执行器的导线夹的捕获图像；处理由所述图像捕获装置捕获的图像以建立将所述导线接触件与连接器表面中的所述连接器的所述目标孔对准的校正变换；致使所述机器人使所述末端执行器平移，以使所述导线夹沿着所述校正变换移动；致使所述机器人使所述末端执行器前进，直到与所述连接器表面进行接触；基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部；致使所述机器人使所述末端执行器前进，以将所述导线接触件朝向所述连接器移动预定附加量；以及基于所述导线接触件移动所述预定附加量，用所述线夹处的力反馈来确认所述对准是否正确。
[0014]
用于基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部的所述程序代码指令可包括用于进行以下步骤的程序代码指令：响应于在所述导线夹处观察到的力高于预定义值而确认所述导线接触件未与所述连接器的所述目标孔对准；以及响应于在所述导线夹处观察到的力低于所述预定义值而确认所述导线接触件与所述连接器的所述目标孔对准。用于处理由所述图像捕获装置捕获的图像以建立将所述导线接触件与所述连接器的所述目标孔对准的校正变换的所述程序代码指令可包括用于进行步骤的程序代码指令：在处理后的所述图像内，识别所述导线接触件的顶端和所述导线接触件延伸所延伸的方向；以及根据处理后的所述图像建立将所述导线接触件的所述顶端和所述导线接触件延伸所沿着的所述方向与所述目标孔在所述机器人的所述末端执行器的三维坐标系的轴线上对准的校正变换。
[0015]
根据一些实施方式，所述计算机程序产品可包括用于进行以下步骤的程序代码指令：确定所述导线夹能朝向所述连接器前进的最大距离；致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动；随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈满足插入力值，确定所述导线接触件被完全插入所述连接器中；以及随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈在达到所述导线夹能朝向所述连接器前进的所述最大距离之前无法满足所述插入力值，确定所述导线接触件未被完全插入所述连接器中。
[0016]
根据一些实施方式，响应于确定所述导线接触件被完全插入所述连接器中，所述计算机程序产品可包括用于进行以下步骤的程序代码指令：致使所述机器人使所述末端执行器缩回，以使所述导线夹背离所述连接器移动；响应于在所述导线夹上的力反馈没有超过拉力测试值的情况下所述导线夹移动拉动距离，确认所述导线接触件没有被正确插入；以及响应于在所述导线夹未移动拉动距离的情况下所述导线夹上的力反馈超过拉力测试值，确认所述导线接触件被正确插入。响应于确定所述导线接触件未被完全插入所述连接器中，所述计算机程序产品可包括用于进行以下步骤的程序代码指令：致使所述导线夹释放对所述导线接触件的夹持；致使所述机器人使所述末端执行器缩回，以使所述导线夹背离所述连接器移动；致使所述导线夹重新夹持所述导线接触件；以及致使所述机器人使所述末端执行器前进以将所述导线夹和所述导线接触件朝向所述连接器移动。
[0017]
本文中提供的实施方式可包括一种用于将导线接触件与连接器的目标孔对准并将所述导线接触件插入所述目标孔中的设备。示例设备可包括：用于从与机器人的末端执行器附接的至少两个图像捕获装置获得所述末端执行器的导线夹的捕获图像的装置；用于
处理由所述图像捕获装置捕获的图像以建立将所述导线接触件与连接器表面中的所述连接器的所述目标孔对准的校正变换的装置；用于致使所述机器人使所述末端执行器平移以使所述导线夹沿着所述校正变换移动的装置；用于致使所述机器人使所述末端执行器前进直到与所述连接器表面进行接触的装置；用于基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部的装置；用于致使所述机器人使所述末端执行器前进以将所述导线接触件朝向所述连接器再移动预定的附加量的装置；以及用于基于所述导线接触件再移动所述预定的附加量用所述导线夹处的力反馈来确认对准是否正确的装置。
[0018]
根据一些实施方式，用于基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部的装置可包括：用于响应于在所述导线夹处观察到的力高于预定义值而确认所述导线接触件未与所述连接器的所述目标孔对准的装置；以及用于响应于在所述导线夹处观察到的力低于所述预定义值而确认所述导线接触件与所述连接器的所述目标孔对准的装置。用于处理由所述图像捕获装置捕获的图像以建立将所述导线接触件与所述连接器的所述目标孔对准的校正变换的装置可包括：用于在处理后的所述图像内识别所述导线接触件的顶端和所述导线接触件延伸所沿着的方向的装置；以及用于根据处理后的所述图像建立将所述导线接触件的所述顶端和所述导线接触件延伸所沿着的所述方向与所述目标孔在所述机器人的所述末端执行器的三维坐标系的轴线上对准的校正变换的装置。
[0019]
一种设备的实施方式可包括：用于确定所述导线夹能朝向所述连接器前进的最大距离的装置；用于致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动的装置；随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈满足插入力值，用于确定所述导线接触件被完全插入所述连接器中的装置；以及随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈在达到所述导线夹能朝向所述连接器前进的所述最大距离之前无法满足所述插入力值，用于确定所述导线接触件未被完全插入所述连接器中的装置。
[0020]
根据一些实施方式，响应于确定所述导线接触件被完全插入所述连接器中，所述设备可包括：用于致使所述机器人使所述末端执行器缩回以使所述导线夹背离所述连接器移动的装置；响应于在所述导线夹上的力反馈没有超过拉力测试值的情况下所述导线夹移动拉动距离，用于确认所述导线接触件被不正确插入的装置；以及响应于在所述导线夹未移动拉动距离的情况下所述导线夹上的力反馈超过拉力测试值，用于确认所述导线接触件被正确插入的装置。响应于确定所述导线接触件未被完全插入所述连接器中，所述设备可包括：用于致使所述导线夹释放对所述导线接触件的夹持的装置；用于致使所述机器人使所述末端执行器缩回以使所述导线夹背离所述连接器移动的装置；用于致使所述导线夹重新夹持所述导线接触件的装置；以及用于致使所述机器人使所述末端执行器前进以将所述导线夹和所述导线接触件朝向所述连接器移动的装置。基于所述机器人与所述导线夹之间的力传感器来建立所述导线夹处的力反馈。示例设备还可进一步包括：用于在由所述图像捕获装置捕获的图像中识别所述导线接触件的可见部分的取向的装置；以及用于使用所述导线接触件的所述取向计算所述机器人的所述末端执行器的坐标系中的校正移动的装置。
附图说明
[0021]
在由此概括地描述本公开的某些示例实施方式之后，下文中将参照附图，附图不一定按比例绘制，并且其中：
[0022]
图1是根据本公开的示例实施方式的连接器的立体图；
[0023]
图2是根据本公开的示例实施方式的图1的连接器的正视图；
[0024]
图3是可特别地按照本公开的示例实施方式配置的系统的框图；
[0025]
图4描绘了根据本公开的示例实施方式的机器人末端执行器、导线夹和图像捕获装置；
[0026]
图5例示了根据本公开的示例实施方式的由图4的机器人末端执行器的图像捕获装置捕获的连接器的图像；
[0027]
图6是根据本公开的示例实施方式的用于相对于导线夹和机器人末端执行器校准图像捕获装置的校准例程的流程图；
[0028]
图7是根据本公开的示例实施方式的用于将导线接触件与目标插入孔对准的过程的流程图；
[0029]
图8例示了根据本公开的示例实施方式的从图像中提取导线接触件方向和顶端位置的过程；
[0030]
图9例示了根据本公开的示例实施方式的用于检测连接器中的接触孔的过程流程；
[0031]
图10是根据本公开的示例实施方式的用于将导线接触件方向与连接器的目标孔对准的过程的流程图；
[0032]
图11例示了具有线束的连接器，该线束使用根据本文中描述的对准技术的示例实施方式附接到该连接器；
[0033]
图12是根据本公开的示例实施方式的用于将导线接触件与连接器的目标孔对准的过程的流程图；
[0034]
图13是根据本公开的示例实施方式的将导线接触件与连接器的目标孔对准并将导线接触件插入目标孔中的方法的过程流程；以及
[0035]
图14是根据本公开的示例实施方式的将导线接触件与连接器的目标孔对准并将导线接触件插入目标孔中的过程的流程图。
具体实施方式
[0036]
现在，在下文中参照附图更充分地描述本公开，在附图中示出了一些而非全部方面。事实上，本公开可按许多不同形式来实施并且不应该被解释为限于本文中阐述的方面。确切地，提供这些方面，使得本公开将满足适用的法律要求。类似的标号始终是指类似的元件。
[0037]
按照本文中描述的示例实施方式提供了一种方法、系统和计算机程序产品，以将导线端/接触件与连接器的对应插入孔(诸如在连接器的橡胶垫圈中)对准，以促成自动机器导线插入。本文中描述的过程使用安装至机器人末端执行器的相机同时检测导线接触件和插入孔。利用同时检测，所公开方法的实施方式提供了对用于将导线接触件插入连接器的插入孔中的机器臂的校正移动的反馈。机械臂的移动将导线接触件与目标插入孔对准，
以便成功地插入连接器的适当孔中。如下面进一步描述的，本文中描述的同时检测包括检测接触孔(其可使用颜色过滤)、计算与孔模板的距离、查找距离地图中的极值以及将孔掩模与这些极值匹配的多步骤过程。
[0038]
传统上，包括将一个或更多个导线连接器附接到线束的线束组装是劳动密集型过程，该过程既耗时又在组装中引入了出错的机会。本文中描述的实施方式使得能够自动组装线束及其关联的导线连接器。具体地，实施方式提供了将导线端自动插入连接器中。本文中描述的实施方式可使用具有末端执行器的机械臂来插入导线，从而支持连接器和导线的灵活布局。
[0039]
按照示例实施方式提供了一种方法、系统和计算机程序产品，以便识别导线接触件和由连接器限定的导线接触件插入孔，以将导线接触件对准并插入导线接触件插入孔中。尽管该方法、系统和计算机程序产品可被配置为识别各种不同类型导线接触件和连接器的导线接触插入孔，但是连接器通常在壳体内限定多个导线接触件插入孔，其中导线接触件插入孔被布置成预定义配置。不同的连接器可包括不同数量的导线接触件插入孔，并且可包括以不同配置布置的导线接触件插入孔。
[0040]
图1和图2中以连接器10的形式描绘了连接器的一个示例。如图所示，连接器10包括壳体12和设置在壳体12中的橡胶垫圈16。尽管壳体12可被不同地配置用于其他类型的连接器，但是图1和图2的实施方式的连接器10的壳体是带外螺纹的，以促成例如线束组件或另一连接器与其的牢固螺纹接合。图1和图2中的连接器10还包括径向延伸的凸缘，该凸缘限定了多个开口14，诸如用于接纳螺杆或其他用于将连接器安装到组件的紧固件。尽管图1中的连接器10具有圆柱形形状，但是其他示例实施方式的连接器可具有不同的大小和形状。关于图1和图2中的示例连接器，橡胶垫圈16被设置在壳体内，并且该橡胶垫圈限定了多个导线接触件插入孔18。由橡胶垫圈16限定的导线接触件插入孔18被配置(例如，被确定大小和形状)，使得由例如连接(例如，压接)到导线的端部的导线接触件组成的导线端被插入并机械保持在导线接触件插入孔18内。在一些而非全部实施方式中，橡胶垫圈还可包括多个线接触件，其与由橡胶垫圈限定的相应导线接触件插入孔对准，使得可使导线端与连接器的相应导线接触件牢固电接触导线。
[0041]
如图1和图2的连接器10的示例所示，由橡胶垫圈16限定的多个导线接触件插入孔18被布置成预定义图案。在一些实施方式中，将不利用连接器10的所有导线接触件插入孔，替代地，仅一部分导线接触件插入孔将接纳线束组件的对应导线端并与其进行电连接。如图2中例示的，通过将插头20插入由橡胶垫圈限定的相应导线接触件插入孔中，在进一步考虑时可不考虑将不结合特定应用利用的由橡胶垫圈16限定的导线接触件插入孔18。尽管在图1和图2中描绘了可按照本公开的示例实施方式进行分析的连接器10并且将在下文中描述连接器10，但是可结合各式各样的其他连接器利用示例实施方式的方法、系统和计算机产品，并且连接器是以示例的方式例示和描述的，但并非限制。
[0042]
现在参照图3，描绘了用于识别连接器10的导线接触件插入孔的系统。如图所示，系统30包括被配置为捕获连接器10的图像的相机32。尽管在图3中指示了多台相机，但是实施方式可采用单台相机，或者可采用与反射镜一起操作的单台相机，以使用单台相机提供连接器10的各种立体图。本文中描述的相机是一种图像捕获装置，其中可使用各种图像捕获装置类型取代相机。通常，图像捕获装置捕获装置视场的图像。如本文中描述的相机捕获
可见光谱中的视野的图像并相应地处理该图像。相机32可被配置为捕获连接器10的灰度图像。另选地，相机32可被配置为捕获连接器10的彩色图像。在捕获连接器10的彩色图像的实施方式中，与相机32的各不同颜色通道(诸如红色、绿色和蓝色通道)关联的图像可被求平均，以创建供后续分析和查看的复合图像。另选地，相机32的不同颜色通道可被分开分析。相机32通常被配置为捕获诸如图2中所示这样的连接器10的正面图像，使得由橡胶垫圈16限定的多个导线接触件插入孔18清晰可见。相机32还可被配置为在导线接触件与连接器10对准期间捕获导线接触件的图像。如此，由示例实施方式的相机32捕获的图像可被以多个角度捕获，以提供连接器10和导线接触件的不同立体图。
[0043]
除了相机32之外，图3中的系统30还包括计算装置34，计算装置34被配置为分析由相机捕获的连接器10的图像，并且识别导线接触件和连接器的导线接触件插入孔。另外如图3中所示，示例实施方式的系统30还包括机器人44或者与机器人44通信，并且更具体地，包括机器人末端执行器，机器人末端执行器用来基于由计算装置34识别出导线接触件和连接器的导线接触件插入孔，将导线端/接触件插入连接器10的相应候选接触件插入孔中。
[0044]
计算装置34可按各种方式进行配置，因此，可被实施为个人计算机、平板计算机、计算机工作站、移动计算装置(诸如智能电话)、服务器等。不管实施计算装置34的方式如何，示例实施方式的计算装置包括处理电路36、存储器38以及可选的用于执行本文中描述的各种功能的用户接口40和通信接口42，或者说与其关联。处理电路36可例如被实施为各种装置，所述各种装置包括一个或更多个微处理器、一个或更多个协处理器、一个或更多个多核处理器、一个或更多个控制器、一个或更多个计算机、包括诸如(例如)asic(专用集成电路)或fpga(现场可编程门阵列)这样的集成电路的各种其他处理元件或其某种组合。在一些示例实施方式中，处理电路36被配置为执行存储在存储器38中或以其他方式可供处理电路访问的指令。这些指令在由处理电路36执行时，可致使计算装置34进而致使系统30执行本文中描述的功能中的一种或更多种。如此，计算装置34可包括能够在被相应配置的同时执行根据本公开的示例实施方式的操作的实体。因此，例如，当处理电路36被实施为asic、fpga等时，处理电路和相应地计算装置34可包括用于进行本文中描述的一个或更多个操作的专门配置的硬件。另选地，作为另一示例，当处理电路36被实施为指令的执行器时(该指令诸如可被存储在存储器38中)，指令可专门配置处理电路进而配置计算装置34以执行本文中描述的一个或更多个算法以及操作。
[0045]
存储器38可包括例如易失性和/或非易失性存储器。存储器38可包括例如硬盘、随机存取存储器、高速缓冲存储器、闪存、光盘(例如，光盘只读存储器(cd-rom)、数字多功能盘只读存储器(dvd-rom)等)、被配置为存储信息的电路或其某种组合。就此而言，存储器38可包括任何非暂态计算机可读存储介质。存储器38可被配置为存储使计算装置34能够执行按照本公开的示例实施方式的各种功能的信息、数据、应用、指令等。例如，存储器38可被配置为存储供处理电路36执行的程序指令。
[0046]
用户接口40可与处理电路36和存储器38通信，以接收用户输入和/或向用户提供听觉、视觉、机械或其他输出。如此，用户接口40可包括例如显示器，显示器用于提供由相机32捕获的图像和/或在视觉上描绘如下所述的候选接触件和预定模板之间的最接近匹配的图像。用户接口40的其他示例包括键盘、鼠标、操纵杆、麦克风和/或其他输入/输出机构。
[0047]
通信接口42可与处理电路36和存储器38通信，并且可被配置为诸如通过从相机32
接收图像并将诸如候选接触件插入孔的列表、基于连接器的坐标系中的候选接触件插入孔的接触件id号和位置这样的信息发送到机器人44和/或机器末端执行器来接收和/或发送数据。尽管在本文中被称为候选接触件插入孔、候选接触件插入孔的接触件id号和位置、候选接触件插入孔的列表，但是候选接触件插入孔的接触件id号和位置将在包括与相应候选接触件插入孔对准的导线接触件的那些实施方式中被解释为与候选接触件插入孔自身和/或这种导线接触件关联。通信接口42可包括例如一根或更多根天线以及用于使得能够与无线通信网络通信的支持硬件和/或软件。附加地或另选地，通信接口42可包括用于与天线交互以造成经由天线的信号发送或者处理经由天线接收的信号的接收的电路。在一些环境中，通信接口42可另选地或者也支持有线通信。
[0048]
现在参照图4，示出了执行本文中描述的方法的系统的示例实施方式，该系统包括机器人末端执行器100，机器人末端执行器100包括第一相机102和第二相机104。机器人末端执行器100可在导线夹108中承载导线110(导线110在其前端处包括导线接触件)，而在机器人末端执行器100靠近连接器112时连接器112处于固定位置。这两台相机102、104按同时观看包括导线接触件的导线110和连接器112二者这样的方式被安装在机器人末端执行器100上。
[0049]
尽管图4中的实施方式包括两台相机，但是实施方式可包括更多台相机。另外，单台相机可与反射镜结合使用，以使用单台相机观察导线接触件和连接器的不同立体图。诸如使用两台或多台相机捕获多个立体图可使导线接触件与连接器联接时能够准确定位导线接触件和连接器。
[0050]
根据本文中描述的示例实施方式，从不止一个角度捕获导线和导线接触件连同连接器的图像。使用不同的立体图，识别在导线和导线接触件的方向上延伸的线，并且识别连接器中的孔，该孔为针对导线的目标孔。图5例示了由图4中的相机102和104所捕获的包括导线接触件的导线110和连接器(具体地，所识别的连接器的孔124，导线110将被插入孔124中)导线的图像。通过多个立体图识别的线提供了导线接触件与连接器的导线将被插入其中的目标孔之间的关系的至少立体指示。基于从图像中识别的线，可计算出将把孔放置在至少两个图像中的线上的移动命令。这可初始地建立末端执行器的旋转，以使导线夹108的顶端垂直于连接器表面。为了将孔置于线上，建立与连接器表面平行的移动，以将线与连接器的合适的目标孔对准。移动命令是机器人末端执行器在三维笛卡尔空间中的期望位移。将导线接触件与孔对准使导线置于正确位置，以使机器人能够使线沿着该线朝向连接器的合适孔移动以便插入。
[0051]
本文中描述的实施方式可在使用相机之前校准相机，以将导线与连接器的目标孔对准。校准的目的是计算三维笛卡尔坐标到二维图像坐标上的映射。可在将导线送入末端执行器的机械手之前执行校准。不必在每次插入导线之前或在改变每个连接器之前进行校准，但是在相机设置(诸如聚焦、缩放、取向等)改变时，可能有必要进行校准。
[0052]
图6描绘了示例校准过程的过程流程。所例示过程使用小的校准杆，该校准杆可例如是大约一英寸长并且具有清晰顶端(诸如红色顶端)的小塑料杆。根据一些实施方式，校准杆可包括诸如计算机辅助的测量机校准笔这样的针上的小球体或者仅仅是一张纸上的小点。校准杆用于提供能易于识别的点，从不同的相机视角看，这些点在每个相机视野中都是可见的。校准杆可被牢固地安装成顶端面向上并且在机器人末端执行器的附近。在准备
校准时，机器人末端执行器被推动到校准杆的前方，使得校准杆的顶端位置近似连接器表面(例如，连接器孔形成在其中的表面)的期望位置。校准过程可从末端执行器位置的列表开始，如130中所示的。此列表的一个示例是3
×3×
3立方网格中节点的三维坐标，其中邻近节点相隔1厘米。生成该列表的限制可能是，对于末端执行器的每个坐标，校准杆的顶端必须在所有相机图像中都是可见的。
[0053]
在132中获得末端执行器位置的新位置。在134中通过将机器人末端执行器移动到所获得的位置，在136中捕获校准杆的图像，在138中查找校准杆的顶端在两个相机图像中的坐标，并且在140中记录末端执行器位置，使机器人循环通过末端执行器位置的列表。该过程循环返回，以从列表中获得新的位置，直到所有末端执行器位置都已用于校准为止，或者至少预定义数量的末端执行器位置已用于校准以提供令人满意的校准。在所捕获的每个图像中，都识别校准杆顶端的位置。为了识别顶端，可(例如，通过针对每个像素计算r-(g+b)/2，其中，r、g和b分别是红色、绿色和蓝色通道)对图像进行颜色过滤。然后，可计算强度值高于预定值的所有像素的平均位置。可选择预定值，使得仅选择校准杆的顶端。可能有益的是，在校准杆上方有光源，使得顶端被充分照射并且可在所捕获图像中突出。该校准过程的结果是校准杆的顶端在每个相机图像中的二维图像坐标。
[0054]
一旦图6中的校准例程完成，结果是在末端执行器坐标系中的三维末端执行器位置以及每台相机的对应二维图像坐标的列表。通过算法使用对应坐标的该集合，以校准每台相机。例如，可使用透视n点(pnp)算法来校准每台相机。pnp算法的非限制示例可以是upnp+高斯牛顿算法。该算法的结果是每台相机有两个矩阵：一个对内部参数(如同焦距)进行编码，并且一个对外部参数(相机的位置和姿势)进行编码。这些矩阵可用于将机器人末端执行器坐标系中的三维位置映射到二维图像坐标上。使用该校准过程，不需要预先知道相机位置。
[0055]
一旦相机已校准，由机器末端执行器保持的导线接触件可与连接器对准。图7例示了使导线接触件与连接器的目标插入孔对准的过程。在导线被末端执行器的机械手抓握之后，在150中，无论导线是被布置在机械手中还是被机械手拾取，都可通过安装在末端执行器上的相机捕获图像。在这些图像中，如152中所示，检测到导线接触件并且获得其方向。下面，进一步描述该操作。然后，在154中，机器人可将导线接触件移动到连接器表面附近。在该位置，在156中，相机再次捕获图像，以包括导线接触件和连接器。从这些图像中，计算两个过程：第一，在158中，更新导线接触件的方向；第二，在160中，检测连接器孔。在162中，通过组合这些过程的输出，该系统计算机器人末端执行器坐标中的移动命令，以将接触件与目标孔对准。
[0056]
在机器人执行第一对准步骤之后，再次捕获相机图像，并且更新接触件位置和目标孔位置二者。如果该更新产生低于阈值(例如，低于0.1毫米)的校正移动命令，则机器人可不执行校正，而是前进以将接触件朝向连接器表面移动。导线接触件朝向连接器表面的移动的方向与通过相机图像获得的三维中的接触件方向匹配。如果更新后的导线接触件位置产生高于阈值的校正，则机器人接着可进行校正移动并捕获新图像，由此重复以上提到的过程，直到校正低于该阈值。
[0057]
图7的过程的重复次数可受到限制，诸如，限于三次尝试。在该限制之后，机器人可中止对准过程，并且例如通过用户接口的错误消息指示错误。另选地，机器人可像以前一样
再次开始将接触件移动到连接器表面附近。下面，更详细地描述图7的对准过程的三个重要要素。
[0058]
导线接触件检测
[0059]
对于将接触件与目标孔对准并且一旦接触件被对准就理解机器人末端执行器的移动方向来说，导线接触件的检测是必需的。图8描绘了从图像中提取导线接触件的方向的过程。在该示例实施方式中，诸如处理电路36这样的计算装置34可被配置为执行从所捕获的图像中提取导线接触件的方向和顶端位置的各种操作。第一个操作是在166中提取图像的窗口，接触件预计处于该窗口中。该窗口中的图像可被过滤颜色(例如，通过使用单个颜色通道)，以产生仅所关注颜色的图像。根据其中导线接触件的颜色是金色的示例实施方式，图像可被过滤颜色，以在167中查找金色颜色的区域。基于沿着线性方向延伸的金色颜色的区域，在168中创建拟合线。拟合线例如通过使用围绕线的30像素宽的走廊来约束为了170中的边缘检测而处理的区域。该走廊可从背景中例如从其他导线上切出分散注意力的边缘。为了进行边缘检测，可使用canny边缘检测算法。对于高斯模糊，canny边缘检测器的非限制参数可以是一个或两个σ，而对于边缘跟踪，阈值可以为0.005和0.015。第二，为了检测线，可在边缘上进行霍夫变换，如172中所示。第三，使用来自霍夫变换的结果阵列，可在174中查找与最长的线对应的最大值。通过查找最大值，识别线的角度和方向以及其距图像角之一的距离。在最大值附近，以相同的线方向寻找附近的最大值。这些最大值的示例是其值大于用霍夫变换得到的最大值的0.5倍。这些最大值可对应于接触件方向上的平行线。两条极值线的中心可被估计为接触件的位置和方向，如在176中所示。
[0060]
一旦诸如通过计算装置34的处理电路36获得了接触件的方向，就计算出接触件的顶端的位置。为了查找顶端，可确定平行于接触件的所有边缘线的端部。所有端部都可被投影到接触件线上。最远离与接触件顶端相对的图像拐角的投影可被识别为顶端的位置。可针对从不同角度捕获的至少两个相机图像，重复这个获得接触件方向和顶端位置的过程。
[0061]
以与用于导线接触件相同的方式，尽管未使用上述金色颜色滤波器，但是可通过计算装置34的处理电路36获得机械手的顶端。这里，可在导线接触件没有被插入机械手中的情况下分析图像。可在校准期间捕获这些图像。由于机械手被相对于相机固定，因此可获得机械手-顶端位置作为校准的部分。可选地，可在导线被机械手夹持之前的过程中计算机械手顶端位置。
[0062]
一旦在至少两个相机视图中已知了机械手和接触件顶端的图像坐标，就可计算顶端的三维坐标。为了计算点的三维坐标，可形成从相机位置延伸通过图像平面中的点的虚拟线。可基于在校准期间获得的相机的外部参数来计算这些线。可获得三维坐标作为与至少两个相机视图的虚拟线最接近的最小二乘解。三维末端执行器坐标系中的接触件方向可被计算为接触件顶端三维位置与机械手顶端三维位置之间的矢量差。
[0063]
接触件孔检测
[0064]
必须进行接触件孔检测，以正确地识别连接器的正确孔，导线接触件将被插入该正确孔中。在包括连接器的每个相机图像中，都检测到接触件孔。图9例示了可由计算装置34的处理电路36执行的对应过程流程。在该过程开始时，机器人末端执行器处于连接器的前部，使得连接器表面在从不同的角度看的至少两个相机图像中是完全可见的。对于从不同角度看的相机图像中的至少两个，遵循下述过程。
[0065]
在178中，由安装到机器人末端执行器的相机捕获图像。可诸如通过针对每个像素计算r-(g+b)/2使用红色滤波器对图像进行颜色过滤，其中，r、g和b是分别红色、绿色和蓝色光通道的值。可根据连接器的颜色来选择滤色器，使得滤色器最好地识别可与连接器的孔相关的连接器表面的差异。为了裁剪图像，计算经颜色过滤后的强度图像的中值图像坐标，并且在中值位置上切出窗口，如在180中所示。另选地，窗口的中心可在导线接触件的顶端处。窗口的大小取决于连接器的类型，并且可以是预先指定的参数，诸如270
×
270像素的大小，该大小足以清楚地识别连接器的每个孔。所使用的滤波器的颜色应该对应于连接器的颜色。
[0066]
然后，可使用处理电路36针对图像内的每个分块位置计算孔模板和强度图像的局部图像分块之间的平方距离，如182中所示。孔模板的示例可包括近似孔内部阴影的18
×
18像素宽的强度梯度，其中，沿着梯度的强度可遵循函数f(x)＝1/(1+exp(-x/1.7))。模板的强度可按比例缩放，以匹配经颜色过滤后的强度图像的最小值和最大值。这种按比例缩放增加了照明变化的鲁棒性。该操作的结果可包括其中低强度区域(黑色)是距孔模板短距离的区域的强度图像。
[0067]
诸如通过计算装置34的处理电路36，可使用强度图像，以隔离在图像中识别的极值。这些极值对应于接触孔，并且是距离图像中的局部极小值。为了识别局部极小值，可分析每个像素周围的椭圆边界。边界的大小可取决于连接器上的邻近孔之间的距离。作为非限制示例，椭圆边界可包括25个像素和15个像素的半轴长度，其中，长轴在水平方向上近似于相机图像中的孔的椭圆形形状，因为该图像与连接器不同轴。如果像素的边界中有强度低于候选像素强度乘以大于1的常数因子的一个或更多个像素，则像素可被作为极值候选丢弃。该常数因子可取决于连接器类型。例如，常数因子可以是大约1.7。大于1的因子确保极值没有更明显，并且可消除或减少故障检测。对于每个其余的候选像素，可计算其椭圆边界内的所有像素的加权平均值，其中是，权重是距离图像中每个像素的强度的倒数。
[0068]
如果计算出的椭圆形边界内的所有像素的总权重高于阈值(例如，2)，则加权平均可被识别为孔并且被添加到列表。在184中，示出对隔离峰的检测，由此识别连接器的孔。为了避免将所述孔的像素作为单独孔计数(双重计数)，用于求加权平均的椭圆内的所有像素可被标记并且被作为极值候选自动丢弃。该操作的结果是接触件孔的列表。作为附加操作，可从孔列表中去除异常值。为了去除异常值，首先可计算两个孔之间的最小距离(d
min
)。第二，任何孔都可被作为距其最近邻近孔的距离大于常数因子乘以d
min
(例如，常数因子2)的异常值而被丢弃。
[0069]
孔列表可与连接器的技术规格和/或图中已知的孔位置匹配。这种匹配可补偿遗漏的孔，并且允许将孔标识号分配给检测到的孔。从连接器的技术图中，可提取孔位置的二维掩模。该掩模可包括在连接器居中坐标系中带有标识和位置的一系列接触件。为了将掩模与孔列表匹配，掩模可在末端执行器坐标系中旋转(在三个轴上)并平移(在三个方向上)，使得它最佳地与孔列表重叠。为了计算重叠，可使用来自相机校准的参数将掩模投影到每个相机图像上。用于优化的成本函数可以是列表中的孔与它们最近的邻近投影孔之间的平方距离之和。优化该成本函数的算法的非限制示例可包括鲍威尔法(powell’s method)。
[0070]
接触件对准
[0071]
以上提到的过程针对被分析的每个相机图像提供描述了导线接触件和目标孔的位置的线。基于该信息，可计算机器人末端执行器的校正移动。在200中，识别两个或更多个相机图像中的目标孔位置。在202中，计算末端执行器坐标系中目标孔的三维位置“p”。为了计算该位置，使用使目标孔二维图像位置与相机图像上的三维位置投影之间的平方距离之和最小化的优化算法。优化的非限制示例包括鲍威尔法。这里，三维位置可被约束为位于连接器表面的平面中。由于上述掩模优化过程，该平面可以是已知的，该掩模优化过程旋转并平移掩模以匹配连接器表面。
[0072]
如在204中所示，在末端执行器坐标系中计算最接近每个图像中的接触件线投影的位置“r”。该位置还可被约束为位于连接器表面的平面中。可使用优化算法来计算“r”。基于“p”和“r”的所得值，在208中可按c＝p-r计算校正移动。在210中，可执行末端执行器的移动。
[0073]
然后，可利用用于导线接触件的连接器的所识别的目标孔，以促成将导线端插入连接器的相应导线接触件插入孔中。就此而言，可通过导线图等识别导线，以便被插入连接器的特定导线接触件插入孔中(并且在一些实施方式中，也与对准导线接触件插入孔的相应导线接触件电接触)，其中，用接触件id号识别特定导线接触件插入孔，可经由以上提到的连接器的标识符的图在连接器上识别接触件id号。在插入连接器的导线接触件插入孔中之前，导线接触件通常连接到(例如，压接到)导线的裸露端，以形成导线端。基于接触器件id号和用于连接器10的候选接触件插入孔的对应位置，导线端可在与如下接触件插入孔关联的位置处被插入连接器中，该接触件插入孔具有导线将被插入其中的导线接触件插入孔18的接触件id号。诸如处理电路36这样的计算装置34可被配置为基于候选接触件插入孔的接触id号，诸如基于候选接触件插入孔的接触件id号与导线端将如导线图等定义地插入的导线接触件插入孔18的接触件id号之间的对应关系，确定其中将插入导线的候选接触件插入孔。诸如处理电路36这样的计算装置34还被配置为根据基于连接器的坐标系中的候选接触件插入孔的位置并且使用上述的将导线高效且可重复地插入连接器的对应孔中来确定机器人44的位置，并且更具体地，将导线端插入候选接触件插入孔中所利用的机器人末端执行器的位置。
[0074]
如此，诸如处理电路36这样的计算装置34可有效地驱动机器人44(诸如机器人末端执行器)，或者以其他方式将信息(诸如候选接触件插入孔的列表、基于连接器的坐标系中的接触件id号和对应位置)提供到足以驱动机器人末端执行器的机器人，从而将线束组组件的导线端插入对应的导线接触件插入孔18。参见例如图11，在图11中多条导线90已被插入连接器10的相应导线接触件插入孔18中，以便创建导线端与连接器10之间的机械连接。通过促成与线束组件关联的连接过程的自动化，示例实施方式的系统30、方法和计算机程序产品提高了线束组件的导线端可机械连接到连接器10的效率并对应地减少所得组件的错误率和成本。
[0075]
尽管前述过程涉及对准单个导线接触件以便插入，但是本公开的实施方式可用于对准多个导线接触件并且将其插入连接器的相应多个目标孔中。然而，可按不降低本文中描述的对准方法的有效性这样的方式来确定导线接触件被插入目标孔中的顺序。如以上讨论的，从两个不同的角度看，导线接触件和目标孔必须各自在至少两个相机图像中可见，以便正确对准。如果导线接触件被以不正确的顺序插入连接器中，则从一台或更多台相机的
视野看，连接器的目标孔会被遮挡。如此，组装顺序可包括从最远离相机的连接器的目标孔(诸如，在本文中示出的示例配置中的连接器的底部)开始。以这种方式，导线将被自下而上地插入连接器，以避免插入的导线遮挡目标孔的相机视野。从多个不同角度看的多台相机可减轻安装顺序的要求，因为当目标孔的相机视野被遮挡时，假定在从至少两个角度看的至少两个图像中目标孔保持可见，则可有效地执行本文中描述的过程。
[0076]
图12是根据本公开的示例实施方式的用于将导线接触件与连接器的目标孔对准的过程的流程图。如图所示，在220中，从附接到机器人的末端执行器的至少两个图像捕获装置(诸如设备30的相机32)获得图像，其中，图像是末端执行器的导线夹的图像。在222中，诸如通过计算装置34的处理电路36，在来自至少两个图像捕获装置中的每一个的至少一个图像内，检测导线接触件。在来自至少两个图像捕获装置中的每一个的至少一个图像内，在224中，诸如通过计算装置34的处理电路36来检测连接器的一个或更多个插入孔。在226中，诸如通过计算装置34的处理电路36来识别机器人末端执行器的校正移动，该校正移动将连接器的一个或更多个插入孔的目标孔与导线接触件对准。在228中，诸如经由通信接口42通过处理电路36致使机器人(图3的设备30的44)根据所识别的校正移动来移动末端执行器。
[0077]
一旦执行了导线接触件与连接器目标孔的对准，就可将导线接触件插入目标孔中，以进行连接器及其线束的组装。初始地，可通过机器人的末端执行器的导线夹将导线接触件移动到靠近目标孔的准备位置。在平行于连接器的表面的平面中执行对准，而在与连接器的表面的平面正交的轴线上执行插入。导线接触件可沿着插入轴线移动预定距离到达连接器的目标孔，由此使用测得的导线夹上的力来确认导线接触件的正确插入。导线接触件可从准备位置移动预定距离，其中，预定距离是倘若误对准会导致与连接器接触的距离或者倘若正确对准会导致部分插入目标孔中的距离。可选地，机器人末端执行器可沿着接触件线前进，直到超过建立与表面接触的力阈值为止，要么是未对准并漏掉孔，要么是被部分插入目标孔中。在移动预定距离后，导线夹可测量导线夹上的力，以确认力是否高于表面接触阈值，表面接触阈值可以是大约0.3至0.5牛顿。然后，该过程可进行测试，以通过在移动初始预定距离的同时测量力来确认接触件是否被插入目标孔中。如果所测得的力大于阈值，则该过程可中止，这可指示导线接触件与目标孔之间的误对准。如果确定导线接触件没有与目标孔正确对准，则导线接触件可在机器人和末端执行器的作用下轴向移动离开连接器。可再次执行上述对准过程，以实现导线接触件的正确对准以及导线接触件在平行于连接器的表面的平面上的校正变换。
[0078]
可凭经验确定和确认上述准备位置的初始距离和阈值力，使得倘若误对准，导线接触件不会穿透连接器的橡胶垫圈。如果在没有超过力阈值的情况下完成了离开准备位置沿着插入轴线初始移动预定距离，则对准是正确的并且导线接触件已成功进入目标孔。如果机器人前进预定距离(诸如3毫米)超过了导线接触件将首先触摸连接器的点，则如果在进行该移动期间尚未超过力阈值(例如，4牛顿)时，则可确定导线接触件已成功进入目标孔。然后，可基于接触件的方向矢量、所命令的初始插入深度和针对接触件-连接器对凭经验确定的附加偏移量(例如，0至8毫米)来计算目标孔的位置的估计值。由于检测到表面接触件经过连接器的实际表面平面，导致该附加偏移量可能是必要的，这取决于孔、接触件几何形状和摩擦。
[0079]
孔内接触件对准和插入
[0080]
一旦接触件的顶端经由上述操作已被插入期望孔中，就可通过将导线接触件的方向矢量与连接器表面法向量对准来执行初始对准校正。可通过将接触件方向矢量投影到平行于连接器表面的平面上来计算该对准校正。该对准校正的目的是对在导线夹的顶端处弯曲到一侧的接触件进行校正。在对准校正后，使用孔的位置估计值来计算从导线夹到连接器表面的距离。可使用该距离来确定导线夹在不穿透连接器超过连接器界线的情况下可移动的允许距离。一旦确定了允许距离，就可命令导线夹，以通过沿着连接器表面法向量/导线夹方向矢量行进该允许距离来将接触件插入目标孔中，或者将接触件插入目标孔中直到达到插入力阈值(诸如12牛顿)为止。
[0081]
如果在不超过力阈值的情况下执行移动，则导线夹如可允许地靠近连接器，因此可能需要将接触件和导线向前推动的替代装置来实现完全插入。这可通过“重新夹持”操作来执行。如果导线夹的移动由于力阈值而停止，则使用导线夹已行进的距离确定是否可能已插入导线。如果导线夹已行进的距离低于指定的参数化距离，则可确认导线接触件未被正确和完全插入和安置在连接器内，使得出于不同原因(诸如连接器内的障碍物)，达到力阈值。如果计算出的距离指示导线可能因超过指定的参数化距离而被插入并安置好，则可执行拉力测试，以确定插入过程的成功或失败。
[0082]
如果保持导线接触件的导线夹所移动的距离已指示插入尚未完成，则可检查所尝试的插入次数，以识别任何问题。如果所尝试的插入次数超过参数化值，则插入过程可结束并且插入过程可被视为失败。如果所尝试的插入次数未高于参数化值，则可执行视觉对准操作以对准孔内接触件，并且可重复插入过程。在示例实施方式中使用的视觉对准方法可与用于估计接触件矢量的方法相同。差异可包括：图像分析被限制在机器人导线夹的顶端附近的小图像窗口(例如，100
×
100像素)，并且可通过将接触件矢量与接触件表面相交来确定接触件的可见部分的长度。可使用所得的矢量来计算机器人末端执行器在坐标系中的校正移动。可计算校正移动，使得校正移动将接触件矢量与连接器表面的表面法向量对准。由于上述掩模优化过程，该表面可能是已知的。
[0083]
当导线夹使导线接触件前进达导线夹被许可移动的那么远(例如，当导线夹如允许地靠近连接器)并且导线接触件尚未达到完全插入和安置好时，导线夹可执行重新夹持操作。对于重新夹持和插入操作，导线夹使用于将导线保持在导线夹中的摩擦力减小，并且回头移动达参数化距离(例如，4mm)。然后，导线夹重新夹持导线，并且通过使导线返回其原始位置来将它进一步推动进入连接器中。如果导线夹达到其相对于连接器的最靠近的可允许接近度，或者如果达到插入力阈值，则导线夹将停止移动。
[0084]
一旦导线被完全插入并安置好，就可执行拉力测试操作，以确认导线接触件在连接器内的安置。对于拉力测试，导线夹可在导线上撤回，远离连接器，直到达到特定距离或力阈值。如果在指定距离之前达到力阈值，则确认导线接触件被正确安置好。如果在实现力阈值之前达到指定距离，则因为确定导线未被完全安置好，所以导线插入失败。
[0085]
图13例示了根据以上提到的所描述的将导线接触件与连接器的目标孔对准并将导线接触件插入目标孔中的方法的过程流程。如所示出的，该过程开始于300，其中，连接器被安装并准备好在目标孔中接纳导线接触件。在302中，包括导线接触件的导线被装载到机器人的末端执行器(例如，100)的导线夹(例如，图4的108)中。在304中，诸如使用图4的相机102和104执行初始视觉处理。然后，在306中，末端执行器可将导线夹和导线移动到准备位
置。在308中，执行导线接触件与目标孔的对准。如所示出的，在310中，使用以上详细描述的过程来计算校正变换。如果校正变换低于阈值量，则认为对准完成，过程继续。如果校正变换高于阈值，则在312中，检查已经完成的校正变换的数量，并且如果校正变换低于阈值数量，则在314中发生校正变换。如果校正变换的数量超过预定义数量，则在330中可确认失败。然而，如果在314中校正变换成功并且导致对准低于阈值校正变换，则在316中使保持导线接触件的导线夹朝向连接器移动。
[0086]
图13的过程继续到318，其中，导线夹朝向连接器移动到误对准将造成接触而不损坏导线接触件或连接器的位置。如果导线夹上的力反馈超过阈值，则可确定导线接触件未与目标孔对准，使得在320中使导线接触件缩回并且在308中再次执行对准。如果导线夹处的力反馈低于阈值，则在322中，确认导线接触件与目标孔对准。然后，在324中，导线夹可使导线接触件前进达导线夹所允许的最大距离。最大距离可以是导线夹不接触连接器或者接触连接器而不损坏连接器的距离。以这种方式，防止了在导线接触件插入期间导线夹损坏连接器。
[0087]
如果在导线夹上观察到插入力阈值之前达到导线夹的最大距离，则导线夹可释放导线接触件，同时末端执行器缩回，在322中，导线夹重新夹持导线并且使导线接触件进一步前进，进入连接器的目标孔中。一旦达到插入力阈值，则在326中确认是否使导线接触件前进至少最小距离进入连接器中。如果导线接触件前进的距离低于阈值距离，则在连接器内可能出现了障碍物并且在322中可再次尝试对准。如果在326中插入距离得以满足，则可进行拉力测试。拉力测试使用导线夹将导线从连接器中拉出。如果导线夹上的力满足拉力测试阈值而接触件未移动离开连接器(例如，高于小阈值距离)，则在334中确认导线接触件被完全插入，并且在336中指示成功。
[0088]
图14是将导线接触件与连接器的目标孔对准并将导线接触件插入目标孔中的方法的流程图。所例示的实施方式包括：在400中，从与末端执行器附接的至少两个图像捕获装置获得捕获图像，即末端执行器的导线夹的图像。在402中，处理捕获图像以建立将导线接触件与连接器的目标孔对准的校正变换。在404中，机器人平移末端执行器，以使导线夹沿着校正变换移动。在406中，致使机器人使末端执行器前进，直到与连接器表面进行接触。如在407中所示，基于在末端执行器处的力测量，确认导线接触件是否在连接器的目标孔内部。在408中，致使机器人使末端执行器朝向连接器移动比预定距离多预定的附加量。在410中，基于导线接触件移动比预定距离多预定的附加量，用导线夹处的力反馈来确认对准是否正确。
[0089]
如上所述，图6、图7、图10、图12和图14例示了根据本公开的示例实施方式的系统30、方法和计算机程序产品的流程图。应理解，流程图中的每个框以及流程图中的框的组合可通过诸如硬件、固件、处理器、电路和/或与包括一条或更多条计算机程序指令的软件执行关联的其他装置这样的各种装置来实现，例如，上述过程中的一个或更多个可由计算机程序指令来实施。就此而言，实施上述过程的计算机程序指令可由采用本公开的实施方式的系统30的存储器38存储，并且由系统30的处理电路36执行。如将理解的，任何这样的计算机程序指令可被加载到计算机或其他可编程设备(例如，硬件)上，以产生机器，使得所得的计算机或其他可编程设备实现流程图框中指定的功能。这些计算机程序指令还可被存储在计算机可读存储器中，其可引导计算机或其他可编程设备以特定方式起作用，使得存储在
计算机可读存储器中的指令产生包括执行其时实现了流程框中指定的功能的制品。计算机程序指令也可被加载到计算机或其他可编程设备上，以致使在计算机或其他可编程设备上执行一系列操作，以产生计算机实现的进程，使得在计算机或其他可编程设备上执行的指令提供用于实现流程框中指定的功能的操作。
[0090]
因此，流程图中的框支持用于执行指定功能的装置的组合以及用于执行指定功能的用于执行指定功能的操作的组合。还将理解，流程图中的一个和更多个框以及流程图中的框的组合可由执行指定功能的基于专用硬件的计算机系统或专用硬件与计算机指令的组合来实现。
[0091]
在一些实施方式中，可修改或进一步放大以上操作中的某些操作。此外，在一些实施方式中，可包括附加的可选操作。可按任何顺序或任何组合来执行对以上操作的修改、添加或放大。
[0092]
条款1.一种用于将导线接触件插入连接器的目标孔中的系统，该系统包括：具有末端执行器的机器人，其中，所述末端执行器包括导线夹和固定到所述末端执行器的至少两个图像捕获装置；计算装置，其中，所述计算装置被配置为：处理由所述图像捕获装置捕获的图像，以建立将所述导线接触件与连接器表面中的所述连接器的所述目标孔对准的校正变换；致使所述机器人使所述末端执行器平移，以使所述导线夹沿着所述校正变换移动；致使所述机器人使所述末端执行器前进，直到与所述连接器表面进行接触；基于力测量，确认所述导线接触件是否在所述连接器的所述目标孔的内部；致使所述机器人使所述末端执行器前进，以将所述导线接触件朝向所述连接器移动预定的附加量；以及基于所述导线接触件移动所述预定的附加量，用所述导线夹处的力反馈来确认对准是否正确。
[0093]
条款2.根据条款1所述的系统，其中，被配置为基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部的所述计算装置被配置为：响应于在所述导线夹处观察到的力高于预定义值而确认所述导线接触件未与所述连接器的所述目标孔对准；以及响应于在所述导线夹处观察到的力低于所述预定义值而确认所述导线接触件与所述连接器的所述目标孔对准。
[0094]
条款3.根据条款1所述的系统，其中，被配置为处理由所述图像捕获装置捕获的图像以建立将所述导线接触件与所述连接器的所述目标孔对准的校正变换的所述计算装置被配置为：在处理后的所述图像内，识别所述导线接触件的顶端和所述导线接触件延伸所沿着的方向；以及根据处理后的所述图像建立将所述导线接触件的所述顶端和所述导线接触件延伸所沿着的所述方向与所述目标孔在所述机器人的所述末端执行器的三维坐标系的轴线上对准的校正变换。
[0095]
条款4.根据条款1所述的系统，其中，所述计算装置还被配置为：确定所述导线夹能朝向所述连接器前进的最大距离；致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动；随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈满足插入力值，确定所述导线接触件被完全插入所述连接器中；并且随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈在达到所述导线夹能朝向所述连接器前进的所述最大距离之前无法满足所述插入力值，确定所述导线接触件未被完全插入所述连接器中。
[0096]
条款5.根据条款4所述的系统，其中，响应于所述计算装置确定所述导线接触件被完全插入所述连接器中，所述计算装置还被配置为：致使所述机器人使所述末端执行器缩回，以使所述导线夹背离所述连接器移动；并且响应于在所述导线夹上的力反馈没有超过拉力测试值的情况下所述导线夹移动拉动距离，确认所述导线接触件被不正确插入；响应于在所述导线夹未移动拉动距离的情况下所述导线夹上的力反馈超过拉力测试值，确认所述导线接触件被正确插入。
[0097]
条款6.根据条款4所述的系统，响应于所述计算装置确定所述导线接触件未被完全插入所述连接器中，所述计算装置还被配置为：致使所述导线夹释放对所述导线接触件的夹持；致使所述机器人使所述末端执行器缩回，以使所述导线夹背离所述连接器移动；致使所述导线夹重新夹持所述导线接触件；以及致使所述机器人使所述末端执行器前进以将所述导线夹和所述导线接触件朝向所述连接器移动。
[0098]
条款7.根据条款1所述的系统，其中，基于所述机器人与所述导线夹之间的力传感器来建立所述导线夹处的力反馈。
[0099]
条款8.根据条款1所述的系统，其中，所述计算装置还被配置为：在由所述图像捕获装置捕获的图像中，识别所述导线接触件的可见部分的取向；以及使用上述导线接触件的所述取向计算所述机器人的所述末端执行器的坐标系中的校正移动。
[0100]
条款9.一种用于将导线接触件与连接器的目标孔对准并将所述导线接触件插入所述目标孔中的方法，该方法包括：从与机器人的末端执行器附接的至少两个图像捕获装置获得所述末端执行器的导线夹的捕获图像；处理由所述图像捕获装置捕获的图像以建立将所述导线接触件与连接器表面中的所述连接器的目标孔对准的校正变换；致使所述机器人使所述末端执行器平移，以使所述导线夹沿着所述校正变换移动；致使所述机器人使所述末端执行器前进，直到与所述连接器表面进行接触；基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部；致使所述机器人使所述末端执行器前进，以将所述导线接触件朝向所述连接器再移动预定的附加量；以及基于所述导线接触件再移动所述预定的附加量，用所述导线夹处的力反馈来确认对准是否正确。
[0101]
条款10.根据条款9所述的方法，其中，基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部包括：响应于在所述导线夹处观察到的力高于预定义值而确认所述导线接触件未与所述连接器的所述目标孔对准；以及响应于在所述导线夹处观察到的力低于所述预定义值而确认所述导线接触件与所述连接器的所述目标孔对准。
[0102]
条款11.根据条款9所述的方法，其中，处理由所述图像捕获装置捕获的图像以建立将所述导线接触件与所述连接器的所述目标孔对准的校正变换包括：在处理后的所述图像内，识别所述导线接触件的顶端和所述导线接触件延伸所沿着的方向；以及根据处理后的所述图像建立将所述导线接触件的所述顶端和所述导线接触件延伸所沿着的所述方向与所述目标孔在所述机器人的所述末端执行器的三维坐标系的轴线上对准的校正变换。
[0103]
条款12.根据条款9所述的方法，所述方法还包括：确定所述导线夹能朝向所述连接器前进的最大距离；致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动；随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈满足插入力值，确定所述导线接触件被完全插入所述连接器中；并且随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器
移动，响应于所述导线夹上的力反馈在达到所述导线夹能朝向所述连接器前进的所述最大距离之前无法满足所述插入力值，确定所述导线接触件未被完全插入所述连接器中。
[0104]
条款13.根据条款12所述的方法，其中，响应于确定所述导线接触件被完全插入所述连接器中，所述方法还包括：致使所述机器人使所述末端执行器缩回，以使所述导线夹背离所述连接器移动；响应于在所述导线夹上的力反馈没有超过拉力测试值的情况下所述导线夹移动拉动距离，确认所述导线接触件被不正确插入；以及响应于在所述导线夹未移动拉动距离的情况下所述导线夹上的力反馈超过拉力测试值，确认所述导线接触件被正确插入。
[0105]
条款14.根据条款12所述的方法，响应于确定所述导线接触件未被完全插入所述连接器中，所述方法还包括：致使所述导线夹释放对所述导线接触件的夹持；致使所述机器人使所述末端执行器缩回，以使所述导线夹背离所述连接器移动；致使所述导线夹重新夹持所述导线接触件；以及致使所述机器人使所述末端执行器前进以将所述导线夹和所述导线接触件朝向所述连接器移动。
[0106]
条款15.根据条款9所述的方法，其中，基于所述机器人与所述导线夹之间的力传感器来建立所述导线夹处的力反馈。
[0107]
条款16.根据条款9所述的方法，所述方法还包括：在由所述图像捕获装置捕获的图像中，识别所述导线接触件的可见部分的取向；以及使用所述导线接触件的所述取向计算所述机器人的所述末端执行器的坐标系中的校正移动。
[0108]
条款17.一种用于将导线接触件与由连接器限定的目标孔对准并将所述导线接触件插入所述目标孔中的计算机程序产品，所述计算机程序产品包括至少一个非暂态计算机可读存储介质，所述至少一个非暂态计算机可读存储介质在其中存储有计算机可执行程序代码指令，所述计算机可执行程序代码指令包括用于进行以下步骤的程序代码指令：从与机器人的末端执行器附接的至少两个图像捕获装置获得所述末端执行器的导线夹的捕获图像；处理由所述图像捕获装置捕获的图像，以建立将所述导线接触件与连接器表面中的所述连接器的所述目标孔对准的校正变换；致使所述机器人使所述末端执行器平移，以使所述导线夹沿着所述校正变换移动；致使所述机器人使所述末端执行器前进，直到与所述连接器表面进行接触；基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部；致使所述机器人使所述末端执行器前进，以将所述导线接触件朝向所述连接器再移动预定的附加量；以及基于所述导线接触件移动所述预定的附加量，用所述导线夹处的力反馈来确认对准是否正确。
[0109]
条款18.根据条款17所述的计算机程序产品，其中，用于基于力测量来确认所述导线接触件是否在所述连接器的所述目标孔的内部的所述程序代码指令包括用于进行以下步骤的程序代码指令：响应于在所述导线夹处观察到的力高于预定义值而确认所述导线接触件未与所述连接器的所述目标孔对准；以及响应于在所述导线夹处观察到的力低于所述预定义值而确认所述导线接触件与所述连接器的所述目标孔对准。
[0110]
条款19.根据条款17所述的计算机程序产品，其中，用于处理由所述图像捕获装置捕获的图像以建立将所述导线接触件与所述连接器的所述目标孔对准的校正变换的所述程序代码指令包括用于进行以下步骤的程序代码指令：在处理后的所述图像内，识别所述导线接触件的顶端和所述导线接触件延伸所沿着的方向；以及根据处理后的所述图像建立
将所述导线接触件的所述顶端和所述导线接触件延伸所沿着的方向与所述目标孔在所述机器人的所述末端执行器的三维坐标系的轴线上对准的校正变换。
[0111]
条款20.根据条款17所述的计算机程序产品，所述计算机程序产品还包括用于进行以下步骤的程序代码指令：确定所述导线夹能朝向所述连接器前进的最大距离；致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动；随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈满足插入力值，确定所述导线接触件被完全插入所述连接器中；并且随着致使所述机器人使所述末端执行器前进以将所述导线夹朝向所述连接器移动，响应于所述导线夹上的力反馈在达到所述导线夹能朝向所述连接器前进的所述最大距离之前无法满足所述插入力值，确定所述导线接触件未被完全插入所述连接器中。
[0112]
得益于以上描述和关联附图中提出的教导的本领域的技术人员将想到本文中阐述的本发明的许多修改形式和其他实施方式。因此，要理解，本专利申请不限于所公开的具体实施方式，并且修改形式和其他实施方式旨在被包括在所附权利要求书的范围内。此外，虽然之前描述和关联附图描述了在元件和/或功能的某些示例组合的背景下的示例实施方式，但是应该理解，在不脱离所附权利要求书的范围的情况下，可通过替代实施方式提供元件和/或功能的不同组合。就此而言，也料想到与上述明确描述的元件和/或功能不同的元件和/或功能的不同组合可在所附权利要求书中的一些中阐述。虽然本文中采用了特定的术语，但是它们只用于一般描述性的意义，而非出于限制目的。