线束外观检查用图像的生成装置及生成方法

专利名称：线束外观检查用图像的生成装置及生成方法
技术领域：
本发明涉及到一种汽车用的线束的外观检查技术。
背景技术：
作为线束的外观检查装置例如有专利文献1中公开的装置。在专利文献1中公开 了如下技术通过多个摄像机对由传送器传送的组装图板上的彼此不同的拍摄区域依次进 行拍摄，对取得的图像数据进行处理，并以组装图板的各拍摄区域分别粘贴的位置偏移矫 正标记为基准，各拍摄区域的处理数据与基准数据进行比较，从而判断外观检查是否合格。专利文献1 日本特开平07-103732号公报 然而，根据专利文献1的技术，由于要对每个拍摄区域分别进行外观检查，因此虽 然能够比较好地对各拍摄区域内的合格与否的进行判断，然而对包含有多个拍摄区域的区 域进行的外观检查较为困难。例如，对于不同拍摄区域中的部分之间的相对位置关系等，难 以进行外观检查。因此，对于配置于图板上的线束，优选高精度地获得大范围的线束图像。例如，作为如上所述获得图像的方法，可以考虑在组装图板的传送器之前固定设 置线阵相机并对线束整体进行拍摄。然而，这种情况下需要高精度的传送机构。

发明内容
因此，本发明的目的在于，不使用线阵相机就能够高精度地获得大范围的线束的 外观检查用的图像。第一发明所涉及的线束外观检查用图像的生成装置，用于生成被沿着组装作业台 的主作业面保持的线束的外观检查用的图像，所述线束外观检查用图像的生成装置具有 摄像机，能够沿着与所述组装作业台的主作业面大致平行的第一方向对被保持在所述组装 作业台上的所述线束进行拍摄；移动机构部，使所述组装作业台与所述摄像机沿着与所述 组装作业台的主作业面大致平行且与所述第一方向大致正交的第二方向相对移动；拍摄控 制部，控制所述摄像机的拍摄动作，以沿着所述第二方向依次在不同的位置对被保持在所 述组装作业台上的所述线束进行拍摄；以及图像处理部，依次合成由所述摄像机拍摄的图 像而生成合成图像，所述图像处理部具有窗口设定部，在所述合成图像中设定多个窗口 ； 提取部，从由所述摄像机新拍摄的新图像中，分别提取出与所述合成图像的各所述窗口内 的图像对应的部分；以及图像合成部，在所述多个窗口中与自身的对应部分的相似度最高 的窗口与该窗口的对应部分大致一致的位置，将所述新图像合成到所述合成图像中。在第一发明所涉及的线束外观检查用图像的生成装置的基础上，第二发明所涉及 的线束外观检查用图像的生成装置中，在所述合成图像中所包含的上一次拍摄图像部分 中，所述窗口设定部沿着穿过所述摄像机的拍摄轴且与所述第一方向大致平行的线设定所 述多个窗口。在第一发明或者第二发明所涉及的线束外观检查用图像的生成装置的基础上，第 三发明所涉及的线束外观检查用图像的生成装置中，所述图像处理部还具有起点标记提取部，在由所述摄像机拍摄到标于所述组装作业台上的起点标记时，提取出所述起点标记，所 述图像合成部以提取出所述起点标记的图像为起始图像，开始生成所述合成图像。
在第一 第三发明中的任意一项所涉及的线束外观检查用图像的生成装置的基 础上，第四发明所涉及的线束外观检查用图像的生成装置中，所述图像处理部还具有终点 标记提取部，在由所述摄像机拍摄到标于所述组装作业台上的终点标记时，提取出所述终 点标记，所述图像合成部在所述终点标记被提取出来时结束所述合成图像的生成。在第一 第四发明中的任意一项所涉及的线束外观检查用图像的生成装置的基 础上，第五发明所涉及的线束外观检查用图像的生成装置中，所述线束外观检查用图像的 生成装置还具有照明部，配置于所述摄像机的周围，能够从多个方向对所述组装作业台的 主作业面中位于所述摄像机的拍摄区域内的部分照射光。在第一 第五发明中的任意一项所涉及的线束外观检查用图像的生成装置的基 础上，第六发明所涉及的线束外观检查用图像的生成装置中，所述线束外观检查用图像的 生成装置还具有能够存储所述合成图像的存储部，当所述组装作业台在所述第二方向上的 中途部的情况下，所述图像合成部在接收到中断指令时，将接收到所述中断指令前已生成 的所述合成图像保存到所述存储部中，并且在接收到重启指令时，重新开始进行在从所述 存储部中读取的合成图像上合成新拍摄的所述新图像的处理。第七发明所涉及的线束外观检查用图像的生成方法，用于生成被沿着组装作业台 的主作业面保持的线束的外观检查用的图像，所述线束外观检查用图像的生成方法包括以 下步骤第一步骤，使摄像机和所述组装作业台沿着与所述组装作业台的所述主作业面大 致平行且与大致平行于所述组装作业台的主作业面的第一方向大致正交的第二方向相对 移动，所述摄像机能够沿着所述第一方向对被保持在所述组装作业台上的所述线束进行拍 摄；第二步骤，进行所述摄像机的拍摄动作；以及第三步骤，依次合成在所述第二步骤中拍 摄的图像而生成合成图像，所述第三步骤包括以下步骤第四步骤，在所述合成图像中设定 多个窗口 ；第五步骤，在由所述第二步骤新拍摄到的新图像中，分别提取出与所述合成图像 的各所述窗口内的图像对应的部分；以及第六步骤，在所述多个窗口中与自身的对应部分 的相似度最高的窗口与该窗口的对应部分大致一致的位置，将所述新图像合成到所述合成 图像中。根据第一发明所涉及的线束外观检查用图像的生成装置，通过移动机构部使组装 作业台和摄像机沿第二方向相对移动，通过拍摄控制部沿第二方向依次在不同的位置对被 保持在组装作业台上的线束进行拍摄。并且，通过窗口设定部在合成图像中设定多个窗口， 通过提取部从新图像中将与合成图像的各窗口内的图像对应的部分分别提取出来，通过图 像合成部，在多个窗口中与自身的对应部分的相似度最高的窗口与该窗口的对应部分大致 一致的位置，将新图像合成到合成图像中。因此，能够在更准确的位置将新图像合成到合成 图像中，能够生成高精度的合成图像。即，不使用线阵相机，就能够高精度地获得大范围的 线束的外观检查用的图像。根据第二发明所涉及的线束外观检查用图像的生成装置，在合成图像中所包含的 上一次拍摄图像部分中，窗口设定部沿穿过摄像机的拍摄轴且与第一方向大致平行的线设 定所述多个窗口。这样，由于以穿过摄像机的拍摄轴的第一方向的线为基准提取新图像的 对应部分，因此抑制了因立体的线束相对于摄像机的距离、位置而产生的显示不同引起对应部分的提取精度下降，能够更高精度地提取各窗口的对应部分。
根据第三发明所涉及的线束外观检查用图像的生成装置，图像合成部以被起点标 记提取部提取出起点标记的图像作为起始图像，开始生成合成图像。因此，能够按照各组装 作业台分别自动开始生成合成图像，能够在外观检查中提供配置于组装作业台上的各线束 的线束外观检查用的图像。根据第四发明所涉及的线束外观检查用图像的生成装置，图像合成部在由终点标 记提取部提取出终点标记时结束合成图像的生成。由此，能够对各组装作业台分别自动结 束合成图像的生成，能够在外观检查中提供配置于组装作业台上的各线束的线束外观检查 用的图像。根据第五发明所涉及的线束外观检查用图像的生成装置，通过配置于摄像机的周 围的照明部，能够从多个方向对组装作业台的主作业面中位于摄像机的拍摄区域内的部分 照射光。由此，能够减小立体的线束部分引起的照度差，更高精度地合成图像，在外观检查 中提供精度更高的线束外观检查用的图像。根据第六发明所涉及的线束外观检查用图像的生成装置，图像合成部在组装作业 台位于第二方向上的中途部的情况下接收到中断指令时，将接收到中断指令前已生成的合 成图像保存到存储部中，并且在接收到重启指令时，重新开始进行在从存储部中读取的合 成图像上合成新拍摄的新图像的处理。因此，即使在合成图像的生成被中断，并在之后重新 开始生成合成图像的情况下，也能够生成线束整体的外观检查用的图像，而不会终止。根据第七发明所涉及的线束外观检查用图像的生成方法，使摄像机和组装作业台 沿着第二方向相对移动，所述摄像机能够沿着与组装作业台的主作业面大致平行的第一方 向对被保持在组装作业台上的线束进行拍摄。并且，在合成图像中设定多个窗口，在新图像 中分别提取出与合成图像的各窗口内的图像对应的部分，在多个窗口中与自身的对应部分 的相似度最高的窗口与该窗口的对应部分大致一致的位置，将新图像合成到合成图像中。 因此，能够在更准确的位置将新图像合成到合成图像中，能够生成高精度的合成图像。艮口， 不使用线阵相机，就能够高精度地获得大范围的线束外观检查用的图像。


图1是线束外观检查用图像的生成装置的概要侧视图。图2是线束外观检查用图像的生成装置的概要主视图。图3是表示保持线束的组装作业台的概要图。图4是表示组装作业台上被摄像机拍摄的拍摄位置的图。图5是计算机的硬件框图。图6是计算机的功能框图。图7是表示合成图像中所设定的多个窗口与新图像中的相应的对应部分的关系 的图。图8是表示合成图像与新图像的合成状态的图。图9是表示线束外观检查用的图像的图。图10是表示线束外观检查用的图像生成处理的流程图。
具体实施例方式以下，对实施方式所涉及的线束外观检查用图像的生成装置及线束外观检查用图像的生成方法进行说明。该线束外观检查用图像的生成装置和线束外观检查用图像的生成 方法为了对在组装作业台上组装好的线束进行外观检查而以高精度生成大范围的线束图像。(1.概要说明)首先，对线束外观检查用图像的生成装置的概要进行说明。图1是线束外观检查 用图像的生成装置10的概要侧视图，图2是线束外观检查用图像的生成装置10的概要主 视图，图3是表示保持有线束WH的组装作业台20的概要图。该线束外观检查用图像的生成装置10具有摄像机40、移动机构部30、及照明部 50。摄像机40构成为，在沿与组装作业台20的主作业面22大致平行的第一方向Dl的方 向上，能够对被保持在组装作业台20上的线束WH进行整体拍摄，在沿第二方向D2的方向 上能够对其进行局部拍摄。此外，移动机构部30构成为，能够使组装作业台20和摄像机40 沿与组装作业台20的主作业面22大致平行且与第一方向Dl大致正交的第二方向D2相对 移动。此外，照明部50配置于摄像机40的周围，并且构成为能够从多个方向对组装作业台 20中的、摄像机40的拍摄区域E内的部分照射光。并且，线束外观检查用图像的生成装置 10控制上述摄像机40的拍摄动作，以沿第二方向D2依次在组装作业台20的不同位置对被 保持在组装作业台20上的线束WH进行拍摄。如此拍摄得到的图像被如下所述地依次合成。 首先，在包含上一次拍摄得到的图像在内的合成图像中设定多个窗口。接着，从新拍摄得到 的新图像中按各窗口分别提取出与合成图像内所设定的窗口内的图像对应的部分。并且， 在多个窗口中与自身的对应部分的相似度最高的窗口与其对应部分大致一致的位置，将新 图像合成到合成图像中。如上所述，线束外观检查用图像的生成装置10用摄像机40依次 对线束WH进行拍摄，合成多个拍摄图像，能够生成一个大范围的线束外观检查用的图像。(2.线束外观检查用图像的生成装置)为了说明方便，首先，对线束WH和组装作业台20进行说明。线束WH是由用于汽车等中的信号线、电源线等各种布线线材根据作为组装对象 的布线线路等以适当分支的形态连接而成，由多个电线、连接器等构成。该线束WH是通过 在组装作业台20上将多个电线等按照实际的配置位置关系配置的状态下进行连接而得以 组装。组装作业台20构成为能够沿其主作业面22保持线束WH。其中，组装作业台20的 主作业面22为支撑铺设在组装作业台20上的构成线束WH的电线等的平面，即是线束WH 主要扩展的方向的平面。该组装作业台20可以是由板状部件构成为图板状且在其上能够 设置且保持线束WH的结构，也可以是能够通过按二维或者三维扩展开的支架状在各保持 部上架设状地保持线束WH的结构。在此处，组装作业台20为图板。在组装作业台20上标有表示组装作业台20上的拍摄开始点的起点标记24和表 示拍摄结束点的终点标记26。在此处，起点标记24和终点标记26在组装作业台20的主作 业面22上标于不干扰线束WH且能够拍摄到的位置。其中，起点标记24标于组装作业台20的主作业面22的移动方向C前端侧部分。 起点标记24的位置在第二方向D2上的位置是使得线束WH的外观检查对象部分的移动方向C前端部包含在由后述的起点标记提取部86提取出起点标记24的图像之后所拍摄的图 像中的位置。此外，终点标记26标于组装作业台20的主作业面22的移动方向C后端侧部分。 更为具体地来说，终点标记26的位置在第二方向D2上的位置是使得线束WH的外观检查对 象部分的移动方向C后端部包含在由后述的终点标记提取部87提取出终点标记26的图像 之前所拍摄的图像中。例如，此处，起点标记24在俯视时呈大致正三角形，终点标记26在俯视时大致正 方形。在此，为了识别组装作业台20的起点和终点，优选起点标记24和终点标记26的形 状形成为能够与构成线束WH的各部件区别开的形状。以下，对线束外观检查用图像的生成装置10进行详细说明。移动机构部30使上述组装作业台20和后述的摄像机40沿与组装作业台20的主 作业面22大致平行且与第一方向D1大致正交的第二方向D2相对移动。其中，移动机构部 30使组装作业台20沿第二方向D2移动。更为具体地来说，移动机构部30用于线束WH的 组装作业工序中，是用传送器使可放置并移动组装作业台20的托架移动的移动装置。这 样，通过将移动机构部30兼用作线束WH的组装作业用的移动装置，能够在一系列的传送路 径上进行线束WH的组装作业工序及外观检查用的图像生成工序。由此，能够削减传送装置 所需的费用。其中，移动机构部30并不限于仅使组装作业台20移动的结构，也可以是使摄像机 40移动的结构，或者使组装作业台20和摄像机40相互移动的结构。即，只要能够使组装作 业台20与摄像机40沿第二方向D2相对移动即可。此外，移动机构部30可以是通过电机 移动的结构，也可以是以手动进行移动的结构。以下，将移动机构部30使组装作业台20在第二方向D2上移动的移动方向、即组 装作业台20相对于摄像机40的相对移动方向作为移动方向C进行说明。上述线数外观检查用图像的生成装置10，在能够与设置在移动机构部30上的组 装作业台20的主作业面22相对向的位置处，具有由装置支架12支撑的摄像机40和照明 部50。摄像机40构成为能够沿与组装作业台20的主作业面22大致平行的第一方向D1 对被保持在组装作业台20上的线束WH进行拍摄。该摄像机40被固定在装置支架12上，其位置和姿态被固定为能够在第一方向D1 的整个区域内对组装作业台20进行拍摄，并且能够对组装作业台20在第二方向D2上的一 部分区域进行拍摄。其中，摄像机40被固定在装置支架12上的姿态是摄像机40的拍摄轴 与组装作业台20的主作业面22大致正交的姿态。在上述线数外观检查用图像的生成装置10中，采用面阵相机(Areacamera)作为 摄像机40。优选的是，该面阵相机在能够在第一方向D1整个区域内对组装作业台20进行 拍摄的位置进行拍摄时，能够拍摄出鲜明的图像，至少能够分别识别出被保持在组装作业 台20上的线束WH的各构成部件。并且，该摄像机40能够将以摄像机40的拍摄轴所穿过的第一方向D1上的线L为 中心在第二方向D2上对称的尺寸的拍摄区域E中拍摄得到的拍摄图像P的数据输出到计 算机70中。其中，摄像机40从一次拍摄所能取得的图像中提取出以第二方向D2为中心的拍摄区域E的部分。并且被设定为，将在第一方向D1上包括组装作业台20整体且在第二 方向D2上包括组装作业台20的一部分的矩形图像作为拍摄图像P的数据而输出到计算机 70。此时提取出的拍摄图像P在第二方向D2上的尺寸至少达到能够提取出后述的多个窗 口的对应部分的程度，该尺寸是根据计算机70的CPU的处理速度、移动机构部30的移动速 度、及窗口的设定数据等经过试验并凭经验确定的。其中，摄像机40也可以省略上述拍摄图像的提取操作，将能够取得的图像整体的 数据输出到计算机中。此外，上述提取操作也可以不是摄像机40的功能，而是作为计算机 70的功能来执行。此外，在此以设置一个摄像机40为例进行了说明，然而也可以沿第一方 向D1设置多个摄像机40。即，也可以将多个摄像机40拍摄得到的图像合成来作为上述拍 摄图像P。照明部50配置于摄像机40的周围，能够从多个方向对组装作业台20的主作业面 22中的、摄像机40的拍摄区域E内的部分照射光。即，照明部50至少能对组装作业台20 的包括摄像机40的拍摄区域E整体的区域照射光。该照明部50在摄像机40周围固定于 装置支架12上。在此，照明部50采用长条状且频率比较高的荧光灯。并且，照明部50具有与第 一方向D1大致平行地配置的两个侧方照明部52、53 ；以及与第二方向D2大致平行地配置 的第一水平照明部54及第二水平照明部56。侧方照明部52、53配置于夹持摄像机40并在 其两侧方隔开间隔而与组装作业台20的主作业面22相对、且能够对拍摄区域E的第一方 向D1的整个区域照射光的位置。此外，第一水平照明部54配置于能够从第一方向D1的一 端侧对组装作业台20的主作业面22照射光的位置。此外，第二水平照明部56配置于能够 从第一方向D1的另一端侧对组装作业台20的主作业面22照射光的位置。其中，照明部50并不限定于将长条状的荧光灯如上所述地配置的结构，例如也可 以由圆环型的荧光灯、LED等构成。S卩，照明部50只要是能够减小摄像机40的拍摄区域E 内的线束WH的部分引起的照度差即可。此外，上述线数外观检查用图像的生成装置10具有显示部60。显示部60由一般 的液晶显示器等构成，并且被设定为能够接收计算机70的输出，显示由摄像机40依次拍摄 得到的图像或者生成的合成图像等。在此，显示部60与摄像机40和照明部50 —起支撑在 装置支架12上。图4是表示组装作业台20上被摄像机40拍摄的拍摄位置的图。上述线数外观检查用图像的生成装置10在上述组装作业台20与摄像机40相对 移动时，通过摄像机40沿第二方向D2依次在不同位置对被保持在组装作业台20上的线束 WH进行拍摄。即，在组装作业台20通过移动机构部30朝向移动方向C移动时，在由摄像机 40依次拍摄得到的第n张图像中，显示出比上一次拍摄得到的第(n-1)张图像靠向组装作 业台20的移动方向C后方的部分。同样地，在下一次拍摄得到的第(n+1)张图像中，显示 出比第n张图像靠向组装作业台20的移动方向C后方的部分。并且，如上所述，组装作业台20的位于摄像机40的拍摄区域E内的部分逐渐移 位，并将对组装作业台20的不同位置进行拍摄所得的图像依次合成，由此生成线束外观检 查用的图像。接着，对由计算机70实现的功能进行说明。图5是计算机70的硬件框图。计算机70构成为，向摄像机40输出拍摄控制信号，并将从摄像机40输入的拍摄图像数据依次 合成，从而生成线束外观检查用的图像。并且，计算机70具有CPU80、主存储部72、输入输 出电路部74、输入部76、及辅助存储部90。辅助存储部90为闪存等能够重写的非易失性半导体存储器、HDD等，其存储程序、 拍摄间隔数据92、窗口设定数据94、起点标记24和终点标记26的图像图案、以及各种阈值 数据等数据。此外，辅助存储部90存储到组装作业台20位于第二方向D2上的中途部为止 由后述的图像合成部88所生成的合成图像的中途结果数据96。进而，辅 助存储部90在结 束图像合成处理时，通过文件写入处理保存线束外观检查用的图像的数据。该辅助存储部90也可以由多个存储装置构成并将各数据分别存储到不同的存储 装置中。例如，在此可以将中途结果数据96存储在HDD中。除此之外，构成辅助存储部90 的存储装置例如也可以是软盘(注册商标)、MO、CD-R、磁带等。其中，拍摄间隔数据92是摄像机40进行拍摄的时间间隔数据。例如，在此拍摄间 隔数据92为将拍摄动作间隔设定为40 [ms]的数据。此外，窗口设定数据94是用于通过后述的窗口设定部83设定合成图像内所设定 的多个窗口的数据。更为具体地来说，窗口设定数据94是窗口的设定数量、形状、大小、间 隔、合成图像中的坐标位置等数据。例如，在此，窗口的设定数量为5个，窗口的形状被设定 为矩形。此外，窗口的位置可以在拍摄图像P的第二方向D2的中心上沿着第一方向Dl进 行设定。在窗口设定数据94中，窗口的位置被设定为在第二方向D2上，从合成图像的移 动方向C后方端边开始，向移动方向C前方位置移动了拍摄图像P在第二方向D2上的尺寸 的二分之一后，沿着第一方向Dl的线与各窗口在第二方向D2上中心大致一致的位置。输入输出电路部74是在计算机70和摄像机40之间进行信号中继的接口电路。 更为具体地来说，在输入输出电路部74中，根据CPU80的指令向摄像机40输出拍摄控制信 号，并且输入从摄像机40输出的拍摄图像数据。输入到输入输出电路部74中的摄影图像 数据被存储在主存储部72中，提供到图像合成处理中。CPU80通过执行存储在辅助存储部90中的程序，执行摄像机40的拍摄动作控制和 拍摄图像的合成处理。即，CPU80从辅助存储部90中读出适当的拍摄间隔数据92、窗口设 定数据94，并执行拍摄控制部81和具有窗口设定部83、提取部84及图像合成部88的图像 处理部82的功能。更为具体地来说，作为拍摄控制部81的功能，CPU80从辅助存储部90中读取拍摄 间隔数据92，并从输入输出电路部74向摄像机40输出拍摄控制信号。此外，作为图像处理 部82的图像合成部88的功能，CPU80将新图像合成到合成图像中，并将该合成图像存储到 主存储部72或者作为中途结果数据96存储到辅助存储部90中。此外，作为窗口设定部83 的功能，CPU80从辅助存储部90中读取窗口设定数据94，并且从主存储部72或者辅助存储 部90中读取合成图像的中途结果数据96，在合成图像中设定多个窗口。进而，作为提取部 84的功能，CPU80从主存储部72中读取拍摄图像数据，将合成图像的多个窗口与新拍摄得 到的新图像的对应部分提取出来。此外，作为提取部84的功能，CPU80从辅助存储部90读 取起点标记24或者终点标记26的图像图案，并从拍摄图像P中提取出起点标记24或者终 点标记26。输入部76由键盘、鼠标、触摸板等一般的输入装置构成，并且构成为能够由作业者输入拍摄间隔数据92、窗口设定数据94、程序等数据。并且，通过输入部76输入的拍摄间 隔数据92、窗口设定数据94、程序等数据被存储在辅助存储部90中，并根据需要读入CPU80 中，以供各种处理使用。此外，输入部76能够通过操作输入装置输入中断指令、重启指令。 通过向CPU80提供该中断指令或重启指令使图像合成处理中断或重新开始。此外，上述显示部60与计算机70连接，并被设定为根据从摄像机40向输入输出 电路部74依次输入的拍摄图像数据，显示拍摄图像。此外，显示部60也可以被设定为，根 据由CPU80将拍摄图像数据依次合成得到的合成图像数据，显示合成图像。图6是计算机70的功能框图。计算机70具有拍摄控制部81和图像处理部82。 并且，图像处理部82具有窗口设定部83、提取部84、和图像合成部88，其将由摄像机40拍 摄得到的图像依次合成并生成合成图像。在说明图像处理部82时，适当参照图7 图9进 行说明。图7是表示合成图像102中所设定的多个窗口 110与新图像106中的相应对应部 分120的关系的图，图8是表示合成图像102与新图像106的合成状态的图，图9是表示线 束外观检查用的图像100的图。拍摄控制部81控制摄像机40的拍摄动作，以在沿第二方向D2的不同位置依次对 被保持在组装作业台20上的线束WH进行拍摄。在此，拍摄控制部81根据拍摄间隔数据 92，控制摄像机40以固定时间间隔进行拍摄动作。更为具体地来说，拍摄控制部81被设定 为根据拍摄间隔数据92向摄像机40输入触发信号。上述拍摄间隔是考虑到组装作业台20 与摄像机40的相对移动速度以及CPU80的处理速度，根据试验和经验确定的。该拍摄间隔 是使合成图像102与新拍摄得到的新图像106至少彼此包含组装作业台20的主作业面22 的同一区域的间隔。换言之，该间隔只要是使与设定在合成图像102中的多个窗口 110的 各图像对应的部分包含在新图像106中的程度的短间隔即可。在上述线数外观检查用图像 的生成装置10中，拍摄动作的时间间隔可设定为40 200 [ms]。在CPU80的处理速度足够 快的情况下，优选将拍摄间隔控制得尽量短。在此，拍摄控制部81并不限于上述说明，只要是将摄像机40的拍摄开始和结束的 指令输入到摄像机40中即可。S卩，以固定时间间隔进行拍摄的功能也可以由摄像机40具 备，从而构成为在摄像机40中设定拍摄间隔的结构。此外，拍摄时序也并不限定于固定时 间间隔，也可以根据移动机构部30的移动量进行拍摄，也可以根据CPU80的处理经过而进 行拍摄。窗口设定部83在合成图像102中设定多个窗口 110。更为具体地来说，窗口设定 部83在包含在合成图像102中的上一次拍摄图像部分104中，沿穿过摄像机40的拍摄轴 且与第一方向D1大致平行的线L设定多个窗口 110。在此，窗口设定部83根据窗口设定 数据94，在通过后述的图像合成部88依次生成的合成图像102或者基于从辅助存储部90 中读出的中途结果数据96的合成图像102中，设定五个矩形窗口 111 115。所述多个窗 口 110的数量是考虑到CPU80的处理速度根据试验和经验确定的，并不限定于上述的五个。 此外，窗口 111 115的形状也并不限定于矩形，也可以是椭圆、矩形以外的多边形等形状。 此外，多个窗口 110的设定位置也并不限定于上述形态，例如也可以根据保持于组装作业 台20的第一方向D1上的线束WH的部件配置数量多的区域和部件配置数量少的区域而将 窗口 111 115之间的间隔设置得不同。提取部84具有对应部分提取部85、起点标记提取部86、和终点标记提取部87。
11
对应部分提取部85从由摄像机40新拍摄得到的新图像106中，将与合成图像102 的各窗口 111 115内的图像对应的部分121 125分别提取出来。对应部分提取部85 对对应部分120的提取处理是通过一般的图像处理方法进行。
以下，表示提取处理的一个例子。首先，通过光栅扫描(Rasterscarming)取得窗 口 111内的图像图案，将窗口 111的图像图案重叠到新图像106，求取窗口 111的图像图案 与新图像106中该重叠部分的图像图案的相似度。接着，使窗口 111的图像图案在新图像 106内每次移动一个像素并在各位置求取相似度，取得相似度最高的部分。进而，判断该部 分的相似度是否满足用于判断是否适合作为对应部分120的阈值。在满足该阈值的情况 下，将该相似度最高的部分作为窗口 111在新图像106中的对应部分121提取出来。对于 其他窗口 112 115也同样地提取出对应部分122 125。上述相似度是以浓度值等作为 特征量，根据对窗口 111 115内的图像进行光栅扫描得到的数据和对新图像106中的重 叠部分的图像进行光栅扫描得到的数据，对函数间的距离、特征向量之间的距离、相关系数 等进行计算而求得。此外，在组装作业台20上的空白部分中设定有多个窗口 110时，推测为在不是新 图像106内的实际对应部分的空白部分处的相似度较高。对于这种情况，例如对应部分提 取部85也可以在取得窗口 110内的图像图案时，判断是否有特征点、以及对特征点的数量 等设置阈值并判断是否满足该阈值等，在不满足特征点的条件的情况下判断不能对该窗口 提取对应部分120。由此，即使在多个窗口 110中的某些窗口被设定在空白部分时，也能够 以设置于空白部分以外的位置的窗口及其对应部分作为合成的基准位置，通过后述的图像 合成部88将新图像106合成到合成图像102中。其中，上述空白部分的回避处理也可以在 通过图像合成部88进行图像合成前进行。在此，在将窗口 111 115内的图像图案与新图像106进行对比前，还可以进行合 成图像102和新图像106的边缘增强处理、二值化处理、细图形化处理、逻辑过滤处理等各 种处理。对应部分提取部85通过上述例子或者其他方法，分别对各窗口 111 115依次提 取出新图像106中的对应部分121 125。起点标记提取部86，在由摄像机40拍摄得到标在组装作业台20上的起点标记24 时，提取出起点标记24。该起点标记提取部86将起点标记24的图像图案在新图像106内 进行光栅扫描并分别计算出相似度，搜索相似度最大的部分。接着，判断相似度最大的部分 的相似度是否满足用于判断是否能够识别为起点标记24的阈值。在满足该阈值的情况下， 将该部分作为起点标记24提取出来，在不满足阈值的情况下不进行提取。该阈值是根据摄 像机40的分辨率等经过试验根据经验确定的。终点标记提取部87，在由摄像机40拍摄得到标在组装作业台20上的终点标记26 时，提取出终点标记26。该终点标记提取部87将终点标记26的图像图案在新图像106内 进行光栅扫描并分别计算出相似度，搜索相似度最大的部分。接着，判断相似度最大的部分 的相似度是否满足用于判断是否能够识别为终点标记26的阈值。在满足该阈值的情况下， 将该部分作为终点标记26提取出来，在不满足阈值的情况下不进行提取。该阈值是根据摄 像机40的分辨率等经过试验根据经验确定的。在以下的说明中，作为例子，对各窗口 111 115及其对应部分121 125中相似度最高的窗口及其对应部分的组合为窗口 114和对应部分124的情况进行说明。图像合成部88在多个窗口 110中与自身的对应部分120的相似度最高的窗口 114 与其对应部分124处于大致一致的位置处，将新图像106合成到合成图像102中。在此，图 像合成部88通过以新图像106覆盖合成图像102的方式进行合成处理。即，合成图像102 是由上一次拍摄图像部分104中因组装作业台20的移动而产生的上一次拍摄图像部分104 与新图像106的偏移部分而形成。在此，合成处理并不限于上述方法，例如也可以设定为将 新图像106中比应部分124更靠移动方向C前方侧的部分消除，再将新图像106覆盖到合 成图像102中。此外，图像合成部88以提取出起点标记24的图像作为起始图像108，并开始生成 线束外观检查用的图像100。进而，图像合成部88以提取出终点标记26的图像之前一个图 像作为最终图像109，结束生成线束外观检查用的图像100。其中，也可以是如下结构图像 合成部88将提取出终点标记26的图像作为最终图像109，将该最终图像109合成到合成图 像102中，之后结束生成线束外观检查用的图像100。此外，图像合成部88在组装作业台20位于第二方向D2上的中途部的情况下接收 到从输入部76输入的中断指令时，将到接收到中断指令为止生成的合成图像102作为中途 结果数据96保存到辅助存储部90中。接着，图像合成部88在接收到从输入部76输入的 重启指令时，重新开始进行对基于从辅助存储部90中读取的中途结果数据96的合成图像 102合成新拍摄得到的新图像106的处理。S卩，接收到重启指令时，通过拍摄控制部81开始摄像机40的拍摄动作。并且，在 基于从辅助存储部90中读取的中途结果数据96的合成图像102中通过窗口设定部83设 定多个窗口 110，通过对应部分提取部85提取出多个窗口 110在新图像106中的对应部分 120。之后，图像合成部88将新图像106合成到合成图像102中。在此，存在接收到中断指令和接收到重启指令时组装作业台20和摄像机40的位 置关系改变的情况，即存在摄像机40对线束WH的拍摄位置改变的情况。该情况例如是在 中断指令和重启指令之间作业者使移动机构部30移动的情况等。因此，对基于从辅助存储 部90中读取的中途结果数据96的合成图像102的多个窗口 110，无法在新图像106内提取 出对应部分120时，放弃该合成图像102，开始生成下一个被保持在组装作业台20上的线束 WH的外观检查用的图像100。对基于从辅助存储部90中读取的中途结果数据96的合成图 像102的多个窗口 110，在新图像106内提取出了对应部分120时，图像合成部88进行正常 的图像合成处理。所述功能全部是通过计算机70的CPU80来实现的。当然，上述功能的一部分或者 全部也可以通过专用的逻辑电路等以硬件方式实现。接着，对线束外观检查用的图像生成处理进行说明。线束外观检查用的图像100 的生成处理是根据读取到CPU80中的程序的指示，通过CPU80对存储在辅助存储部90中的 拍摄间隔数据92、窗口设定数据94进行适当读取而执行的。首先，使能够在与组装作业台20的主作业面22大致平行的第一方向D1上对线束 外观检查区域整体进行拍摄的摄像机40和组装作业台20，沿与组装作业台20的主作业面 22大致平行且与第一方向D1大致正交的第二方向D2相对移动。接着，执行与组装作业台 20相对移动的摄像机40的拍摄动作，依次合成拍摄得到的图像而生成合成图像102。生成合成图像102时，在合成图像102中设定多个窗口 110，并在新拍摄得到的新图像106中分 别提取与合成图像102的各窗口 111 115内的图像对应的部分121 125。接着，在多个 窗口 110中与自身的对应部分120的相似度最高的窗口 114与其对应部分124大致一致的 位置处，将新图像106合成到合成图像102中。图10是表示线束外观检查用的图像生成处理的流程图。以下，根据该流程图，适 当参照图7 图10，对线束外观检查用的图像生成处理进行说明。在此，以因输出来自拍摄 控制部81的拍摄控制信号而按照固定时间间隔由摄像机40进行拍摄动作为前提，以图像 处理部82的处理为中心进行说明。首先，在移动机构部30使组装作业台20与摄像机40沿第二方向D2相对移动的 状态下，拍摄控制部81开始向摄像机40输出拍摄控制信号，按照固定时间间隔进行摄像机 40的拍摄动作。在步骤S1中，判断在辅助存储部90中是否保存有在线束外观检查用的图像100 的生成处理被中断时合成图像102的中途结果数据96。接着，在保存有中途结果的情况下 前进到步骤S2的处理，在没有保存中途结果的情况下前进到步骤S3。在步骤S2中，将保存在辅助存储部90中的合成图像102的中途结果数据96读出， 前进到下一个步骤S5的处理。在步骤S3中，判断是否存在通过摄像机40新拍摄得到的新图像106。接着，在判 断为没有新图像106的情况下重复步骤S3的处理，在判断为有新图像106的情况下前进到 步骤S4的处理。在步骤S4中，判断起点标记提取部86是否从由摄像机40拍摄得到的新图像106 中提取出了起点标记24。在判断为提取出了起点标记24时前进到步骤S5的处理，在未提 取出起点标记24时前进到步骤S3的处理。在步骤S5中，与步骤S3同样地，判断是否有新图像106。在判断为没有新图像106 的情况下重复步骤S5的处理，在判断为有新图像106的情况下前进到步骤S6的处理。在步骤S6中，判断终点标记提取部87是否从由摄像机40拍摄得到的新图像106 中提取出了终点标记26。在判断为提取出了终点标记26的情况下前进到步骤S7的处理， 在未提取出终点标记26的情况下前进到步骤S8的处理。在通过终点标记提取部87提取出了终点标记26时，在步骤S7中，结束生成线束 外观检查用的图像100，图像合成部88将到提取出终点标记26为止生成的合成图像102作 为线束外观检查用的图像100进行文件写入处理。在此，线束外观检查用的图像100写入 到辅助存储部90中。接着，再次进入步骤S3的处理。在步骤S8中，窗口设定部83在合成图像102中设定多个窗口 110。之后，前进到 步骤S9的处理。在步骤S9中，对应部分提取部85对在步骤S8中合成图像102内所设定的多个窗 口 110，从新图像106中提取出各窗口 111 115的对应部分121 125。接着，前进到下 一个步骤S10。在步骤S10中，图像合成部88，在合成图像102中设定的各窗口 111 115与从新 图像106内提取出的对应部分121 125中相似度最高的窗口 114与其对应部分124大致 一致的位置处，将新图像106合成到合成图像102中。接着，前进到下一个步骤S11。
在步骤Sll中，判断是否有线束外观检查用的图像100的生成处理的中断指令。在 判断为有中断指令的情况下前进到步骤S12的处理，在判断为没有中断指令的情况下再次 前进到步骤S5。在步骤S12中，图像合成部88将到发出线束外观检查用的图像100的生成处理的 中断指令为止作成的合成图像102作为中途结果数据96保存到辅助存储部90中。接着， 结束线束外观检查用的图像100的生成处理。在此，拍摄控制部81向摄像机40输出拍摄控制信号、移动机构部30使组装作业 台20与摄像机40相对移动可以在步骤Sll中判断为有中断指令时停止，也可以在步骤S12 的图像生成结束时停止。如上所述生成的线束外观检查用的图像100用于外观检查。在外观检查中，根据 该线束外观检查用的图像100调查预定的检查位置的外观是否合格。 更为具体地来说，在外观检查中，根据线束外观检查用的图像100内的标于组装 作业台20上的起点标记24的位置，检查线束WH的各部份的位置关系。在此，以起点标记 24的位置为基准计算出组装作业台20上的原点位置并作为图像原点，并进行检查。在此， 外观检查也可以根据终点标记26的位置进行。并且，外观检查是以正常组装的线束WH的 外观图像作为基准图像，并通过将生成的线束外观检查用的图像100与基准图像进行比较 来进行。即，在线束WH的预定的检查位置处，对基准图像与线束外观检查用的图像100进 行比较，在所有的检查位置不存在异常时判断为良好，如果存在异常位置则重新组装异常 位置。该外观检查可以通过图像处理来进行，也可以由作业者通过进行画面比较等来进行。根据如上所述构成的线束外观检查用图像的生成装置10及方法，使组装作业台 20与摄像机40沿第二方向D2相对移动，使摄像机40进行拍摄动作，以沿第二方向D2依 次在不同位置对被保持在组装作业台20上的线束WH进行拍摄。接着，在合成图像102中 设定多个窗口 110，在新图像106中分别提取出与合成图像102的各窗口 111 115内的 图像对应的部分121 125，并在多个窗口 110中与自身的对应部分120的相似度最高的 窗口 114与其对应部分124大致一致的位置处，将新图像106合成到合成图像102中。由 此，即使是在多个窗口 110及其对应部分120中的某些窗口彼此间的相似度较低的情况下， 也能够排除该相似度较低的部分的影响，以相似度最高的部分为基准进行图像合成。因此， 能够在更准确的位置将新图像106合成到合成图像102中，能够生成尺寸精度好的合成图 像102。即，能够不使用线阵相机(Line camera)，而以高精度地生成大范围的线束外观检 查用的图像100。此外，上述线数外观检查用图像的生成装置10在新图像106内沿二维方向搜索合 成图像102的窗口内的图像的对应部分，并通过所述图像内信息识别合成位置，将新图像 106合成到合成图像102中。因此，在组装作业台20和摄像机40在第二方向D2上相对移 动时，即使是在第一方向Dl上的位置偏移或者相对移动时发生速度变化、停止的情况下， 也能够高精度地将新图像106合成到合成图像102中。即，能够不取决于机械精度而得到 高精度的合成图像。由此，能够省略使用线阵相机时所需的高精度的引导机构、传送机构、 编码器等的移动量的反馈机构等，与使用线阵相机的情况相比能够削减设备费用的成本。并且，由于能够使用比线阵相机廉价的面阵相机生成线束外观检查用的图像100， 因此能够削减装置的成本。
此外，上述线数外观检查用图像的生成装置10在合成图像102中设定多个窗口 110，因此与设定一个在第一方向D1上较长的窗口的情况相比不容易受到图板光泽等的影 响，能够高精度地提取出窗口 111 115的对应部分121 125。并且，由此能够生成高精 度的线束外观检查用的图像100。此外，通过生成线束外观检查用的图像100，能够通过图像自动识别进行检查。由 此，能够抑制漏查、检查错误的发生，省略线束WH的组装工序到检查工序的施工作业，能够 通过削减检查人员来削减人员费用。进而，由于能够保存产品整体的线束外观检查用的图像100，因此能够方便地进行 产品的历史管理。此外，窗口设定部83在包含于合成图像102中的上一次拍摄图像部分104中，沿 穿过摄像机40的拍摄轴且与第一方向D1大致平行的线L设定多个窗口 110。这样，以穿过 摄像机40的拍摄轴的第一方向D1的线L为基准从新图像106中提取对应部分120，因此 能够抑制因立体的线束WH相对于摄像机40的距离、位置而产生的显示不同引起对应部分 120的提取精度下降，能够更为精确地提取各窗口 111 115的对应部分121 125。此外，图像合成部88将由起点标记提取部86提取出起点标记24的图像作为起始 图像108而开始生成合成图像102。由此，对于各组装作业台20，能够自动开始生成合成图 像102，并且能够在外观检查中提供配置于组装作业台20上的各线束WH的线束外观检查用 的图像100。此外，图像合成部88在由终点标记提取部87提取出终点标记26时结束生成合成 图像102。由此，能够对各组装作业台20分别自动结束生成合成图像102，能够在外观检查 中提供配置于组装作业台20上的每个线束WH的线束外观检查用的图像100。此外，通过配置于摄像机40的周围的照明部50，能够从多个方向对组装作业台20 中的摄像机40的拍摄区域E内的整个部分照射光。由此，能够减小立体的线束WH部分引 起的照度差，更高精度地合成图像，在外观检查中提供精度更高的线束外观检查用的图像。 并且，由于使线束WH部分的照度均勻，在检查线束WH的外观时，能够提高对线束WH的外包 材料的组成和材质的判断精度。此外，图像合成部88在组装作业台20位于第二方向D2上的中途部的情况下接收 到中断指令时，将到接收到中断指令为止生成的合成图像102的中途结果数据96保存到辅 助存储部90中，在接收到重启指令时，重新开始进行对基于从辅助存储部90中读出的中途 结果数据96的合成图像102合成新拍摄得到的新图像106的处理。因此，即使在合成图像 102的生成被中断，并在之后重新开始生成合成图像102的情况下，也能够生成线束WH整体 的外观检查用的图像100，而不会终止。因此，即使在夜间停止线束组装用的传送器并在第 二天重新运转的情况下，也能够重新开始合成图像。
权利要求
一种线束外观检查用图像的生成装置，用于生成被保持在组装作业台的主作业面上的线束的外观检查用的图像，其特征在于，所述线束外观检查用图像的生成装置具有摄像机，能够沿着与所述组装作业台的主作业面平行的第一方向对被保持在所述组装作业台上的所述线束进行拍摄；移动机构部，使所述组装作业台与所述摄像机沿着与所述组装作业台的主作业面平行且与所述第一方向正交的第二方向相对移动；拍摄控制部，控制所述摄像机的拍摄动作，以沿着所述第二方向依次在不同的位置对被保持在所述组装作业台上的所述线束进行拍摄；以及图像处理部，依次合成由所述摄像机拍摄的图像而生成合成图像，所述图像处理部具有窗口设定部，在所述合成图像中设定多个窗口；提取部，从由所述摄像机新拍摄的新图像中，分别提取出与所述合成图像的各所述窗口内的图像对应的部分；以及图像合成部，在所述多个窗口中的与自身的对应部分相似度最高的窗口与该窗口的对应部分一致的位置，将所述新图像合成到所述合成图像中。
2.根据权利要求1所述的线束外观检查用图像的生成装置，其特征在于，在所述合成图像中所包含的上一次拍摄图像部分中，所述窗口设定部沿着穿过所述摄 像机的拍摄轴且与所述第一方向平行的线设定所述多个窗口。
3.根据权利要求1或2所述的线束外观检查用图像的生成装置，其特征在于，所述图像处理部还具有起点标记提取部，在由所述摄像机拍摄到标于所述组装作业台 上的起点标记时，提取出所述起点标记，所述图像合成部以被提取出所述起点标记的图像作为起始图像，开始生成所述合成图像。
4.根据权利要求1 3中任一项所述的线束外观检查用图像的生成装置，其特征在于， 所述图像处理部还具有终点标记提取部，在由所述摄像机拍摄到标于所述组装作业台上的终点标记时，提取出所述终点标记，所述图像合成部在所述终点标记被提取出来时结束所述合成图像的生成。
5.根据权利要求1 4中任一项所述的线束外观检查用图像的生成装置，其特征在于， 所述线束外观检查用图像的生成装置还具有照明部，该照明部配置于所述摄像机的周围，能够从多个方向对所述组装作业台的主作业面中位于所述摄像机的拍摄区域内的部分 照射光。
6.根据权利要求1 5中任一项所述的线束外观检查用图像的生成装置，其特征在于， 所述线束外观检查用图像的生成装置还具有能够存储所述合成图像的存储部， 所述图像合成部在所述组装作业台位于所述第二方向上的中途部的情况下接收到中断指令时，将接收到所述中断指令前已生成的所述合成图像保存到所述存储部中，并且在 接收到重启指令时，重新开始在从所述存储部中读取的合成图像上合成新拍摄的所述新图 像的处理。
7.一种线束外观检查用图像的生成方法，用于生成被保持在组装作业台的主作业面上 的线束的外观检查用的图像，其特征在于，所述线束外观检查用图像的生成方法包括以下步骤第一步骤，使能够沿着与组装作业台的主作业面平行的第一方向对被保持在所述组装作业台上的所述线束进行拍摄的摄像机和所述组装作业台，沿着与所述组装作业台的所述 主作业面平行且与所述第一方向正交的第二方向相对移动； 第二步骤，由所述摄像机进行拍摄动作；以及 第三步骤，依次合成在所述第二步骤中拍摄的图像而生成合成图像， 所述第三步骤包括以下步骤 第四步骤，在所述合成图像中设定多个窗口 ；第五步骤，在由所述第二步骤新拍摄到的新图像中，分别提取出与所述合成图像的各 所述窗口内的图像对应的部分；以及第六步骤，在所述多个窗口中与自身的对应部分的相似度最高的窗口与该窗口的对应 部分一致的位置，将所述新图像合成到所述合成图像中。
全文摘要
一种线束外观检查用图像的生成装置及线束外观检查用图像的生成方法，不使用线阵相机就能够高精度地获得大范围的线束外观检查用的图像。上述装置具有摄像机，能够沿着第一方向对被保持在组装作业台上的线束进行拍摄；移动机构部，使组装作业台与摄像机沿着第二方向相对移动；拍摄控制部，控制摄像机的拍摄动作，以沿着第二方向依次在不同的位置对线束进行拍摄；图像处理部，依次合成拍摄图像而生成合成图像，图像处理部具有窗口设定部，在合成图像中设定多个窗口；提取部，从由新图像中分别提取出与各窗口内的图像对应的部分；图像合成部，在多个窗口中与自身的对应部分的相似度最高的窗口与其对应部分大致一致的位置，将新图像合成到合成图像中。
文档编号G01B11/24GK101865667SQ201010155208
公开日2010年10月20日 申请日期2010年4月2日 优先权日2009年4月17日
发明者大西秀夫, 高村真共 申请人:住友电装株式会社