图像捕捉控制方法和图像拾取装置的制造方法

图像捕捉控制方法和图像拾取装置的制造方法
【专利摘要】公开了图像捕捉控制方法和图像拾取装置。工件的图像被形成以使得该图像在固定方向上移动穿过图像传感器的图像传感区域。工件的图像在位于图像捕捉位置时被图像传感器捕捉，并且其图像数据被以预定输出格式输出。图像传感器具有提取区域，该提取区域具有小的图像尺寸或者小的像素密度并且位于图像传感器的图像传感区域的如下一侧，移动对象从这一侧进入图像传感区域。当在此提取区域中检测到物体已经到达位于图像捕捉位置之前的预备检测位置时，图像传感器的模式被切换以使得图像数据被以输出格式输出，并且以此输出格式输出图像数据。
【专利说明】
图像捕捉控制方法和图像拾取装置
技术领域
[0001]本公开涉及图像捕捉控制方法和图像拾取装置，并且更具体地涉及控制如下处理的技术:形成移动物体的图像以使得移动物体的图像在图像传感器的图像传感区域中在固定方向上移动，使用图像传感器在图像捕捉位置捕捉移动物体的图像，以及从图像传感器以预定输出格式输出所捕捉图像的图像数据。
【背景技术】
[0002]传统上，在生产线等中使用诸如机器人、带式输送机等之类的运输单元来将诸如产品或部件之类的工件运输到要装配或者检查工件的工作位置或者检查位置是已知的。在许多情况下，作为感兴趣的物体的工件在被运输时处于任意姿势(posture)。一般而言，在工件到达工作位置之后，测量物体的姿势或者相位(phase)并且使用机械臂或者机械手来适当地校正姿势或者相位，然后开始处理或者装配操作。
[0003]同样在执行检查的情况下，一般在物体到达专用于检查的检查站之后开始检查。在外观检查(光学检查或者图像检查)的情况下，使用通过使用相机(camera)捕捉物体的图像而获得的图像数据来执行测量或者检查。通常在临时停止物体的移动之后执行为了测量或者检查而对物体图像的捕捉。然而，在此方法中，临时停止运输装置造成需要额外时间来使运输装置加速和减速，这带来发生检查时间或者测量时间的增大的缺点。
[0004]在另一提议的技术中，在不停止正被运输的物体的情况下通过相机来捕捉物体的图像，并且基于所捕捉的图像数据来执行对物体的装配、测量或者检查。在此技术中，必需检测到物体位于适合于捕捉物体的图像的位置。为了实现上述要求，例如，与相机分开布置光电传感器等。当光电传感器检测到物体时，测量或者预测物体的移动距离，并且在由光电传感器检测到物体起已经过去特定时间段时捕捉物体的图像。
[0005]为了测量而安装除静态相机之外的视频相机也是已知的。视频相机具有图像传感区域，该图像传感区域包括静态相机的图像传感区域并且用来在由静态相机捕捉物体的图像之前抓取物体的运动(例如参见日本专利特开第2010-177893号)。在此方法中，当经由对由视频相机捕捉到的图像的图像处理而检测到物体进入图像传感区域时，释放信号被输入到用于测量的静态相机以使静态相机开始捕捉图像。
[0006]然而，在上述方法中，为了检测物体进入图像传感区域，必需安装专用的光学传感器，并且还必需提供用来测量物体的移动距离的测量单元。另外，当物体的尺寸不是恒定的时，物体尺寸的差异可能导致在图像捕捉位置方面发生误差。在基于对物体位置的预测来确定物体位置的情况下，如果发生诸如机器人、带式输送机等之类的运输装置的速度的变化，那么可能在图像捕捉位置方面发生误差。
[0007]在日本专利特开第2010-177893号中公开的上述技术中，使用视频相机来检测移动物体并且因而在不使用预测的情况下确定物体位置，这使得可以将图像捕捉位置控制在大体上固定的位置处。然而，必需额外安装在测量或者检查中不是必需的视频相机，这导致成本和安装空间的增大。另外，为了调节静态相机与视频相机之间的相对位置，复杂的操作是必需的。另外，必需提供高精度且高速的同步系统和图像处理系统来检测物体。另外，在为了正确执行检查的情况下，必需在静态相机的视角内的特定位置捕捉物体的图像，相对相机位置的更精确调节和更精确的同步是必要的，这使得在实践中难以以可接受的低成本实现简单系统。
[0008]鉴于以上情形，本发明提供如下技术:在不停止作为移动物体给出的工件的运动并且不需要除图像拾取装置之外的额外测量装置的情况下，以高速并且以高可靠性在最佳图像捕捉位置处自动捕捉工件的图像。

【发明内容】

[0009]在一方面，本公开提供一种图像捕捉控制方法，用于使用图像传感器来捕捉移动物体的图像并且以具有预定图像尺寸和像素密度的输出格式从图像传感器中输出图像数据，该方法包括:由控制装置将图像传感器的输出模式设置为其中提取区域的图像数据被输出的第一输出模式，其中提取区域具有比所述输出格式中的图像尺寸或者像素密度小的图像尺寸或者像素密度，并且其中提取区域位于图像传感器的图像传感区域的如下一侧，移动物体的图像将从这一侧接近图像传感区域；由控制装置执行移动物体检测处理，以基于在图像传感器的输出模式被设置在第一输出模式的状态下输出的图像数据的像素值来检测移动物体的位置是否已经到达预定图像捕捉位置之前的预备检测位置；以及在移动物体检测处理中检测到其图像正被捕捉的移动物体的位置已经到达图像捕捉位置之前的预备检测位置的情况下，由控制装置将图像传感器的输出模式设置为其中图像传感器捕捉到的图像数据被以所述输出格式输出的第二输出模式，其中由图像传感器在图像捕捉位置捕捉到的移动物体的图像数据在第二输出模式下被从图像传感器中输出。
[0010]在另一方面，本公开提供一种图像拾取装置，包括:控制装置，配置为控制使用图像传感器捕捉移动物体的图像和以具有预定图像尺寸和像素密度的输出格式从图像传感器中输出图像数据的处理，该控制装置被配置为:将图像传感器的输出模式设置为其中提取区域的图像数据被输出的第一输出模式，其中提取区域具有比所述输出格式的图像尺寸或者像素密度小的图像尺寸或者像素密度，并且其中提取区域位于图像传感器的图像传感区域的如下一侧，移动物体的图像将从这一侧接近图像传感区域；基于在图像传感器的输出模式被设置在第一输出模式的状态下输出的图像数据的像素值来检测移动物体的位置是否已经到达预定图像捕捉位置之前的预备检测位置；以及在检测到移动物体的位置已经到达图像捕捉位置之前的预备检测位置的情况下，将图像传感器的输出模式设置为其中图像传感器捕捉到的图像数据被以所述输出格式输出的第二输出模式，其中由图像传感器在图像捕捉位置捕捉到的移动物体的图像的图像数据在第二输出模式下被从图像传感器中输出。
[0011]本发明的另外特征根据参考附图对示例性实施例的以下描述将变得清楚。
【附图说明】
[0012]图1是例示出根据第一实施例的可通过图像捕捉控制方法操作的装置的配置的框图。
[0013]图2是例示出根据第一实施例的图像捕捉控制过程的流程图。
[0014]图3A至图3C是例示出根据第一实施例的像素选择区域的示例的示图。
[0015]图4A至图4C是例示出根据第一实施例的在运输工件的处理期间的图像传感器的输出状态的不图。
[0016]图5A和图5B是例示出根据第一实施例的使用正反射(regular reflect1n)捕捉的图像的示例的示图。
[0017]图6是例示出根据第二实施例的图像捕捉控制过程的流程图。
[0018]图7A至图7D是例示出根据第二实施例的生成差异图像的操作的示图。
[0019]图8是例示出根据第三实施例的选择像素和控制输出的方式的示例的示图。
[0020]图9是例示出根据第三实施例的选择像素和控制输出的方式的另一示例的示图。
[0021]图10是例示出作为根据在图9中例示出的方式选择像素和控制输出的处理的结果而提取出的图像的示图。
[0022]图1lA和图1lB是例示出根据第三实施例的选择像素和控制输出的方式的又一示例的示图。
[0023]图12是例示出根据第三实施例的使用仅能够以像素线为单位提取图像数据的图像传感器来选择像素的方式的示例的示图。
【具体实施方式】
[0024]下面参考附图详细描述本发明的实施例。在以下描述中，作为示例，实施例被应用于如下机器人装置或者生产系统:其中通过机械臂来运输作为物体的示例的工件，并且在运输期间不停止工件的运动的情况下由相机在预定图像捕捉位置处捕捉工件的图像。
[0025]第一实施例
[0026]图1例示出根据第一实施例的使用图像拾取装置的机器人装置(或者使用机器人的生产系统)的配置的概要。图2是例示出根据本实施例的图像捕捉控制流程的流程图。
[0027]在图1中，作为其图像根据本实施例而被捕捉的移动物体的工件9被位于机械臂8一端的机械手81握持并且在由箭头30a表示的运输空间30中被运输。运输空间30例如是工件9被机器人装置(或者使用机器人的生产系统)运输到下一工作位置或者检查位置所经过的运输路径。在工件9正被运输的同时，当工件9处于运输空间30中的预定图像捕捉位置时，由图像拾取装置I捕捉工件9的图像。
[0028]由图像拾取装置I捕捉到的工件9的图像经受由图像处理装置6执行的图像处理并且在控制工件9的姿势(或者相位)时使用或者在产品检查中使用。由图像拾取装置I捕捉到的工件9的图像数据以具有预定图像尺寸和像素密度的输出格式被输出到图像处理装置6。
[0029]图像处理装置6执行在对工件9的姿势的控制中必需或者在产品检查(质量判定)中必需的预定图像处理。图像处理的细节与本实施例的主题不直接相关，因而其进一步描述被省略。关于例如经由图像处理装置6执行的图像处理而获得的姿势(或者相位)的检测信息被从图像处理装置6发送到例如顺序控制装置7，该顺序控制装置7控制包括图像拾取装置I的机器人装置(或者生产系统)的一般操作。
[0030]基于接收到的姿势(或者相位)的检测信息，顺序控制装置7经由机器人控制装置80控制机械臂8直到机械臂8到达例如下游区域中的工作位置或者检查位置为止以使得工件9的姿势(或者相位)被带入适合诸如装配、处理等之类的生产处理中的下一步骤的状态。在此处理中，顺序控制装置7可以例如通过将图像处理装置6执行的测量的结果反馈给机器人控制装置80来控制姿势(或者相位)。
[0031]在使用图1中示出的图像拾取装置I的生产系统中，如上所述，可以基于图像处理装置6执行的图像处理对工件9执行特定生产处理或者检查处理。
[0032]顺序控制装置7在工件9通过工件9的图像传感区域之前向图像拾取装置I发送控制信号，由此使图像拾取装置I进入其中将检测移动物体的第一模式(其中等待工件9通过的状态)。
[0033]图像拾取装置I包括布置为面向运输空间30的成像光学系统20，以及布置在成像光学系统20的光轴上的图像传感器2。通过以上述方式配置装置，移动物体的图像被形成在图像传感器2的图像传感区域上以使得图像在图像传感区域中的特定方向上移动并且当图像处于预定图像捕捉位置时移动物体的图像被图像传感器2捕捉。关于放大倍率和到物体的距离的成像光学系统20的参数被预先选择(或者调节)以使得整个工件9 (或其特定部分)在图像传感器2的图像传感区域内被捕捉。
[0034]图像捕捉位置(在此处工件9的图像被捕捉并且其数据被发送给图像处理装置6)被设置为使得至少整个移动物体即工件9 (或其特定部分)在图像传感器2的图像传感区域内被捕捉。在以下描述中，术语工件9的“图像捕捉位置”被用来描述工件9的图像在图像传感区域中的“位置”，并且当不发生混淆时省略“位置”指示“图像位置”的明确描述。
[0035]稍后描述的移动物体检测单元5检测工件9(工件9的图像)是否已经到达图像传感器2的图像传感区域中的最佳图像捕捉位置之前的特定预备检测位置。
[0036]在图1中，在表示图像拾取装置I的块中，位于虚线上面的除图像传感器2之外的所有子块都是由位于虚线下面的控制系统的控制操作实现的功能块。在图1中，这些功能块是像素选择单元3、输出目的地选择单元4和移动物体检测单元5。在这些功能块中，输出目的地选择单元4操作来选择从图像传感器2输出的图像数据是被发送到外部的图像处理装置6还是移动物体检测单元5。
[0037]当移动物体检测单元5接收到从图像传感器2输出的图像数据时，移动物体检测单元5使用稍后描述的方法检测工件9的特定特征部件，并且执行关于工件9是否已经到达运输空间30中的预定图像捕捉位置之前的预备检测位置的检测。“图像捕捉位置之前的预备检测位置”在这里被设置为处理在移动物体检测单元5检测到移动物体之后开始向图像处理装置6输出图像数据中可能发生的延迟。延迟可能由电路操作延迟或者处理延迟引起并且其可能与至少一个时钟周期至若干个时钟周期一样大。就是说，考虑到电路操作延迟、处理延迟等而正确地设置图像捕捉位置之前的预备检测位置，以使得当响应于移动物体检测单元5检测到移动物体而立即开始向图像处理装置6输出图像数据时，图像数据中的工件9的图像位置正确地位于图像捕捉位置处。
[0038]像素选择单元3控制图像传感器2以使得从图像传感器2的像素中选择特定像素并且将从选中像素输出的数据发送到位于像素选择单元3后面的输出目的地选择单元4。在检测到工件9到达预定图像捕捉位置之前的预备检测位置之前，像素选择单元3控制图像传感器2以使得只有特定区域(例如，图像传感器2的小中央区域)中的像素的像素数据被输出到移动物体检测单元5。使用此小区域的图像，移动物体检测单元5执行对工件9到达运输空间30中的预定图像捕捉位置之前的预备检测位置的检测。
[0039]在下文中，术语“提取区域”被用来描述上面描述的包括少量像素的小区域，这些像素的数据被从图像传感器2发送到移动物体检测单元5直到移动物体检测单元5检测到工件9到达预定图像捕捉位置之前的预备检测位置为止。在稍后以及别处描述的图3A至图3D中，提取区域由标号201表示。
[0040]注意，当此提取区域(201)中的像素的数据被发送到移动物体检测单元5时，数据不一定需要被从位于连续空间位置的像素发送。例如，提取区域(201)可以包括位于图像传感器2中的每隔一个或者若干个像素处的像素的组以使得低分辨率图像数据被发送到移动物体检测单元5。在下文中，术语“提取区域”被用来一般地描述包括提取区域(201)在内的提取区域，该提取区域(201)被设置为包括这样的低分辨率像素的组以将用于移动物体检测的图像数据发送给移动物体检测单元5。
[0041]当移动物体检测单元5检测到工件9到达预定图像捕捉位置之前的预备检测位置时，像素选择单元3切换图像传感器2的读出区域以使得以具有在图像处理装置6执行的图像处理中所必需的图像尺寸和像素密度的输出格式来输出图像数据。另外，响应于移动物体检测单元5检测到工件9到达预定图像捕捉位置之前的预备检测位置，输出目的地选择单元4切换图像数据的传输路径以使得图像传感器2捕捉到的图像数据被发送到图像处理装置6。
[0042]当图像传感器2捕捉到的工件9的图像数据被发送到图像处理装置6以供在对图像数据的图像处理中使用时，图像数据的输出格式被设置为具有如下图像尺寸(水平和垂直方向上的像素数目)，其中将被测量或检查的整个工件9或者工件9的至少特定部分落入视角中。在输出到图像处理装置6的图像数据的此输出格式中，图像数据具有没有被稀疏化(或者被略微稀疏化)的高像素密度(高分辨率)。在以下描述中，假定发送到图像处理装置6的供在图像处理装置6执行的图像处理中使用的工件9的图像数据具有大到足够图像处理装置6执行图像处理的尺寸和/或高到足够图像处理装置6执行图像处理的分辨率。
[0043]因此，图像传感器2在预定图像捕捉位置处捕捉工件9的图像，并且具有图像处理装置6执行图像处理所必需的图像尺寸的图像数据的特定区域的像素数据被发送到图像处理装置6。
[0044]移动物体检测单元5使用上面描述的提取区域(201)中的像素数据来检测工件9到达运输空间30中的预定图像捕捉位置之前的预备检测位置。因此可以在以高速在运输空间30中移动工件9而不停止运输工件9的机械臂8的操作的同时进行对工件9到达预定图像捕捉位置之前的预备检测位置的高速检测，这带来计算成本的降低。
[0045]上面描述的功能块可以例如通过图1中示出的图像拾取装置I中的布置在虚线下面的区域中的硬件来实现。图像拾取装置I中的此硬件例如包括CPU 21 (其包括通用微处理器、图形CPU (GPU)等)、图像存储器22 (其包括高速存储元件)、ROM 23、RAM 24、接口电路25等。上面描述的每一个功能块都是通过由CPU 21执行描述稍后描述的控制过程并且例如存储在ROM 23中的计算机可读程序从而控制硬件的各个部分来实现的。
[0046]例如，像素选择单元3是通过由CPU 21经由接口电路25控制图像传感器2的输出模式以指定图像传感器2的输出像素区域中的特定区域来实现的。在此控制操作中，由像素选择单元3切换的图像传感器2的输出模式中的一个是第一输出模式，其中将经受移动物体检测单元5的检测的上述提取区域201的图像数据被输出。输出模式中的另一个是第二输出模式，其中将经受图像处理装置6的图像处理的上述提取区域201的图像数据被输出。
[0047]在第一输出模式中使用的提取区域201具有与用来向图像处理装置6输出图像数据的输出格式相比较小的图像尺寸或者较小的像素密度，并且提取区域201如在图3A至图3C中所示被设置在图像传感器2的图像传感区域的如下一侧的位置，移动物体的图像将从这一侧接近图像传感区域。
[0048]移动物体检测单元5是通过由CPU 21执行用来分析从图像传感器2输出的上述提取区域(201)中的图像的软件来实现的。从图像传感器2输出的图像数据经由下面描述的数据传送硬件等而被高速传送到图像存储器22，并且CPU 21分析图像存储器22上的图像数据。在本实施例中，作为示例假定移动物体检测单元5的功能是由CPU 21实现的并且由CPU 21分析图像存储器22上的图像数据。然而，例如，在CPU 21和图像传感器2具有图像流处理功能的情况下，CPU 21可以不经由图像存储器22而直接分析提取区域(201)的图像数据。
[0049]接口电路25例如包括用于与顺序控制装置7通信的串行端口等，并且还包括用来实现输出目的地选择单元4的诸如复用器、DMA控制器等的数据传送硬件。为了实现输出目的地选择单元4的功能，接口电路25的数据传送硬件用来将来自图像传感器2的所捕捉图像数据传送到图像存储器22或者传送到图像处理装置6。
[0050]下面以图像拾取装置I的硬件为重点来更详细地描述图像拾取装置I。
[0051]在本实施例中，假定图像传感器2具有高到足以解析工件9的特征的分辨率。图像处理装置6对从图像拾取装置I输出的具有足够高分辨率的图像数据执行预定图像处理。图像处理可以使用已知的方法来执行，尽管其细节的描述在此被省略。图像处理的结果例如被发送到顺序控制装置7并且由在机械臂8控制工件9的姿势中被使用。因此，可以在运输期间控制姿势而不停止机械臂8以高速运输工件9的操作以使得对姿势的控制在工件9到达下游区域中的工作位置或者检查位置之前完成。图像处理装置6的图像处理还可以在工件9的检查中使用。在这种情况下，例如，检查工件9的状态并且通过分析工件9的特征部件正处于装配完全完成或者半完成的状态来就工件9是否良好进行判定。
[0052]图像传感器2可以是配置为输出形成在传感器表面上的图像的各像素的数字数据的、包括布置在平面中的大量元件的已知图像传感器器件。在此类传感器中，一般而言，在光栅扫描模式下输出数据。更具体地说，首先在水平方向上顺序地输出二维图像的像素数据(即在水平方向上扫描二维图像)。在对一个水平线完成扫描之后，然后对垂直相邻的下一水平线(在垂直方向上顺序地选择水平线(水平地扫描))执行扫描。重复上面的操作直到已经扫描了整个图像数据。
[0053]关于用作图像传感器2的图像传感器，例如，电荷耦合器件(CCD)传感器可以被使用。近年来，互补金属氧化物半导体(CMOS)传感器也已经被广泛使用。在这些图像传感器中，CCD传感器具有允许其同时曝光所有像素的全局快门，因而此类型CCD传感器适合用于捕捉移动物体的图像。另一方面，CMOS传感器通常具有滚动快门并且进行操作以使得在每一个水平扫描使曝光定时移位的同时输出图像数据。在上面描述的两种快门操作方法中，都通过控制图像数据的读出来实现快门操作，就是说，在两种方法中都以电子方式执行快门操作。当使用具有滚动快门的图像传感器来捕捉移动物体的图像时，从一个水平扫描线到另一个水平扫描线的曝光定时的移位造成图像的形状从真实形状失真。注意，某种CMOS传感器具有临时存储各像素的数据的能力。在此类型CMOS传感器中，可以实现全局快门读取，因而可以获得没有失真的移动物体的输出图像。
[0054]因而，在本实施例中，为了正确地处理移动物体，关于用作图像传感器2的器件，选择具有基本全局快门功能的CCD传感器或者具有全局快门功能的一类CMOS传感器可以是有利的。然而，在形状的失真在图像处理装置6执行的图像处理中不产生问题的情况下，可以选择具有正常滚动快门功能的CMOS传感器。
[0055]参考在图2中示出的流程图，在下面描述根据本实施例的图像捕捉控制过程。例如，可以以可由图像拾取装置I的CPU 21执行并且可以存储在ROM 23等中的控制程序的形式来描述图2中示出的控制过程。
[0056]在图2中的步骤SI中，CPU 21等待将从顺序控制装置7给予的输入。在此状态下，图像传感器2和输出目的地选择单元4被控制为处于输出关闭状态。
[0057]在步骤S2中，CPU 21检查是否从顺序控制装置7给予了输入并且判断是否已经接收到指示下一工件9将进入图像拾取装置I的图像捕捉空间的通知。在顺序控制装置7进行的关于机械臂8运输工件9的操作的控制中，当工件9将通过图像拾取装置I的图像捕捉空间时，顺序控制装置7向图像拾取装置I发送预定信号格式的提前通知以通知工件9将通过图像拾取装置I的图像捕捉空间。例如，在生产系统中处理许多不同类型的工件9的情况下，关于工件9的类型、尺寸和/或类似因素的信息可以被按需添加到发送给图像拾取装置I或图像处理装置6的提前通知信号。如果提前通知在步骤S2中到达，那么处理流程继续进行到步骤S3。如果提前通知尚未到达，则处理流程返回到步骤SI以等待将从顺序控制装置7给予的输入。
[0058]在步骤S2中接收到提前通知的情况下，然后在步骤S3中，使用像素选择单元3的像素选择控制操作被执行。更具体地说，CPU 21经由接口电路25访问图像传感器2并且将图像传感器2切换为其中供在检测移动物体中使用的提取区域(201)的像素数据被输出的第一模式，并且使得图像传感器2能够输出像素数据。另外，CPU 21控制提供输出目的地选择单元4的功能的接口电路25的数据传送硬件以使得来自图像传感器2的输出的目的地被切换以便图像数据被输出到移动物体检测单元5。作为响应，提取区域(201)的像素数据被顺序地发送到图像存储器22中的特定存储器空间，并且CPU 21开始执行实现移动物体检测单元5的功能的软件来分析图像(如稍后描述)以检测工件9的位置。注意，在步骤S3中，可以根据工件的类型和/或形状来正确地选择提取区域(201)的图像尺寸和/或像素密度。
[0059]在步骤S4中，判断移动物体检测单元5是否已经检测到工件9到达图像拾取装置I的成像光学系统20前面的预定图像捕捉位置之前的预备检测位置。关于例如通过由CPU21执行软件来实现的通过移动物体检测单元5的图像分析来检测移动物体的处理的具体示例，稍后将给出详细描述。
[0060]在判断移动物体检测单元5已经检测到工件9到达图像拾取装置I的预定图像捕捉位置之前的预备检测位置的情况下，处理流程继续进行到步骤S5。然而，在尚未检测到到达的情况下，处理流程返回到步骤S3。
[0061]在检测到工件9到达图像拾取装置I的预定图像捕捉位置之前的预备检测位置并且处理流程继续进行到步骤S5的情况下，图像传感器2的模式被切换为第二模式，在第二模式中从与在图像处理装置6执行的图像处理中必需的特定图像尺寸相对应的像素区域中输出像素数据。更具体地说，在第二模式中，例如，图像传感器2的输出像素区域被设置为覆盖整个工件9的图像或者工件9的特定检查部分的图像。另外，实现输出目的地选择单元4的功能的接口电路25的数据传送硬件被控制以使得图像传感器2的输出的目的地被切换为图像处理装置6。
[0062]接下来，在步骤S6中，与在图像处理中必需的特定图像尺寸相对应的像素区域的图像数据被从图像传感器2发送到图像处理装置6。在此发送处理中，图像数据经由作为缓冲区域的图像存储器22而被从图像传感器2发送到图像处理装置6或者在硬件允许的情况下被从图像传感器2直接发送到图像处理装置6。这样，具有工件9 (或者其特定部分)的大尺寸的图像的一个帧的数据或者其高分辨率图像被从图像传感器2输出。
[0063]当去往图像处理装置6的由图像传感器2捕捉到的工件9的图像数据的发送完成时，处理流程返回到步骤SI。在步骤SI中，像素选择单元3被切换为其中处理流程等待将从顺序控制装置7给出的输入的状态，并且图像传感器2和输出目的地选择单元4被切换为输出关闭状态。
[0064]接下来，参考图3A至图3C以及别处的其他附图，下面给出关于提取区域201的配置示例的描述，该提取区域201受像素选择单元3控制以使得该提取区域201中的图像数据被从图像传感器2输出到移动物体检测单元5以供在检测物体时使用。
[0065]图3A至图3C分别例示出像素选择单元3经由像素选择处理来配置提取区域201以使得此提取区域201中的图像数据被从图像传感器2输出到移动物体检测单元5以供在检测物体时使用的不同方式的示例。在图3A至图3C(还有图4A至图4C和别处的其他附图)中，标号200表示由图像传感器2捕捉的有效图像传感区域(全视角)。
[0066]另外，在图3A至图3C中，如在图1中一样，箭头30a表示工件9被机械臂8运输的运输方向。尽管工件9在这些附图和别处的其他附图中被绘制为作为示例具有圆环形状，但是在本实施例中对形状没有特定限制。另外，在这些附图和别处的其他附图中，在工件9的圆周上的等间隔的四个位置处绘制与诸如螺栓、螺柱、突起物等结构相对应的小圆圈以简单地指示工件9的姿势或者相位，并且这些圆圈在本发明中不是必要的。
[0067]在图3A至图3C中的每一个中，阴影线区域表示提取区域201。图3A例示出提取区域201的示例，该提取区域201用来提取工件9预计通过的区域。在此示例中，提取区域201具有在工件9的移动方向上延伸的带形状并且具有几乎等于工件9的宽度(直径)的宽度(如在图3A中的垂直方向上定义的)。
[0068]注意，工件9的尺寸和图像传感区域200中的提取区域201的尺寸仅作为示例示出，并且它们可以根据到图像拾取装置I所要捕捉的物体的距离、成像光学系统20的放大倍率和/或类似因素而被适当地改变。这也适用于下面描述的其他示例。
[0069]在图3A中，提取区域201占据图像传感区域200中的相对大的区域，因而为了分析提取区域201，移动物体检测单元5的软件需要访问相对多像素的数据。在这种情形中，没有必要输出由阴影线表示的整个提取区域201中的所有像素的数据，而是可以使像素数据稀疏化并且可以输出由此得到的数据。用作图像传感器2的某些类型的器件具有其中稀疏化的像素数据被输出的模式。即使在提取区域201与图3A中示出的示例中的情况一样被设置为覆盖相对大的面积的情况下，如果从图像传感器2中仅输出仅稀疏化后的数据的像素数据而不输出提取区域201中的所有像素数据，则可以实现高图像数据传送速率(高帧速率)。这还使得可以降低对移动物体检测单元5的软件施加的处理负担，并且可以改善位置检测周期，并且因而可以精确地检测到工件到达对图像处理最佳的图像捕捉位置。
[0070]在工件9被实现移动物体检测单元5的功能的软件检测为移动物体的情况下，检测的目的是检测到工件9到达预定图像捕捉位置之前的预备检测位置，在预定图像捕捉位置处工件9的特定部分的图像将被捕捉以供在图像处理装置6执行的图像处理中使用。根据此观点，提取区域201的输出视角不一定需要覆盖工件9的整个宽度，而是提取区域201可以如在图3B中示出的示例中一样被设置为仅覆盖工件9的一部分宽度。然而，在这种情况下，提取区域201的尺寸需要被设置为包括足够像素以使得确保移动物体检测单元5使用提取区域201的像素数据正确地检测工件9 (工件9的位置)。
[0071]在提取区域201如在图3B中示出被设置的情况下，如果检测到运动中的工件9的前端(图3B中的工件9的右手侧的一端)则可以估计工件9的位置。因此，提取区域201的宽度可以被减小为允许其正确地检测工件9的前端的值。这使得可以减少如下像素的数目，这些像素的像素数据将被从提取区域201中输出，并且可以降低对实现移动物体检测单元5的功能的软件施加的处理负担。另外，可以以高传输速率传输提取区域201的像素数据，并且因而可以将移动物体检测单元5的检测周期设置为短周期，这使得移动物体检测单元5可以精确地检测工件9的位置。
[0072]在使用CCD传感器的多数情况下，允许仅以水平线(行)为单位来选择像素并且因而以水平线为单位来执行像素的提取。另一方面，当使用CMOS传感器时，通常允许提取任意区域尺寸的像素。因此，允许将提取区域201设置为使得提取区域201不包括在检测工件9到达预定图像捕捉位置之前的预备检测位置时非必需的区域。在图3C中例示出提取区域201的这种设置的示例。
[0073]在图3C中示出的示例中，提取区域201的宽度(如在图3A至图3C中的垂直方向上定义的)被设置为等于图3B中的宽度，但是提取区域201的水平范围被设置为仅覆盖图像传感区域200的一侧的这样的区域，工件9在由箭头30a表示的方向上从该区域进入图像传感区域200。在图3A至图3C中，工件9被绘制为位于图像传感区域200的中央。此位置例如是如下图像捕捉位置，在该图像捕捉位置处工件9的图像被捕捉并被发送到图像处理装置6。在图3C中示出的示例中，提取区域201的水平长度被设置为当工件9位于图像传感区域200的中央的图像捕捉位置处时覆盖工件9的几乎整个图像，但是提取区域201不包括工件9右边的图像传感区域200中的工件离开区域。
[0074]如上面参考图3C中示出的示例描述的，像素选择单元3能够设置提取区域201以使得位于图像捕捉位置前面的(图3C中的右手侧的区域中的)像素的像素数据不被输出，这是因为位于这一区域中的像素的数据在检测工件9到达图像捕捉位置时不是必需的。如在图3C中示出的提取区域201的设置使得与在图3B中示出的设置相比可以进一步改善将被传送的像素数据的量和传送速率，并且因而可以改善由移动物体检测单元5执行的检测操作中的检测周期和检测精度。
[0075]接下来，下面描述例如通过由CPU 21执行软件来实现的由移动物体检测单元5执行的处理的示例。
[0076]图4A至图4C例示出在工件运输期间分别在时间tl、tm和tn处从图像传感器2中的像素输出的水平方向上的列像素亮度。在这些图中，由图像传感器2捕捉的图像的模拟图像信号被沿着提取区域(201)中的水平的五个线(a至e)输出。在图4A至图4C中的每一个的左手侧，由阴影表示像素亮度，并且在右手侧的示图中表示相对应的亮度。注意到图像传感器2进行操作以使得在水平方向上逐线执行扫描，并且图像传感器2被定位为使得水平扫描方向平行于工件9被运输的方向。图像传感器2输出由每一个水平线(行)(a至e)上的像素坐标定义的每一个像素位置处的亮度值。
[0077]在图4A至图4C中，图像数据处于时间tl〈tm〈tn的次序，其中tl在时间上较早并且tn在时间上较晚。图4A中的图像数据处于当工件9到达视角的一端时的时间tl，而图4C中的图像数据处于当工件9到达接近图像捕捉位置的特定位置时的时间tn。图4B中的图像数据处于时间tl和时间tn之间的时间tm。
[0078]来自图像传感器2的图像数据或者输出信息根据本实施例以上述方式被获得，并且被移动物体检测单元5的软件分析以通过适当方法检测到工件9到达预定图像捕捉位置之前的预备检测位置。下面描述检测方法的一些示例。
[0079]注意，下面描述的检测处理是对提取区域201的图像数据执行的。在提取区域201的图像数据中，例如通过图像存储器22的指示行(线)和列的二维地址来分别标识像素的位置(坐标)。
[0080]第一检测方法
[0081]1-1)逐线地检测发生大的亮度变化之处的位置以检测移动物体有可能位于的位置。
[0082]1-2)从这些位置中，检测到工件行进方向上的线上的最前边缘(前缘)的位置(列位置)，并且将此边缘位置与位于最佳位置的工件9的预定边缘位置相比较，在该最佳位置处工件9将经受测量。
[0083]1-3)在比较指示差异小于预定值的情况下，确定工件9位于最佳位置。
[0084]第二检测方法
[0085]2-1)逐线地检测发生大的亮度变化之处的位置以检测移动物体有可能位于的位置。
[0086]2-2)从这些位置中，检测到工件行进方向上的线上的最前边缘(前缘)的位置(列位置)以及工件行进方向上的最延迟的线上的相反边缘(后缘)的位置(列位置)，并且计算它们之间的中点。
[0087]2-3)将中点的位置与位于最佳位置的工件9的预定中心位置相比较，在此最佳位置处工件9将经受测量。
[0088]2-4)在比较指示差异小于预定值的情况下，确定工件9位于最佳位置。
[0089]第三检测方法
[0090]3-1)代替第二检测方法中的检测前缘和后缘之间的中点，检测具有前缘和后缘之间的最大缘到缘距离的线，并且确定此线的重心位置。可以根据图像数据的亮度分布来确定水平线的重心位置。更具体地说，例如，可以如下使用第η列处的像素亮度及其列位置来计算重心位置:
[0091 ] Σ ((第n列处的像素亮度)X (列位置η)) / Σ (第η列处的像素亮度)(I)
[0092]3-2)将上面计算出的重心与位于最佳位置的工件9的预定重心相比较，在该最佳位置处工件9将经受测量。
[0093]3-3)在比较指示差异小于预定值的情况下，确定工件9位于最佳位置。
[0094]在通过移动物体检测单元5检测工件9的位置时，为了增大检测工件位置的频率以防止漏掉正确位置，使计算量最小化以使得在每一个图像获取间隔内完成计算可以是有利的。根据此观点，上面描述的三种检测方法需要相对小的计算量。此外，可以与图像传感器2的水平扫描同步地逐步执行计算。因此，上面描述的三种检测方法适合用于检测工件9到达预定图像捕捉位置之前的预备检测位置。可以在其中从图像传感器2输出图像数据的每一个周期期间基本上实时地检测最佳位置。
[0095]注意，移动物体检测单元5使用的上述检测方法仅仅是示例，并且由移动物体检测单元5检测工件9的图像捕捉位置的每一种方法的细节可以被适当地改变。例如，在用来执行移动物体检测单元5的软件的CPU 21具有高图像处理能力的情况下，可以实时地执行诸如二维图案匹配之类的更高级的相关计算以检测工件的特定形状。
[0096]根据上面描述的本实施例，可以在不使用诸如外部传感器等附加元件的情况下检测诸如工件9之类的移动物体的位置，然后通过图像拾取装置I在最佳位置处捕捉工件9的图像并且最后将捕捉的图像数据发送到图像处理装置6。具体而言，在本实施例中，可以经由相同的成像光学系统20和相同的图像传感器2来捕捉移动物体或者工件9的图像以供在检测工件9时使用并且供在图像处理中使用。这使得可以极精确地确定工件9的图像捕捉位置。
[0097]其中必需精确地确定图像捕捉位置的应用的具体示例是如下检查/测量，其中利用从照明装置(未示出)发出的点照明光来照亮工件9并且使用正反射通过图像拾取装置I来捕捉工件9的图像。图5Α和图5Β例示出这样一种方式，其中利用点照明光来照亮工件9并且由图1中示出的图像拾取装置I使用正反射来捕捉工件9的图像。在图5Α和5Β中的每一个中，由圆形虚线表示的区域是正反射图像传感区域R，该区域是用圆形点照明光照亮的并且在该区域中允许通过图像拾取装置I来捕捉正反射分量的图像。圆形正反射图像传感区域R被设置在成像光学系统20前面的特定图像捕捉位置处以使得正反射图像传感区域R的中心基本上在成像光学系统20的光轴上。另外，在图5Α和图5Β中的每一个中，非阴影线区域表示用点照明光照亮的工件9，并且周围的阴影线区域是其中没有用点照明光照亮的物体的区域。在捕捉到的图像中，周围的阴影线区域是暗的。
[0098]在此图像捕捉方法中，如果图像捕捉位置即使少量偏离正反射区域，工件9的图像的一部分也变暗，并且捕捉整个工件9的图像变为不可能，如在图5Β中示出。相比之下，在图5Α中，工件9位于正反射图像传感区域R内的特定图像捕捉位置处。这使得图像传感器2可以捕捉包括工件9的细节的工件9的图像，并且捕捉到的图像数据被发送到图像处理装置6。然而，在图像是在诸如在图5Β中示出的条件的条件下捕捉的情况下，尽管工件9的整个图像都在视角内，但是工件9的细节包括略微偏离正反射图像传感区域R的一部分。这可能使得图像处理装置6难以执行精确的检查/测量。
[0099]本实施例使得在其中以在图3Α至图3C中示出的方式之一设置提取区域201的任何情况下都可以精确地检测到工件9到达图像捕捉位置之前的预备检测位置。因此，即使在执行正反射图像捕捉的情况下，也确保防止图像在如图5B中示出的条件的条件下被捕捉。
[0100]在一些情况下，取决于图像拾取装置I的硬件配置被如何给出，有可能必需要降低如下切换速度，像素选择单元3以该切换速度来切换图像传感器2的像素选择模式。当是这种情况时，提取区域201的尺寸、位置、像素数目和/或类似因素可以被适当地设置以使得增大检测位置时的图像捕捉帧速率成为可能，由此处理上面的情形。
[0101]在一些情况下，在移动物体检测单元5关于工件9到达预定图像捕捉位置之前的预备检测位置的检测中，适当地设置特定位置和图像捕捉位置之间的距离(如例如以像素为单位定义的)可能是重要的。在上面的描述中，假定当移动物体检测单元5检测到工件9到达预定图像捕捉位置之前的预备检测位置时，于是图像传感器2的读取模式立即被切换，并且输出目的地选择单元4对图像数据传输目的地的切换同时被执行。在这种情形下，将被移动物体检测单元5检测到的预备检测位置可以被适当地设置以使得预备检测位置位于预定图像捕捉位置之前的特定距离，其中该特定距离(如例如以像素为单位定义的)是工件9 (工件9的图像)在其中读取模式被切换并且图像数据传输目的地被切换的时段期间行进的距离。在此设置中，例如，预定图像捕捉位置之前的特定距离可以包括将在切换读取模式和切换图像数据传输目的地时由于某种原因的进一步延迟的可能性考虑在内的余量。相反地，在电路延迟等足够小的情况下，预定图像捕捉位置之前的特定距离可以被设置为零，并且移动物体检测单元5可以直接检测图像捕捉位置。如上所述，可以根据电路延迟时间和/或系统的其他因素或规格来适当地设置预定图像捕捉位置和将被移动物体检测单元5检测到的预备检测位置之间的特定距离。另一方面，在其中如在检查/测量中一样必需要更加精确地控制图像捕捉位置的应用中，预备检测位置和预定图像捕捉位置之间的距离除了工件9 (工件9的图像)在其中读取模式被切换并且图像数据传输目的地被切换的时段期间行进的距离之外还可以包括其他余量。另外，在这种其中必需要精确地控制图像捕捉位置的应用中，其中移动物体被检测到的提取区域201可以被设置为具有余量以覆盖预定图像捕捉位置之前的足够长的接近路径。可以取决于工件9的行进速度和/或电路切换读取模式和图像数据传输目的地所需的切换时间来执行对将被移动物体检测单元5检测到的预备检测位置的设置或者对提取区域201的覆盖范围的设置。
[0102]在图2中示出的控制过程中，在仅一个类型的工件被处理的情况下，代替在图2中从过程S6返回到过程SI，流程可以被直接返回到过程S3。通过如上所述改变控制过程的模式，例如在仅一个类型的工件被以高速运输的情况下，在其中处理等待工件9到达的状态下切换像素选择模式变得不必要，因而可以执行高速序列，这带来吞吐量的提高。
[0103]根据本实施例，如上所述，在不需要除图像拾取装置之外的附加测量装置的情况下，可以在最佳图像捕捉位置处自动地捕捉工件的图像和以高速并且以高可靠性将由此得到的图像数据发送到图像处理装置，而不停止工件或者物体的运动。另外，与其中经由图像处理装置的图像处理来执行对工件位置的检测的传统技术不同，根据本实施例的对工件位置的检测是通过使用小的提取区域201并且控制图像拾取装置I的图像传感器2的图像数据输出操作来实现的。因而本实施例提供以下有利效果:可以实现图像处理、基于图像处理来控制工件的姿势(相位)并且控制工件的运输、检查作为产品的工件等的处理效率的极大提尚。
[0104]第二实施例
[0105]图6例示出根据第二实施例的图像捕捉控制过程。在此实施例中，执行图像相减处理并且基于生成的差异图像来执行移动物体检测处理。
[0106]图6中示出的处理流程例示出代替在图2中示出的流程图的前一半的处理。为了执行根据本实施例的图像捕捉控制过程，类似于在图1中示出的根据第一实施例的硬件配置的硬件配置可以被使用。因此，在下文中，与根据第一实施例的那些类似的元件或者类似的功能块用类似的标号指代。如在第一实施例中一样，可以例如以可由图像拾取装置I的CPU 21执行的控制程序的形式来描述在图6中示出的控制过程并且可以将其存储在ROM23等中。
[0107]在步骤Sll中，CPU 21判断是否已经从顺序控制装置7接收到工件运输开始信号。在工件的运输尚未开始的情况下，处理流程仍在步骤Sll并且等待工件的传送开始。
[0108]在步骤S12中，紧接在工件的运输开始之后，在其中工件9 (和握持工件9的机械臂8)尚未在图像拾取装置I的视角中的状态下捕捉图像，并且得到的图像数据作为参考图像被存储在图像存储器22的特定存储器空间中。在这种状态下，由像素选择单元3选择的图像传感器2的输出区域可以例如由在图3A至图3C中示出的提取区域201中的一个来给出。在这种状态下，提取区域201的图像数据作为参考图像被存储在图像存储器22中。
[0109]在步骤S12中的上述处理中，图像传感器2的整个图像传感区域200的图像数据可以作为参考图像而被存储在图像存储器22中，或者只有具有特定尺寸并且位于特定位置的区域的将被发送到图像处理装置6的图像数据可以被存储。然而，在下面描述的步骤S13至S15中的由移动物体检测单元5执行的移动物体检测处理中，只有与第一实施例一样的提取区域201的图像数据是必需的，因而仅将提取区域201的图像数据存储作为参考图像是足够的。
[0110]图7A至图7D例示出根据本实施例的由图像传感器2捕捉的图像的示例。在图7A至图7D中，为了易于理解，提取区域201未被有意示出，但是图像传感器2的整个图像传感区域200的图像被示出。
[0111]图7A例示出在其中工件9尚未到达的状态下捕捉的、在步骤Sll中将被存储在图像存储器22中的参考图像的示例。在此示例中，捕捉到的图像包括运输空间30的背景图像(由圆形、矩形、三角形等示意性地表示)。当工件9进入图像传感器2的视角时，工件9的图像如在图7B中示出那样被捕捉。然而，此图像包括可能造成在移动物体检测中发生识别误差的不希望的背景，这可能引起对工件9的位置的检测中的误差。
[0112]为了处理上面的情形，例如通过逐像素地在相对应的像素之间使像素值(例如，亮度值)相减来执行图像相减处理，以获得图7A中示出的参考图像与图7B中示出的包括传入工件9的图像之间的差异图像。作为图像相减处理的结果，可以获得诸如在图7D中示出的仅包括仅在图7B中的图像中存在的工件9的图像信息的图像之类的差异图像。注意，背景在图7A和图7B中的两个图像中都存在，并且如果图像是在其中工件9尚未进入图像传感器2的视角的状态下捕捉的，则由此得到的图像实质上与图7A中的那个相同。因此，如果此图像和图7A中的图像之间的差异被计算，则结果是如在图7C中示出的其中背景的图像信息被完全删去的图像。通过在移动物体检测处理之前执行上述图像相减处理，可以除去可能干扰移动物体检测处理的背景等的图像信息。因而可以降低移动物体检测中的错误识别的概率，这使得可以更加精确地检测工件9到达图像捕捉位置之前的预备检测位置。
[0113]上面简要描述的图像相减处理是在图6中的步骤S13中执行的。在步骤S13中，首先，在其中由像素选择单元3设置的提取区域201被维持与参考图像相同的状态下，由图像传感器2新捕捉的图像的图像数据被读出。接下来，通过计算图像存储器22中存储的具有与提取区域201相对应的尺寸的参考图像和从图像传感器2中新读取的同一提取区域201的图像数据之间的差异来生成差异图像。更具体地说，可以通过针对所有必要像素逐像素地计算参考图像的像素地址处的像素值(例如，亮度值)和从图像传感器2中新读出的并存储在图像存储器22中的图像数据的相对应像素地址处的像素值之间的差异来执行差异图像的生成。上面描述的图像相减处理是简单的减法运算，因而可以以高速和低成本来执行图像相减处理。所生成的差异图像被存储在图像存储器22中预先为差异图像分配的特定存储空间中。
[0114]接下来，在步骤S14中，移动物体检测单元5基于在步骤S13中生成的差异图像来执行移动物体检测处理。移动物体检测处理可以以与上面描述的第一实施例类似的方式而被执行。差异图像是针对由像素选择单元3设置的提取区域201定义的尺寸来生成的，因而可以以如在第一实施例中描述的极高速度来执行处理。
[0115]接下来，与图2中的步骤S4相对应的步骤S15被执行以判断在步骤S14中检测到的工件9是否位于预定图像捕捉位置。在工件9的当前位置和预定图像捕捉位置之间的差异大于预定值的情况下，处理流程返回到步骤S13。在步骤S13中，从图像传感器2中新获取提取区域201的图像数据并且使用此新获取的图像数据来生成差异图像。
[0116]另一方面，在工件9的当前位置和预定图像捕捉位置之间的差异等于或者小于预定值的情况下，在步骤S15中确定工件9位于最佳位置。在这种情况下，处理流程继续进行到图2中的步骤S5。在步骤S5中，如在第一实施例中描述，图像传感器2的输出模式被切换为如下模式，在该模式中从与在图像处理装置6执行的图像处理中必需的特定图像尺寸相对应的像素区域中输出像素数据。另外，输出目的地选择单元4的接口电路25被控制为使得图像传感器2的输出的目的地被切换为图像处理装置6。接下来，在图2中的步骤S6中，与图像处理中必需的特定图像尺寸相对应的像素区域的图像数据被发送到图像处理装置6。
[0117]如上所述，即使在由像素选择单元3设置的提取区域201包括不希望的结构或者背景的图像的情况下，也可以在移动物体检测处理被执行之前除去可能干扰移动物体检测的这种噪声信息。在只有根据第一实施例的控制操作被执行的情况下，有必要调节视场深度以使得图像仅被聚焦在工件上并且有必要调节照明以使得背景在图像中不被捕捉。然而，这种考虑在根据第二实施例执行图像相减处理的情况下不是必要的，并且可以以高精度和高可靠性来检测工件9的位置。另外，工件9的图像在最佳位置处被图像拾取装置I捕捉，并且捕捉到的图像数据被发送到图像处理装置6。
[0118]在上面的描述中，假定在步骤S12中，紧接在工件9的运输开始之后捕捉的图像被用作参考图像。通过每当工件9的运输开始时获取参考图像，可以使照明条件、机构布局等方面的依赖时间的变化和/或环境变化的影响最小化，这使得可以除去由工件9后面的背景造成的干扰信息。然而，在依赖时间的变化和/或环境变化的影响在整个装置的照明条件、机构布局等方面是小的时，步骤S12中的参考图像的获取可以与实际生产操作分离地在离线模式下执行。当包括处理工件9在内的操作在生产线中被执行时，预先捕捉的参考图像可以被连续地使用。在这种情况下，步骤S12中的参考图像的获取在诸如当在生产线的主电源被打开之后执行初始化时之类的特定情形下可以被再次执行。
[0119]其中在离线状态下而非在生产线被操作的状态下获取参考图像的上述方法在如下环境中可以被有利地使用，在此环境中工件9或者诸如机械臂8之类的运输单元在在线状态下不可避免地被包括在图像拾取装置I的视角的一部分中，这可能使得难以在在线状态下获取参考图像。然而，通过在离线状态下获取参考图像，可以确定地获取在本实施例中必需的参考图像，这使得可以以更高的精度和更高的可靠性来检测工件9的位置。
[0120]第三实施例
[0121]下面描述的第三实施例公开了这样的技术，在该技术中将被发送到图像处理装置6的图像区域是经由如下处理或者使用该处理的结果来确定的，该处理是由移动对象检测单元5执行以在由像素选择单元3指定提取区域201的状态下确定移动物体的处理。
[0122]同样在此第三实施例中，与第一和第二实施例一样，类似于图1中示出的那个的硬件配置可以被使用。当图像传感器2属于诸如CMOS传感器之类的具有指定如下输出模式的能力的类型时本实施例尤其有用，在此输出模式下针对仅包括特定行和列的部分图像区域输出图像数据。
[0123]注意，移动对象检测单元5在由像素选择单元3指定提取区域201的状态下检测移动物体的处理类似于根据上面参考图2描述的第一实施例或者上面参考图6描述的第二实施例的处理。
[0124]根据本实施例的确定将被发送到图像处理装置6的图像区域的步骤对应于图2中的步骤S5。在此步骤中，在第一和第二实施例中，当图像数据被发送到图像处理装置6时，像素选择单元3将图像区域切换为对应于预定输出格式的传送区域，并且图像数据以此格式被输出到图像处理装置6。相比之下，在本实施例中，将被发送到图像处理装置6的图像区域是经由关于移动对象检测单元5在由像素选择单元3指定提取区域201的状态下对移动物体的检测的处理或者该处理的结果来确定的。
[0125]参考图8和别处的其他附图，下面描述根据本实施例的确定被发送到图像处理装置6的图像区域的方法。
[0126]图8例示出在使用根据第一或第二实施例的方法检测到工件9到达预定图像捕捉位置之前的预备检测位置时的时间点(即，在紧接像素选择单元3切换图像读出区域之前的时间点)形成在图像传感器2上的工件9的图像。在图8中，F表示工件9的前端的位置，即工件9的如在行进方向上见到的最右点的列位置，B表示工件9的后端处的最左点，并且K表示图像上的在上面检测到前端点F和后端点B的行(线)的位置。注意，这些位置F、B和K可以例如由图像存储器22上的坐标来定义，并且可以以行(线)方向和列方向上的像素为单位来表达。
[0127]在本示例中，假定用斜线阴影化的提取区域201被像素选择单元3指定为从中读出供在检测移动物体时使用的图像数据的图像传感器2的读出区域。在本实施例中，将被提取并发送到图像处理装置6的图像区域是使用上面描述的提取区域设定来确定的。
[0128]图9例示出定义将被提取并发送到图像处理装置6的图像区域的传送区域204的示例。图9中示出的示例指示在移动物体检测处理中检测到的前列位置(F)和后列位置(B)被使用的最简单方式。就是说，像素选择单元3将传送区域204定义为从列B到列F+FF的区域从而指定将从图像传感器2中输出的图像区域并且将此区域(在图9中用斜线阴影化)中的图像数据传送到图像处理装置6。
[0129]在图9中，FF表示考虑到工件9的移动而被添加到列地址F的余量。更具体地说，例如，余量FF被确定为具有对应于如下宽度的值，工件9 (虚线)预计在像素选择单元3切换输出区域所用的时间段St中移动跨越该宽度。余量FF可以基于工件9的预测速度而被预先确定。可替代地，可以例如基于在对图像传感器2的存取中使用的时钟信号来测量工件9的实际移动速度。更具体地说，例如，可以根据在提取区域201中检测移动物体的特定定时检测到的工件9的前端的位置、在紧接着的前一定时检测到的前端的位置以及基于时钟信号的时间信息来计算工件9的移动速度。
[0130]通过如上所述基于工件速度和像素选择单元3的切换输出区域所需的时间δ t将传送区域204设置为在与进入图像传感区域的工件9的前端相对应的一侧具有像素宽度FF的余量，能够在传送区域204中确定地抓住工件9。更具体地说，当F’和B’分别表示在检测到工件9的前端(F)的列位置和后端(B)的列位置之后St秒在提取中检测到的前列位置和后列位置时，那么
[0131]F，〈F+FF 并且 B’>B (2)
[0132]F和B指示基于在移动物体检测中检测到的工件9的前端和后端的检测信息而获取的像素位置，因而传送区域204大体上仅包括在如图10所示的线宽度的方向上的工件9的图像信息。通过仅将由像素选择单元3指定的此传送区域204中的图像数据从图像传感器2发送到图像处理装置6，可以实现图像数据的传输效率的极大提高。
[0133]通过以上述方式控制传输操作，可以向图像处理装置6发送仅包括在如图10 (或者图9)所示的从列B到列F+FF的宽度内在线方向上提取的工件9的图像数据，从而提供在分析工件9的图像时必需的信息。因而即使在所使用的图像传感器2在切换输出区域或者分辨率时或者在输出像素数据时慢的情况下，也可以高效地提取图像并将其发送到图像处理装置6。另一方面，在所使用的图像传感器2能够相对于工件9的移动速度以足够高的速度切换提取区域或者分辨率的情况下，可以将上述余量宽度FF设置为小的值。在高性能图像传感器被使用的情况下或者在工件9的移动速度相对低的情况下，或者取决于其他因素，可以将余量宽度FF设置为O或者一个像素。
[0134]图1lA和图1lB例示出如下示例，在这些示例中定义将被发送到图像处理装置6的图像区域的传送区域204被设置为使得对行方向施加进一步的限制从而进一步减小其尺寸。
[0135]在图1lA中，W(W/2+W/2)表示如下图像上的线(行)的数目，该图像被确定为使得工件9的图像的高度被包括在此高度W中。注意，W(W/2+W/2)被设置为等于工件9的图像的最大可能高度加上适当确定的余量。基于工件9的实际尺寸、成像光学系统20的放大倍率等来估计工件9的图像的最大可能高度，并且考虑到由尺寸、放大倍率等的多样和捕捉图像时的误差引起的确定性来确定余量。在工件9是圆柱形外形并且已知如在图1lA中示出在其图像中高度和宽度相等的具体情况下，可以基于在移动物体检测中检测到的位置F和B之间的距离来确定W (或者W/2)的值。定义将被发送的行(线)的数目的值W可以通过由像素选择单元3指定传送区域以使得当在移动物体检测中检测到的工件的前端的位置由坐标(F，K)来表示时在相对于线K的从线K-W/2到线K+W/2的垂直范围内提取图像来指定。
[0136]位置F和B是以如上面参考图8和9描述的类似方式使用在移动物体检测中检测到的工件9的前端和后端的位置信息来确定的。通过如在图1lA中示出使用像素选择单元3设置传送区域204并且将传送区域204中的图像数据从图像传感器2发送到图像处理装置6，可以与在图9和10中示出的示例相比进一步提高图像处理装置6的图像数据的传输效率。
[0137]在工件在垂直方向上的形状是不对称的情况下或者在预先知道工件的图像是在工件在图像中的相位范围内旋转的状态下捕捉的情况下，传送区域204的高度可以如在图1lB中示出那样而被确定。在图1lB中，Wl表示从所检测到的工件9的前端(具有列位置F)所位于的线到工件9的图像的估计可能最上边缘所位于的线的垂直范围内包括的行(线)的数目，而W2表示从所检测到的工件9的后端(具有列位置B)所位于的线到工件9的图像的估计可能最下边缘所位于的线的垂直范围内包括的行(线)的数目。Wl和W2的值可以基于工件9的实际尺寸、成像光学系统20的放大倍率、工件9的捕捉图像中的工件9的相位等并且考虑到由以上因素的多样和捕捉图像时的误差引起的确定性来确定。在Wl和W2的值被确定之后，与在上面检测到工件9的前端(具有列位置F)的线上隔Wl的上线被确定，并且与在上面检测到工件9的后端(具有列位置B)的线下隔W2的下线被确定。然后通过所确定的从上线到下线的范围来定义传送区域204的高度。
[0138]位置F和B可以如上所述使用在移动物体检测中检测到的工件9的前端和后端的位置信息来确定。如上所述，使用在工件9在移动物体检测中到达图像捕捉位置之前的预备检测位置时的时间点的工件9的位置信息，像素选择单元3设置如在图1lB中所示的传送区域204。此传送区域204中的图像数据然后被从图像传感器2发送到图像处理装置6。从而，可以实现到图像处理装置6的传输的效率的极大提高。
[0139]在图1lB中在图像被捕捉时的时间点处工件9的实际相位(姿势)不是已知的情况下，线的数目Wl和W2可以基于工件9的相位(姿势)的估计来确定。可以例如基于在上面分别检测到工件9的前端(F)和后端(B)的线之间的距离(线的数目)来估计工件9的相位(姿势)。值Wl和W2可以被预先粗略确定。可以根据在上面分别检测到工件9的前端(F)和后端(B)的线之间的距离(线的数目)来确定乘数，并且粗略确定的值Wl和W2可以被乘以确定的乘数以进行调节。
[0140]在所使用的图像传感器2没有在不同列之间的范围内提取图像的能力，而是与许多CCD传感器一样仅对线之间的范围允许提取的情况下，像素选择单元3可以设置如在图12中所示的传送区域204。在图12中，(用斜线阴影化的)传送区域204被设置为输出在具有等于上面参考图1lA描述的与工件9的高度相对应的W的高度的垂直范围(在其上限与在上面检测到工件9的前端和后端的线上隔W/2并且其下限与在上面检测到工件9的前端和后端的线下隔W/2的范围内)内的线。因而同样在所使用的图像传感器2的能力允许其仅在线之间的垂直范围内指定输出区域的情况下，通过如上所述执行对传送区域204的输出区域的设置可以提高到图像处理装置6的传输的效率。
[0141]根据本实施例，如上所述，使用当在移动物体检测中检测到工件9到达图像捕捉位置之前的预备检测位置时的时间点的工件9的位置信息，像素选择单元3设置指示将被发送到图像处理装置6的图像数据的区域的传送区域204。通过将此传送区域204中的图像数据从图像传感器2发送到图像处理装置6，可以实现到图像处理装置6的传输的效率的极大提高。根据本实施例，可以减少发送到图像处理装置6的图像数据的量，因而即使在所使用的接口电路25不具有高通信性能的情况下，也可以实现图像处理的小的总体延迟。因此，本实施例提供了如下有利效果，即可以使用图像处理装置6的图像处理以高速并且以高可靠性来控制姿势或者检查工件9。
[0142]上面已经参考三个实施例描述本发明。注意，根据本发明的对图像捕捉处理的控制可以有利地应用于如下生产系统，在该生产系统中将机器人装置等用作运输单元，在移动诸如工件之类的物体的同时捕捉物体的图像，并且基于对捕捉到的图像的图像处理来控制生产处理。注意，根据这些实施例中的任一个的对图像捕捉处理的控制可以通过由图像拾取装置的CPU 21执行图像捕捉控制程序的软件来执行，并且实现根据本发明的控制功能的程序如上所述可以被预先存储在例如ROM 23中。用于执行本发明的图像捕捉控制程序可以被存储在任何类型的计算机可读存储介质中。代替将根据本发明的程序预先存储在ROM 23中，程序可以经由计算机可读存储介质而被提供到图像拾取装置I。供在提供程序时使用的计算机可读存储介质的示例包括各种闪存设备、可移除的HDD或者SSD、光盘或者其他类型的外部存储设备。在任何情况下，从计算机可读存储介质中读取的图像捕捉控制程序实现在上面描述的实施例中公开的功能，因而程序和上面存储有程序的存储介质落入本发明的范围。
[0143]在上面描述的实施例中，作为示例而非限制性地假定机械臂被用作工件运输单元。注意，还在诸如带式输送机等的其他类型的运输单元被用作工件运输单元的情况下，可以如上所述以类似方式实现硬件配置和执行图像捕捉控制。
[0144]根据本实施例，如上所述，可以在最佳图像捕捉位置处以高速并且以高可靠性自动地捕捉移动物体的图像，而不停止移动物体的运动并且不需要除图像拾取装置之外的附加测量装置。基于提取区域中的像素值来检测捕捉移动物体的图像处的图像捕捉位置，其中提取区域具有比输出格式的图像尺寸或者像素密度小的图像尺寸或者像素密度，并且其中提取区域位于图像传感器的图像传感区域的如下一侧，移动物体的图像将从这一侧接近图像传感区域，从而使得可以仅使用必要的像素以高速检测移动物体的位置。
[0145]尽管已经参考示例性实施例描述了本发明，但是将会明白本发明不限于所公开的示例性实施例。以下权利要求的范围将被赋予最广的解释以包括所有这种修改及等同的结构和功能。
【主权项】
1.一种图像捕捉控制方法，用于使用图像传感器来捕捉移动物体的图像并且以具有预定图像尺寸和像素密度的输出格式从图像传感器中输出图像数据，其特征在于，该方法包括: 由控制装置将图像传感器的输出模式设置为第一输出模式，在第一输出模式中提取区域的图像数据被输出，其中该提取区域具有比所述输出格式中的图像尺寸或者像素密度小的图像尺寸或者像素密度，并且其中该提取区域位于图像传感器的图像传感区域的如下一侧，移动物体的图像将从这一侧接近图像传感区域； 由控制装置执行移动物体检测处理以基于在图像传感器的输出模式被设置在第一输出模式的状态下输出的图像数据的像素值，检测移动物体的位置是否已经到达预定图像捕捉位置之前的预备检测位置；以及 在移动物体检测处理中检测到其图像正被捕捉的移动物体的位置已经到达图像捕捉位置之前的预备检测位置的情况下，由控制装置将图像传感器的输出模式设置为第二输出模式，在第二输出模式中由图像传感器捕捉到的图像数据被以所述输出格式输出， 其中由图像传感器在图像捕捉位置捕捉到的移动物体的图像数据在第二输出模式下被从图像传感器中输出。2.根据权利要求1所述的图像捕捉控制方法，其中，在移动物体检测处理中，控制装置基于提取区域中的行方向上的图像数据的亮度值的变化，检测图像捕捉位置之前的预备检测位置处的移动物体的到达。3.根据权利要求1所述的图像捕捉控制方法，其中，在移动物体检测处理中，控制装置基于经由提取区域中的图像数据的亮度分布而检测到的重心位置，检测图像捕捉位置之前的预备检测位置处的移动物体的到达。4.根据权利要求1所述的图像捕捉控制方法，其中， 控制装置生成在参考图像的图像数据和在图像传感器的输出模式被设置在第一输出模式的状态下从图像传感器中输出的提取区域中的图像数据之间的差异图像，其中参考图像是通过在图像传感器的输出模式被设置在第一输出模式的状态下、在移动物体的图像进入图像传感区域之前捕捉图像传感区域中的图像而被预先获取的，并且 在移动物体检测处理中，控制装置基于所述差异图像的像素值，执行关于提取区域中其图像正被捕捉的移动物体的位置是否已经到达预定图像捕捉位置的检测。5.根据权利要求1所述的图像捕捉控制方法，其中，当在移动物体检测处理中控制装置检测到提取区域中其图像正被捕捉的移动物体的位置已经到达图像捕捉位置时，控制装置基于由图像传感器在提取区域中捕捉的移动物体的图像数据来确定所述输出格式，在图像捕捉位置处捕捉的移动物体的图像数据将被以所述输出格式输出。6.一种图像捕捉控制程序，配置为使控制装置执行根据权利要求1所述的图像捕捉控制方法。7.一种计算机可读存储介质，存储根据权利要求6所述的图像捕捉控制程序。8.一种生产方法，包括: 使用根据权利要求1所述的图像捕捉控制方法来捕捉作为移动物体运输的工件的图像；以及 基于对在第二输出模式下从图像传感器中输出的图像数据的图像处理，对工件执行生产处理或者检查处理。9.一种图像拾取装置，其特征在于，包括: 控制装置，配置为控制使用图像传感器来捕捉移动物体的图像和以具有预定图像尺寸和像素密度的输出格式从图像传感器中输出图像数据的处理， 该控制装置被配置为 将图像传感器的输出模式设置为第一输出模式，在第一输出模式中提取区域的图像数据被输出，其中该提取区域具有比所述输出格式中的图像尺寸或者像素密度小的图像尺寸或者像素密度，并且其中该提取区域位于图像传感器的图像传感区域的如下一侧，移动物体的图像将从这一侧接近图像传感区域； 基于在图像传感器的输出模式被设置在第一输出模式的状态下输出的图像数据的像素值，检测移动物体的位置是否已经到达预定图像捕捉位置之前的预备检测位置；以及在检测到移动物体的位置已经到达图像捕捉位置之前的预备检测位置的情况下，将图像传感器的输出模式设置为第二输出模式，在第二输出模式中由图像传感器捕捉到的图像数据被以所述输出格式输出， 其中由图像传感器在图像捕捉位置捕捉到的移动物体的图像的图像数据在第二输出模式下被从图像传感器中输出。10.一种图像捕捉控制装置，用于使用图像传感器来捕捉移动物体的图像并且以具有预定图像尺寸和像素密度的输出格式从图像传感器中输出图像数据，其特征在于，该装置包括: 用于将图像传感器的输出模式设置为第一输出模式的装置，在第一输出模式中提取区域的图像数据被输出，其中该提取区域具有比所述输出格式中的图像尺寸或者像素密度小的图像尺寸或者像素密度，并且其中该提取区域位于图像传感器的图像传感区域的如下一侧，移动物体的图像将从这一侧接近图像传感区域； 用于执行移动物体检测处理以基于在图像传感器的输出模式被设置在第一输出模式的状态下输出的图像数据的像素值检测移动物体的位置是否已经到达预定图像捕捉位置之前的预备检测位置的装置；以及 用于在移动物体检测处理中检测到其图像正被捕捉的移动物体的位置已经到达图像捕捉位置之前的预备检测位置的情况下将图像传感器的输出模式设置为第二输出模式的装置，在第二输出模式中由图像传感器捕捉到的图像数据被以所述输出格式输出， 其中由图像传感器在图像捕捉位置捕捉到的移动物体的图像数据在第二输出模式下被从图像传感器中输出。
【文档编号】H04N5/14GK105898131SQ201510232496
【公开日】2016年8月24日
【申请日】2015年5月8日
【发明人】林祯
【申请人】佳能株式会社