图像处理方法和装置系统的制作方法
【专利摘要】本发明提供了图像处理方法和装置系统。利用本发明的图像处理方法，响应于来自外部装置的控制信号，通过使用预定的主摄像参数进行主摄像，对获取的图像数据进行主图像处理，将结果发送到控制装置，并且在所述主图像处理期间，通过使用不同于所述主摄像参数的至少一个副摄像参数进行副摄像。对由所述副摄像获取的图像数据进行副图像处理，并提取结果。如果提取的副图像处理结果良好，则通过将生成处理结果的所述副摄像参数设定为新的主摄像参数来进行更新。
【专利说明】
图像处理方法和装置系统
技术领域
[0001]本发明涉及用于改变照相机的摄像参数并拍摄待检测的图像，并且必要时调节摄像参数的图像处理方法和装置系统。
【背景技术】
[0002]例如，利用众所周知的图像处理方法，确定对象的有无，如果确定存在对象，则拍摄对象的图像，进行图像处理，测量对象的位置和相位，并检验表面状态以找出良品。
[0003]利用这种图像处理方法，首先，为了获得适当的图像处理结果，需要获取具有适当亮度分布、颜色浓度分布、亮度梯度等的图像数据。因此，重要的是调节诸如在拍摄图像时的曝光时间、信号(增益)的放大和孔径大小。即便如此，当外部环境改变时，例如，当照明随时间而劣化时、当室内或室外环境改变时或当光暂时被遮挡时(例如，当因人或装置操作而生成阴影时)，仍无法获取适当的图像数据。在工业生产，例如，在检验具有符合预定标准的形状的对象的情况下，个体的表面的质量、形状或材质可能不同，这可能导致无法获取适当的图像数据。
[0004]在图像处理结果包括缺陷的情况下，用户可能必须停止装置的操作并调节摄像参数。遗憾的是，这降低了装置的运行效率。
[0005]为了克服上述问题，日本特开2009-139239号公报公开了如下技术:计算获取的图像数据在预定区域中的亮度值并确定该值是否落入亮度值的预定范围。如果计算出的亮度值不在亮度值的预定范围内，则改变摄像参数并重复获取图像数据直到获取的图像数据在预定区域中的亮度落入亮度值的预定范围内为止。
[0006]经过这样的调节步骤，针对获取的图像数据，通过利用调节后的亮度值的范围作为新基准，进行预定的图像处理。该技术能够通过以下方式获取针对图像处理是适当的图像数据:即使在装置的操作期间，通过基于图像数据在预定区域中的亮度值来确定摄像参数是否是适当的并直接调节摄像参数。
[0007]然而，利用如日本特开2009-139239号公报中所公开的、用于直接调节摄像参数的这种方法，在摄像参数的调节之后进行图像处理使得能够获得预定的亮度值。因此，在某些情况下，图像处理结果并不好。
[0008]当不适当的图像处理结果的原因是照明不良时，可能无法获取具有适当的亮度分布的对象的图像数据，从而产生不适当的图像处理结果。例如，对象的特性信息(例如，亮度梯度、亮度分布、或颜色浓度分布)的量可能减小;可能以更低的精度测量位置和相位;并且有无对象确定可能失败。
[0009]此外，直接调节可能导致在实际生产现场上使用者的调节不当，这可能导致测量对象所利用的精度降低、次品错误检测为良品、或者良品错误检测为次品。
[0010]本发明是鉴于上述情况而作出的，并且提供了一种图像处理方法和装置系统，在该图像处理方法和装置系统中，装置的操作受被摄体或外部因素的暂时变化的影响较小。
【发明内容】
[0011]本发明提供了一种图像处理方法，所述图像处理方法通过使用能够互相进行通信的控制装置、图像处理装置和摄像装置，对拍摄图像进行图像处理，所述图像处理方法包括:通过使用所述摄像装置，利用预定的主摄像参数拍摄被摄体的图像，来获取主拍摄图像，并且通过使用所述图像处理装置对所述主拍摄图像进行主图像处理;将对所述主拍摄图像进行的所述主图像处理的结果发送到所述控制装置;通过使用所述摄像装置，利用副摄像参数拍摄所述被摄体的图像，来获取副拍摄图像，并且通过使用所述图像处理装置对所述副拍摄图像进行副图像处理；以及将对所述主拍摄图像进行的所述主图像处理的结果与对所述副拍摄图像进行的所述副图像处理的结果进行比较，如果所述副图像处理的结果良好，则通过将所述副摄像参数设定为新的主摄像参数来进行更新，而如果所述副图像处理的结果不良，则抑制更新。
[0012]通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【附图说明】
[0013]图1A是例示在本发明的第一实施例中的图像处理方法应用于分配装置的情况下的摄像参数调节处理的流程的系统图。
[0014]图1B是图1A的控制序列图。
[0015]图2是例示使用根据本发明的第一实施例的图像处理方法的图像处理装置的结构的框图。
[0016]图3是在本发明的第一实施例中调节摄像参数的程序的流程图。
[0017]图4例示了在本发明的第一实施例中调节摄像参数的图像处理装置的操作。
[0018]图5例示了为了在本发明的第一实施例中调节摄像参数的图像处理结果和摄像参数的更新。
[0019]图6是例示当分配装置使用根据本发明的第二实施例的图像处理方法时调节摄像参数的处理流程的控制序列图。
[0020]图7例示了在本发明的第二实施例中调节摄像参数时进行的图像处理装置的操作。
[0021]图8例示了为了在本发明的第二实施例中调节摄像参数的图像处理结果和摄像参数的更新。
【具体实施方式】
[0022]第一实施例
[0023]本发明的实施例是用于通过使用能够相互通信的控制装置、图像处理装置和摄像装置，来对拍摄图像进行图像处理的图像处理方法。以下将参照图1A和图1B具体描述本发明的第一实施例。
[0024]首先，描述如下处理:通过使用主摄像参数对主摄像进行处理、进行主图像处理、并将处理结果(主图像处理结果)发送到外部设备。接下来，描述如下顺次步骤:通过使用副摄像参数，在主图像处理期间进行副摄像，并且在提取副图像处理结果的同时来检查或调节摄像参数。
[0025]摄像参数的示例包括拍摄图像时的曝光时间、信号(增益)的放大和孔径大小。
[0026]在以下描述中给出示例:使用图像处理方法的整个装置系统的结构、操作的目的、图像处理的详细内容、要被控制的装置、处理结果、控制结果等。
[0027]注意，能够根据整个装置系统的目的，对整个装置系统的结构、装置系统的操作、图像处理的详细内容、针对处理要使用的参数、要被控制的装置等进行任意设定。
[0028]例如，也能够使用处理算法和程序来提供根据本实施例的装置系统，该处理算法和程序的参数能够通过用户界面由该装置系统的用户任意地设定。
[0029]图1A例示了使用根据本发明的实施例的图像处理方法的装置系统，该装置系统通过将图像处理装置5与控制装置1、输送装置2等结合而被构造为分配装置。
[0030]控制装置I被构造为能够在输送装置2、机器人臂3和图像处理装置5之间发送/接收信号。控制装置I控制这些装置并且使得预定的操作以被执行(例如拾取和放置)。
[0031 ]操作的详细内容、顺序、定时等作为程序被存储在控制装置I中，或者被包括在由控制应用读取的设定文件中。
[0032]该装置系统(分配装置)通过使用配设的机器人臂3来输送被摄体4并拾取和排列被摄体4。例如，控制装置I以任意预定定时将控制指令连同输送设备2和机器人臂3的操作状态发送到图像处理装置5，以指示图像处理装置5测量图像。即，控制装置I总体上管理组成装置系统的各装置的操作定时、指令等。响应于指令的详细内容，输送装置2、机器人臂3、图像处理装置5等执行预定处理，并以向控制装置I发送控制结果和处理结果的方式来通
?目O
[0033]图像处理装置5连接到摄像装置6、显示装置7等。在接收到来自控制装置I的指令时，图像处理装置5将与摄像指令有关的信号连同预定的摄像参数发送到摄像装置6，摄像装置6拍摄被摄体4的图像。
[0034]将通过拍摄图像获取的图像数据输入到图像处理装置5，并进行图像处理。在完成图像处理时，将结果发送到控制装置I并且必要时将结果显示在显示装置7上。图像处理装置5可以响应于来自控制装置1、输入装置8等的指令，随时接收设定中的变化。
[0035]例如，在本示例中分别构造控制装置I和图像处理装置5，但是也可以将控制装置I和图像处理装置5—体化地构造为一个系统控制装置。用户可酌情采用任何期望的结构以实施本发明。
[0036]图1B是包括上述结构中的一系列控制步骤的控制序列图的示例。
[0037]图1B中例示的控制序列图响应于从控制装置I向图像处理装置5发送的控制指令而开始。
[0038]例如，序列图例示了将控制指令发送到图像处理装置5，图像处理装置5接收到用于图像处理的控制指令、发送并显示处理结果，并进行摄像参数的更新的处理。
[0039]在图中，各个向下箭头代表处理的执行，各个向左(或向右)箭头代表装置之间的通信控制，时间和步骤向下段进行。
[0040]注意，这里由于用于通信的时间比用于其他处理的时间足够短，因此未例示用于通信的时间。首先，例如，在程序中指定的定时11，控制装置I通过使用通信单元将用于图像处理的指令发送给图像处理装置5。例如，在定时51，图像处理装置5接收用于图像处理的指令并读取与指令的详细内容相对应的各种设定文件。
[0041]接下来，在定时52，图像处理装置5将摄像指令连同预定的主摄像参数发送到摄像装置6。在接收到摄像指令时，摄像装置6在定时61开始拍摄图像(进行主摄像)。然后，例如，在摄像结束的定时62，图像处理装置5接收(下载)存储到摄像装置6的内部存储区域中的图像数据。
[0042]在定时53，图像处理装置5接收(下载)图像数据，并且从定时54至定时55，图像处理装置5进行主图像处理。在主图像处理结束时，图像处理装置5以任意定时将处理结果发送到控制装置1(发送时间通常尽可能地短以便不中断整个装置系统的操作)。从控制装置I接收到处理结果的定时12起，控制装置I进行其他随后处理或通过使用处理结果来发送其他控制指令。
[0043]如图1B所示的，根据本发明的实施例的摄像和图像处理方法具有以下特征。
[0044]具体而言，在定时53，图像处理装置5接收(下载)由主摄像获取的图像数据(以下称为主拍摄图像数据)，然后，图像处理装置5将摄像指令连同不同于主摄像参数(从定时61至定时62所使用的)的副摄像参数发送到摄像装置6。例如，在图1B中，在接收到主拍摄图像数据之后，在定时54，图像处理装置5通过使用该图像数据开始主图像处理。并行地，图像处理装置5将上述摄像指令连同不同于主摄像参数的副摄像参数发送到摄像装置6。摄像装置6在定时63开始副摄像并在定时64结束副摄像。
[0045]仅关注摄像装置6，总计进行两次摄像(主摄像和副摄像)，并且获取具有诸如不同曝光时间的不同摄像参数的两种图像数据。
[0046]注意，图像处理装置5应该推迟使整个装置系统的操作延迟的处理。
[0047]因此，如图1B所示，图像处理装置5优先将主图像处理结果发送到控制装置I，并且，例如，在完成主图像处理结果的发送的定时55之后的定时56，图像处理装置5接收(下载)由副摄像获取的图像数据(以下称为副拍摄图像数据)。之后，图像处理装置5对副拍摄图像数据进行实质上与更早(从定时54至定时55)进行的主图像处理相同的图像处理(副图像处理)。
[0048]例如，在完成对副拍摄图像数据的处理的定时57，副图像处理结果可以被输出到例如显示装置7并被显示在显示装置7上(在该定时57，主图像处理结果可以从图像处理装置5被一起发送到显示装置7)。如果输出的副图像处理结果良好，则例如在定时81，图像处理装置5中使用的摄像参数可以通过使用输入装置8而被更新。即，能够通过将副摄像参数设定为新的主摄像参数进行更新来调节摄像参数，并且能够将新的主摄像参数用于接下来及随后主摄像。
[0049]如果未获得良好的图像处理结果，则随后图像处理装置5可以等到来自控制装置I的控制指令，例如，可以检查摄像参数，同时以实质上与接下来及随后的图像处理相同的方式来改变副摄像参数。
[0050]图2例示了能够根据本实施例进行图像处理并调节摄像参数的图像处理装置5的结构的示例。图1A和图2中例示的图像处理装置5包括包含阴极管、液晶面板等以显示图像的显示装置7，以及输入装置8。输入装置8的示例包括用于各种操作输入的装置，例如，键盘、鼠标、触摸屏、输入操作控制器、姿势输入装置等。显示装置7和输入装置8主要构成用户界面。
[0051]图像处理装置5连接到由例如作为用于输入图像数据的单元的数字照相机而组成的摄像装置6。另外，尽管在图1A中未例示，但是必要时也能够另外地提供照明装置10(例如，包括卤素灯、发光二极管等的照明装置)以拍摄图像，并能够连接外部存储设备以增大存储区域。图像处理装置5还经由网络、电缆等连接到控制装置I。通过布置在图像处理装置5的内部总线上的接口 52来连接上述单元。各接口 52符合适于上述单元的通信的标准。各接口 52根据要使用的连接对象，由例如网络接口或串行通信接口组成。
[0052]例如，作为主要进行图像处理的控制装置，图像处理装置5包括作为通用微处理器的中央处理单元(CPU)元件和作为用于图像处理的处理器的算术运算单元51。算术运算单元51经由图像处理装置5的内部总线(例如，数据总线、地址总线、或其他控制线)连接到图2的左边所例示的存储单元53。存储单元53可以是非易失性存储器装置(例如，只读存储器(R0M)、随机存储器(RAM)、可擦可编程只读存储器(EPROM)或电可擦可编程只读存储器(EEPROM)、或者外部存储装置(例如，包括未示出的HDD(硬盘驱动器)或半导体元件的存储装置)或能够连接到连接单元52的外部存储装置)上的文件区域或虚拟存储区域。
[0053]存储单元53的处理后的数据存储区域532是存储单元53的RAM区域、外部存储装置上的文件区域或虚拟存储区域等。处理后的数据存储区域532暂时存储处理后的数据并且还存储用于图像处理的设定参数等。当将图像数据登录到外部存储装置时，处理后的数据存储区域532例如用作外部存储装置的数据高速缓存(data cache)。
[0054]此外，存储单元53存储根据本实施例的用于进行图像处理的图像处理程序531。例如，图像处理程序531响应于对输入装置8进行的操作，改变用于图像处理的设定并进行图像处理。图像处理程序531还将用于图像处理的设定的改变后的详细内容存储到数据存储区域532中，或者将用于图像处理的设定的改变后的详细内容从数据存储区域532中删除。
[0055]图像处理程序531是例如实现以下功能的软件。首先，图像处理5311是用于进行稍后描述的图像处理的图像处理程序的主要部分。通过使用图像处理库5312来进行图像处理5311。在存储单元53中安装图像处理库5312作为例如静态或动态链接库。例如，响应于对输入装置8进行的操作，来执行确定图像处理程序531的动作的图像处理设定5314的程序。
[0056]图像处理程序531还包括实现以下功能的1/0(输入/输出)例程。例如，这些功能以应用(实用)程序或子例程被构造为静态地或动态地链接的库的形式，在存储单元53中安装。
[0057]图像处理装置5可以执行图像处理程序531中的用于外部装置控制5313的程序，从而控制摄像装置6和照明装置10并通过使用图像处理装置5的算术运算单元51进行图像处理。此外，例如，图像处理装置5可以执行用于指令接收5316的程序，从而通过输入装置8(操作接收5318)接收用户操作，或者从外部控制装置I接收指令。响应于这些操作和指令，算术运算单元51可以调用图像处理程序的上述功能和库，从而进行各种算术运算处理并将图像处理结果发送到控制装置I。此外，例如，执行用于存储数据生成5315的程序可以使外部存储装置累积(登记)图像处理结果。另外，可以执行用于存储的数据输出5317和显示区域生成5320的程序，从而将作为程序预先存储的画面结构与图像处理结果合成为画面，并将该画面显示在显示装置7上。
[0058]接着，参照图3的流程图，描述在装置的操作期间，图像处理程序531调节用于拍摄图像的摄像参数时的处理流程。为了便于描述，以下示出了具体但有限的图像处理的详细内容、处理结果、调节摄像参数的方法、输入操作、显示输出的方法、装置的结构等。
[0059]可以由用户通过设定画面任意设定或者可以通过使用其他处理算法动态地确定图像处理的详细内容、要调节的摄像参数、调节摄像参数的方法、调节定时等。以下描述假定:要调节的摄像参数是相对于针对主摄像所使用的初始增益的倍率(例如，当倍率为1.0时，该参数为主摄像参数的初始增益的1.0倍(以下，将倍率称为放大倍率))。
[0060]由于能够利用共同的可控结构来实施本实施例，因此可以酌情将本实施例应用于与包括曝光时间、孔径大小、聚焦和照明装置的照度的摄像条件有关的任何结构。
[0061 ]首先，在步骤SO中，通过执行临时存储区域5319的程序，将存储单元53中存储的图像处理的设定数据输入到临时存储区域(未示出)。该步骤对应于读取图像处理的设定的操作。
[0062]图像处理的设定数据包含摄像装置6使用的摄像参数，以在相应的图像处理和照明装置10的照度(或者用于打开和关闭的设定)下拍摄图像。该数据还包含要经过图像处理的区域的数量，区域的位置、大小和形状，诸如模式匹配、边缘检测、亮度分布计算等的处理的详细内容、以及用于处理的数值参数。在以下描述中，预先登记从具有特定信息的被摄体检测到的模式信息(这种搜索模式信息可以是关于亮度梯度或坐标的信息、关于亮度分布的信息、或它们组合的信息)。
[0063]在步骤SI中，针对摄像装置6设定主摄像参数。主摄像参数被预先设定在步骤SO中读取的设定数据中。例如，通过上述控制装置I或通过用户在任意定时使用输入装置8，可以触发包括摄像的测量开始。在步骤S2中，将摄像指令连同步骤SI中设定的主摄像参数发送到摄像装置6。在步骤S3中，在摄像装置6完成图像的拍摄之后，将获取的主拍摄图像数据输入(下载)到图像处理程序531中。在步骤S4中，根据步骤SO中指定的图像处理的详细内容，通过使用主拍摄图像数据来进行主图像处理。
[0064]在进行主图像处理的步骤S4中，进行模式匹配处理以搜索用于相似模式信息的获取的图像数据。
[0065]具体而言，首先，进行搜索模式与图像数据之间的匹配，并将诸如被摄体被检测到的位置坐标(X，Y)、被摄体的相位(Θ)等的信息的匹配率作为匹配分数输出。以下，将搜索模式信息的这种匹配率称为匹配分数或简称为分数。图像处理装置5以输出O与1.0之间的范围中的匹配分数的方式来进行模式匹配处理，并且可以将结果发送到控制装置I或可以将结果显示在显示装置7上。
[0066]在步骤S5中，输出主图像处理结果。
[0067]在步骤S6、S7和S8中，与步骤S4并行地进行与副摄像参数相关的处理。根据算术运算单元51的结构，可以在步骤S3与步骤S4之间顺次进行步骤S6至S8。在步骤S6中，确定是否通过使用副摄像参数来进行检查处理。例如，如果图像处理程序531正在调节摄像参数，则处理进行到步骤S7;如果不必要调节，则跳过随后的步骤并且处理结束。
[0068]在步骤S7中，为摄像装置6设定副摄像参数。注意，例如，用户可以通过显示装置7或输入装置8以图形用户界面(GUI)的形式来直接设定副摄像参数，或者例如，能够对通过使用用于调节而准备的表所获得的调节值进行设定。
[0069]在步骤S8中，通过使用步骤S7中设定的副摄像参数，将摄像指令发送给摄像装置
6。基于给定的指令，进行副摄像。
[0070]在步骤S9中，确定是否输出了主图像处理结果以及是否进行了副摄像(或者尚未检查)。如果完成了主图像处理结果的输出并进行了副摄像，则处理进行到步骤S10。如果尚未进行副摄像，则确定随后的步骤是不必要的，并且处理进行到作为最后步骤的步骤S15。
[0071]在步骤SlO中，在摄像装置6完成图像的拍摄之后，将获取的副拍摄图像数据输入(下载)到图像处理程序531中。
[0072]在步骤Sll中，根据在步骤SO中指定的图像处理的详细内容，通过使用副拍摄图像数据来进行副图像处理。
[0073]在步骤S12中，提取副图像处理结果。如上所述，例如，可以在显示装置7上显示作为模式搜索结果的位置、相位和匹配分数，或者可以通过图像处理程序531将作为模式搜索结果的位置、相位和匹配分数单独发送到确定程序。当装置的控制协议使得诸如控制装置I的外部装置能够进行确定时，可以将副图像处理结果发送到外部装置。
[0074]在步骤S13中，确定是否更新主摄像参数。在用于提取副图像处理结果的方法是用于将该结果显示在显示装置7上的方法的情况下，用户检查显示结果并决定是否要进行更新。作为另选方案，能够根据预定目标值或匹配分数的容许值，来准备确定是否更新摄像参数的程序并通过执行该程序进行确定。另外，利用进行如上所述的确定的控制装置I，可以接收由控制装置I的确定结果。也能够设定用于更新摄像参数的条件使得仅在获得预定次数以上的良好图像处理结果时更新摄像参数。作为另选方案，能够在提取的图像处理结果(例如，位置和相位)未落入预定范围或预定分数范围内的情况下，包括用于使该图像处理结果从摄像参数的参考值排除的机制。如果这种确定方法确定利用副摄像参数来更新主摄像参数，则处理进行到步骤S14;否则，处理进行到作为最后步骤的步骤S15。
[0075]在步骤S14中，通过设定副摄像参数作为新的主摄像参数来进行更新。具体而言，图像处理程序中保持的主摄像参数的值被副摄像参数的值覆写。例如，能够并行地覆写在步骤SO中读取的存储区域中存储的设定数据并更新由摄像装置保持的参数。
[0076]在步骤S15中，调节处理结束。图像处理可以通过使不再必要的临时存储区域可空出来而结束，或者可以保持可重复使用的数据，并且处理可以返回到步骤SO或SI并再次等待图像处理的指令。
[0077]在上述方式中，首先，将对主拍摄图像进行的图像处理结果发送到控制装置，摄像装置通过使用副摄像参数来拍摄被摄体的图像，从而获取副拍摄图像，图像处理装置对副拍摄图像进行图像处理。
[0078]然后，将对主拍摄图像进行的图像处理结果与对副拍摄图像进行的图像处理结果互相进行比较。如果副图像处理结果良好，则通过将副摄像参数设定为新的主摄像参数来进行更新;如果副图像处理结果不好，则不进行更新。
[0079]根据本实施例，提取副图像处理结果，如果处理结果良好，则更新的主摄像参数。因此，抑制不利影响(例如，由于摄像参数的调节不当导致错误的主图像处理而使装置的操作停止及引起故障或损坏)。
[0080]图4例示了在本发明的第一实施例中调节摄像参数时进行的图像处理装置的操作。
[0081]图5是例示了在本发明的第一实施例中调节摄像参数时获得的图像处理结果和摄像参数的更新。
[0082]图5通过使用示例数值例示了图像处理结果与摄像参数的更新之间的关系。将参照图5描述具体场景中的第一实施例的有利效果。
[0083]图4例示了通过给对象41、42、43和44(具有相同大小和标准)进行摄像所获取的主拍摄和副拍摄图像的输出图像。由相同的附图标记来表示与图1A中具体例示的部件相同的其他部件，并且省略这些部件的说明和描述。以与图3中的流程相同的方式来进行控制。
[0084]除通过作为图像处理的模式匹配获得的值以外，用户还可以使用由边缘检测，位置检测、相位、大小，由阈值二值化获得的面积，预定区域的亮度信息和颜色信息等获得的值。
[0085]可以在多个区域中进行不同类型的图像处理。
[0086]为了便于描述，如参照图3描述的处理流程一样，假定要调节的摄像参数仅为初始增益(初始主摄像参数)的放大倍率。然而，实际上，可以调节除增益的放大倍率以外的各种摄像参数。
[0087]在本示例中，如果模式匹配分数大于或等于阈值0.6，则确定成功(指示为良(OK));如果分数小于阈值，则确定失败(指示为不良(NG))。
[0088]通过使用模式匹配方法，来搜索图像数据，并且将包括位置坐标(X，Y)和相位(Θ)的搜索结果、模式匹配分数和通过使用该分数获得的确定结果输出到控制装置I。
[0089]虽然模式匹配分数的阈值为0.6，但是针对操作不使用几乎等于阈值的值。初始设定限定利用大于或等于0.8的模式匹配分数能够进行稳定操作。
[0090]现在参照图5，对象41匹配分数为0.65。在这种情况下，主图像处理自身成功，但是未获得用户的目标值(在本示例中匹配分数为0.8)。
[0091]返回参照图4，当用户检查例如在通过显示装置7所显示的画面71上的主拍摄图像411和处理结果时，用户将理解未进行利用合适的亮度拍摄对象41的图像并将认识到调节摄像参数的必要。因此，例如，用户将副摄像参数的放大倍率增加到2.0，并在主图像处理期间拍摄图像，从而获取副拍摄图像412。之后，副拍摄图像412经过实质上与主图像处理相同的图像处理(这种图像处理被称为副图像处理)，并且在画面72上显示结果。这种处理与图5中的对象41的主图像处理结果和副图像处理结果相对应。
[0092]然而，由于放大倍率变得过高，对象41的图像在副拍摄图像412中饱和，因此包括模式匹配的副图像处理失败(确定:NG)。
[0093]如上所述，在本发明的本实施例中，为了将调节后的主摄像参数发送到控制装置I，紧接该事件未立即调节主摄像参数。因此，发送主图像处理结果(对图5的对象41进行的主图像处理的结果)，并且装置继续进行操作而没有停止。控制装置I接收处理结果并将控制指令发送到图像处理装置5，使得进一步输送对象41然后测量对象42。此时，当通过将副摄像参数的放大倍率设定为1.7来进行副摄像时，获取副拍摄图像422。因此，副图像处理成功(确定为0K)，对象42的位置和相位实质上与主图像处理的位置和相位相同。然而，参照图5中的对象42的列，其模式匹配分数未获得目标值(0.80)。因此，用户将继续调节。
[0094]控制装置I将控制指令发送到图像处理装置5使得进一步输送对象42并测量对象43。在这种情况下，当将副摄像参数的放大倍率设定为1.4时，获取副拍摄图像432。因此，副图像处理成功(确定为0K)，对象43的位置和相位实质上与主图像处理的位置和相位相同。另外，其模式匹配分数为大于目标值(0.8)的0.91。因此，通过将在本副图像处理中获得的摄像参数设定为新的主摄像参数，来进行更新。
[0095]进一步输送对象43，然后拍摄对象44的图像。此时，图像处理装置5拍摄具有作为新的主摄像参数的放大倍率为1.4的图像。
[0096]结果，获取主拍摄图像441。因此，主图像处理成功，对象44的模式匹配分数实质上与上次检查的相同。
[0097]本发明的实施例在主图像处理期间，使得能够利用不同于主摄像参数的副摄像参数拍摄图像，并且提取并检测对图像进行的图像处理结果。
[0098]因此，能够在任何时候检查并调节摄像参数以获得适当的摄像参数，而不产生以下不利影响:由于摄像参数的调节不当导致错误的主图像处理而使装置的操作停止以及引起故障或损坏。
[0099]本实施例在混有缺陷的被摄体(材质、形状等方面有缺陷的工件)的情况下以及在被摄体的对准显著变化的情况下，也是有用的。在这种情况下，从这些工件提取的副图像处理结果可以忽略不计并且从要检查的工件中排除；因此，能够防止摄像参数的过度调节和调节不当，这对装置有不利影响。
[0100]能够在装置的操作期间调节摄像参数，从而消除通过停止装置的操作来调节摄像参数的必要。
[0101]在主图像处理期间进行副摄像并将主图像处理结果发送到外部装置之后，可以进行副图像处理并可以提取该结果。因此，也能够检查并调节副摄像参数而不产生诸如延迟主图像处理的不利影响。
[0102]另外，能够在基于主摄像参数的图像处理结果被发送到外部装置的同时，来提取和检查基于正在被检查的副摄像参数的副图像处理结果。因此，在外部装置中，能够在摄像参数的调节操作期间，防止由人产生的不利影响，例如，在摄像参数的调节算法中的缺陷、用户界面的误操作和由缺乏经验的用户引起的调节不当。
[0103]第二实施例
[0104]接下来，参照图6，描述调节主摄像参数的步骤，在该步骤中，比较并检查多个副摄像参数以更新主摄像参数，这是本发明的第二实施例的特征。在本实施例中，各自通过使用多个副摄像参数中的相应一个来获取多个副拍摄图像数据。第二实施例在步骤中还在以下步骤方面具有特点:获取副拍摄图像数据的组的副图像组获取步骤和对获取的副拍摄图像数据的组进行副图像处理并提取处理结果的副图像处理步骤。
[0105]从多个副摄像参数当中，选择主摄像参数以调节要更新的主摄像参数。
[0106]第二实施例除了上述方面外实质上与第一实施例相同，因此省略相同部件的描述。
[0107]图6例示了根据第二实施例的控制序列。如第一实施例中一样，控制装置I将控制指令发送到各装置，并且根据指令的目的地和详细内容，输送装置2、机器人臂3、图像处理装置5等进行预定处理，然后，将控制结果和处理结果发送到控制装置I。装置系统的结构自身实质上与第一实施例的相同。
[0108]图6例示了上述结构中的控制序列9a作为示例。在输入主拍摄图像数据之后，在定时54，通过使用该图像数据来开始主图像处理，还通过使用不同于主摄像参数的多个副摄像参数来将连续摄像指令发送到摄像装置6。摄像装置6从定时63a起在切换摄像参数的同时进行副摄像，在内部存储器等中累积由副摄像获取的图像数据，并在主图像处理结束之前在定时63f结束该步骤。注意，通过在针对图像处理的设定的构造中的摄像时间与摄像处理时间之间的关系，预先假定要计算、检查并存储能够通过使用副摄像参数拍摄的图像的数量(进行摄像的次数)。作为处理过程，如在第一实施例中一样，优先将主图像处理结果发送到控制装置I。例如，在所有主图像处理结果被发送的定时55之后的定时56a，图像处理装置5接收(下载)由摄像装置6获取的副拍摄图像数据的组。图像处理装置5对副拍摄图像数据组进行图像处理。该图像处理实质上与从定时54至定时55进行的主图像处理相同。在处理结束的定时57a，例如，以数据阵列合成或存储副图像处理结果以能够切换显示的方式，可以输出在显示装置7上正在显示的副图像处理结果组。如果确定输出的副图像处理结果中的任何一个良好，则例如在定时8 Ia，通过使用输入装置8，通过将与确定为良好的副图像处理结果相对应的副摄像参数设定为新的主摄像参数，来进行更新。如果未获得良好的图像处理结果，则随后图像处理装置5等待例如来自控制装置I的控制指令，可以以接下来和随后的图像处理相似的方式来改变多个副摄像参数或者使用相同的副摄像参数。
[0109]如上所述，根据第二实施例，通过使用预定的主摄像参数来进行主摄像，进行主图像处理，将主图像处理结果发送到控制装置I，并将摄像指令发送到摄像装置以在主图像处理期间通过使用多个副摄像参数来进行摄像。提取与各个副摄像参数相对应的副图像处理的结果，如果处理结果中的任何一个良好，则能够利用副摄像参数中的相应一个来更新主摄像参数。因此，能够抑制不利影响，例如，由于摄像参数的调节不当导致错误的主图像处理而使装置的操作停止以及引起故障或损坏。
[0110]能够检查并调节摄像参数以获得适当的摄像参数。此外，在主图像处理期间，能够通过使用多个副摄像参数获取副拍摄图像数据，并且能够提取要检查的多个副图像处理结果。因此，能够在短时间内检测更适当的摄像参数。
[0111]图7是与调节摄像参数的操作有关的概念图。图8通过使用示例数值例示了图像处理结果与摄像参数的更新之间的关系。将参照图7和图8来描述第二实施例的有利效果。
[0112]如图4一样，图7中的示例是控制装置I通过使用输送装置2输送某些被摄体的装置系统的形式。在本装置系统中，响应于预定的正在被输送的被摄体的数量，将图像处理的控制指令发送到图像处理装置5。除非具体说明，否则图像处理的详细内容实质上与第一实施例中的相同。如上述情况，在主图像处理期间，能够由副摄像拍摄的图像的数量假定为3个(能够进行三次副摄像)。用户能够通过输入装置8设定所有的副摄像参数;在本示例中，例如，用户检查以前的图像处理结果，并输入用于检查的放大倍率2.0、1.7和1.4。在接收到控制指令时，图像处理装置5将摄像指令发送到摄像装置6，并且摄像装置6通过使用预定的主摄像参数来拍摄放置的对象41的图像以获得拍摄图像411。通过使用该拍摄图像来进行图像处理，并且获得如图8所示的图像处理结果(图像处理结果可以包括确定结果、位置、相位和匹配分数)。然后，将图像处理结果发送到控制装置I。通过拍摄对象42的图像获得图像421。
[0113]参照图8，对象41匹配分数为0.65;因此，主图像处理成功，但是未获得目标值(0.8)。当用户检查例如由显示装置7显示的画面71a上的主拍摄图像411和处理结果时，用户将理解未进行利用合适的亮度拍摄对象41的图像和以前的图像，并将认识到调节摄像参数的必要。因此，如上述，用户检查副摄像参数(初始增益的放大倍率)2.0、1.7和1.4。在这种情况下，在主图像处理期间，通过使用各个副摄像参数来获取副拍摄图像数据，并将副拍摄图像412a、412b和412c输入到图像处理程序531。另外，如在主图像处理中一样，将副图像处理结果显示在画面72a上。
[0114]在本示例中，通过使用三个不同的副摄像参数进行摄像而获得的副拍摄图像产生图8所示的以下处理结果。利用副摄像参数的放大倍率2.0，图像处理未成功。利用副摄像参数的放大倍率1.7，图像处理成功，但未获得目标值(0.8)。利用副摄像参数的放大倍率1.4，图像处理成功，并且分数超过目标值(0.8)。因此，利用该放大倍率来更新主摄像参数。在接收到处理结果时，控制装置I将控制指令发送到图像处理装置5使得进一步输送对象41然后测量对象42。图像处理装置5利用主摄像参数的上次更新的放大倍率1.4来拍摄图像，因此，获得主拍摄图像421。该主图像处理成功，对象42的模式匹配分数实质上与上次检查的分数相同(0.9)。以这种方式，在第二实施例中，在主摄像处理期间，能够通过使用不同于主摄像参数的多个副摄像参数来拍摄图像，因此能够提取、比较和检查各个副图像处理结果。
[0115]因此，抑制不利影响(例如，由于摄像参数的调节不当导致错误的主图像处理而使装置的操作停止以及引起故障或损坏)。因此，能够检查并调节摄像参数以获得适当的摄像参数，并且也能够检查多个摄像参数。这导致在更短的时间内检测适当的摄像参数。
[0116]利用根据本发明的实施例的图像处理方法，即使在装置的操作期间，也能够通过使用预定的主摄像参数拍摄被摄体的图像、能够获取主图像数据、能够进行主图像处理并且能够将处理结果发送到外部装置。在执行主图像处理期间，能够通过使用不同于主摄像参数的副摄像参数来拍摄图像、以任意定时获取副拍摄图像数据并且可以进行副图像处理。能够提取处理结果，并且根据提取的结果，能够利用副摄像参数来更新主摄像参数。因此，代替直接更新主摄像参数，能够通过使用至少一个不同的摄像参数来分别提取和检查图像处理结果。因此，能够检测并调节摄像参数以获得适当的摄像参数而不产生不利影响(例如，由于摄像参数的调节不当导致错误的主图像处理而使装置的操作停止以及引起故障)。
[0117]以上述方式来构成包括控制装置、图像处理装置和摄像装置的装置系统。该装置系统还包括执行装置系统的控制单元中的各步骤的程序。即，能够提供具有高的装置操作效率的优良装置系统。
[0118]用户可以根据用途(例如进一步提供如图1A所示的机器人臂)来构成装置系统。
[0119]如上所述，第二实施例具有如下特征:副拍摄图像包括通过使用相互不同的副摄像参数拍摄多个被摄体的图像而获取的副拍摄图像的组。
[0120]根据本发明的一个或更多个实施例，能够适当地调节摄像参数，从而能够抑制装置的操作效率下降。
[0121]虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于这些公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。
【主权项】
1.一种图像处理方法，所述图像处理方法通过使用能够互相进行通信的控制装置、图像处理装置和摄像装置，对拍摄图像进行图像处理，所述图像处理方法包括: 通过使用所述摄像装置，利用预定的主摄像参数拍摄被摄体的图像，来获取主拍摄图像，并且通过使用所述图像处理装置对所述主拍摄图像进行主图像处理； 将对所述主拍摄图像进行的所述主图像处理的结果，发送到所述控制装置； 通过使用所述摄像装置，利用副摄像参数拍摄被摄体的图像，来获取副拍摄图像，并且通过使用所述图像处理装置对所述副拍摄图像进行副图像处理；以及 将对所述主拍摄图像进行的所述主图像处理的结果与对所述副拍摄图像进行的所述副图像处理的结果进行比较，如果所述副图像处理的结果良好，则通过将所述副摄像参数设定为新的主摄像参数来进行更新，而如果所述副图像处理的结果不良，则不更新。2.根据权利要求1所述的图像处理方法，其中，在将所述主拍摄图像从所述摄像装置发送到所述图像处理装置之后，通过使用所述副摄像参数来拍摄所述被摄体的图像。3.根据权利要求2所述的图像处理方法，其中，与对所述主拍摄图像进行所述主图像处理并行地，通过使用所述副摄像参数来拍摄所述被摄体的图像。4.根据权利要求2所述的图像处理方法，其中，在完成对所述主拍摄图像进行的所述主图像处理并将所述主图像处理的结果发送到所述控制装置之后，将所述副拍摄图像从所述摄像装置发送到所述图像处理装置。5.根据权利要求1所述的图像处理方法，其中，所述副拍摄图像包括通过使用互不相同的副摄像参数拍摄所述被摄体的多个图像而获取的副拍摄图像的组。6.—种包括控制装置、图像处理装置和摄像装置的装置系统，所述装置系统包括: 控制单元，其用于执行根据权利要求1的步骤。7.根据权利要求6所述的装置系统，所述装置系统还包括: 机器人臂。
【文档编号】H04N5/232GK105872357SQ201610083894
【公开日】2016年8月17日
【申请日】2016年2月5日
【发明人】长元气
【申请人】佳能株式会社