信息处理装置、处理系统、物体移动系统和物体移动方法
【专利摘要】本发明涉及信息处理装置、处理系统、物体移动系统和物体移动方法。一种用于通过重复拍摄物体的图像、使用由图像拍摄获取的图像识别物体的位置以及移动所识别的物体的处理来移动多个物体的移动方法包括：获取在第一状态中随机放置在相互分隔的第一空间和第二空间中的每一个中的多个物体的图像；在第一状态中的图像的整个区域中设定与第一空间对应的第一部分区域和与第二空间对应的第二部分区域；通过使用第一状态中的图像识别第一部分区域中的第一物体的位置和第二部分区域中的第二物体的位置；以及，通过使用机器人移动所识别的第一物体和第二物体。
【专利说明】
信息处理装置、处理系统、物体移动系统和物体移动方法
技术领域
[0001]本发明的多个方面总体上涉及信息处理装置、处理系统、物体移动系统和物体移动方法。
【背景技术】
[0002]近年来，在工业制品的组装线中，越来越多的机器人开始代替操作人员执行用于从托盘(箱子)逐个取出随机放置(堆叠)而没有排列的工件(物体)的动作和用于排列工件的动作。使用这种机器人的工件移动系统拍摄以各种取向随机放置在托盘(箱子)中的多个工件的图像(成像处理)。然后，工件移动系统处理通过图像拍摄所获得的图像以获取工件的二维或三维信息。然后，工件移动系统执行用于通过使用获取的信息获得工件的位置和取向以识别工件的位置和取向的计算(识别处理)。然后，工件移动系统控制机器人操作器，使得识别的工件从托盘被拾取并且被排列(拾取处理)。
[0003]当多个随机放置的工件中的特定工件被保持并且移动时，并且，在保持的工件接触其它工件的情况下，或者在由于特定工件的移动而在其它的工件之间出现重量不平衡的情况下，多个随机放置的其它工件的状态崩塌(collapse)。因此，多个随机放置的其它工件的位置和取向改变。因此，在移动下一工件之前，需要再次执行成像处理和识别处理。因此，用于保持和移动多个工件的总时间(节拍时间(takt time))被拉长。
[0004]为了解决该问题，日本专利N0.4199264讨论了用于确定随机堆叠的工件的状态是否已改变的确定单元的设置。日本专利N0.4199264讨论了这样一种情况，S卩，当随机堆叠的工件的状态被确定没有改变时，通过使用在过去拍摄的图像检测工件并且在不执行成像处理的情况下取出下一工件。日本专利N0.5201411讨论了这样一种情况，S卩，在从托盘取出工件之后，拍摄工件的二维图像，并且，当拍摄的图像与在取出工件之前拍摄的另一二维图像之间的差异处于允许范围内时，在没有通过激光执行的距离测量的情况下取出下一工件。
[0005]但是，根据在日本专利N0.4199264和日本专利N0.5201411中讨论的发明，在随机堆叠的工件的状态在从随机放置工件的位置执行工件的移动之后崩塌的情况下，需要再次拍摄随机堆叠的工件的图像和识别工件的位置并然后移动工件的处理。更具体而言，每当随机堆叠的工件的状态崩塌时，必须执行工件的图像拍摄和识别。并且，即使随机堆叠的工件的状态没崩塌，也花费用于确定随机堆叠的工件的状态是否已改变的时间。因此，根据在日本专利N0.4199264和日本专利N0.5201411中讨论的发明，从拍摄多个工件到完成工件的移动仍然花费长的时间段。
【发明内容】
[0006]本发明的多个方面针对提供用于缩短从拍摄多个物体的图像到完成物体移动的时间段的信息处理装置、处理系统、物体移动系统和物体移动方法。
[0007]根据本发明的一方面，信息处理装置包括:被配置为获取物体的拍摄图像的获取单元;被配置为通过使用图像识别物体的位置的识别单元;和被配置为指示移动单元移动所识别的物体的指示单元，其中，获取单元获取在第一状态中随机放置在相互分隔的第一空间和第二空间中的每一个中的多个物体的通过图像拍摄所拍摄的图像，其中，在第一状态中的图像的整个区域中，识别单元基于第一空间与第二空间之间的分隔件设定与第一空间对应的第一部分区域和与第二空间对应的第二部分区域，并且，通过使用第一状态中的图像识别第一部分区域中的第一物体和第二部分区域中的第二物体的位置，并且其中，指示单元指示移动单元移动识别的第一物体和第二物体。
[0008]从参照附图对示例性实施例的以下描述，本发明的各方面的其它特征将变得清晰。
【附图说明】
[0009]图1是示出根据第一示例性实施例的物体移动系统的示图。
[0010]图2是示出物体移动方法的流程图。
[0011]图3是示出通过图像拍摄所获得的图像的示图。
[0012]图4是示出根据物体移动方法的处理的示图。
[0013]图5A是示出距离测量单元的构成的例子的示图。图5B是示出分隔件的布局的示图。图5C和图f5D是分别示出由图案光投影执行的指出的构成例子的示图。
[0014]图6是示出分隔件的形状的示图。
[0015]图7是示出根据第四示例性实施例的物体移动系统的示图。
[0016]图8是示出由根据第四示例性实施例的图像拍摄所获得的图像的示图。
[0017]图9A是示出多个托盘的布局的示图。图9B和图9C是分别示出由投影执行的指出的构成例子的示图。图9D是示出推荐墙壁布局位置的示图。
[0018]图10是示出多个托盘的分隔部件的形状的示图。
【具体实施方式】
[0019]图1示出根据第一示例性实施例的物体移动系统I。物体移动系统I包含处理单元(信息处理装置)100、距离测量单元(传感器单元)200、机器人300(移动单元)和托盘400。在物体移动系统I中，机器人300保持随机放置在托盘400中的工件(物体)600中的每一个。机器人300从托盘400移出工件600并且排列工件600。例如，工件600为器件的多个部分。
[0020]处理单元100包含用于指示距离测量单元200并且获取通过距离测量单元200拍摄的图像的传感器控制单元(获取单元)101。处理单元100还包括用于通过使用通过由距离测量单元200执行的图像拍摄所获得的图像识别工件的位置的识别单元102和用于指示机器人300移动识别的工件的机器人指示单元103。
[0021]距离测量单元200包含用于三角测量的多个光学系统，并且被配置为基于三角测量的原理执行距离测量。例如，在基于立体方法执行距离测量的情况下，距离测量单元200包含分别具有诸如电荷耦合器件(CCD)传感器的图像传感器和诸如透镜的成像光学系统的多个光学系统。在基于图案投影方法执行距离测量的情况下，光学系统中的一个是具有图像传感器和成像光学系统的光学系统，并且，另一个是具有光源、用于产生投影图案的图案产生单元、以及投影光学系统的光学系统。
[0022]例如，机器人300为具有用于在尖端夹持工件的操作器(夹持单元)的机器人手或受控夹持装置。机器人300可包含多个机器人。机器人300包含用于控制机器人300的控制单元，该控制单元使得能够基于关于工件的位置和取向的输入信息夹持和移动工件。但是，输入信息不限于关于工件的位置和取向的信息，并且，可包含关于用于移动工件的操作器的轨迹和角度的信息以及关于操作器的动作定时的信息。
[0023]托盘400具有用于分隔托盘400的内部区域的分隔件500(分隔部件)。在本示例性实施例中，托盘400包含通过分隔件500相互分隔的两个空间(第一空间A和第二空间B)。但是，分隔的空间的数量不限于两个，并且，空间可被分隔成三个或更多个。
[0024]下面将描述利用物体移动系统I的物体移动方法。图2是示出物体移动方法的流程图。在步骤S201中，操作员在相互分隔的第一空间A和第二空间B中的每一个中随机放置多个工件。在随机放置的工件的状态中，多个工件没有被排列，而被随机放置在随机的位置和取向。在这种状态下，多个工件可能或者可能不相互重叠，或者可能被堆叠。在本示例性实施例中，随机放置在第一空间A和第二空间B中的每一个中的多个工件是基于相同的设计制造的相同类型的物体。但是，工件不限于相同类型的物体，并且，本示例性实施例也适用于使用不同类型的物体的情况。
[0025]下面将描述工件的图像拍摄。在步骤S202中，传感器控制单元101指示距离测量单元200执行图像拍摄。在从传感器控制单元101接收到成像指令时，距离测量单元200开始拍摄在第一状态中随机放置在第一空间A和第二空间B中的每一个中的多个工件的图像(成像处理)。在通过图案投影方法进行距离测量的情况下，距离测量单元200在随机放置在第一空间A和第二空间B中的每一个中的多个工件上投影图案光，以拍摄在图像传感器的成像视野内被多个工件反射的图案光的图像。距离测量单元200可一并地在第一空间A和第二空间B中的多个工件上、或者在不同的定时在第一空间A和第二空间B中的每一个上投影图案光。在完成工件的图像拍摄时，距离测量单元200向传感器控制单元101传送在成像视野内拍摄的第一状态中的第一空间A和第二空间B中的多个工件的图像。
[0026]传感器控制单元101获取由距离测量单元200拍摄的图像并然后向识别单元102传送第一状态中的图像。在步骤S203中，在第一状态中的获取图像的整个区域中，识别单元102基于分隔第一空间A和第二空间B的分隔件500的位置设定与第一空间A对应的第一部分区域和与第二空间B对应的第二部分区域(设定处理)。第一部分区域和第二部分区域是进行工件的位置和取向的识别的区域(识别目标区域)，并且，是从第一状态中的图像的整个区域的内部提取的部分区域。由于工件处于托盘400中，因此，识别目标区域被设定为托盘400内的区域。由于托盘400被分隔件500分隔成多个空间，因此多个识别目标区域被设定。
[0027]图3是示出识别目标区域的设定的例子的示图。参照图3，图像210是通过图像拍摄所获得的示例性图像。图像210示出托盘图像410、分隔件图像510和工件图像610。识别单元102通过使用从托盘图像410和分隔件图像510获取的轮廓信息来设定与由分隔件500分隔的多个空间对应的多个识别目标区域。更具体而言，识别单元102设定与第一空间A对应的第一部分区域120和与第二空间B对应的第二部分区域121。使用的信息不限于轮廓信息。例如，识别单元102可基于关于距离测量值的信息计算托盘400和分隔件500的位置和取向，并且基于关于托盘400和分隔件500的计算的位置和取向的信息设定托盘400的各空间的多个识别目标区域。并且，第一部分区域120可以是第一空间A中的特定部分区域。这也适用于第二空间B。虽然在上述的例子中识别单元102在步骤S203中通过使用由步骤S202中的图像拍摄所获得的图像来设定识别目标区域，但是，当能够用工具固定托盘400和分隔件500的放置位置时，用户能够在存储器中预先登记(预先存储)多个识别目标区域。用户也能够从多个预先登记的识别目标区域中选择识别目标区域。更具体而言，除了在步骤S202中所拍摄的图像以外，为了设定还拍摄另一图像，并且，通过使用图像预设各区域。更具体而言，例如，拍摄不存在多个工件时的托盘400的图像，并且，检测包含托盘400的分隔件500的边界。然后，基于检测的边界预设各区域，并且，在存储器中登记(存储)设定的区域。所登记的区域的每一个在通过步骤S202中的图像拍摄所获得的图像的区域中重叠，从而设定识别目标区域。
[0028]在本示例性实施例中，在执行第一识别处理之前，执行步骤S203—次。步骤S203以托盘400和分隔件500的位置在完成工件的移动之前保持不变为前提。在这种情况下，由于不需要改变识别目标区域，因此，步骤S203仅需要被执行一次。但是，处理不限于此。当托盘400或分隔件500的位置改变了时，为了再次限定识别目标区域，步骤S203可被执行多次。并且，例如，在从托盘400取出工件时由于托盘400的锥形底面工件在托盘400的一个特定位置处汇集的情况下，也可为了再次限定识别目标区域多次执行步骤S203。
[0029]在步骤S204(第一识别处理)和S205(第二识别处理)中，识别单元102从设定的识别目标区域参照和比较关于登记的工件的信息和通过图像拍摄获取的关于距离测量值和轮廓的信息，以识别(确定)工件的位置和取向。公知的识别方法是适用的。识别单元102通过使用各种方法对各物体确定中心位置、边缘位置和诸如围绕各轴的旋转角的取向。然后，识别单元102输出、存储和显示各条数据。识别单元102确定由机器人300取出的工件或候选组。由于设定多个识别目标区域，因此，识别单元102识别物体的位置和取向并且确定对于各识别目标区域要移动的工件或候选组。处理不限于此，并且，识别单元102可计算与识别目标区域无关地要移动的工件的候选组，并且，基于识别目标区域判别候选组。因此，在基于在一个成像处理中获取的信息确定要从各识别目标区域移动的工件或候选组的方面，可通过各种方式修改算法模式。包含这种修改的算法被统称为多个识别处理。
[0030]可在紧接着成像处理之后、紧接着设定处理之后或者紧接着识别处理之后执行用于从通过图像拍摄所获得的图像计算距离测量值的处理。当在紧接着成像处理之后执行所述处理时，识别单元102获取通过图像拍摄所获得的图像并然后计算所获取的图像的整个区域的距离测量值。当在紧接着设定处理之后执行所述处理时，识别单元102可通过例如从图像提取轮廓来设定识别目标区域，并然后仅对某个范围的设定区域计算距离测量值。这使得能够减少计算量，由此使得效率提高。当在紧接着识别处理之后执行所述处理时，识别单元102可通过从获取的图像提取轮廓来识别工件的轮廓并然后仅对轮廓的内部或者对包含轮廓的有限区域计算距离测量值。这使得能够减少计算量，由此使得效率提高。可根据距离测量和轮廓提取的精度并且根据计算机的规范以各种方式改变计算距离测量值的定时。
[0031]然后，机器人指示单元103指示机器人300从识别单元102获取关于识别的工件的位置和取向的信息并然后保持和移动所识别的工件。在各步骤S206(第一移动处理)和步骤S207(第二移动处理)中，机器人300根据来自机器人指示单元103的指令保持和移动随机放置的工件。机器人300根据识别目标区域或识别的工件的数量多次执行移动处理。更具体而言，机器人指示单元103指示机器人300从随机放置工件的第一空间A夹持和移动第一识别工件(第一物体)并且从随机放置工件的第二空间B夹持和移动第二识别工件(第二物体)。在这种情况下，在机器人300已从第一空间A移动工件之后，第一空间A中的随机放置的工件的状态可改变。但是，在这种情况下，由于通过分隔件500第一空间A与第二空间B分隔，因此，第二空间B中的随机放置的工件的状态被保持。即使在机器人300从第一空间A移动工件之后，机器人300仍能够从第二空间B夹持和移动识别的工件。更具体而言，基于在一个成像处理中获得的图像，机器人300能够从第一空间A和第二空间B中的每一个移动工件。
[0032]在步骤S208中，处理单元100确定工件的移动是否完成了规定的次数、规定数量的工件是否被移动了或者所有的工件是否被移动了。在处理单元100确定完成了工件的移动(在步骤S208中为“是”)的情况下，处理退出流程图。在处理单元100确定没有完成工件的移动(在步骤S208中为“否”)的情况下，那么在步骤S209中，处理单元100前进到随后的成像处理。更具体而言，在从传感器控制单元101接收到成像指令时，距离测量单元200拍摄在与第一状态不同的第二状态中随机放置在第一空间A和第二空间B中的每一个中的多个物体的图像。第二状态是第一工件已从第一空间A移动且第二工件已从第二空间B移动的状态，并且，其它工件的位置和取向可能已改变。然后，处理单元100重复执行步骤S204(识别处理)?步骤S209(成像处理)。换句话说，在最近的成像处理和随后的成像处理中包含与多个设定的识别目标区域的数量对应的至少多个识别处理。一个成像处理包含用于获取执行一次距离测量所需要的拍摄图像的多个处理，因此，要获取的图像的数量的不限于一个。例如，当通过图案投影的三角测量被用作距离测量方法时，一般在图案投影中使用空间编码方法。为了执行一次距离测量，处理单元100投影具有不同周期的多个图案，并然后通过使用图案的多个拍摄图像执行处理，由此以足够的精度实现距离测量。并且，为了在执行一次距离测量时减少由于图像传感器噪声或环境波动导致的随机出现的误差(随机误差)，一般也执行用于拍摄多个图像并然后将多个拍摄图像平均化的方法。以这种方式，一个成像处理可包含用于针对距离测量方法拍摄多个图像的处理和用于拍摄多个图像的处理以减少误差。
[0033]常规上，能够仅在拍摄随机放置在一个空间中的多个工件的图像、基于通过图像拍摄所获得的图像识别工件的位置、移动识别的工件和拍摄空间中的剩余工件的图像之后移动下一工件。换句话说，能够在一个成像处理中仅移动一个工件。
[0034]根据本示例性实施例，由于托盘400通过分隔件500被分隔成多个空间，因此，从一个空间取出工件不改变在另一空间中随机放置的工件的状态。因此，即使在不再次执行成像处理的情况下，也能够从另一空间取出工件。因此，如果对通过分隔件500分隔的各空间设定识别目标区域，那么，仅通过执行一次的成像处理，可通过从各识别目标区域取起工件的方式取出工件。这使得能够缩短从拍摄多个工件到完成工件的移动的总节拍时间。
[0035]常规上，当取出同一类型的工件时，工件被随机放置在没通过分隔件分隔空间的托盘中。因此，对于同一类型的多个工件，能够在一个成像处理中从一个空间仅移动一个工件。在这种情况下，移动一个工件会导致随机放置工件的状态的崩塌。换句话说，在本示例性实施例中，即使对于同一类型的工件，托盘也被分隔成多个空间。因此，能够在一个成像处理中多次执行工件的移动，由此变得能够缩短到完成工件的移动的总节拍时间。
[0036]虽然在本示例性实施例中使用具有一个分隔件的托盘，但托盘不限于此。可以使用具有多个分隔件的托盘。
[0037]图4是示出用于执行处理(序列)的过程的例子的示图。以时序示出各处理。为了简化描述，省略设定识别目标区域的处理。
[0038]在第一示例性实施例中，如处理A所示，在完成成像处理之后，执行用于识别第一部分区域中的第一工件的位置的第一识别处理，并然后执行用于识别第二部分区域中的第二工件的位置的第二识别处理。在完成第二识别处理之后，执行用于移动第一工件的第一移动处理并然后执行用于移动第二工件的第二移动处理，并然后执行成像处理(处理A)。该过程适于能够事先针对识别目标区域的数量重复执行识别处理的情况，特别是适于能够并行处理多个识别处理的情况。
[0039]在第二示例性实施例中，如处理B所示，对一个识别目标区域依次执行识别处理和移动处理，并且，针对识别目标区域的数量重复该序列。更具体而言，在完成第一识别处理之后执行第一移动处理，并且，在开始第一移动处理的完成之后执行第二识别处理。在完成第一移动处理之前，可与第一移动处理并行地处理第二识别处理。然后，执行随后的成像处理2。在能够并行执行移动处理和识别处理的情况下，这是有效的。该构成使得能够在机器人300执行移动动作的同时在下一个识别目标区域上执行识别处理，由此变得能够进一步缩短总节拍时间。
[0040]如处理C所示，可在完成第一移动处理之后并且在第二移动处理之前开始用于拍摄第一空间A中的工件的图像的成像处理2A。但是，在成像处理2A中，由于机器人300已移动第二空间B中的工件，因此，第二空间B中的工件不能被拍摄。因此，在完成第二移动处理之后，执行用于拍摄第二空间B中的工件的图像的成像处理2B。更具体而言，在完成第一成像处理之后，交替执行用于第一空间的图像拍摄和用于第二空间的图像拍摄。这使得能够与识别处理和移动处理并行地执行成像处理2A和2B，由此变得能够进一步缩短总节拍时间。
[0041]虽然处理所需要的时间段被示为仿佛它们在所有的处理中相同，但需要的时间段不限于此，并且，可相互不同。例如，存在识别单元102的处理时间比机器人300的移动时间短的情况。可在识别处理或移动处理期间恒定地执行成像处理。
[0042]在第三示例性实施例中，以下将描述用于将空间分隔成多个空间的分隔部件的适当布局和形状。图5A是示出包含第一光学单元220和第二光学单元230并且被配置为基于三角测量的原理执行距离测量的距离测量单元200的构成例子的示图。例如，在基于立体方法执行距离测量的情况下，第一光学单元220和第二光学单元230中的每一个包含图像传感器和成像光学系统。在基于图案投影方法执行距离测量的情况下，第一光学单元220和第二光学单元230中任一个包含图像传感器和成像光学系统，并且，它们中的另一个包含光源、用于产生投影图案的图案产生单元和投影光学系统。第一光学单元220提供光轴240，并且，第二光学单元230提供光轴241。
[0043]在托盘400具有分隔件500的情况下，如图5B所示，希望减少由分隔件500导致的阻塞(occlus1n)。阻塞指的是前面物体遮蔽后面物体并使其不可见的状态。如果出现阻塞，那么物体后面的工件不能被识别，因此，需要操作员或其它手段的识别和拾取。因此，用于移动工件的总节拍时间延长。阻塞的因素中的一个是第一光学单元220与第二光学单元230之间的距离。阻塞沿与包含光轴240和241的面平行的方向出现。因此，为了减少由分隔件500导致的阻塞，希望沿包含光轴240和241的面布局分隔件500的纵向520(当在成像画面中观察时)。
[0044]由于用户难以识别包含光轴240和241的面，因此，希望指出关于分隔件500的推荐布局的信息。指出方法的例子包括在显示单元(用于显示通过包含于距离测量单元200中的各光学单元拍摄的图像)上显示以在拍摄图像中组合用于分隔空间的分隔部件的推荐布局的方式产生的图像。
[0045]作为指出方法的另一例子，在距离测量单元200包含投影单元的情况下，投影单元产生用于指出关于分隔部件的推荐布局的信息的图案光，并且，投影光学系统投影与分隔部件的布局有关的图案光。以这种方式投影图案光以指出实际托盘布局空间中的推荐布局位置使得用户能够在直接监视推荐的布局位置的同时移动托盘400和分隔件500，并因此是更希望的。图5C和图f5D分别示出由图案光投影执行的指出的构成例子。投影光221是用于指出分隔件500的推荐布局位置的图案光。通过在投影光221的照射位置处配置分隔件500，变得能够减少由分隔件500导致的阻塞。虽然在本示例性实施例中投影光221指出分隔件500的位置，但指出方法不限于此。投影光221可指出间接指出分隔件500的位置的信息。例如，在分隔件500被固定到托盘400的情况下，变得能够通过指出托盘400的位置间接地指出分隔件500的位置，使得分隔件500可被安装在推荐的布局位置处。
[0046]以下将参照图6描述分隔的优选形状的例子。图6是示出与分隔件500的纵向520垂直地切取的分隔件500的截面图。如上所述，在沿包含光轴240和241的面配置纵向520的情况下，截面与包含光轴240和241的面垂直。
[0047]由分隔件500导致的阻塞的另一因素是包含于距离测量单元200中的各光学单元的开口的影响。光束222和223是当执行分隔件500的附近的距离测量时使用的光束的例子。光束222和223中的每一个形成根据包含于距离测量单元200中的各光学单元的开口的尺寸沿距离测量方向收敛的形状。当分隔件500阻挡收敛的光束222和223时，出现阻塞。适于减少阻塞的分隔件500的形状具有由托盘400的床面401(内底)和分隔件500的侧面502形成的倾斜锐角530以及由床面401 (内底)和分隔件500的侧面503形成的倾斜锐角531。
[0048]该构成减少分隔件500阻挡光束222和223的可能性，由此变得能够减少阻塞。倾角530和531的更具体的数值可基于距离测量单元200的开口的尺寸、光学系统的设计值和光束阻挡允许值被确定，并且，可在满足锐角条件的范围内改变。为了使光束222和223的阻挡最小化，必须设定倾角530和531，使得当从托盘400的床面401观看距离测量单元200时包含于距离测量单元200中的各光学单元的有效直径的整个范围是可见的。
[0049]通过上述的构成，变得能够减少阻塞的出现并且以高的精度执行工件的位置和取向的识别。
[0050]以下，将参照图7描述第四示例性实施例。图7示出物体移动系统2。在本示例性实施例中，作为根据第一示例性实施例的具有分隔件500的托盘400的替代，在可通过距离测量单元200执行距离测量的视野(距离测量视野)的范围内配置多个托盘。其它构成与根据第一示例性实施例的构成类似。参照图7，托盘402和403被放置在距离测量视野201的范围内。通过该构成，由于托盘402和403相互独立，因此，从托盘402和403中的任一个取出工件不改变托盘402和403中的另一个中的随机放置的工件的状态。因此，可在不再次执行成像处理的情况下从托盘402和403中的另一个取出工件。因此，通过对托盘402和403的每一个设定识别目标区域，仅通过执行成像处理一次，可通过从各识别目标区域中的每一个拾取工件的方式取出工件。这使得能够缩短用于取出工件的总节拍时间。虽然在本示例性实施例中设置两个托盘402和403，但构成不限于此。可设置三个或更多个托盘。[0051 ]图8示出表示托盘40 2的图像412、托盘40 3的图像413和工件图像610的拍摄图像210。基于从托盘402和403的图像412和413获取的轮廓信息，根据托盘的数量设定通过点线绘制的多个识别目标区域130和131。用于设定识别目标区域的基础不限于轮廓信息。例如，托盘402和403中的每一个的位置和取向基于关于距离测量值的信息被计算，并且，基于托盘402和403中的每一个的计算的位置和取向对托盘402和403中的每一个设定识别目标区域。
[0052]以下将参照图9A?9D和图10描述根据本示例性实施例的多个托盘402和403的优选布局和形状。距离测量单元200的构成与根据第一示例性实施例的图5A所示的构成类似。更具体而言，距离测量单元200包括第一光学单元220和第二光学单元230。光轴240由第一光学单元220规定，并且，光轴241由第二光学单元230规定。如图9A所示，沿托盘布置方向421配置托盘402和403。托盘402和403分别具有用于相互分隔的内壁430和431(分隔部件)。壁430和431具有与在第一示例性实施例中描述的分隔件500类似的效果，并因此产生阻塞。如果出现阻塞，那么被物体遮蔽的工件不能被识别并因此需要操作员或其它手段的识别和拾取。因此，用于取出工件的总节拍时间延长。因此，希望减少由内壁430和431导致的阻塞。阻塞的因素中的一个是第一光学单元220与第二光学单元230之间的距离。阻塞沿与包含光轴240和241的面平行的方向出现。因此，为了减少由内壁430和431导致的阻塞，希望与包含光轴240和241的面垂直地配置托盘布置方向421。
[0053]由于用户难以识别包含光轴240和241的面，因此，进一步希望指出托盘402和403中的每一个的推荐布局位置。指出方法的例子包括显示以在由包含于距离测量单元200中的各光学单元拍摄的图像中组合托盘402和403中的每一个的推荐布局位置的方式产生的图像。作为指出方法的另一例子，在距离测量单元200包含投影单元的情况下，投影单元能够产生和投影用于指出托盘402和403中的每一个的推荐布局位置的图案光。
[0054]图9B和图9C示出由投影执行的指出的构成例子。投影光224指出托盘402和403中的每一个的推荐布局位置。用户在投影光224的照射位置处配置托盘402和403，由此变得能够减少由壁430和431导致的阻塞。虽然在本示例性实施例中引入了用于指出各托盘的位置的例子，但指出方法不限于此。还能够更直接地指出托盘402和403相互面对的内壁430和431的位置。图9D示出投影光224指出托盘402和403相互面对的内壁430和431的推荐布局位置的例子。
[0055]以下将参照图10描述内壁430和431的适当形状的例子。图10是示出沿托盘布置方向421切取的内壁430和431的截面图。由内壁430和431导致的阻塞的另一因素是包含于距离测量单元200中的各光学单元的开口的影响。光束225和226是当执行内壁430和431的附近的距离测量时使用的光束的例子。光束225和226中的每一个形成根据包含于距离测量单元200中的各光学单元的开口的尺寸沿距离测量方向收敛的形状。当内壁430和431阻挡收敛的光束225和226时，出现阻塞。适于减少阻塞的内壁430和431的形状与由托盘402的床面(内底)和内壁430形成的倾斜锐角440以及由托盘403的床面和内壁431形成的倾斜锐角441有关。该构成减少内壁430和431阻挡光束225和226的可能性，由此变得能够减少阻塞。倾角440和441的更具体的数值可基于距离测量单元200的开口的尺寸、光学系统的设计值和光束阻挡允许值被确定，并且，可在满足锐角条件的范围内改变。为了使光束225和226的阻挡最小化，必须设定倾角440和441，使得当从托盘402和403的床面观看距离测量单元200时包含于距离测量单元200中的各光学单元的有效直径的整个范围是可见的。
[0056]以下将描述作为独立的装置构成工件识别装置3(处理系统)的第五示例性实施例。工件识别装置3包括根据第一示例性实施例的距离测量单元200和处理单元100，并且，被配置为实现工件识别。在以这种方式使得工件识别装置独立的情况下，能够通过使用例如根据本示例性实施例的工件识别装置3、商业机器人和根据第一和第二示例性实施例的托盘和分隔件来设计系统。由于各种类型的机器人操作器已是商业可用的，因此，用户能够从不同的选项选择最适于他/她的目标应用的一个。特别地，设置根据本示例性实施例的工件识别装置3对已具有机器人的用户来说是有意义的。
[0057]根据本示例性实施例的工件识别装置3包括距离测量单元200和处理单元100。距离测量单元200具有与根据第一示例性实施例的图5A所示的距离测量单元类似的构成，SP，距离测量单元200包含第一光学单元220和第二光学单元230。处理单元100具有与根据第一示例性实施例的图1所示的处理单元类似的构成。
[0058]并且，由距离测量单元200和处理单元100执行的用于移动工件的处理的流程与根据第一示例性实施例的流程类似。在处理单元100识别工件并然后输出工件识别结果的处理中，处理单元100向机器人的处理单元和相关的控制系统输出关于识别的工件的位置和取向的信息。在接收到该输出时，机器人能够基于关于工件的位置和取向的信息取出工件。但是，输出信息不限于关于识别的工件的位置和取向的信息，并且可包含关于用于取出工件的机器人操作器的轨迹的信息和关于机器人操作器的动作定时的信息。可在紧接着识别处理之后或者紧挨着随后的成像处理之前执行输出工件识别结果的处理。通过考虑用于执行处理的计算机的计算规范和输出规范，能够改变处理，使得在适当的定时输出工件识别结果。
[0059]成像处理可包含等待来自机器人和用于控制机器人的系统的输入的处理。该处理针对在完成用于由机器人执行的取出多个识别的工件的动作之后开始随后的成像处理。该处理是等待来自执行机器人动作和成像处理的定时控制的外部系统的输入的处理。
[0060]上述的构成使得能够提供用于缩短从执行多个工件的成像到完成工件的移动的时间间隔的处理系统。还能够将处理单元100(信息处理装置)配置为独立的单元，并且，组合处理单元100与各种类型的距离测量单元和机器人。
[0061]还能够通过网络对象或各种类型的存储介质向系统或装置供给用于导致处理单元100执行要由处理单元100执行的上述处理的软件(程序)，并且，系统或装置的计算机(信息处理装置)(或中央处理单元(CPU)或微处理单元(MPU))读取并且执行程序。
[0062]其它实施例
[0063]也可通过读出并执行记录于存储介质(也可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能并且/或者包含用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，应用特定集成电路(ASIC))的系统或装置的计算机，或者，通过由系统或装置的计算机通过例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能执行的方法，实现本发明的实施例。计算机可包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可包含单独的计算机或单独的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可例如从网络或存储介质被提供给计算机。存储介质可包含例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧致盘(CD)、数字万用盘(DVD)或蓝光盘(BD)?)、快擦写存储器设备和记忆卡等中的一个或更多个。
[0064]其它实施例
[0065]本发明的实施例还可以通过如下的方法来实现，S卩，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
[0066]虽然已参照示例性实施例描述了本发明，但应理解，本发明不限于公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释以包含所有这样的修以及等同的结构和功能。
【主权项】
1.一种信息处理装置，其特征在于包括: 被配置为获取物体的拍摄图像的获取单元； 被配置为通过使用图像识别物体的位置的识别单元;和 被配置为指示移动单元移动所识别的物体的指示单元， 其中，获取单元获取在第一状态中随机放置在相互分隔的第一空间和第二空间中的每一个中的多个物体的通过图像拍摄所拍摄的图像， 其中，在第一状态中的图像的整个区域中，识别单元基于第一空间与第二空间之间的分隔件设定与第一空间对应的第一部分区域和与第二空间对应的第二部分区域，并且，通过使用第一状态中的图像识别第一部分区域中的第一物体的位置和第二部分区域中的第二物体的位置，以及 其中，指示单元指示移动单元移动所识别的第一物体和第二物体。2.一种处理系统，其特征在于包括: 被配置为执行物体的图像拍摄的传感器单元;和 根据权利要求1所述的信息处理装置， 其中，传感器单元执行在第一状态中随机放置在相互分隔的第一空间和第二空间中的每一个中的多个物体的图像拍摄，以及 其中，在通过由传感器单元执行的图像拍摄所获取的第一状态中的图像的整个区域中，信息处理装置的识别单元设定第一部分区域和第二部分区域。3.一种物体移动系统，其特征在于包括: 被配置为移动物体的移动单元;和 根据权利要求2所述的处理系统。4.一种用于通过重复拍摄物体的图像、使用由图像拍摄所获取的图像识别物体的位置以及移动所识别的物体的处理来移动多个物体的移动方法，其特征在于该移动方法包括: 通过执行在第一状态中随机放置在相互分隔的第一空间和第二空间中的每一个中的多个物体的图像拍摄来获取第一状态中的图像； 在第一状态中的图像的整个区域中，基于第一空间与第二空间之间的分隔件设定与第一空间对应的第一部分区域和与第二空间对应的第二部分区域； 作为第一识别，通过使用作为第一状态中的图像的一部分的第一部分区域的图像识别第一部分区域中的第一物体的位置； 作为第二识别，通过使用作为第一状态中的图像的一部分的第二部分区域的图像识别第二部分区域中的第二物体的位置； 作为第一移动，移动通过第一识别所识别的第一物体;和 作为第二移动，移动通过第二识别所识别的第二物体。5.根据权利要求4所述的移动方法，其中，在第一移动和第二移动之后，执行随后的图像拍摄。6.根据权利要求4所述的移动方法，其中，并行执行第一移动和第二移动。7.根据权利要求4所述的移动方法，其中，第一空间和第二空间通过托盘内的间隔件相互分隔或者以使用多个托盘的方式相互分隔。8.根据权利要求4所述的移动方法，还包括显示关于相互分隔第一空间和第二空间的分隔部件的推荐布局的信息。9.根据权利要求8所述的移动方法，其中，在显示时，用于显示通过图像拍摄所获取的图像的显示单元在图像中显示关于布局的信息。10.根据权利要求8所述的移动方法，其中，在获取时，为了在物体上投影图案光，使用用于在物体上投影图案光的投影光学系统，并且，拍摄被物体反射的图案光，以及 其中，在显示时，投影光学系统投影与布局有关的图案光。11.根据权利要求8所述的移动方法，其中，分隔部件的推荐布局是分隔部件的推荐方向。12.根据权利要求4所述的移动方法，其中，第一空间和第二空间通过多个托盘相互分隔，以及 其中，移动方法还包括显示关于所述多个托盘的推荐布局的信息。13.根据权利要求12所述的移动方法，其中，所述多个托盘的推荐布局是所述多个托盘的布置。14.根据权利要求4所述的移动方法，其中，在获取时，为了拍摄物体的图像，使用用于三角测量的多个光学系统，以及 其中，在获取时，将用于相互分隔第一空间和第二空间的分隔部件的纵向设置为在成像画面中沿着包含所述多个光学系统的光轴的平面。15.根据权利要求4所述的移动方法，其中，在获取时，为了拍摄托盘中的物体的图像，使用用于三角测量的多个光学系统，以及 其中，在获取时，以使得在与包含所述多个光学系统的光轴的面垂直的截面内由分隔部件的侧面和托盘的内底形成的角度变为锐角的方式，设置用于相互分隔第一空间和第二空间的分隔部件。
【文档编号】B25J9/18GK105922268SQ201610107874
【公开日】2016年9月7日
【申请日】2016年2月26日
【发明人】结城宽之, 内山晋二
【申请人】佳能株式会社