专利名称：图像处理装置的制作方法
技术领域：
本发明涉及一种检测对象物的位置、姿势的图像处理装置。尤其是涉及识别并检测被杂乱堆积、其位置、姿势在3维空间上变化着的同一形状的对象物的姿势的图像处理装置。
背景技术：
机器人等自动机械为了操作未正确定位的对象物(机件)，现在一般采用根据拍摄好的对象物的图像来识别其位置、姿势的方法。但是，很难识别象堆积状态那样可能在3维空间上呈现任意位置、姿势的对象物的位置、姿势。
因此，在特开2000-288974中记载的技术中，把从各个方向拍摄了对象物的多个图像，作为演示模型的图像事先存储，将该已存储的演示模型的图像与检测并拍摄的对象物的位置、姿势的输入图像进行比较对照，选择与该拍摄图像最类似的演示模型。之后，根据该已选择的演示模型，求出对象物的位置、姿势。然后，根据该求出的对象物的位置、姿势，将视觉传感器移向应识别对象物的位置、姿势，由该视觉传感器正确识别对象物的位置、姿势。
另外，在特开平8-153198号记载的技术中，由对象物学习装置与对象物识别装置构成图像剪出识别装置。而后，在对象物学习装置中，由第1图像输入部件从各个方向拍摄对象物而得到的图像数据中抽取对象物的区域，通过归一化该抽取的对象物的区域的图像数据值而得到图像处理数据。通过将该图像处理数据的大小进行多种变更，而得到学习图像数据集合。然后，根据该学习图像数据集合与由该学习图像数据集合求出的固有矢量，来计算流形(manifold)的形状。另一方面，在对象物识别装置中，从由第2图像输入部件得到的图像数据中抽取对象物的区域，并根据归一化该抽取的区域的图像数据值所得的数据和所述固有矢量以及所述流形的形状，计算距离值，输出对象物的位置和方向及大小。
上述特开2000-288974中记载的技术特别适用于1个1个地取出杂乱堆积的同一形状的对象物的作业。此时，从各个方向拍摄对象物并事先求出多个演示模型的图像。之后，将这些演示模型的图像与拍摄堆积的几个对象物而得到的输入图像进行比较对照，选择与该拍摄图像最类似的演示模型的图像。之后，使用该选择的演示模型求出对象物的3维位置、姿势。然后，根据该求出的对象物的3维位置、姿势，使视觉传感器移向应识别对象物的位置、姿势，由该视觉传感器正确识别对象物的位置、姿势。该技术中，演示模型的数量越多，则相应地越可正确识别对象物的位置、姿势。
如上述情况那样，在多个对象物被堆积的状态下，其各对象物呈现各种各样的3维姿势。为了更加正确地识别这样的对象物的位置、姿势，必需对应于对象物可能呈现的各种姿势来准备更加多(更加详细)的演示模型图像。
但是，为了取得多个演示模型的图像，会增加所花费时间和用于存储该演示模型的图像的存储部件。并且，当想要识别对象物的位置、姿势时，因为要进行比较对照的演示模型图像为多个，所以存在该比较对照花费时间等问题。
发明内容
本发明的图像处理装置通过比较对照拍摄了对象物的输入图像与对象物的演示模型，来识别对象物的姿势。该图像处理装置具备第1演示模型，该模型由当从多个方向拍摄对象物以离散覆盖对象物可能呈现的视图的全范围时的方向与该方向所对应的拍摄图像构成；第2演示模型，该模型由仅把对象物可能呈现的视图的一部分范围从比第1演示模型的方向变化的刻度要减小的多个方向拍摄时的方向和与该方向所对应的拍摄图像构成；第1比较对照部件，将通过拍摄部件拍摄对象物的第1输入图像与第1演示模型的各图像进行比较对照；拍摄部件的相对位置、姿势变更部件，根据由第1比较对照部件得到的比较对照结果，把对象物与拍摄部件的相位位置、姿势变更为处于第2演示模型的视图的范围内；第2比较对照部件，在变更后的相对位置、姿势上，对由拍摄部件拍摄对象物的第2输入图像使用第2演示模型进行比较对照。
在该图像处理装置中，相位位置、姿势变更部件可设为机器人。由第1、第2比较对照部件进行的比较对照可通过匹配(matching)来进行。另外，由第1、第2比较对照部件进行的比较对照可通过输入图像与多个视像的正交变换后的中间图像彼此的比较对照来进行。
根据本发明，提供一种以少量演示模型来高精度识别宽范围的对象物的姿势的图像处理装置。
本发明的上述和其它目的和特征从参照附图的以下实施例的说明中会变得明确。这些图中图1是适用本发明图像处理装置的机器人系统的结构图。
图2是基于拍摄图像与演示模型的比较对照来识别位置、姿势的方法的说明图。
图3是说明为了实现拍摄的图像与演示模型的比较对照的第1阶段而使用图1的机器人系统来取得第1演示模型的图像的方法的图。
图4是说明为了实现拍摄的图像与演示模型的比较对照的第2阶段而使用图1的机器人系统来取得第2演示模型的图像的方法的图。
图5是通过图1的机器人系统求出机件的位置、姿势的处理流程图。
具体实施例方式
图1是适用本发明的一个实施形态的图像处理装置的机器人系统的系统结构图。
机器人控制装置3与图像处理装置1经由通信接口连接。在机器人主体2的臂前端装配拍摄对象物(机件6)的照相机4(拍摄部件)，该照相机4与图像处理装置1由信号线连接，将照相机4拍摄到的图像输入图像处理装置1。
机器人控制装置3与图像处理装置1彼此传递信息并一边取得同步，一边完成整体的系统动作。就本发明而言，机器人控制装置3将该机器人控制装置3掌握的机器人的当前位置发送到图像处理装置1，另外，向图像处理装置1输出拍摄指令。另一方面，图像处理装置1接受来自机器人控制装置3的拍摄指令，由照相机4拍摄机件6。并且，图像处理装置1将由该图像处理装置1决定的机器人的目标动作位置发送到机器人控制装置3。另一方面，机器人控制装置3驱动控制驱动机器人主体2的各机构部的伺服电机等驱动源，并在目标动作位置上定位。另外，图1中，符号5是装配在机器人臂前端的机器手。
图2是说明比较对照从多个不同方向拍摄机件6得到的多个演示模型的图像与由照相机4拍摄后输入的图像并识别机件6的位置、姿势的方法的图。
首先，从各个方向拍摄要识别位置、姿势的机件，使各图像与得到该图像时的拍摄方向数据一一对应，作为第1演示模型事先存储在图像处理装置1内。在图2所示实例中，作为各演示模型的图像存储有从8个不同方向拍摄机件得到的图像10...。然后，为了识别呈现各种姿势堆积的机件6的各自的3维位置、姿势，将拍摄该机件6后输入的图像9与8个演示模型的各个图像比较对照，选择与输入图像9的类似度最高的演示模型。
在该比较对照中，以前采用如下方法等，即进行基于图像彼此的亮度相关的匹配、或傅立叶变换、离散余弦变换等正交变换，通过正交变换后的中间图像彼此的比较，作为在部分空间内的距离来计算类似度。通过进行该正交变换，与图像彼此直接进行相关计算的情况相比，由于可降低数据的维数，因此具有减少类似图像的比较对照的计算量的效果。
图2中，示出该比较对照的结果、输入图像9在8个演示模型10...中设演示模型10a最类似而选择了演示模型10a的例子。
上述演示模型的图像与输入图像的比较对照如上述特开2000-288974等所示的那样以前就被采用，但本发明的特征在于将该比较对照分成两个阶段来进行。
图3是取得用于进行第1阶段的比较对照的第1演示模型的各图像的方法的说明图。
用于进行第1阶段的比较对照的各演示模型的图像，以覆盖应识别的机件的姿势变化引起的视图变化的全部区域的方式，从不同方向拍摄机件而求得。因此，或是改变装配在机器人主体2的臂前端的照相机4的视线方向拍摄机件6，或是事先固定照相机，改变机件6的姿势以改变机件对于照相机4的相对姿势，分割机件6可能呈现的姿势的全部区域并拍摄多个。
例如，如图3所示，以与机件6所处的基准坐标系的方向角度为30度至45度的刻度，边使照相机4的位置或机件6的姿势向各方向变化，边拍摄机件6，将拍摄得到的各图像作为第1演示模型的各图像存储在图像处理装置1内的存储部件中。此时，使照相机4相对于拍摄的机件6的相对拍摄方向与拍摄图像建立对应关系，作为演示数据，在图像处理装置1内的存储部件中，作为第1演示模型存储。
并且，为了进行第2阶段的比较对照，求出第2演示模型的图像，在图像处理装置1内的存储部件中存储。该第2演示模型的图像，在机件6的视图中仅一部分的范围的区域，以比第1演示模型的拍摄方向变化刻度更细的刻度、相对改变照相机4对于机件6的拍摄方向，进行拍摄后求出。
例如图4所示，仅在铅直方向(Z轴方向)和拍摄的照相机的光轴所成角度为±30度的范围内，以10度为单位改变方向进行拍摄，与拍摄方向数据建立对应关系后与拍摄图像20一起存储，并作为第2演示模型的图像事先存储在图像处理装置1内的存储部件中。
图5是求出本实施方式的机器人系统中的机件位置、姿势的处理的流程图。
首先，机器人控制装置3驱动机器人主体2的各轴将装配在机器人的手前端的照相机4移向相对于想要求出被堆积等的3维位置、姿势的机件的拍摄位置并定位(步骤100)。之后，在向图像处理装置发送该照相机的3维位置的同时，发送拍摄指令(步骤101)。
图像处理装置1的处理器在存储从机器人控制装置3发送来的照相机4的3维位置的同时，接受拍摄指令并用照相机4拍摄机件，取入图像(第1输入图像)(步骤102)。通过匹配等进行取入的图像与存储在存储部件中的第1演示模型的各演示模型的图像的比较对照。该比较对照处理的细节在上述特开2000-288974中有详细记载，因为是公知的，所以省略其详细说明。
判断取入的图像与各第1演示模型的图像是否有类似的(步骤104)，若无类似的图像，则结束该处理，若有类似的图像，则选择其中最类似的演示模型。通过存储在选择的演示模型中的、相对机件6的照相机拍摄方向，求出照相机的相对姿势(步骤105)。之后，根据步骤101中存储的照相机4的3维位置(机器人的当前位置)与步骤105中求出的照相机相对机件的相对姿势，求出照相机4的目标移动位置，输出到机器人控制装置3(步骤106)。所谓照相机4的目标移动位置是为了让照相机4将第2阶段的用于与第2演示模型比较对照的图像取入，而使该照相机4相对于机件进行相对移动时的目标位置。
机器人控制装置3驱动机器人主体的各轴，使装配在机器人手前端的照相机4移动到接收到的目标移动位置上(步骤107)。另外，向图像处理装置1输出拍摄指令(步骤108)。
图像处理装置1接受该拍摄指令，由照相机4拍摄机件6并得到图像(第2输入图像)(步骤109)。与同第1演示模型的图像的比较对照相同地进行该得到的图像与第2演示模型的各图像的比较对照，选择类似的演示模型。在未从第2演示模型中检测到规定基准以上的类似的演示模型的情况下，结束处理，在有类似的演示模型的情况下，选择类似度最高的演示模型(步骤110、111)。
根据存储在选择的演示模型中的照相对机件的相机4的拍摄方向，求出照相机的相对姿势(步骤112)，根据该求出的照相机4的相对姿势与当前照相机4的3维位置(步骤106中求出的目标移动位置)，求出机件6的位置、姿势(步骤113)。
如上所述，根据第1演示模型，从粗略的分类中求出机件6的姿势，通过该求出的机件姿势及位置，使照相机4移动至取入用于与第演示模型的比较对照的图像的位置上，以使其成为机件6的视图的规定范围内的规定位置、姿势；然后取入图像，把以详细的刻度存储机件6的姿势的第2演示模型的各图像与取入的图像进行比较对照，求出机件6的位置、姿势，因此可从少量的演示模型中高精度地求出机件6的位置、姿势。
这样，在高精度地识别机件的位置、姿势后，进行用机器手5把持并取出该识别的机件6等操作处理。
根据本发明，如上所述，可用少量的演示模型来高精度地识别机件的姿势。
权利要求
1.一种图像处理装置，通过比较对照拍摄了对象物的输入图像与对象物的演示模型，至少识别所述对象物的姿势，其特征是，具备第1演示模型，该模型由当从多个方向拍摄对象物以离散覆盖所述对象物的可能呈现的视图的全范围时的方向及与该方向所对应的拍摄图像构成；第2演示模型，该模型由仅把所述对象物的可能呈现的视图中的一部分以比第1演示模型的方向变化刻度还要小的刻度的多个方向拍摄后的方向、及与该方向所对应的拍摄图像构成；第1比较对照部件，将拍摄部件拍摄的所述对象物的第1输入图像与第1演示模型的各图像进行比较对照；拍摄部件的相对位置、姿势变更部件，根据第1比较对照部件的比较对照结果，将所述对象物与所述拍摄部件的相位位置、姿势变更，以使其处于第2演示模型的视图的范围内；和第2比较对照部件，以变更后的相对位置、姿势，对所述拍摄部件拍摄的所述对象物的第2输入图像，使用第2演示模型进行比较对照。
2.根据权利要求1所述的图像处理装置，其特征在于所述相对位置、姿势变更部件为机器人。
3.根据权利要求1所述的图像处理装置，其特征在于通过匹配来进行所述第1、第2比较对照部件的比较对照。
4.根据权利要求1所述的图像处理装置，其特征在于根据所述第1、第2比较对照部件的比较对照，通过输入图像与多个视像进行正交变换后的中间图像之间彼此比较对照来进行。
全文摘要
本发明公开了一种图像处理装置。粗略区分机件姿势变化的能够观察得到的范围的整体区域，从各方向取入图像，把该图像与拍摄方向数据作为第1演示数据存储。把在机件姿势的变化的规定区域内以小的刻度改变拍摄方向后拍摄的图像和拍摄方向数据，作为第2演示数据存储。拍摄机件，并与第1演示模型进行比较对照，选择最类似的第1演示模型。根据选择的演示模型使照相机移动到能够得到用于与第2演示模型比较对照的图像的目标移动位置上进行拍摄。比较对照拍摄的图像与第2演示模型，选择最类似的第2演示模型。通过该选择演示模型的拍摄方向和拍摄位置，求出机件的位置、姿势。
文档编号G01B11/26GK1550297SQ20041003802
公开日2004年12月1日 申请日期2004年5月12日 优先权日2003年5月12日
发明者组谷英俊, 泷泽克俊, 俊 申请人:发那科株式会社