专利名称：判定三维形状一致的方法以及装置的制作方法
技术领域：
本发明涉及判定三维形状一致的方法以及装置，尤其涉及利用关于形状的特征量的方法和装置。
背景技术：
作为判定三维形状的一致方法，已知一种通过拍摄判定对象的三维形状来创建二维亮度图像，并利用该亮度图像进行判定的方法。例如，在专利文献1所记载的方法中，根据拍摄三维形状所得到的亮度图像来求出亮度分布，并基于该亮度分布来决定特征量，以所决定的特征量为基准来进行一致判定。另外，作为判定由二维亮度图像所表示的物体的一致的方法，公知一种利用图像特征量的方法。例如在非专利文献1以及2中记载为“SIFT(Scale Invariant Feature Transform)，，的方法中，基于亮度图像中的亮度梯度提取特征点，针对特征点求出表示特征量的向量，以该向量为基准来判定一致。专利文献1 日本特开2002-511175号公报。非专利文献1 藤吉弘亘，“Gradient 一卞 特徵抽出-SIFT i HOG-”，情報処理学会研究報告 CVIM160、2007 年、p. 211-224非专禾Ij 文献 2 :David G. Lowe, "Object Recognition from Local Scale-Invariant Features，，，Proc. of the International Conference on Computer Vision, Corfu, 1999 年 9 月然而，在现有技术中，存在无法有效地利用与立体形状相关的信息这一问题。例如，在专利文献1所记载的方法、非专利文献1以及2所记载的方法中，由于仅利用所拍摄的二维亮度图像，因此导致损失与立体形状相关的信息的至少一部分。作为该问题影响到判定准确度的具体例子之一，可举出判定对象物体表面没有特征性纹理，并且表面平滑地变化从而不产生阴影的情况。在这种情况下，无法根据亮度图像恰当地得到成为判定基准的信息。作为其他具体例，可举出拍摄角度不同的情况。二维图像会根据判定对象物体与摄像头的相对位置以及姿势的不同而大幅地变化。因此，即使是同一物体，如果从不同角度进行拍摄也会成为不同的图像，从而无法进行准确度高的一致判定。另外，由于基于三维位置关系的变化而导致的图像变化超出了简单的二维图像旋转或者尺度变化的范围，因此仅采用对二维图像的旋转以及尺度变化具有鲁棒性的方法，无法解决该问题。
发明内容
本发明是为了解决该问题点而提出的，其目的在于，提供一种在进行三维形状的一致判定时，能够有效地利用与立体形状相关的信息的方法以及装置。本发明所涉及的判定三维形状一致的方法，该方法的特征在于，包括针对至少一个形状来提取至少一个特征点的步骤；针对提取出的特征点来决定特征量的步骤；基于所决定的特征量和针对其他形状所存储的特征量，来进行形状相互间的一致判定的步骤，其中，特征量表示立体形状。在该方法中，针对从形状提取出的特征点，决定表示立体形状的特征量。因此，特征量包括与立体形状相关的信息。并且，利用该特征量来进行一致判定。一致判定可以是形状是否相互一致的判定，还可以是计算表示形状一致的程度的一致度的判定。决定特征量的步骤还可以包含针对各个特征点，计算包含该特征点的平面的法线方向的步骤。由此，能够与表示形状的视点无关地确定与该特征点相关联的方向。还可以包含针对其他形状来提取至少一个特征点的步骤；针对其他形状的特征点来决定特征量的步骤；以及存储其他形状的特征量的步骤。由此，能够针对两个形状利用通过相同方法决定出的特征量来进行判定。决定特征量的步骤还可以包括提取构成形状的表面的表面点的步骤；确定沿着法线方向将表面点投影到平面后的投影点的步骤；计算表面点与投影点之间的距离来作为表面点的深度的步骤；以及基于表面点的深度来计算特征量的步骤。决定特征量的步骤还可以包括基于多个表面点的深度来决定特征点的尺度的步骤；基于多个表面点的深度来决定平面中的特征点的方向的步骤；基于特征点的位置、特征点的尺度以及特征点的方向来决定特征记述区域的步骤，在基于表面点的深度计算特征量的步骤中，可以基于特征记述区域内的表面点的深度来计算特征量。特征量还可以由向量的形式表示。进行各个形状间的一致判定的步骤还可以包括计算表示各个形状的特征量的向量之间的欧几里得距离的步骤。至少一个形状可以由距离图像表示。另外，本发明所涉及的判定三维形状一致的装置具备距离图像创建单元，其创建形状的距离图像；存储单元，其存储距离图像以及特征量；以及运算单元，其利用上述方法对由距离图像表示的形状进行一致判定。根据本发明所涉及的判定三维形状一致的方法以及装置，由于将表示立体形状的信息作为特征量使用，并基于其来进行一致判定，因此能够有效地利用与立体形状相关的 fn息ο
图1是表示本发明的判定装置的构成的图。图2是表示某物体的外观的照片。图3是图2的物体的距离图像。图4是说明图1的判定装置的动作的流程图。图5是表示图4的步骤S3以及步骤S7所含的处理的详细内容的流程图。图6是对图1的特征点的附近放大表示的图。
具体实施例方式以下，基于附图对本发明的实施方式进行说明。实施方式1
图1表示本发明所涉及的判定装置10的构成。判定装置10是判定三维形状一致的装置，其执行判定三维形状一致的方法。物体40具有三维形状，其形状在本实施方式中成为一致判定的对象。在此，采用物体40作为判定对象的第一物体。判定装置10包括距离图像摄像头20。距离图像摄像头20是对物体40进行拍摄， 来创建表示物体40的形状的距离图像的距离图像创建单元。在此，距离图像是针对距离图像摄像头20的拍摄范围的物体或者其表面所含的各点，将表示自距离图像摄像头20到该点为止的距离的信息以图像形式表示而成的。图2以及图3是对针对同一物体的外观以及距离图像进行对比的图。图2是表示写有“圆筒”的圆筒状物体的外观的照片，是亮度图像。图3是使用距离图像摄像头20拍摄该物体后得到的图像，是距离图像。其中，在图3中离距离图像摄像头20的距离近的部分被明亮表示，距离远的部分被暗淡表示。从图3可知，在距离图像中与纹理(例如物体表面的“圆筒”之类的文字)无关地表示了到构成物体表面形状的各点为止的距离。如图1所示，距离图像摄像头20与计算机30连接。计算机30是具有公知构成的计算机，例如由微芯片或者个人计算机等构成。计算机30具备进行运算的运算单元31、和存储信息的存储单元32。运算单元31 例如是周知的处理器，存储单元32例如是周知的半导体存储装置或者磁盘装置。运算单元31通过执行安装在运算单元31的程序或者存储在存储单元32的程序， 来作为控制距离图像摄像头20的动作的摄像头控制单元33、从距离图像提取特征点的特征点提取单元34、针对特征点决定特征量的特征量决定单元35以及进行形状一致判定的一致判定单元36发挥功能，对于这些功能的详细内容将在后面说明。下面，利用图4的流程图，对图1所示的判定装置10的动作进行说明。首先，判定装置10针对作为具有第一形状的第一物体，对物体40进行处理(步骤 Sl S4)。在此，首先判定装置10针对物体40创建表示其形状的距离图像(步骤Si)。在该步骤Sl中，摄像头控制单元33控制距离图像摄像头20来拍摄距离图像，从距离图像摄像头20接收距离图像的数据并将其存储在存储单元32中。S卩，存储单元32存储如图3所示那样的距离图像的数据。接下来，判定装置10基于物体40的距离图像，针对物体40的形状提取至少1个特征点(步骤S》。该步骤S2由特征点提取单元34执行。该特征点可以用何种方法来提取，下面对其进行示例。由于距离图像是二维图像， 所以若将距离解释为亮度，则可以视为在形式上与二维亮度图像具有同一构成的数据。艮口， 在图3的例子中，将距离近的点表示为亮度高的点，将距离远的点表示为亮度低的点，但是还可以将基于该亮度的显示直接用作亮度图像。因此，作为针对物体40的形状提取特征点的方法，可以直接应用从二维亮度图像提取特征点的周知的方法。作为从二维亮度图像提取特征点的方法，多数方法是周知的，可以使用其中的任一种方法。例如，可以采用基于非专利文献1以及2所记载的基于SIFT的方法来提取特征点。即，该情况下，特征点提取单元34利用基于SIFT的方法，从物体40的距离图像提取特征点。在基于SIFT的方法中，一边使高斯函数的尺度(scale)变化，一边进行高斯函数与亮度图像(在本实施方式中为距离图像)的卷积运算，在卷积结果中求出基于尺度变化的各像素的亮度(距离)的差值，与该差值为极值的像素对应地提取特征点。在此，假设提取出图1所示的特征点41，在以下的步骤S3以及S4中以特征点41 为例来进行说明。其中，在提取出多个特征点的情况下，步骤S3以及S4的处理是分别针对各个特征点执行的。判定装置10针对特征点41决定特征量(步骤S； )。该特征量表示物体40的立体的形状。利用图5以及图6来详细说明该步骤S3的处理。图5是表示步骤S3所含的处理的详细内容的流程图，图6是对图1的特征点41 的附近进行放大表示的图。在步骤S3中，首先特征量决定单元35决定包含特征点41的平面(步骤S31)。该平面例如可以采用在特征点41处与物体40的表面相切的切平面42。接下来，在该步骤S3中，特征量决定单元35计算切平面42的法线方向(步骤 S32)。其中，距离图像包含特征点41以及表示其周边形状的信息，因此对于在步骤S31 以及S32中切平面42以及计算其法线方向的处理，只要是本领域技术人员就能够适当地设计。由此，可以与距离图像摄像头20的位置、角度无关地确定与特征点41处的形状相关联的方向。下面，特征量决定单元35针对物体40的表面形状提取构成其表面的点来作为表面点(步骤S3； )。表面点能够通过例如在规定区域内选择等间隔的格子点来进行提取，但只要是提取至少1个表面点的方法，无论利用何种方法提取均可。在图6的例子中，假设提取出了表面点43 45。下面，特征量决定单元35确定与各表面点对应的投影点(步骤S34)。投影点被确定为沿着切平面42的法线方向将表面点投影到切平面42的点。在图6中，分别将与表面点43 45对应的投影点设为投影点43， 45，。接下来，特征量决定单元35计算各表面点的深度(cbpth)(步骤S3。。深度作为表面点和与其对应的投影点之间的距离被算出。例如表面点43的深度为深度d。接下来，特征量决定单元35基于各表面点的深度，决定特征点41的尺度(scale) (步骤S36)。尺度是表示特征点41附近的形状的特征区域的大小的值。在该步骤S36中，特征点41的尺度可以由何种方法决定，下面对其进行示例。各投影点在切平面42上可以由二维坐标表示，另外，与各投影点对应的表面点的深度是标量值。因此，若将深度解释为亮度，则可以视为形式上与二维亮度图像具有同一构成的数据。 即，可以针对各投影点将表示深度的数据直接用作亮度图像。因此，作为决定特征点41的尺度的方法，可以直接应用决定二维亮度图像的特征点的尺度的周知方法。作为决定二维亮度图像特征点的尺度的方法，例如，可以利用非专利文献1以及2 所记载的SIFT的方法。即，该情况下，特征量决定单元35利用基于SIFT的方法，基于各表面点的深度来决定特征点41的尺度。如果利用基于SIFT的方法，则可以将特征区域的大小作为尺度考虑，本实施方式所涉及的方法是对尺寸变化具有鲁棒性的方法。即，即使在物体40在外观上的尺寸(即物体40与距离图像摄像头20的距离)发生了变化的情况下，尺度也与其相应地变化，因此能够通过考虑外观上的尺寸来可靠地进行形状的一致判定。
接下来，特征量决定单元35基于各表面点的深度，决定切平面42的特征点41的方向(或者朝向(direction)或者方向(orientation))(步骤S37)。该方向是与切平面 42法线方向正交的方向。在图6的例子中假设方向A为特征点41的方向。在该步骤S37中，特征点41的方向采用何种方法来决定均可，但是可以与步骤S36 同样地，采用基于非专利文献1以及2所记载的SIFT的方法。即，特征量决定单元35利用基于SIFT的方法，基于各表面点的深度，来决定切平面42中的特征点41的方向。在基于 SIFT的方法中，求出各像素的亮度梯度(在本实施方式中为各表面点的深度梯度)，并进行该梯度、与以特征点41为中心与尺度对应的高斯函数的卷积运算，并将卷积结果表示在离散化后的各个方向的直方图中，将直方图中最大梯度的方向决定为特征点41的方向。其中，在图6的例子中，特征点41的方向仅是方向A，但是1个特征点也可以具有多个方向。根据SIFT，有时会得到深度梯度具有超过规定值的极值的多个方向，但是即使在这种情况下也可以同样地进行以下处理。如果利用基于SIFT的方法，则能够在切平面42内确定方向A，使其与坐标轴相配合地记述特征量，本实施方式所涉及的方法是对旋转具有鲁棒性的方法。即，即使在物体40 在距离图像摄像头20的视野内旋转的情况下，由于特征点的方向也与其对应地旋转，因此能够获得相对于物体的朝向，实质上不变的特征量，从而能够可靠地进行形状的一致判定。接下来，特征量决定单元35基于在步骤S2提取出的特征点41的位置、在步骤S36 中决定出的特征点41的尺度、以及在步骤S37在决定出的特征点41的方向，来决定与特征点41相关的特征记述区域50 (步骤S38)。该特征记述区域50是在决定特征点41的特征量的时候所考虑的规定表面点范围的区域。该特征记述区域50如果是根据特征点41的位置、特征点41的尺度以及特征点41 的方向而被唯一决定的，则可以以何意方式来决定。作为一个例子，在采用正方形区域的情况下，在切平面42中，将正方形中心设为特征点41，将一条边的长度设为与尺度对应的值， 并且根据特征点41的方向决定其朝向即可。另外，在采用圆形区域的情况下，在切平面42 中，将圆中心作为特征点41，将半径作为与尺度对应的值，并且根据特征点41的方向来决定其朝向即可。其中，该特征记述区域50还可以如图6所示那样在切平面42中决定，或者在物体 40的表面决定。任何一种方式均能够通过在切平面42与物体40之间将特征记述区域50 投影在切线方向，来等效地确定特征记述区域50所含的表面点以及投影点。接下来，特征量决定单元35基于特征记述区域50所含的各表面点的深度，计算特征点41的特征量(步骤S39)。在该步骤S39中，特征点41的特征量以任何方法计算均可，但还可以与步骤S36以及S37同样地，利用基于非专利文献1以及2所记载的SIFT的方法。即，该情况下，特征量决定单元35利用基于SIFT的方法，基于各表面点的深度，计算特征点41的特征量。在此，特征量可以通过向量的形式来表示。例如，在基于SIFT的方法中，能够将特征记述区域50分割成多个块，以块为单位将离散化到规定数的方向的深度梯度的直方图作为特征量。例如分割成4X4(合计16)个块，将梯度离散化到8个方向的情况下，特征量成为4X4X8 = 1 维的向量。也可以对计算出的向量进行正规化。可以将该正规化按照使所有特征点向量的长度的总和为固定值的方式进行。
如上述那样执行步骤S3，来决定特征量。在此，各表面点的深度表示物体40的立体形状，因此特征量能够基于特征记述区域50的立体形状被算出。接下来，判定装置10将特征量存储在存储单元32中(图4，步骤S4)。该处理通过特征量决定单元35进行。在此针对物体40的处理结束。接着，判定装置10针对具有第二形状的第二物体，进行与上述步骤Sl S4同样的处理(步骤S5 S8)。步骤S5 S8的处理分别与步骤Sl S4同样，故省略说明。接下来，判定装置10基于针对第一形状决定的特征量和针对第二形状决定出的特征量，来进行第一形状与第二形状的一致判定(步骤S9)。在该步骤S9中，一致判定单元 36进行一致判定。一致判定可采用任何方法进行，将一个例子表示如下。在作为例子而说明的判定方法中，首先利用kD树来进行特征点之间的对应。例如，将所有特征点排序成η层(其中η为整数)的kD树。并且，通过利用该kD树的查找最近相邻节点(Best Bin First)的方法，针对一种形状(例如第一形状)的各个特征点，查找其他形状(例如第二形状)的特征点中的最类似的特征点，并建立对应。由此，对于一种形状的全部特征点，与其他形状的特征点中的某一个建立对应，从而生成组。在该时刻，组中实际上有可能包含不对应的特征点的组(即错误对应的组)。 为了将这样的错误对应组作为离群值除去，而利用了被称为RANSAC (RANdom SAmp 1 e Consensus 随机采样一致估计)的方法。RANSAC记载在M. Fischer以及R. Bolles的题为"Random Sample Consensus :A paradigm for model fitting with applications to image analysis and automated cartography" ^ifeilpI11 (Communications of the ACM, 第M卷第6号，p. 381 385，1981年)。在RANSAC中，首先从特征点组中随机地选择规定数附来创建群，基于选择出的全部组，求出从一种形状的各特征点的向量向另一形状的各特征点的向量的单应性(homography)变换。并且，针对群所包含的各个组，求出针对表示一种形状的特征点的向量进行了该单应性变换而得到的向量与另一形状的特征点的向量的欧几里得距离 (Euclidean distance)，并将该距离在规定阈值D以下的组判定为合群(inlier)、即为正确的对应，并将超过规定的阈值D的组判定为离群(outlier)、即错误的对应。其后，再次随机地选择规定数m个的组来创建不同的群，针对该群也同样地判定各组是合群还是离群。这样，将组的创建以及判定重复规定次数(X次)，确定被判定为合群的组最多的群。如果确定出的群中的合群的数N2在规定的阈值N3以上，则判定为两个形状一致，如果N2不足N3，则判定为不一致。另外，还可以根据N2的值，决定表示两个形状的一致程度的一致度。其中，在上述方法中，对于各种参数、即Nl、N2、N3、D以及X，只要是本领域技术人员即能够通过实验确定出恰当的值。如上那样，根据本发明实施方式1所涉及的判定装置10，利用表面点的深度来表示立体形状即表面的起伏，基于此来决定特征点以及特征量。而且，基于特征点以及特征量来进行立体形状的一致判定。因此，判定时能够有效地利用与立体形状相关的信息。例如，即使在判定对象的物体表面没有特征性的纹理，并且表面平滑地变化而未产生阴影的情况下，也能够根据表面的变化计算深度，并恰当地进行一致判定。另外，即使在拍摄角度不同的情况下，也能够恰当地进行一致判定。如果是同一物体，即使拍摄的角度不同，形状也不发生变化，因此如果是相同的特征点则法线方向以及深度梯度不变，特征量也不变。因此，只要各个距离图像包含公共的特征点，就能够通过特征量的一致来恰当地检测出特征点的对应。另外，由于能够应对针对物体的视点的变化，因此物体的姿势以及位置不受制约， 能够应用于广泛的用途。并且，由于能够以从一个视点的距离图像为基准来进行判定，所以无需预先存储从多个视点的距离图像，因此能够降低存储器使用量。在上述实施方式1中，特征量的决定中仅使用了立体形状(表面点的深度)，但是除此之外还可以采用与纹理相关的信息。即，作为输入的图像，不仅包括表示距离的信息， 还可以包括表示亮度(黑白或者彩色)的信息。该情况下，利用基于SIFT的方法，能够计算出与亮度相关的特征量。通过结合与实施方式1中得到的立体形状相关的特征量、和与这种亮度相关的特征量来进行一致判定，能够提高判定的准确度。在实施方式1中，特征点的提取以及特征量的决定全部是基于距离图像进行的。 作为变形例，还可以基于距离图像以外的信息进行这些处理。只要是例如实体模型等能够进行特征点提取以及深度计算的信息即可，其可以是任何信息，即使是实际上未作为物体存在的信息，也能够进行同样的处理。实施方式2.在上述实施方式1中，判定装置分别拍摄两个形状来决定特征量。在实施方式2 中，针对第一形状预先存储特征量，而仅针对第二形状进行拍摄以及特征量的决定。实施方式2中的判定装置的动作省略了图4的处理中的步骤Sl S3。S卩，针对第一形状不进行特征量的决定，将由外部(例如其他判定装置)决定的特征量作为输入接收， 并对其进行存储。这例如相当于模型数据的输入。步骤S4以后的处理与实施方式1相同， 在针对第二形状进行了拍摄、特征点提取、特征量决定之后，进行第一形状与第二形状的一致判定。实施方式2适用于预先对全部的判定装置准备公共的模型数据，仅选择与其一致的物体(形状)这样的用途。在模型数据变更的情况下，无需在全部的判定装置中重新拍摄新的模型，而在任一个判定装置中决定模型的特征量后，将该特征量的数据复制到其他判定装置即可，进而能够使作业高效化。
权利要求
1.一种判定三维形状一致的方法，其特征在于，包括 针对至少一个形状来提取至少一个特征点的步骤； 针对提取出的所述特征点来决定特征量的步骤；以及基于所决定的所述特征量和针对其他形状所存储的所述特征量，来进行所述形状相互间的一致判定的步骤，所述特征量表示立体形状。
2.根据权利要求1所述的方法，其特征在于，决定所述特征量的所述步骤包括针对各个所述特征点来计算包含该特征点的平面的法线方向的步骤。
3.根据权利要求1所述的方法，其特征在于，还包括 针对所述其他形状来提取至少一个特征点的步骤；针对所述其他形状的所述特征点来决定特征量的步骤；以及存储所述其他形状的特征量的步骤。
4.根据权利要求2所述的方法，其特征在于， 决定所述特征量的所述步骤包括提取构成所述形状的表面的表面点的步骤；确定沿着所述法线方向将所述表面点投影到所述平面后的投影点的步骤； 计算所述表面点与所述投影点之间的距离来作为所述表面点的深度的步骤；以及基于所述表面点的所述深度来计算所述特征量的步骤。
5.根据权利要求4所述的方法，其特征在于， 决定所述特征量的所述步骤包括基于多个所述表面点的所述深度来决定所述特征点的尺度的步骤； 基于多个所述表面点的所述深度来决定所述平面中的所述特征点的方向的步骤；以及基于所述特征点的位置、所述特征点的尺度以及所述特征点的方向来决定特征记述区域的步骤，在基于所述表面点的所述深度来计算所述特征量的所述步骤中，基于所述特征记述区域内的所述表面点的所述深度来计算所述特征量。
6.根据权利要求1所述的方法，其特征在于， 所述特征量由向量的形式表示。
7.根据权利要求6所述的方法，其特征在于，进行所述形状相互间的一致判定的所述步骤包括计算表示各个所述形状的所述特征量的所述向量之间的欧几里得距离的步骤。
8.根据权利要求1所述的方法，其特征在于， 所述形状的至少一个由距离图像表示。
9.一种判定三维形状一致的装置，具备 距离图像创建单元，其创建所述形状的距离图像； 存储单元，其存储所述距离图像以及所述特征量；以及 运算单元，其利用权利要求1所述的方法对由所述距离图像表示的所述形状进行一致判定。
全文摘要
本发明提供一种判定三维形状一致的方法以及装置，能够有效地利用与立体形状相关的信息。判定装置(10)的摄像头控制单元(33)利用距离图像摄像头(20)对判定对象的物体的距离图像进行拍摄。特征点提取单元(34)基于该距离图像来提取特征点。特征量决定单元(35)计算特征点附近的立体形状来作为表面点的深度，并基于表面点的深度来决定特征点的特征量。一致判定单元(36)基于两个形状的特征量进行这些形状的一致判定。
文档编号G06T7/00GK102428497SQ20108002184
公开日2012年4月25日 申请日期2010年6月4日 优先权日2009年6月22日
发明者小关亮介, 藤吉弘亘 申请人:株式会社丰田自动织机