专利名称：位置和方位估计方法及其设备的制作方法
技术领域：
本发明涉及一种用于估计其三维形状已知的物体的位置和方位的技术。
背景技术：
随着近年来机器人技术的发展，直到现在为止由人类执行的复杂任务(诸如制成品的装配)正改为由机器人执行。这样的机器人用末端执行器(诸如手)握住部件，并且执行装配。为了让机器人握住部件，有必要精确地估计将被握住的部件与机器人(手)之间的相对位置和方位(orientation)。位置和方位的这样的估计多方面地不仅用于让机器人握住部件，而且还用于让机器人估计它自己的位置以自主地移动以及使增强真实性中的真实空间与虚拟物体重合。一种用于估计位置和方位的方法包括使用通过照相机捕捉的二维图像或者从距 离传感器获取的距离图像(range image)的方法。其中，通常使用利用模型拟合的估计，在所述模型拟合中，针对从捕捉图像提取的图像特征或者从距离图像获取的点云数据拟合物体的三维几何模型。例如，存在下述方法，该方法用于估计物体的位置和方位，以使得针对在灰阶图像上检测到的边缘拟合物体的线框模型的投影图像。此外，存在另一种方法，该另一种方法用于通过针对从距离图像获取的点云数据拟合三维几何模型(诸如网格模型(mesh model))来估计物体的位置和方位。通常，由于机加工精度和成本的问题，大量生产的工业部件的形状和尺寸离散。对于这样的部件的每一个个体生成三维几何模型是不现实的，使得通常通过使用表示部件的标准形状的一个三维几何模型来估计位置和方位。换句话讲，三维几何模型在形状上不总是与实际部件一致。如果通过使用模型拟合来估计部件的位置和方位，则在模型与实际部件之间的差异大的情况下引起不能进行精确估计的问题。专利文献I讨论了用于在使用模型识别物体的位置时吸收该物体的形状的离散度(dispersion)的方法。在这种方法中，基于表示物体的标准模型和图像(测量数据)来认识到物体的位置，并且对测量数据进行统计处理以顺序地更新标准模型。非专利文献I讨论了用于在估计脸的位置和方位时吸收个人与脸的三维模型之间的差异的方法。在这种方法中，每一个个体的特征点的偏差被从事先获取的偏差的分布和实际测量数据获取，并且对具有偏差的特征点进行模型拟合。对于每一个个体生成模型，以使得可与形状的离散度无关地估计位置和方位。在专利文献I中，物体的形状的离散度被吸收，以提高物体的识别率。这种方法更新标准模型以便吸收实际物体的离散度，使得这种方法适合于识别物体并且粗略估计位置和方位，但是不适合于精确地估计位置和方位。非专利文献I中所讨论的方法是用于明确地计算偏差的方法，并且由于来自测量数据的特征的错误检测，在所获取的偏差本身中可能包含误差，使得这种方法不适合于精确地估计位置和方位。引文列表
专利文献[PTL I]日本专利申请公开No. 09-81744非专利文献[NPL I]X. Chai, Shan, L. Qing 和 W. Gao, "Pose estimation based on Gaussianerror models,"International Conference on Biometrics (ICB 2006),LNCS3832，pp. 136-143, 2005.[NPL 2]Y. Chen和G. Medioni, "Object modeling by registration of multiplerange images, ^Proc. 1991 International Conference on Robotics and Automation(ICRA’91)，pp. 2724-2729，1991.
[NPL 3]M. D. Wheeler, Y. Sato和K. Ikeuchi, "Consensus surfaces for modeling3D objects from multiple range images, 〃Proc. 6th International Conference onComputer Vision (ICCV' 98)，pp. 917-924，1998.[NPL 4]R. Hartley 和 A. Zisserman, "Multiple View Geometry in ComputerVision, Second Edition, "Cambridge University Press,2000.[NPL 5] Y. Liu, T. S. Huang 和 0. D. Faugeras, "Determination of CameraLocation from 2-D to 3-D Line and Point Correspondences, 〃IEEE Transactions onPattern Analysis and Machine Intelligence, vol. 12, no. I, pp. 28-37, 1990.
发明内容
本发明涉及一种即使物体在形状上比具有标准形状的三维几何模型更离散，也精确地估计该物体的位置和方位的方法。根据本发明的一方面，一种用于获得物体的位置和方位的位置和方位估计方法包括统计量计算步骤，其通过统计量计算装置计算构成所保持的物体的三维几何模型的几何特征的偏差的统计量；可靠性计算步骤，其通过可靠性计算装置基于所述偏差的统计量来计算每个几何特征的可靠性；图像特征提取步骤，其通过图像特征提取装置提取由图像捕捉装置捕捉的捕捉图像的图像特征；关联步骤，其通过关联装置将所述几何特征与所述图像特征关联；偏差量计算步骤，其通过偏差量计算装置计算所述几何特征与所述图像特征之间的偏差量；以及位置和方位估计步骤，其通过位置和方位估计装置基于所述可靠性和所述偏差量来估计所述物体的位置和方位。根据本发明的另一方面，一种用于获得物体的位置和方位的位置和方位估计设备包括统计量计算装置，其被配置为计算构成所述物体的三维几何模型的几何特征的偏差的统计量；可靠性计算装置，其被配置为基于所述偏差的统计量来计算每个几何特征的可靠性；图像特征提取装置，其被配置为提取由图像捕捉装置捕捉的捕捉图像的图像特征；关联装置，其被配置为将所述几何特征与所述图像特征关联；偏差量计算装置，其被配置为计算所述几何特征与所述图像特征之间的偏差量；以及位置和方位估计装置，其被配置为基于所述可靠性和所述偏差量来估计所述物体的位置和方位。根据本发明的另一方面，一种程序使计算机执行上述位置和方位估计方法之一的每个步骤。根据本发明的另一方面，一种存储介质存储用于使计算机执行上述位置和方位估计方法之一的每个步骤的程序。从以下参照附图对示例性实施例的描述，本发明的进一步的特征将变得清晰。
图I是第一示例性实施例中的配置的例子。图2是第一示例性实施例中的处理的流程图。图3是示出用于从公差数据计算形状的偏差的处理的例子的流程图⑴。图4是标准模型和公差数据的例子。图5是表示偏差候选量的示意图。
图6是所提取的线段和可靠性数据库的例子。图7是示出用于计算物体的位置和方位的处理的例子的流程图。图8是示出关联的例子的示意图(I)。图9是示出用于从测量数据计算偏差的处理的例子的流程图。图10是示出物体与测量位置之间的关系的例子的示图。图11是示出用于从公差数据计算形状的偏差的处理的例子的流程图(2)。图12是示出关联的例子的示意图(2)。
具体实施例方式现在将参照附图来详细描述本发明的实施例。应该指出，除非另有特别说明，否则这些实施例中所阐述的部件的相对布置、数值表达式和数值不限制本发明的范围。现在以下将参照附图来详细描述本发明的示例性实施例。在本发明的第一示例性实施例中，通过使用表示物体的标准形状的三维几何模型(以下称为标准模型)与实际物体之间的偏差的不均匀性来精确地估计物体的位置和方位。被认为偏差小的部分的信息被肯定地(positively)用于精确地估计位置和方位。在本示例性实施例中，假定物体为工业部件，基于该物体的公差数据(tolerance data)来估计构成该物体的标准模型的每个特征的偏差的统计量，并且通过使用所计算的每个特征的可靠性，基于偏差的统计量来估计该物体的位置和方位。以下使用图I来描述本示例性实施例中的位置和方位估计设备100的配置。在图I中，箭头指示数据流。位置和方位估计设备100包括测量数据获取单元101、特征提取单元102、存储单元103以及位置和方位计算单元104。位置和方位估计设备100与测量设备105连接。测量设备105测量真实空间。测量设备105通过例如照相机捕捉二维图像。测量设备105测量例如物体的表面的三维位置，并且捕捉距离图像。捕捉的图像被发送到测量数据获取单元101。测量数据获取单元101从测量装置105获取测量数据。例如，测量数据被获取作为由照相机捕捉的二维图像。所获取的测量数据被发送到特征提取单元102。特征提取单元102从测量数据提取特征。特征提取单元102使用例如坎尼(Canny)算子来从图像提取边缘作为特征。所提取的特征被发送到位置和方位计算单元104。存储单元103存储构成物体的标准模型的每个特征的偏差的统计量。物体的标准模型用例如线段集合来描述。所述线段是指表示物体的表面的表面与在该处颜色或密度明显改变的边界线的交线。可替换地，物体的标准模型可用物体上的特征点集合、表示物体的表面的集合或者这些集合的组合来描述。被保持的物体的标准模型被发送到位置和方位计算单元104。位置和方位计算单元104使用由特征提取单元102从测量数据提取的特征以及存储在存储单元103中的物体的每个特征的标准模型以及与物体的标准模型的偏差的统计量，来估计物体的位置和方位。以下参照图2来描述本示例性实施例中的位置和方位估计设备100的总处理流程的概要。 步骤S201中的处理是用于计算统计量的处理。在这个步骤中，计算构成物体的标准模型的几何特征的偏差的统计量。如上所述，在本示例性实施例中，物体的标准模型用线段集合表示。这里，在几何特征作为线段的情况下，偏差的统计量基于分割点处的公差来计算，在所述分割点，每个线段被以规则间隔三维分割。分割点用作几何特征的原因是在下述位置和方位估计处理中执行分割点单位处理。步骤S202中的处理是用于计算可靠性的处理。在这个步骤中，从在步骤S201中获取的每个分割点处的偏差的统计量计算作为几何特征的分割点的可靠性。步骤S203中的处理是用于计算位置和方位的处理。在这个步骤中，使用在步骤S202中计算的可靠性来计算物体的位置和方位。步骤S201和S202不总是需要与位置和方位的估计一起执行，并且可作为在步骤S203中执行的位置和方位估计的预处理被单独地离线地执行。以下详细描述在步骤S201中用于从分割点计算偏差的统计量的处理。计算偏差的统计量的结果存储在存储单元103中。这里，以下参照图3中的流程图来描述用于从物体的公差数据计算偏差的统计量的方法。步骤S301中的处理是用于提取模型的特征的处理。在这个步骤中，从标准模型提取线段数据。步骤S302中的处理是用于提取公差的处理。在这个步骤中，提取公差，所述公差可以是所关注的线段(以下称为关注线段)的偏差中的因素(以下称为偏差因素公差)。偏差因素公差是其中包括关注线段的脊线或表面的公差。图4是标准模型和公差数据的例子。以下对从标准模型400提取的、作为关注线段的线段401进行描述。尺寸公差(dimensional tolerance) 402至404以及平面公差405至407是偏差因素公差的候选，尺寸公差402至404以及平面公差405至407是其中包括线段401的脊线或表面的公差。在这些候选之中，对位置和方位估计没有贡献的尺寸公差402和平面公差405之外的尺寸公差403和404以及平面公差406和407是偏差因素公差。步骤S303中的处理是用于计算公差的处理。在这个步骤中，关注线段被按预定间隔三维分割，并且对于每个分割点，获取由在步骤S302中提取的每个偏差因素公差引起的偏差量的最大值(以下称为偏差候选量)。偏差候选量用在标准模型上设置的模型坐标系503的每个分量的幅值表示。图5是表不偏差候选量502的不意图，偏差候选量502是尺寸公差404对于线段401上的分割点501提供的，其中关注线段为线段401。在这个例子中，分割点501处的偏差候选量502仅用X分量呈现。对所有的分割点进行这个处理。步骤S303中的处理是用于确定统计量的处理。在这个步骤中，产生下述矢量，并且将该矢量的幅值“d”取作分割点处的偏差的统计量，所述矢量具有在步骤S303中计算的每个分割点处的一组偏差候选量的每个分量的最大值。这导致获取满足所有公差并且在公差中为最大的偏差量。以下描述例如三个偏差候选量存在于分割点501处的情况。偏差候选量被取作(分量 X，分量 y,分量 z) = (dxl, dyl, dzl)、(dx2, dy2, dz2)、(dx3, dy3, dz3)。分量 x、y 和 z具有关系dxl>dx2>dx3、dy3>dy2>dyl和dz2>dz3>dzl。在这种情况下,每个分量的最大值由(dxl, dy3, dz2)给出，其幅值“d”用下式表达数学式I
权利要求
1.一种用于获得物体的位置和方位的位置和方位估计方法，所述位置和方位估计方法包 括 统计量计算步骤，其通过统计量计算装置计算构成所保持的物体的三维几何模型的几何特征的偏差的统计量； 可靠性计算步骤，其通过可靠性计算装置基于所述偏差的统计量来计算每个几何特征的可靠性； 图像特征提取步骤，其通过图像特征提取装置提取由图像捕捉装置捕捉的捕捉图像的图像特征； 关联步骤，其通过关联装置将所述几何特征与所述图像特征关联； 偏差量计算步骤，其通过偏差量计算装置计算所述几何特征与所述图像特征之间的偏差量;和 位置和方位估计步骤，其通过位置和方位估计装置基于所述可靠性和所述偏差量来估计所述物体的位置和方位。
2.根据权利要求I所述的位置和方位估计方法，其中，所述统计量计算步骤包括基于所述三维几何模型的公差数据来计算所述统计量。
3.根据权利要求2所述的位置和方位估计方法，其中，所述统计量计算步骤包括 模型特征提取步骤，其通过模型特征提取装置提取构成所述三维几何模型的线段； 公差提取步骤，其通过公差提取装置提取引起所述线段的偏差的公差； 公差计算步骤，其通过公差计算装置计算所述线段的各预定间隔的公差；和统计量确定步骤，其通过统计量确定装置产生最大公差中的公差的矢量，并且将该矢量取作所述统计量。
4.根据权利要求2所述的位置和方位估计方法，其中，所述统计量用概率分布表示。
5.根据权利要求4所述的位置和方位估计方法，其中，所述统计量计算步骤包括 模型特征提取步骤，其通过模型特征提取装置提取构成所述三维几何模型的线段； 公差提取步骤，其通过公差提取装置提取引起所述线段的偏差的公差； 公差计算步骤，其通过公差计算装置计算所述线段的各预定间隔的公差；和统计量确定步骤，其通过统计量确定装置基于所述公差产生正态分布的矢量并且将该矢量取作所述统计量。
6.根据权利要求2所述的位置和方位估计方法，其中，所述统计量计算步骤包括 模型特征提取步骤，其通过模型特征提取装置提取构成所述三维几何模型的表面； 公差计算步骤，其通过公差计算装置计算所述表面的重心的公差；和 统计量确定步骤，其通过统计量确定装置产生最大公差中的公差的矢量并且将该矢量取作所述统计量。
7.根据权利要求I所述的位置和方位估计方法，还包括物体测量步骤，所述物体测量步骤通过物体测量装置测量构成所述物体的形状的几何特征， 其中，所述统计量计算步骤包括基于测量结果与所述三维几何模型之间的偏差来测量所述统计量。
8.根据权利要求7所述的位置和方位估计方法，其中，所述物体测量步骤包括对每多个物体执行多次测量。
9.根据权利要求7或8所述的位置和方位估计方法，其中，所述物体测量步骤包括对每多个测量位置执行多次测量。
10.根据权利要求I至9中的任何一个所述的位置和方位估计方法，其中，所述几何特征是点、线段或表面。
11.根据权利要求I至10中的任何一个所述的位置和方位估计方法，其中，所述可靠性计算步骤包括所述统计量越小，计算所述可靠性越高。
12.根据权利要求I至11中的任何一个所述的位置和方位估计方法，其中，所述可靠性计算步骤包括使用似然函数来计算所述可靠性。
13.根据权利要求I至12中的任何一个所述的位置和方位估计方法，还包括近似值输入步骤，所述近似值输入步骤通过近似值输入装置输入所述物体的位置和方位的近似值， 其中，所述位置和方位估计步骤包括 位置和方位校正值计算步骤，其通过位置和方位校正值计算装置基于所述可靠性、所述偏差量和所述近似值来计算所述物体的位置和方位的校正值；和 位置和方位校正步骤，其通过位置和方位校正装置基于所述校正值来校正所述物体的位置和方位的近似值。
14.一种程序，其用于使计算机执行根据权利要求I至13中的任何一个所述的位置和方位估计方法。
15.一种存储介质，其存储用于使计算机执行根据权利要求I至13中的任何一个所述的位置和方位估计方法的程序。
16.一种用于获得物体的位置和方位的位置和方位估计设备，所述位置和方位估计设备包括 统计量计算装置，其被配置为计算构成所述物体的三维几何模型的几何特征的偏差的统计量； 可靠性计算装置，其被配置为基于所述偏差的统计量来计算每个几何特征的可靠性； 图像特征提取装置，其被配置为提取由图像捕捉装置捕捉的捕捉图像的图像特征； 关联装置，其被配置为将所述几何特征与所述图像特征关联； 偏差量计算装置，其被配置为计算所述几何特征与所述图像特征之间的偏差量；和 位置和方位估计装置，其被配置为基于所述可靠性和所述偏差量来估计所述物体的位置和方位。
17.根据权利要求16所述的位置和方位估计设备，还包括被配置为捕捉所述物体的图像的所述图像捕捉装置。
18.根据权利要求17所述的位置和方位估计设备，其中，所述图像捕捉装置捕捉真实空间中的距离图像作为所述捕捉图像。
全文摘要
提供了一种即使物体在形状上比具有标准形状的三维几何模型更离散，也精确地估计该物体的位置和方位的方法。估计构成表示物体的三维标准形状的三维模型的特征的偏差的统计量，以确定每个特征的可靠性。计算从通过成像设备获得的观测数据提取的特征与三维模型中的特征之间的偏差量。基于与从三维模型提取的每个特征相关的可靠性和偏差量来估计物体的三维位置和方位。
文档编号G06T19/20GK102782723SQ20118001116
公开日2012年11月14日 申请日期2011年1月12日 优先权日2010年2月25日
发明者宫谷苑子 申请人:佳能株式会社