专利名称：确定物体姿态的方法和系统的制作方法
技术领域：
本发明总体上涉及对物体姿态的确定，并且更具体地，涉及镜面的、大体呈圆柱形并具有如螺钉和螺栓上的螺纹的物体。
背景技术：
计算机视觉系统和方法常常用于如由工业机器人执行的自动化组装任务。然而， 在许多工业环境中普遍存在的小而发亮或镜面化的物体仍对计算机视觉应用提出巨大挑战。具有像镜子那样透明或半透明表面的物体具有经常被作为噪声源对待的材料特性，并且传统的技术试图抑制噪声。这意味着由于难以抑制这些材料，传统的计算机视觉技术而不能处理高度镜面化或明显呈半透明化的物体。计算机视觉已经被应用于从箱中拾取零件，其中主要问题是确定物体在具有很多相同物体的箱中的姿态。如本文中所定义的，6D姿态是物体的3D位置和3D朝向。由于工业部件的金属表面的镜面反射以及很多相同物体在杂乱的箱中的遮蔽，计算机视觉系统的开发具有很大挑战。基于模型的姿态估计确定3D模型与2D图像的对应性。但是，对于具有无定形表面的工业部件来说，很难获得3D-2D点对应。当多个相同的物体在箱中彼此重叠并出现遮蔽时，这种情况特别严重。物体轮廓提供了关于物体形状和姿态的丰富信息。已知多种轮廓匹配方法。然而， 对于镜面物体来说，由于物体在图像中不具有它们自身的外观，相反，这些物体反射周围的环境，因此在杂乱的箱中获得轮廓信息是困难的。距离传感器被广泛用于姿态估计问题。距离数据可以用于生成和校验如线缆的柔性工业部件的物体位置和形状。然而，在存在镜面化的情况下，距离传感器不能生成精确的深度图，并且与基于照相机的解决方案相比更昂贵。有源照明模式可以大大地帮助计算机视觉方法。例如，可以将利用变化的照明条件观察到的斑点的亮度用于估计表面斑点的朝向，并然后将它们与3D模型进行匹配。如上所述，在机器视觉方法中，镜面通常被作为噪声源对待。大多数方法识别镜面并将它们作为噪声移除。针对高度镜面化和像镜子那样的表面的一种图像不变方法利用了表面法线在零曲率的区域处不改变的事实。对于大多数工业物体来说，由于物体通常由多个平面和一些角部组成，并且在这些角部和结合部存在着关于这些物体的独特信息，因此这个方法并不是非常实际的特征。
发明内容
本发明的实施方式提供了一种用于从2D图像识别3D物体和它们的6D姿态的方法和系统。该方法和系统可以用于计算机视觉辅助机器人组装。具体地说，所述物体高度镜面化或如镜子那样。
如果照明源移动，则镜面高光移动与表面曲率成反比的距离。这使得能够提取这些区域并利用这些区域作为物体特征。使用多闪光照相机(MFC)作为移动照明源。当获得了来自多个视点的图像时，可以进行三角测量并获得物体的6D姿态。在具有抓取臂的机器人系统中，可以针对杂乱的箱子中的发亮螺钉或螺栓执行自动化检测和姿态估计，分别获得小于O. 5mm和O. 8°的位置
误差和朝向误差。在示例应用中，物体是杂乱的箱子中的小金属螺钉。这些螺钉形成了在多个制造工艺中使用的最基本的物体。每年制造的螺纹螺钉比其他任何机器部件都多。在传统的组装线中，螺钉被以已知姿态放置在部件容器中，并且由机器人抓取器来操纵这些螺钉。该操作需要如送料器的针对每一种螺钉类型专门设计的硬件，或者手动地执行。大多数螺钉是金属的并且发亮，因此传统的机器视觉方法不能容易地处理螺钉。 此外，由于杂乱和遮蔽，对箱子中的螺钉进行姿态估计是非常有挑战性的问题。利用我们的方法，可以从杂乱的箱子的图像中提取出物体的镜面特征。通过匹配多个图像中的同一个螺钉的特征来估计该螺钉的姿态。这种匹配特别困难，因为整个箱子包括了很多处于各种姿态的相同螺钉。为了解决这个问题，利用来自以一条直线相交的三个平面的相关性的秩为2的约束，以建立用于姿态估计的对应性和三角测量。
图I是依据本发明实施方式的用于确定物体姿态的系统的示意图；图2是根据本发明实施方式的用于确定物体姿态的方法的流程图；图3是根据本发明实施方式的从圆柱形物体反射的线的分析的示意图；图4A至图4B是比较高曲率区域和低曲率区域处的镜面高光区的示意图；图4C是根据本发明实施方式的具有局部球面区域的螺栓的示意图；图4D是根据本发明实施方式的螺纹的一部分的横截面图；以及图5是根据本发明实施方式的位于结合了照相机的投影中心和螺钉的轴的平面上的检测到的镜面线段的示意图。
具体实施例方式图I示出了根据本发明实施方式用的于确定物体姿态的系统100和方法200。具体地，物体是被放置在具有很多相同螺钉的箱子105中的金属螺钉或螺栓102。例如，该箱子包含大约二百个25mm的M4螺钉，参见IS068-1和IS0261。我们使用六轴工业机器人臂110，在该机器人臂上安装有多闪光照相机120。MFC 具有围绕镜头布置的多个点光源，并且在利用各个光源照亮场景的同时获取图像，参见美国专利7，738，725，此处以引用的方式并入本文中。利用棋盘模式来内部地和外部地校准MFC。执行抓取器与照相机的校准，使得机器人臂可以使用抓取器来与物体交互并抓取物体。图2示出了方法200的步骤。该方法可以在包括现有技术已知的存储器和/或输入/输出接口的处理器中执行。我们针对N个照明源中的每一个并且多视点地获取210箱子的图像，并提取220镜面特征。图2示出了我们的方法200的概述。我们在多视点的图像中识别230与同一个螺钉相对应的线，并通过重构250螺钉的3D轴来估计螺钉的姿态。然后，抓取器利用估计出的姿态抓取240螺钉，并执行随后的
组装任务。镜面特征提取反射分析图3示意性地示出了对照相机120和光源301的分析。点P被设置在任意一维曲线C上。使r为密切圆在点P处的半径。则P处的曲率K是K = 1/r(I)考虑点P处的ε球形邻域。如果ε足够小，则为了分析的目的假定该邻域中的曲率是恒定的。考虑以密切圆O的圆心为原点的二维坐标轴，Y轴穿过P，并且X轴与T正交。该ε球形在A和B处与曲线C相交，其中
权利要求
1.一种用于确定物体姿态的方法，其中所述姿态是物体的位置和朝向，其中所述物体是镜面的，该方法包括以下步骤利用照相机获取所述物体的多组图像，其中所述物体具有弯曲区域，其中所述弯曲区域的曲度是I《0 w其中r是所述弯曲区域在特定点处的半径，并且D是所述弯曲区域的中心与所述照相机之间的距离，并且其中所述照相机针对各组图像处于不同的视点，并且其中在从不同方向照亮场景的同时获取各组中的各个图像；从各图像提取一组特征，其中所述特征对应于所述弯曲区域上的法线朝向所述照相机的特定点；针对各个图像，将参数形状拟合至所述特定点；以及对所述参数形状应用几何约束，以确定所述物体的姿态。
2.根据权利要求I所述的方法，其中所述照相机布置在机器人的臂上，并且该方法还包括根据所述姿态抓取所述物体的步骤。
3.根据权利要求I所述的方法，其中所述照相机具有围绕镜头布置的一组点光源。
4.根据权利要求I所述的方法，其中所述物体被放置在具有多个相同物体的箱子中。
5.根据权利要求I所述的方法，其中所述特定点处的曲率K是K=Ι/r，其中r是半径。
6.根据权利要求5所述的方法，其中所述曲率是高斯曲率，并且是主曲率的乘积Iqk215
7.根据权利要求3所述的方法，其中照明来自所述一组点光源，并且各组图像包括利用环境光获取的环境图像，并且该方法还包括以下步骤从所述组中的各个其它图像中减去所述环境图像；在所述减去步骤之后确定最小照明图像；以及由所述最小照明图像确定比值图像以检测镜面。
8.根据权利要求I所述的方法，其中所述物体是螺钉，并且所述弯曲区域对应于圆锥螺旋形螺纹。
9.根据权利要求I所述的方法，其中所述物体是螺栓，并且所述弯曲区域对应于螺旋状螺纹。
10.根据权利要求I所述的方法，其中所述参数形状是直线，并且所述直线位于接合所述照相机的中心和所述物体的轴的平面上。
11.根据权利要求I所述的方法，其中所述拟合利用随机抽样一致性方法的变型。
12.根据权利要求I所述的方法，其中所述几何约束是由以直线相交的三个平面的相关性产生的秩2约束，并且所述几何约束用于确定所述物体的姿态。
13.一种用于确定物体姿态的系统，其中所述姿态是物体的位置和朝向，其中所述物体是镜面的，该系统包括照相机，其用于获取所述物体的多组图像，其中所述物体具有弯曲区域，其中所述弯曲区域的曲度是0 w其中r是所述弯曲区域在特定点的半径，并且D是所述弯曲区域的中心与所述照相机之间的距离，并且其中所述照相机针对各组图像处于不同的视点，并且其中在从不同的方向照亮场景的同时获取各组中的各个图像；提取装置，其用于从各个图像提取一组特征，其中所述特征对应于所述弯曲区域上的法线朝向所述照相机的特定点；拟合装置，其针对各个图像将参数形状拟合至所述特定点；以及几何约束应用装置，其用于对所述参数形状应用几何约束，以确定所述物体的姿态。
14.根据权利要求13所述的系统，其中所述物体被放置在具有多个相同物体的箱子中。
15.根据权利要求13所述的系统，该系统还包括机器人的臂，其中所述照相机被布置在所述臂上；以及抓取装置，其用于根据所述姿态抓取所述物体。
全文摘要
本发明涉及确定物体姿态的方法和系统。通过利用照相机获取物体的多组图像来确定物体的姿态，其中物体在表面上布置有螺纹，使得该物体的局部区域大致呈现球面，其中照相机针对每一组图像都处于不同的视点，并且其中在从不同的方向照亮场景的同时获取各组中的各个图像。从各个图像中提取一组特征，其中所述特征对应于具有朝向照相机的法线的弯曲区域上的点。针对各个图像，将参数形状拟合至所述点，其中直线位于结合了照相机中心和物体的轴的平面上。然后，向参数形状应用几何约束，以确定物体的姿态。
文档编号G01C1/00GK102589525SQ201110422168
公开日2012年7月18日 申请日期2011年11月17日 优先权日2010年11月19日
发明者A·维拉拉哈瓦恩, C·O·图兹尔, N·施罗菲, S·拉姆阿里加姆, 田口裕一 申请人:三菱电机株式会社