标记器和使用了标记器的姿势推定方法及位置姿势推定方法与流程

本发明涉及用于推定对象物的姿势或位置的标记器、使用了本标记器的姿势推定方法及位置姿势推定方法。

背景技术：

设计出通过利用单眼相机进行拍摄而能够计测三维空间内的对象物的位置、姿势的俯视图案，通常称为平面视觉标记器。

这样的平面视觉标记器在增强现实(augmentedreality：ar)或机器人学的领域等中粘贴于物体来使用，但是本申请人也开发出各种平面视觉标记器(参照专利文献1～3及非专利文献1)。

在先技术文献

专利文献

专利文献1：日本特开2012-145559号公报

专利文献2：日本特开2014-102246号公报

专利文献3：国际公开wo/2015/045834号公报

非专利文献

非专利文献1：h.tanaka,k.ogata,andy.matsumoto,”improvingtheaccuracyofvisualmarkers”,inproc.2016ieeeint.symposiumonroboticsandintelligentsensors,2016

技术实现要素：

发明的概要

发明要解决的课题

然而，在使用既存的平面视觉标记器来推定对象物的位置、姿势的情况下，存在得不到与基于高精度的全球定位系统(globalpositioningsystem：gps)的定位相同等级的精度的问题。

本发明为了解决上述那样的问题而作出，目的在于提供一种实现更高精度的位置、姿势的推定的标记器、使用了本标记器的姿势推定方法及位置姿势推定方法。

用于解决课题的方案

为了解决上述课题，本发明提供一种标记器，其用于推定对象物的姿势，具备：第一视线角度推定机构，其用于推定绕相对于对象物的至少一个轴的视线角度；及第二视线角度推定机构，其与第一视线角度推定机构相比视线角度的分辨率小，用于推定绕上述轴的视线角度。

另外，为了解决上述课题，本发明提供一种使用了标记器的姿势推定方法，该标记器用于推定对象物的姿势，使用了标记器的姿势推定方法包括：第一步骤，使用第一视线角度推定机构，预决定绕相对于对象物的至少一个轴的视线角度；第二步骤，使用视线角度的分辨率比第一视线角度推定机构小的第二视线角度推定机构，求出绕上述轴的视线角度的候补值；及第三步骤，将通过第二步骤求出的候补值中的、与通过第一步骤预决定的视线角度最接近的值设为绕上述轴的视线角度的推定值。

另外，为了解决上述课题，本发明提供一种使用了标记器的位置姿势推定方法，该标记器用于通过获得以对象物的位置和姿势这双方为变量的最佳解、从而获得位置和姿势的推定值，使用了标记器的位置姿势推定方法包括：第一步骤，使用第一视线角度推定机构来预决定绕至少一个轴的视线角度；第二步骤，使用视线角度的分辨率比第一视线角度推定机构小的第二视线角度推定机构，求出绕上述轴的视线角度的候补值；第三步骤，将通过第二步骤求出的候补值中的、与通过第一步骤预决定的视线角度最接近的值设为绕上述轴的视线角度的推定值；及第四步骤，使用通过第三步骤得到的视线角度的推定值，求出所述位置的推定值。

发明效果

根据本发明，能够提供一种实现更高精度的位置、姿势的推定的标记器、使用了本标记器的姿势推定方法及位置姿势推定方法。

附图说明

图1是用于说明视线及视线角度的定义的图。

图2是用于说明可变莫尔条纹图案中的周期的定义的图。

图3是表示本发明的实施方式的平面视觉标记器1的结构的俯视图。

图4a是表示图3所示的标准可变莫尔条纹图案vs1、vs2中的移动标记的位置x与视线角度θ的关系的图形。

图4b是表示图3所示的高灵敏度可变莫尔条纹图案vh1、vh2中的移动标记的位置x与视线角度θ的关系的图形。

图5是表示图3所示的高灵敏度可变莫尔条纹图案vh1、vh2的结构的剖视图。

图6是表示本发明的实施方式的姿势推定方法的流程图。

图7是用于说明本发明的实施方式的位置姿势推定方法的图。

图8是表示本发明的实施方式的位置姿势推定方法的流程图。

图9是用于说明图3所示的平面视觉标记器1的第一变形例的图。

图10是用于说明图3所示的平面视觉标记器1的第二变形例的图。

图11是用于说明图3所示的平面视觉标记器1的第三变形例的图。

图12是用于说明图3所示的平面视觉标记器1的第四变形例的图。

图13是用于说明图3所示的平面视觉标记器1的第五变形例的图。

图14是用于说明图3所示的平面视觉标记器1的第六变形例的图。

图15是用于说明图3所示的平面视觉标记器1的第七变形例的图。

图16是用于说明图3所示的平面视觉标记器1的第八变形例的图。

图17是用于说明图3所示的平面视觉标记器1的第九变形例的图。

图18是用于说明图3所示的平面视觉标记器1的第十变形例的图。

具体实施方式

以下，参照附图，详细说明本发明的实施方式。需要说明的是，图中同一附图标记表示相同或相应部分。

首先，参照图1及图2，说明用语的定义。需要说明的是，以下以绕y轴的现象为例进行说明，但是绕任意的轴的现象当然也可同样定义。

在图1中，将后述的移动标记m的中心设为注视点p0，将在测定对象物所成的平面b上与y轴平行且通过注视点p0的轴设为y1轴，将与垂直于平面b的z轴平行且通过注视点p0的轴设为z1轴。

在此，将图1所示的连结观测视点vp与注视点p0的线l称为视线。而且，如图1所示，将包含z1轴和与z1轴正交的y1轴的平面设为平面p1，将包含线l和y1轴的平面设为平面p2时，将平面p1与平面p2所成的角sa称为绕y轴的视线角度。

另外，如专利文献1记载那样，可变莫尔条纹图案是指根据观察的角度而花纹变化(看起来移动)的干涉条纹图案，具有在某视线角度范围内唯一地决定标记器的姿势的功能。

另外，以下，将例如能够观测的视线角度范围为±25～30度的图案称为标准可变莫尔条纹图案，将比之高灵敏度的图案称为高灵敏度可变莫尔条纹图案。

另外，在可变莫尔条纹图案之中，将根据观察的角度而看起来移动的线称为移动标记。

另一方面，观测移动标记的x轴上的位置对应于图1所示的向作为移动标记m的中心的注视点p0的视线角度sa。即，以呈矩形的可变莫尔条纹图案的中心为原点0，以可变莫尔条纹图案的长轴方向为x轴，以短轴方向为y轴时，如果图示移动标记m的x轴上的位置与绕y轴的视线角度θ的关系则如图2那样。在此，直线图形eq0表示从正面观察该可变莫尔条纹图案时在中央附近能看见的主要的移动标记m的轨迹，直线图形eq1、eq2表示在移动标记m向可变莫尔条纹图案的端部方向移动时，从另一端的方向出现的移动标记的轨迹。此时，将轨迹间的视线角度上的距离f称为周期。即，在可变莫尔条纹图案上相邻的移动标记来到与当前的移动标记相同位置为止的视线角度成为周期，在图2中，图示出周期为2α的情况。

图3是表示本发明的实施方式的平面视觉标记器1的结构的俯视图。如图3所示，平面视觉标记器1具备：包含二维图案码的矩形的ar标记器2；在与ar标记器2相同的平面上，与ar标记器2的相邻的两边分别平行地配置的俯视矩形形状的标准可变莫尔条纹图案vs1、vs2；隔着ar标记器2而配置在与标准可变莫尔条纹图案vs1、vs2相对的位置的俯视矩形形状的高灵敏度可变莫尔条纹图案vh1、vh2；配置于四角的参照点rp1～rp4。

即，标准可变莫尔条纹图案vs1、vs2的长轴分别以与作为旋转轴的y轴、x轴正交的方式配置，高灵敏度可变莫尔条纹图案vh1、vh2的长轴也分别以与作为旋转轴的y轴、x轴正交的方式配置。

另外，图3所示的高灵敏度可变莫尔条纹图案vh1、vh2通常与标准可变莫尔条纹图案vs1、vs2相比灵敏度成为n(n为大于1的数)倍，即视线角度的分辨率成为(1/n)倍。此时，相对于视线角度的变化的移动标记的移动速度为n倍，但是为此高灵敏度可变莫尔条纹图案的周期成为标准可变莫尔条纹图案的周期的(1/n)倍。

作为一例，在n为2的情况下，各个标准可变莫尔条纹图案vs1、vs2中的移动标记的位置x与视线角度θ的关系如图4a所示，高灵敏度可变莫尔条纹图案vh1、vh2中的移动标记的位置x与视线角度θ的关系如图4b所示。需要说明的是，图4a所示的直线图形eqs0通过原点和点(x1，α1)，直线图形eqs1、eqs2与直线图形eqs0平行。而且，图4b所示的直线图形eqh0通过原点和点(x1，α1/2)，直线图形eqh1、eqh2与直线图形eqh0平行。

如图4a及图4b所示，标准可变莫尔条纹图案vs1、vs2的周期为2α1，相对于此，高灵敏度可变莫尔条纹图案vh1、vh2的周期为α1，可知与标准可变莫尔条纹图案vs1、vs2相比周期成为(1/2)倍。

以下，参照图5，说明将高灵敏度可变莫尔条纹图案的周期设为标准可变莫尔条纹图案的周期的(1/n)倍的方法。需要说明的是，在此，作为前提，标准可变莫尔条纹图案及高灵敏度可变莫尔条纹图案都由配设在条纹花纹st上的焦距f的柱状透镜ll构成，柱状透镜的透镜间距p与条纹花纹的间距sp大致相等。

在图5中，从视点vp1沿视线l1观测上述标准可变莫尔条纹图案时，在中央的透镜的位置观察到移动标记。从此开始移动视点，即视线缓慢倾斜时，移动标记被观测为移动，但是当视线倾斜2α1的角度而来到视点vp2的位置时，相邻的移动标记沿着视线l2在中央的透镜的位置被观察到。

此时，上述视线的斜度，即周期设为θ时，周期θ与透镜间距p及焦距f的关系可以如以下的式(1)那样表示。

[数学式1]

因此，能够通过透镜间距与焦距的比(p/f)来改变周期θ。由此，在想要使周期θ为(1/n)倍时，只要将透镜间距与焦距的比设为以下的值(2)即可。

[数学式2]

tan{tan^-1(p/f)/n}(2)

需要说明的是，在上述中，通过将透镜间距p改读为相邻的透镜的中心间距离，将焦距f改读为各个透镜的焦距，在标准可变莫尔条纹图案或高灵敏度可变莫尔条纹图案不是由柱状透镜而是由透镜阵列构成的情况下也能够同样地考虑。

以下，参照图6，说明本发明的实施方式的姿势推定方法。需要说明的是，将使用图3所示的平面视觉标记器1进行姿势推定的情况作为一具体例，说明本姿势推定方法。

通常，在姿势推定中也优选高精度，但是如上所述高灵敏度可变莫尔条纹图案的周期比标准可变莫尔条纹图案的周期短，因此从图4b也可知，高灵敏度可变莫尔条纹图案中的移动标记的位置与视线角度的关系成为一对多。由此，根据观测到的移动标记的位置而无法唯一决定视线角度，因此可采用如下的方法：并用精度不同的视线角度推定机构，首先在使用精度相对低的视线角度推定机构得到了大致的视线角度的基础上，使用精度比其高的视线角度推定机构来求出最终的高精度的视线角度。

在步骤s1中，使用第一视线角度推定机构，预决定绕相对于对象物的至少一个轴的视线角度。具体而言，例如通过观测图3所示的标准可变莫尔条纹图案vs1、vs2中出现的移动标记，使用图4a的图形来预决定带有平面视觉标记器1的对象物的绕y轴及x轴的视线角度。

接下来，在步骤s2中，使用视线角度的分辨率比第一视线角度推定机构小的第二视线角度推定机构，求出上述绕轴的视线角度的候补值。具体而言，通过观测例如图3所示的高灵敏度可变莫尔条纹图案vh1、vh2中出现的移动标记，使用图4b的图形来求出绕y轴及x轴的视线角度的候补值。

然后，在步骤s3中，将在步骤s2中求出的候补值中的与步骤s1中预决定的视线角度最接近的值设为上述绕轴的视线角度的推定值。这样，在上例中，能够得到绕y轴及x轴的高精度的视线角度。

以下，说明在通过上述那样的方法而高精度地推定了姿势之后，对象物的位置的推定精度也能提高的方法。本方法简单而言，可以说是对通过上述那样的方法得到的作为姿势参数的视线角度进行固定的基础上，对再投影误差进行再最小化的方法。

通常，使用了上述那样的平面视觉标记器的位置的推定是通过解决pnp(perspective-n-points)问题来进行的，该pnp问题是指求出标记器上的点的三维位置与其图像上的观测坐标的多个对应。在此，为了解决本问题而使用的点的个数为4，在图3所示的平面视觉标记器1中，使用周围的4个参照点rp1～rp4。

此时，不仅是位置而且也同时求出姿势，具体而言，求出将图7所示的相机坐标系xc、yc、zc转换为标记器坐标系xm、ym、zm的表示平移移动和旋转移动的齐次变换矩阵。

此时，为了提高推定精度而进行再投影误差的最小化。在此，再投影是指使用推定的标记器的位置姿势，来计算标记器上的特征点在图像坐标系xi、yi(图像平面)的何处被观测到的情况。此时，将实际在图像上观测的点与再投影的点之间的误差(图像平面上的距离)称为再投影误差。为了使该再投影误差成为最小而基于最初求出的标记器的位置姿势对标记器的位置姿势进行细微修正的情况就是再投影误差的最小化。需要说明的是，通过基于牛顿法或着马奎特(marquardt)算法等非线性最佳化方法的反复计算来进行该最小化。

将以上作为前提，参照图8来说明本发明的实施方式的位置姿势推定方法。需要说明的是，图8所示的从步骤s1至步骤s3与图6所示的从步骤s1至步骤s3相同，因此省略说明。

在图8所示的步骤s4中，使用在步骤s3中得到的视线角度的推定值，求出上述位置的推定值。具体而言，使用通过图6所示的本发明的实施方式的姿势推定方法而得到的视线角度的推定值，即，将姿势参数固定而仅关于位置参数再次进行上述再投影误差的最小化，由此能够更高精度地修正位置信息。

需要说明的是，最小化的方法任意，可考虑在非线性最佳化方法之中将姿势参数固定而进行的方法、或一边使位置参数微小地变化一边通过搜索算法来搜索再投影误差的最小值的方法等。

以下，说明图3所示的本发明的实施方式的平面视觉标记器1的变形例。

如图9所示，作为视线角度检测机构，可以取代标准可变莫尔条纹图案而将点标记d与高灵敏度可变莫尔条纹图案vh组合使用。需要说明的是，图9的虚线表示旋转轴ax。

另外，如图10所示，除了标准可变莫尔条纹图案vs和高灵敏度可变莫尔条纹图案vh1之外，也可以并用比高灵敏度可变莫尔条纹图案vh1更高灵敏度的高灵敏度莫尔条纹图案vh2。在这样的结构中，还在高灵敏度可变莫尔条纹图案vh1与高灵敏度可变莫尔条纹图案vh2之间适用图6所示的姿势推定方法，视线角度的推定精度进一步提高。

另外，可以如图11所示，取代图10所示的标准可变莫尔条纹图案vs而使用点标记d，也可以如图12所示，使用透镜阵列型标准可变莫尔条纹图案vsp作为标准可变莫尔条纹图案，使用透镜阵列型高灵敏度可变莫尔条纹图案vhp作为高灵敏度可变莫尔条纹图案。

另外，可以如图13所示，取代图12所示的透镜阵列型高灵敏度可变莫尔条纹图案vhp而使用高灵敏度可变莫尔条纹图案vh1、vh2，也可以如图14所示，取代图12所示的透镜阵列型标准可变莫尔条纹图案vsp而使用标准可变莫尔条纹图案vs1、vs2。

另外，可以如图15所示，由四角的点标记d来代替图12所示的透镜阵列型标准可变莫尔条纹图案vsp的功能，也可以如图16所示，由四角的点标记d来代替图13所示的透镜阵列型标准可变莫尔条纹图案vsp的功能。

另外，可以如图17所示，将旋转轴与移动标记的移动方向正交的标准可变莫尔条纹图案vsa及高灵敏度可变莫尔条纹图案vha、和旋转轴与移动标记的移动方向平行的标准可变莫尔条纹图案vsb及高灵敏度可变莫尔条纹图案vhb以长轴方向一致的方式配置。

另外，如图18所示，可以由四角的点标记d来代替图17所示的标准可变莫尔条纹图案vsa及标准可变莫尔条纹图案vsb的功能。

通过以上所述，根据本发明的实施方式的平面视觉标记器1、姿势推定方法及位置姿势推定方法，与以往相比能够高精度地推定位置或姿势。

附图标记说明

1平面视觉标记器

vs、vs1、vs2、vsa、vsb标准可变莫尔条纹图案

vsp透镜阵列型标准可变莫尔条纹图案

vh、vh1、vh2、vha、vhb高灵敏度可变莫尔条纹图案

vhp透镜阵列型高灵敏度可变莫尔条纹图案

p透镜间距

f焦距

d点标记