专利名称：标识识别方法和装置的制作方法
技术领域：
本发明涉及从用摄像装置拍摄到的图像中抽取、识别配置在现实空间或者现实物体上的标识的标识识别技术，特别涉及使用标识的几何学信息的标识识别技术。
背景技术：
拍摄现实空间的摄像机等的摄像部(以下为方便起见，简单地称为摄像机)的位置姿势测量，在例如融合显示现实空间和虚拟空间的复合现实感系统中是必需的。作为这样的现有技术，有在日本特开平11-084307号公报、日本特开2000-041173号公报以及A.State，G.Hirota，D.T.Chen，B.Garrett，and M.LivingstonSuperior augmentedreality registration by integrating landmark tracking and magnetictracking，Proc.SIGGRAPH，’96，pp.429-438，July 1996.(文献1)中所公开的那样，使用配置于现实空间中的位置已知的标志、或者现实空间中的位置已知的特征点(以下，将标志和特征点合在一起称为标识)，来修正测量摄像机的位置姿势的位置姿势传感器的测量误差的方法。
换言之，这些方法，是利用测量摄像机的位置姿势的位置姿势传感器和通过摄像机拍摄到的标识，来推测摄像机的位置姿势的方法。作为在这样的方法中所使用的标识，有颜色区域的重心、同心圆等。另外，多数情况下会同时使用多个标识，作为求取从摄像机拍摄到的图像中检测出的标识，对应于配置在现实空间的多个标识中的哪一个的装置之一，已知有使用从图像中检测出的标识的坐标，和根据位置姿势传感器的测量值对标识的绝对位置进行投影而获得的、图像面上的标识的坐标之间的关系的。
另一方面，如在加藤，Billinghurst，浅野，橘基于标志追踪的扩展现实感系统及其校准，日本虚拟现实学会论文杂志，Vol.4，no.4，pp.607-616，Dec 1999.(文献2)、X.Zhang，S.Fronz，N.NavabVisualmarker detection and decoding in AR systemA comparative study，Proc.of International Symposium on Mixed and Augment Reality(ISMAR’02)，2002.(文献3)中所公开的那样，不使用位置姿势传感器，只使用通过摄像机拍摄到的标识来推测摄像机的位置姿势的方法也已经为人所知。并且，在这些非专利文献中，都是使用正方形的标识，根据正方形的4个顶点的坐标，来推测摄像机的位置姿势的。但是，由于正方形是以通过其中心点(对角线的交点)、与面垂直的轴作为旋转轴的，每90度旋转对称形，所以仅从顶点的坐标无法进行上下左右的判定。为此，在正方形的标识内部，设置有用于判定上下左右的进一步的图像特征。并且，在使用多个标识时，由于需要只根据通过摄像机拍摄到的图像，来识别捕捉到的是多个标识中的哪一个，因此在标识的内部进一步嵌入了每一个标识各不相同的固有的图案、符号等的图形信息。
在现有技术1的推测摄像机的位置姿势的方法中，在使用点标志或同心圆标志作为标识时，1个标识所具有的信息只有1个坐标值。为此，几何性信息较少，为了推测准确的位置姿势、或者为了扩大观测视野，采用了同时使用数量较多的多个标识这样的方法。
如上述这样，在同时使用多个标识时，需要研究鉴定在图像中捕捉到的标识相当于配置在现实空间的标识中的哪一个的方法。尤其是在标识的图像特征(颜色、形状等，可以通过图像处理识别的特征)相同、或者差异很小，并且配置了数量较多的标识时，可能出现误识别。
对于该误识别的可能性，使用图5进行具体的说明。在图5中，500表示摄像机的拍摄范围(图像区域)，501和502分别表示从拍摄图像中检测出的配置在现实空间的点标志。另外，503和504表示使用安装在摄像机上的位置姿势传感器的测量值，将摄像机拍摄到的2个点标志的绝对位置投影到摄像机的拍摄面上所获得的点。
只要位置姿势传感器不存在误差，501同503，以及502同504分别应该在图像面上相一致，但是实际上受位置姿势传感器存在误差的影响，造成503和504的在图像面上的坐标，作为与501和502偏移了的坐标而被计算。在该例子的情况下，504的坐标被投影在超出了图像区域的位置。比较投影在图像面上的标识的位置和从摄像图像中检测出的标识的位置，将其距离较小的作为是相同的标识，来进行标识的识别(鉴定)。在这种情况下，由于503比501更接近502，因此就判断为503和502是相互对应的，识别为从图像中检测出的502这个标识，就是配置在现实空间中的503这个标识。如该例所示，在使用了多个如现有技术1所使用的那样的图像特征相同或差别很小的标识时，有可能会造成误识别。
另外，在现有技术1的推测摄像机的位置姿势的方法中，可以将某个特定颜色的小的圆形的片(sheet)状的物体作为标识。在这种情况下，标识所具有的信息为3维位置(坐标)和颜色。使用位置姿势传感器的测量值，将标识的3维位置投影到摄像机的图像面上，另一方面，进行从图像中检测该标识的颜色的颜色区域检测处理，并计算在图像中的重心位置。然后，将投影到图像面上的3维位置，和从图像中计算出的重心位置进行比较，通过例如将最接近的判定为是相同的标识，能够鉴定图像中的标识。
如此，在通过颜色区域检测从图像中检测标识时，前提是在摄像机将要拍摄的现实空间中，除标识之外不得存在与标识相同的颜色。
例如，如图13所示，以在作为背景的空间中存在各种各样的物体的情况为例进行说明。在图中，所使用的标识1203配置在现实物体上，在这里假定为例如具有红色的圆形区域。另外，具有红色笔帽的圆珠笔1204同标识一起存在于摄像机101将要拍摄的现实空间中。在这种状态下，摄像机101所拍摄到的图像，为如图14所示那样的图像。另外，在图14中，一并显示了根据位置姿势传感器102的测量值，将标识1203的3维坐标投影到摄像机101的摄像面上的点1302。
此时，如果如上述那样使用颜色区域检测来从图像中检测标识1301，则不仅仅是标识1203的圆形区域，连圆珠笔1204的红色区域1303也可能作为红色区域被检测出来。如果区域1303作为红色区域被检测出来，则由于圆珠笔1204的红色区域1303的重心，比标识1301的重心更接近投影位置1302，因此会将区域1303作为对应于投影位置1302的标识而识别。如此，就存在如果在将要拍摄的空间内，存在具有与标识相同或者近似的颜色的物体，则可能会将此错当成标识进行识别的问题点。
为了防止这样的问题，也有使用由配置成同心圆状的不同颜色的组合构成的标识，在进行完颜色区域检测后检查颜色的组合，只将组合正确的区域作为标识检测的方法。由于在这种情况下，与使用了单色的标识的情况相比，将背景的一部分误当成标识检测出来的可能性降低，所以不会在如图13那样的情况下造成误识别。
然而，为了使用颜色区域检测进行稳定的标识检测，多数情况下都将标识的颜色设定成醒目的颜色，进而在同心圆上组合不同的颜色，此时为了能够稳定地检测出同心圆，在图像中必须拍摄得足够大。即，需要在现实空间中配置大且损害视觉效果的标识。但是，在现实空间不允许配置这样的标识的情况下、或者在影响现实空间的美观这一点上依然存在问题。
另一方面，有使用如现有技术2所使用的正方形标识这样的、具有图形性展开(spread)的标识的方法。然而，由于现有技术2需要完全地只从图像来识别每一个标志，因此为了识别上下左右，需要嵌入标志固有的符号信息、能够成为模板(templet)的记号信息等。图7A～7C，是文献2以及文献3中所公开的现有技术2所使用的具体的正方形标识的例子。
由于必须从图像中检测出具有如此复杂的结构的标识，因此存在如果不在摄像图像面中捕捉占据足够大的面积的标识，就无法进行标识的识别的问题。换言之，这就意味着为了配置标识必须确保现实空间的宽广的区域，或者摄像机必须足够接近标识。或者，可以说存在标识的配置条件较苛刻这样的问题。
发明内容
本发明以解决这样的现有技术的问题点为主要目的。
上述目的，通过一种标识识别方法来实现，该标识识别方法使用预先保存着的、标识的位置信息和标识的几何学信息，从已取得的图像中检测、识别标识，其特征在于，包括图像取得步骤，取得用摄像装置拍摄到的包括具有预定形状的标识的现实空间的图像；位置姿势信息取得步骤，取得上述摄像装置或者上述现实物体的至少一方的3维位置姿势的测量结果；标识识别步骤，根据上述3维位置姿势测量结果、上述标识的预先被保存着的位置信息、以及该标识的预先被保存着的几何学信息，从上述已取得的图像中检测、识别标识。
另外，上述目的也可以通过一种被配置在现实空间中，作为预定的坐标系中的绝对位置基准而使用的标识来实现，其特征在于具有由不带有方向性的基本形状和赋予该基本形状方向性的1个方向性赋予形状的组合而构成的外观。
另外，上述目的也可以通过一种标识识别装置来实现，该标识识别装置使用预先保存着的、标识的位置信息和标识的几何学信息，从已取得的图像中检测、识别标识，其特征在于，包括图像取得单元，取得用摄像装置拍摄到的包括具有预定形状的标识的现实空间的图像；位置姿势信息取得单元，取得上述摄像装置或者上述现实物体的至少一方的3维位置姿势的测量结果；标识识别单元，根据上述3维位置姿势测量结果、上述标识的预先被保存着的位置信息、以及该标识的预先被保存着的上述几何学信息，从上述已取得的图像中检测、识别标识。
本领域的技术人员根据以下对本发明的具体实施方式
的描述将明确除以上所讨论的以外的其它目的和优点。在参照附图进行描述中，附图为本发明的一部分，用于表示本发明各种实施方式的例子。这些例子未穷尽本发明的各种实施例，仅作为确定本发明范围的权利要求的参考。
附图构成本说明书的一部分，用于说明本发明的实施例，并与该说明一起用于阐明本发明的原理。
图1是表示本发明的第1实施方式中的标识识别装置的功能结构的框图。
图2是示意地表示本发明的第1实施方式的使用场景的示意图。
图3是表示带方向性的正方形标识在图像中被捕捉到的样子、以及被投影到图像上的样子的示意图。
图4是本发明的第1实施方式中的标识识别装置所进行的处理的流程图。
图5是用于表示现有技术1中的标识的误识别的可能性的补充图，是表示点标志在图像中被捕捉到的样子、以及被投影到图像上的样子的示意图。
图6是示意地表示本发明的第2实施方式的使用场景的示意图。
图7A～7C是现有技术中所使用的标识的例子。
图8是表示在本发明的第1至第3实施方式中使用的、具有方向性的标识的例子的图。
图9A～9E是表示可以用于本发明的第1至第3实施方式的标识的其他例子的图。
图10以及图11A、11B，是说明标识的方向性检测方法的图。
图12是表示本发明的第4实施方式中的标识识别装置的功能结构的框图。
图13是示意地表示现有技术1和本发明的第4实施方式的使用场景的示意图。
图14是用于说明现有技术1中所进行的处理的、表示标识在图像中被捕捉到的样子的示意图。
图15是本发明的第4实施方式中的标识识别装置所进行的处理的流程图。
图16是用于说明第4实施方式所进行的处理的、表示标识在图像中被捕捉到的样子的示意图。
图17A、17B是表示在第4实施方式中使用的圆形标识、以及用于计算该标识的面积的长轴短轴的图。
图18是示意地表示本发明的第5实施方式的使用场景的示意图。
图19A～19C是用于说明在本发明的第4至第6实施方式的变形例中使用的正方形标识、以及该标识的面积计算方法的图。
图20是用于补充说明本发明的第4至第6实施方式的变形例中的处理的、表示标识在图像中被捕捉到的样子的示意图。
图21是在本发明的第4至第6实施方式的变形例中、标识识别装置所进行的处理的流程图。
具体实施例方式
下面将结合附图详细说明本发明的优选实施例。
图1是表示本实施方式的标识识别装置的结构例的框图。首先，在本实施方式中，以使用具有方向性的标识为特征，在这里，作为适宜的标识的例子，使用在如图8所示那样的正方形形状(基本形状)120的内部的、偏向一个顶点的位置上，配置有明度差异大的正方形(赋予方向性的形状)121的这样的标识。即，本实施方式中的标识由基本形状和带方向形状构成，通过将其位置关系连同配置位置一起事先登录，可识别标识的方向。如此，在本实施方式中，作为标识的几何学信息，使用标识的方向性的信息。
而且，在本实施方式的标识中，方向性赋予形状121被配置成以一个顶点作为基本形状120的中心点，在到顶点的距离的2/3的位置上具有对角顶点。通过这样配置，即使标识整体变小，也能够维持基本形状120的外周和方向性赋予形状121的外周的间隔，能够在取得作为方向性赋予形状121的内部的正方形的明度时尽量观察其中心。同样地，图11A、11B表示使外部形状为正三角形时的标识的例子。
该标识的特征在于，同图7A～7C所示现有技术2中所使用的那样的标识不同，由于在外形正方形的内部嵌入的信息少，因此在从图像中检测时，即使所拍摄的尺寸比较小，也能够稳定地检测出来。而另一方面，由于该标识只有表示方向性的信息被嵌入在内部，而没有嵌入用于区分每一个标识的信息，因此也一并具有仅从图像中检测标识，无法区分并识别每一个标识这样的特征。以后将该标识称为带方向性正方形标识。
101是能够拍摄现实空间的摄像机、是具有例如CCD、CMOS传感器作为摄像元件的摄像机。在摄像机101上固定有使用了例如磁传感器等的3维位置姿势传感器102。位置姿势测量部103驱动、控制3维位置姿势传感器102，测量摄像机101的位置姿势。
在标识信息数据保存部104中，预先存储有针对配置在现实空间中的带方向标识、在本实施方式中是针对各个带方向正方形标识，用于特定配置位置(例如中心点的3维绝对坐标)、顶点的3维绝对坐标、大小、姿势、标识的方向的信息(例如表示带方向形状和基本形状的位置关系的信息，在图10的标识时，例如是离带方向形状最近的顶点的坐标等)；关于带方向形状的信息(关于形状、颜色的信息等)这样的为了进行标识的鉴定以及方向的识别所必需的信息。另外，在这里所举出的登录项目仅为例示，根据使用的标识、标识的识别方法，既有登录除此之外的信息的情况，也有以更少的项目完成的情况。
然后，位置姿势测量部103，将由3维位置姿势传感器102获得的摄像机101的位置姿势值提供给标识投影计算部105。标识投影计算部105，由摄像机101的位置姿势值、和记录在标识信息数据部104中的带方向性正方形标识的3维坐标信息，计算出被认为是摄像机101正在拍摄的标识在摄像机101的图像面上的投影位置。以下，将投影到图像面(也称为摄像面)上的标识称为投影标识。
标识检测部106，捕捉摄像机101的摄像图像，根据颜色、形状等预先确定的关于标识的信息，从图像中检测被认为是标识的区域(以下，也称为检测标识)。标识识别部107，由通过标识投影计算部105获得的投影位置、和通过标识检测部106获得的图像中的标识位置，进行标识的鉴定。关于详细的标识的鉴定方法将在后面叙述。
图2是示意地表示图1的结构的假想的使用状态的图。带方向性正方形标识203，如图那样被配置在现实空间中，该标识的大小、配置等的信息被记录在标识信息数据保存部104中。
接着，参照图4所示的流程图，对具有上述结构的标识识别装置进行的处理进行说明。
在步骤S401中，由3维位置姿势传感器102测量位置姿势，并向位置姿势测量部103发送。在步骤S402中，根据在步骤S401中获得的结果，以变换矩阵的形式计算观察变换(viewing transformation)。所谓观察变换，是指在将以摄像机的视点位置为原点、以摄像面为xy平面、以视轴为朝z轴负方向的矢量的3维坐标系作为摄像机坐标系，以固定设定在现实空间中的坐标系作为世界坐标系时，这2个坐标系之间的坐标变换，将在世界坐标系上的点变换到摄像机坐标系的变换。即，通过事先求取该观察变换，能够将在世界坐标系上的坐标值，容易地计算成摄像机坐标系的坐标值。
接着，在步骤S403中，通过使用在步骤S402中获得的观察变换，将记录在标识信息数据保存部104中的带方向性正方形标识的中心点和顶点的位置(坐标)，变换到摄像机坐标系，进行摄像机101的透视投影变换计算，计算各自在摄像面上的推测位置(投影坐标)。在这里，显然各个顶点都是分别区分地记录的，因此在将该各个顶点投影到摄像面上所获得的投影坐标中，各自是投影哪一个顶点的，在处理步骤上是显而易见的。而且，表示带方向性正方形标识的方向的顶点是哪一个(在图8中所示的标识内部偏靠靠配置的正方形121是对哪一个顶点偏靠靠的)也是明确的。另外，摄像机101的透视投影变换由摄像机101的镜头焦点距离、主点(投影中心)位置唯一地确定，可在实施本实施方式前预先求取。
另外，一方面进行步骤S401、S402、S403的步骤，另一方面，在步骤S404中，由摄像机101拍摄现实空间，在步骤S405中，作为用于从获得的摄像图像中检测带方向性正方形标识的一个步骤，检测外周正方形并算出顶点和中心点。这可以使用任何方法，例如有以下这样的方法。
首先，使标识的明度和背景不同，在进行完基于明度的二值化后通过加标记(labeling)处理来求取连续区域。通过使该连续区域的标记外周以折线近似而检测出外周的四边形(基本形状)120。通过求取所获得的四边形的顶点，再求取对角线的交点，来求取中心点。
接着，作为检测带方向性正方形标识的检测的一个步骤，在步骤S406中，使用检测出的外周四边形的内部的信息，检测带方向性正方形标识的方向。方向的检测，例如如图10所示那样，针对各个连接外周四边形的4个顶点(a、b、c、d)和中心点O的线段，计算该线段从中心点朝顶点按1∶2分割的点(a′、b′、c′、d′)。进而，比较该4个点在图像中的像素的明度，求取明度差异最大的点。由于4个点中明度与其他3个点的差异最大的点(在图10中为c′)，来自于图8所示的偏靠配置于标识内部的正方形121，因此就可以确定从图像中检测出的带方向性正方形标识的方向。例如，在作为用于特定方向的信息，使用了离带方向形状最近的顶点的坐标时，特定离明度差异最大的点最近的顶点的坐标。
在以上的步骤中，根据3维位置姿势传感器102的测量值，可以获得将带方向性正方形标识的顶点和中心点投影到图像面上的投影坐标及其方向性、从图像中检测出的正方形标识(另外，在图像中是作为四边形而不是正方形出现的)的顶点和中心点的检测标识及其方向性。
在本实施方式中最终想要进行的是，如图8所示那样，当在现实空间内配置了多个仅凭从图像中检测无法各自进行区分的带方向性正方形标识时，识别每一个标识。例如，如图3所示，在2个标识相邻地配置着这样的情况下，识别这些标识。图3的301和302，分别表示从图像中检测出的配置在现实空间的带方向性正方形标识。如图所示那样，该两个标识301、302被相邻配置着，并且，其方向性被配置成互相不同。
此时，假定在步骤S403中获得的、可能包含在摄像机101的视野中的标识的、被投影到摄像机101的图像面上的投影坐标的1个，被计算为303那样的位置。而且，假定该标识303是在图像中被检测出的标识301。在这样的情况下，假如，比较投影到图像面上的标识的位置和从图像中检测出的标识的位置，将其距离小的作为同一个，来进行标识的识别(鉴定)，就会象在发明想要解决的课题中所论述的那样，将303和302作为相对应的而误识别。解决该课题、正确地进行标识的识别的步骤，是以下叙述的步骤S407和S408。
在步骤S407中，根据在步骤S403获得的投影到图像面上的中心点与在图像面中检测出的标识的中心点的距离，对于在步骤S403中获得的各投影标识，生成可能对应的在图像中的检测标识的候选列表。该列表，例如是按离中心点距离近的顺序排列的线形列表。接着，在步骤S408中，针对在步骤S403中获得的各投影标识，从最开头按顺序搜索可能对应的候选列表，找到方向性吻合的。例如，在作为用于特定方向的信息而使用了离带方向形状最近的顶点的坐标时，评价在步骤S406中特定的顶点的坐标与在步骤S405中求得的中心点坐标的关系，和针对候选列表的各标识预先保存的离带方向形状最近的顶点的坐标与预先保存的中心点的坐标的关系，找到方向性吻合的。
以图3的情况为例，对该步骤S407以及S408的步骤进行说明。通过步骤S407，相对于投影标识303，距离最近的检测标识302和301作为对应的候选被列举在列表上。由于检测标识302比301更接近投影标识303，因此在列表中检测标识302成为比301更高位。使用该列表，在步骤S408中，首先检查投影标识303与检测标识302的方向性的同一性，接着检查投影标识303与检测标识301的方向性的同一性。
然后，由于检测标识302同投影标识303的方向性的差异很大，因此不会被作为是对应的，被认为方向性一致的检测标识301和投影标识303被建立对应关系。
另外，在本实施方式中，步骤S407和步骤S408这2个步骤，是以各投影标识为基准，将成为对应候选的检测标识做成列表，并使之建立对应关系的方法。但是，另一方面，也可以是以各检测标识为基准，将成为对应候选的投影标识做成列表的方法。而且，不限于简单根据标识的距离生成候选列表的方法，既可以是以根据图像面上的标识的坐标的方法生成候选列表，也可以是其他的方法。并且，也可以不是先根据在图像面上的距离生成候选列表，由该列表基于标识的方向性使之建立对应关系这样的处理顺序，而是首先将标识的方向性吻合的列成列表，从中根据在图像面上的距离而使之建立对应关系。
根据以上说明的本实施方式，通过使用标识的方向性进行标识的识别，即使在配置有多个相同标识的情况下，也能够识别每一个标识。因此，能够使用更为简单的标识，其结果是由于检测出标识自身变得容易，因此与按每一个标识设定其固有的图案的现有技术相比，标识的大小、配置、以及摄像机与标识的位置的限制变得非常宽松。
即，在本实施方式中使用的带方向性正方形标识，是简单的2个正方形的组合(在正方形内部具有偏靠的正方形)，由于不需要每一个标识的固有图案等，作为用于区分个体的追加信息的图形、图案，因此便于简单而又稳定地从图像中检测出来。其结果，不仅是在图像中捕捉到足够大的标识的情况，即使在摄像图像中的标识很小的情况下，也能够稳定地检测出标识。而且，使用的标识也具有这样的效果比图7A～7C所示那样的、在现有技术2中使用的标识变得更小，外观也可以是比较不醒目的。
在第1实施方式中，是假设在摄像机上配置3维位置姿势传感器，通过摄像机动态的运动状况，拍摄固定在现实空间中的标识的情况，但是，固定摄像机、移动3维位置姿势传感器以及配置了标识的现实物体的情况，也能够很好地适用本发明。
图6是示意地表示本实施方式中的摄像机101、现实物体803以及3维位置姿势传感器802的关系的图。另外，除了3维位置姿势传感器802的安装位置从摄像机101变换到了现实物体803上之外，图1所示标识识别装置的结构无需变更就可以在本实施方式中使用。
在本实施方式中，用说明第1实施方式中的识别处理的图4的步骤S402，代替求取用于将世界坐标系变换成摄像机坐标系的观察变换，根据物体803的位置姿势测量值，以变换矩阵的形式计算造型变换(modeling transformation)。所谓造型变换，是指以固定并设定在现实空间的坐标系作为世界坐标系、固定在对象物体上的坐标系作为物体坐标系时，这2个坐标系之间的坐标变换，将在物体坐标系上的点变换到世界坐标系上的变换。即，通过事先求取该造型变换，能够将具有固定在物体上的坐标值的位置，容易地计算成在世界坐标系的坐标值。
然后，在步骤S403中，标识坐标投影计算部105，代替观察变换而使用造型变换将标识203投影到摄像机101的摄像面上。图4中的其他的步骤通过与第1实施方式同样地处理，能够进行带方向性正方形标识的识别。
在第1实施方式中，是摄像机移动，标识固定；在第2实施方式中，是摄像机固定，配置有标识的现实物体移动这样的状况，但是，在摄像机和配置有标识的现实物体两者都移动的环境中，也能够适用本发明。
在这种情况下，将3维位置传感器安装在摄像机和移动现实物体这两者上，由各自的测量结果，通过步骤S402求取用于算出投影标识的变换。即，以固定在移动物体上的坐标系作为物体坐标系，以固定在摄像机上的坐标系作为摄像机坐标系，以固定并设定在现实空间的坐标系作为世界坐标系时，求取将在物体坐标系的点变换到摄像机坐标系上的变换(多级变换)。
由于该变换，是一并进行将在物体坐标系上的点变换到世界坐标系上的造型变换，和将在世界坐标系上的点变换到摄像机坐标系上的观察变换，因此能够通过使用各自的变换矩阵容易地求取。
然后，在步骤S403中，使用该多级变换求取投影标识。其他的步骤只需与第1实施方式同样地实施即可。
在上述第1至第3实施例中，作为标识使用了图8所示的正方形形状的标识，但只要标识具有方向性，并且能够从标识的图像中检测出该方向性，使用什么样的标识都可以。
例如，上述实施方式中使用过的那样的、由不具有方向性的基本形状，同与基本形状组合并赋予方向性的赋予了方向性的形状构成的标识的其他例子，如图9A～9E所示。另外，这里所谓的“不具有方向性”形状不仅指象圆形那样在围绕中心点旋转时完全没有外观上的变化的情况，还指能够具有至少2个无法进行区分的旋转状态的形状。例如基本形状为正方形的情况下，在围绕中心点旋转时，由于90°、180°、270°、360°的状态无法进行区分，因此作为不具有方向性的形状对待。
图9A表示基本形状120是正三角形，方向性赋予形状121是偏靠地配置在基本形状内部的正三角形的标识。在使用图9A所示标识时，步骤S403的投影计算成为对中心点和3个顶点的投影计算，步骤S405成为进行三角形的检测，算出该顶点和中心点。此处，步骤S405的中心点的计算，在为四边形时通过求取对角线的交点进行，在为三角形时，如图11A所示那样，只需通过计算从顶点朝对角边的中点的直线的交点算出即可。图11B是将图11A的方向性赋予形状121变形，提高在标识变小时的方向性赋予形状121的识别性。
象这样，作为在基本形状的内部，偏靠地配置了具有可以与基本形状进行图像识别的特征(明度、彩度等)的方向性赋予形状的标识，例如在星形(★)的基本形状的内部偏靠地配置有圆(o)的方向性赋予形状等，可以使用各种各样的标识。但是，由于随着基本形状的顶点的增加或者处理的负荷变大，或者增加存储关于标识的信息的104的容量，因此最好不将过于复杂的形状作为基本形状使用。
并且，方向性赋予形状也可以不存在于基本形状的内部。例如也可以是如图9B所示那样的，在作为基本形状的正方形120的一侧，配置作为方向性赋予形状的长方形121的标识。在这样的情况下，方向性赋予形状的图像识别上的特性(明度、彩度等)，既可以是同基本形状差异小的，也可以是相同的。另外，既可以是如图9C所示那样的，排列了2个直角三角形那样的标识(此时，基本形状为2个直角三角形的组合形，可以将三角形的间隔部分121视作为方向性赋予形状)，也可以是如图9D所示那样的，在作为基本形状的正三角形120的一边上具有作为方向性赋予形状的突起121的那样的标识、如图9E所示那样的，组合了三角形的基本形状同作为方向性赋予形状的圆的组合。除此之外还存在很多可以使用的标识，在此省略更多的例示。
在上述实施方式中，使用了方向性的信息作为标识的几何学信息。在以下的第4至第6实施方式中，以使用面积的信息作为标识的几何学信息为特征。
图12是表示本实施方式的标识识别装置的结构例的框图。首先，在本实施方式中，作为适宜的标识，使用如图17A所示那样的圆形的标识601。
本实施方式的标识识别装置的结构，除了标识坐标投影计算部105变成为标识投影计算·面积计算部105′，标识检测部106变成为标识检测·面积计算部106′，另外标识识别部107′的处理不同之外，与通过图1说明了的结构基本是共通的，因此省略重复的说明。
另外，在本实施方式中，在标识信息保存部104中，对于各个配置在现实空间中的标识、在本实施方式中是对于各圆形标识，预先存储有配置位置(例如中心点的3维绝对坐标)、外周形状信息(半径或直径的长度等)这样的、为了进行标识的鉴定以及方向的识别所必需的信息。另外，在这里所列举的登录项目仅为例示，根据使用的标识、标识的识别方法，既有登录除此之外的信息的情况，也有以更少的项目完成的情况。
然后，位置姿势测量部103，将由3维位置姿势传感器102获得的摄像机101的位置姿势值提供给标识投影计算·面积计算部105′。标识投影计算·面积计算部105′，使用由摄像机101的位置姿势值和记录在标识信息数据保存部104中的正方形标识的3维坐标信息，计算出被认为是摄像机101正在拍摄的标识在摄像机101的图像面上的投影位置和在图像面上的面积。以下，将投影到图像面(也称为摄像面)上的标识称为投影标识。
标识检测·面积计算部106′，捕捉摄像机101的摄像图像，根据颜色、形状等预先确定的关于标识的信息，从图像中检测被认为是标识的区域(以下，也称为检测标识)。进而，连同检测出的标识在图像面上的位置(例如重心位置)一起，计算在图像面上的面积。标识识别部107′，由通过标识投影计算·面积计算部105′获得的投影位置及面积、和通过标识检测·面积计算部106′获得的标识的检测位置及面积，进行标识的识别。关于详细的标识的识别方法将在后面叙述。
接着，参照图15所示的流程图，对具有上述结构的标识识别装置进行的处理进行说明。另外，在图15中，对于进行与图4相同处理的步骤标注相同的参照符号，并省略重复的说明。
在步骤S401中，由3维位置姿势传感器102测量位置姿势，并向位置姿势测量部103发送。在步骤S402中，根据在步骤S401中获得的结果，以变换矩阵的形式计算观察变换。
接着，在步骤S1403中，通过使用在步骤S402中获得的观察变换，将记录在标识信息数据保存部104中的圆形标识的中心点和顶点的位置(坐标)变换到摄像机坐标系，进行摄像机101的透视投影变换计算，计算各自在摄像面上的推测位置(投影坐标)。另外，摄像机101的透视投影变换，是根据摄像机101的镜头焦点距离和主点(投影中心)位置唯一地确定的，可在实施本实施方式前预先求取。
接着，在步骤S1404中，通过与步骤S1403同样地使用观察变换，计算圆形标识的外周形状被投影到图像面上时所形成的椭圆的长轴和短轴的长度(图17B所示长轴a和短轴b)，计算椭圆的面积。
另外，一方面进行步骤S401、S402、S1403、S1404的步骤，另一方面，在步骤S404中，由摄像机101拍摄现实空间，从获得的摄像图像中检测圆形标识。圆形标识的检测方法，可以使用任何一种方法，例如有事先将圆形标识设定为红色等的特定的颜色，通过颜色检测处理采用连续区域求取的方法。中心点可以采用该连续区域的重心位置计算。进而在该步骤中，作为外周形状事先取得构成所获得的区域的外周的像素。
接着，在步骤S1407中，对通过构成所获得的外周形状的像素的椭圆进行近似计算，计算长轴和短轴的长度，算出在图像面上的面积。在该步骤中，也可以代替由外周的椭圆算出面积，而计数构成圆形标识的像素数(构成外周形状的像素和其内部的像素数)，根据像素数算出面积。
在以上的步骤中，可以根据3维位置姿势传感器的测量值，获得将圆形标识的中心点投影到图像面上的投影坐标、以及圆形标识投影到图像面上时的面积，从图像中检测出的圆形标识(另外，在图像中是作为椭圆而不是圆映现)的中心点的检测标识和在图像面上的面积。
在本实施方式中最终想要进行的是，判别配置在现实空间的圆形标识，对应于从图像中检测出的标识中的哪一个。作为为此而进行的处理，首先，在步骤S1408中，根据通过步骤S1403获得的投影标识的中心点，与通过步骤S1406获得的图像中检测出的标识的中心点的距离，针对在步骤S1403中获得的各投影标识，从在步骤S1406中获得的图像中的检测标识，生成被认为是对应的标识的候选列表。该列表，例如是按离中心点距离近的顺序排列的线形列表。接着，在步骤S1409中，针对在步骤S1403中获得的各投影标识，从最开头按顺序搜索可能对应的候选列表，找到面积差最小的。
由此，例如即使在从上述图14那样的图像中识别标识的情况下，由于圆珠笔1204的红色区域1303的面积与标识1203的面积不同，因此能够防止误识别。即，虽然红色区域1303被包含在候选列表中，但如图16所示那样，由于标识601的投影标识1502的面积与区域1303的面积差异很大，因此区域1303不被识别为是对应的标识。于是，接下来距离近、面积差异小的区域1203作为对应的标识被正确识别。
更具体地说，将面积的比在预定范围内(例如大于等于0.5小于等于2)的最近的检测标识作为对应的标识进行识别。另外，也可以代替面积比而使用面积的差异。由于候选列表是按距离近的顺序排列的，因此从列表最前开始按顺序检查，到发现面积比在预定范围的时刻停止，将该候选识别为是对应的标识。当然，也可以是从所有的候选、或者在一定距离内的候选中，选择面积比最接近1这样的方法。另外，也可以选择满足由距离和面积比预先确定了的条件式等，通过各种各样的条件识别标识。
例如，作为其一个例子，在设距离为r、面积比为s时，考虑t为在s不足1的情况下为t＝l/s，在超过1的情况下为t＝s，此时评价值E为E＝ar+bt(0＜a＜1，0＜b＜1)可以列举出选择该E成为最小值的方法。另外，该评价式E中的a和b是预先赋予的加权系数，在重视距离的情况下只需将a变大，将b变小即可，在重视面积的情况下只需将b变大，将a变小即可。
另外，在本实施方式中，步骤S1408和步骤S1409这2个步骤，是以各投影标识为基准，将成为对应候选的检测标识做成列表，并使之建立对应关系的方法。但是，另一方面，也可以是以各检测标识为基准，将成为对应候选的投影标识做成列表的方法。而且，不限于简单地根据标识的距离生成候选列表的方法，既可以是以根据图像面上的标识的坐标的方法生成候选列表，也可以是其他的方法。并且，也可以不是先根据在图像面上的距离生成候选列表，由该列表基于面积使之建立对应关系这样的处理顺序，而是首先将标识的面积接近的列成列表，从中根据在图像面上的距离而使之建立对应关系。
根据以上说明的本实施方式，不仅使用投影标识和检测标识在图像面上的距离，还使用作为标识的几何学信息的关于面积的信息进行标识的识别，即使在现实空间存在与标识近似的颜色的区域，该区域被作为标识检测出的情况下，也能够正确识别标识。因此，变成能够使用单一色的标识。其结果是能够使标识比在现有技术2中所使用的标识、即比将不同的颜色配置在同心圆上的标识变得更小，外观也可以是比较不醒目的。进而，由于可以不用在图像中捕捉过大的标识，因此摄像机和标识的位置的限制变得非常宽松。
在第4实施方式中，是假设在摄像机上配置3维位置姿势传感器，通过摄像机动态的运动状况，拍摄固定在现实空间中的标识的情况，但是，在固定摄像机，移动3维位置姿势传感器和配置了标识的现实物体的情况下，也能够很好地适用本发明。
图18是示意地表示本实施方式中的摄像机101、现实物体703以及3维位置姿势传感器702的关系的图。另外，除了3维位置姿势传感器702的安装位置从摄像机101变换到了现实物体703上之外，图12所示标识识别装置的结构无需变更就可以在本实施方式中使用。
在本实施方式中，用说明第4实施方式中的识别处理的图15的步骤S402，代替求取用于将世界坐标系变换成摄像机坐标系的观察变换，根据物体703的位置姿势测量值，以变换矩阵的形式计算造型变换。所谓造型变换，是指以固定设定在现实空间中的坐标系作为世界坐标系、固定在对象物体上的坐标系作为物体坐标系时，这2个坐标系之间的坐标变换，将在物体坐标系上的点变换到世界坐标系上的变换。即，通过事先求取该造型变换，能够将具有固定在物体上的坐标值的位置，容易地计算成在世界坐标系的坐标值。
然后，在步骤S1403中，标识坐标投影计算·面积计算部105′，取代观察变换而使用造型变换将标识1203投影到摄像机101的摄像面上，求取在步骤S1404中投影标识在图像面上形成的椭圆的面积。对于图15中的其他的步骤，通过与第4实施方式同样地处理，能够进行圆形标识的识别。
在第4实施方式中，是摄像机移动，标识固定的；在第5实施方式中，是摄像机固定，配置有标识的现实物体移动这样的状况，但是，在第5实施方式中进而使摄像机运动的环境，即摄像机和配置有标识的现实物体两者都移动的环境中，也能够适用本发明。
在这种情况下，将3维位置传感器安装在摄像机101和移动现实物体703这两者上，由各自的测量结果，通过步骤S402求取用于算出投影标识的变换。即，以固定在移动物体上的坐标系作为物体坐标系，以固定在摄像机上的坐标系作为摄像机坐标系，以固定设定在现实世界中的坐标系作为世界坐标系时，求取将在物体坐标系的点变换到摄像机坐标系上的变换(多级变换)。
由于该变换是一并进行将在物体坐标系上的点变换到世界坐标系上的造型变换，和将在世界坐标系上的点变换到摄像机坐标系上的观察变换，因此能够通过使用各自的变换矩阵容易地求取。
然后，在步骤S1403中，使用该多级变换求取投影标识。其他的步骤只需与第4实施方式同样地实施即可。
另外，在上述第4至第6实施方式中，算出投影标识和检测标识的面积，对面积进行了比较，但显然也可以比较例如在图像中占据的像素数等，相当于面积的其他信息。
在上述第4至第6实施例中，作为标识使用了图17A所示的圆形形状的标识，但只要标识具有作为图形的扩展性，并且能够计算面积，也可以是其他的形状的标识。例如也可以是多边形形状的标识，更具体的如图19A所示那样的正方形标识。
使用图21的流程图，对使用这样的正方形标识时的实施方式进行详细说明。另外，在图21中对于进行与图15相同处理的步骤标注相同的参照符号，并省略重复的说明。
在步骤S1003中，通过使用在步骤S402中获得的观察变换，将记录在标识信息数据保存部104中的正方形标识的中心点的3维坐标变换到摄像机坐标系，进行摄像机101的透视投影变换计算，计算各自在摄像面上的推测位置(投影坐标)。另外，摄像机101的透视投影变换由摄像机101的镜头焦点距离、主点(投影中心)位置唯一地确定，可在实施本实施方式前预先求取。
接着，在步骤S1404中，通过使用观察变换和记录在标识信息数据保存部104中的正方形标识的外周形状信息(例如各顶点的3维坐标)，计算正方形标识的外周形状在投影到图像面上时形成的四边形的顶点(图19B所示P0、P1、P2、P3)，计算投影标识的面积。这可以通过如图19C所示那样，将正方形标识投影到图像面上而形成的四边形分割成2个三角形(P0-P3-P2以及P1-P2-P3)，分别计算三角形的面积来实施。具体地说，由从顶点P3向边P0-P1引垂线的垂线长度c、和边P0-P1的长度a，计算一个三角形的面积，由从顶点P1向边P2-P3引垂线的垂线长度d、和边P2-P3的长度b，计算另一个三角形的面积，将这些加起来计算即可。而且，以上为正方形标识时的计算式，在标识为长方形时也同样地能够适用。进而，所有四边形都能够通过同样的方法计算面积。即，在这里作为标识虽然是以正方形形状为例进行说明的，但并不限于正方形的方法，只要是四边形，任何形状都可以。并且，即使是三角形、五边形以上的所有多边形，基于所有的多边形都必定能被三角形所分割，因此能够通过同样的方法计算面积。在这种情况下，仅是将多边形分割成三角形的方法不同而已。
另外，一方面进行步骤S401、S402、S1003、S1004的步骤，另一方面，在步骤S404中，由摄像机101拍摄现实空间，在步骤S1006中，由获得的摄像图像进行正方形标识的检测。正方形标识的检测可以使用任意的方法，例如有以下这样的方法。
首先，使标识的明度和背景不同，在进行完基于明度的二值化后，通过加标记处理来求取连续区域。通过使该连续区域的标记外周成为近似折线而检测出外周的四边形(外周形状)。通过求取所获得的四边形的顶点，再求取对角线的交点而求取中心点。接着，在步骤S1007中，由所获得的四边形顶点算出在图像面上的面积。在该步骤中，也可以取代由顶点算出面积，而是计数构成正方形标识的像素数，根据像素数算出面积。另外，由于对连续区域的外周进行折线近似，由该折线求取多边形的顶点、边的方法适用于所有多边形，因此能够通过同样的方法求取所有多边形的面积。
接着，在步骤S1408中，根据在步骤S1003中获得的正方形的中心点的投影坐标，和在步骤S1006中获得的正方形的中心点的检测坐标的距离，针对在步骤S1003中获得的各投影标识，生成可能对应的在图像中的检测标识的候选列表。该列表，例如是按距离近的顺序排列的线形列表。接下来，在步骤S1409中，针对在步骤S1003中获得的各投影标识，从最开头按顺序搜索可能对应的候选列表，例如在面积比在预定范围内，找到距离最近的。
对于通过摄像机101拍摄到的将在图13所示的环境中的圆形标识203替换成正方形标识901的空间的图像，如图20所示。然后，针对该空间实施图21的步骤，通过从步骤S401到S1004的步骤，投影到图像面上的正方形标识为902。在该图像中，作为除标识以外原本存在于现实空间的物体，有键盘903，该按键表面(keytop)作为四边形被检测出来。在这样的情况下，在不考虑标识的面积的现有技术1的方法中，会造成不将本应该建立对应关系的检测标识901，而将离投影标识902最近的按键表面区域作为对应的检测标识进行误识别。但是，即使在这样的情况下，在本实施方式中，在步骤S1409中，根据按键表面区域的面积和投影标识902的面积的差异，投影标识902不会和按键表面(keytop)区域建立对应关系，而是和检测标识901正确地建立对应关系。
另外，在上述实施方式中，为了便于理解，对包含摄像机以及3维位置计测传感器的标识检测装置进行了说明，但这些并非都是必需的。即，也可以是通过其他的装置进行摄像机(第1/第3/第4/第6实施方式)或者现实物体(第2/第3/第5/第6实施方式)的3维位置姿势测量和拍摄，由其他的装置取得3维位置姿势测量结果和摄像图像的结构。而且，不仅是实时地进行处理的情况，显然也可以使用记录了3维位置测量结果和摄像图像来进行识别处理。
另外，在上述实施方式中，针对使用了作为标识的几何学信息的关于方向性的信息、关于面积的信息的情况进行了说明，但显然也可以使用其他的几何学信息。作为这样的几何学信息，例如有标识的圆形度、长短比(椭圆率)、矩(moment)、长宽比等。例如，在长方形标识中使用长宽比，在椭圆标志中使用椭圆率(ellipticity)和矩特征量(moment feature)。
另外，也可以通过由多台设备构成的系统实现与在上述实施方式中说明的标识识别装置同等的功能。
另外，将实现上述实施方式功能的软件的程序，从记录媒体中直接提供、或者用有线/无线通信，将该程序提供给具有可执行该程序的计算机的系统或者装置，通过该系统或者装置的计算机执行该被提供的程序，实现同等的功能的情况也包括在本发明中。
因此，为了用计算机实现本发明的功能处理，提供给该计算机并安装的程序代码本身也是实现本发明的部分。也就是说，用于实现本发明的功能处理的计算机程序本身也包括在本发明中。
在这种情况下，只要具有程序的功能，不论程序的形式如何，目标代码、由解释程序执行的程序、提供给OS的脚本程序等都可以。
作为用于提供程序的记录媒体，有例如软盘、硬盘、磁带等磁记录媒体、MO、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R、DVD-RW等光/光磁记录媒体、非易失性的半导体存储器等。
作为使用了有线/无线通信的程序供给方法，可以列举出如下这样方法等在计算机网络上的服务器中存储形成本发明的计算机程序本身、或者包括经过压缩并自动安装的功能的文件等，在客户计算机上存储能够成为形成本发明的计算机程序的数据文件(程序数据文件)，将程序数据文件下载到连接着的客户计算机上。在这种情况下，也可以将程序数据文件分割成多个片段文件，将片段文件配置在不同的服务器上。
即，使多个用户下载用于由计算机实现本发明的功能处理的程序数据文件的服务器装置也包含在本发明中。
另外，也可以将本发明的程序加密之后存储在CD-ROM等存储媒体中分发给用户，使满足预定条件的用户例如经由互联网从主页下载解密的密钥信息，通过使用该密钥信息，执行该加密后的程序，使其安装到计算机中来实现。
另外，除了通过计算机执行所读出的程序，实现上述实施方式的功能之外，也可以由计算机上运行着的OS等根据该程序的指示，进行实际处理的一部分或者全部，通过该处理实现上述实施方式的功能。
并且，也可以是，在从记录媒体中读出的程序被写入到插在计算机中的功能扩展板或者连接在计算机上的功能扩展单元所具有的存储器中之后，根据该程序的指示，该功能扩展板或功能扩展单元所具有的CPU等执行实际处理的一部分或者全部，通过该处理实现上述如以上说明的那样，根据本发明，即使是仅通过从图像中检测，无法对多个标识进行区分那样的标识，也能够通过使用标识的几何学信息，个别地进行标识的识别。
而且，作为几何学信息而具有方向性的标识，不需要作为用于区分个体的追加信息的图像、图案，因此便于简单而又稳定地从图像中检测出来。即，达到如下效果不仅是在图像中捕捉到足够大的标识的情况，即使在标识变小的情况下，也能够稳定地检测出标识。而且，使用的标识也具有这样的效果与在现有技术2中使用的标识相比较，尺寸能够变小，外观也可以比较不醒目。
另外，通过使用作为几何学信息的面积，即使是在现实空间存在和标识近似颜色的区域，该区域作为标识被检测出来的情况下，也能够正确地识别标识。
在不脱离本发明的精神和范围的前提下，本发明可以有各种不同的实施方式，并且应该理解为，本发明不受特定的实施方式的限定，其范围由所附的权利要求限定。
权利要求
1.一种标识识别方法，使用预先保存着的、标识的位置信息和标识的几何学信息，从已取得的图像中检测、识别标识，其特征在于，包括图像取得步骤，取得用摄像装置拍摄到的包括具有预定形状的标识的现实空间的图像；位置姿势信息取得步骤，取得上述摄像装置或者上述现实物体的至少一方的3维位置姿势的测量结果；标识识别步骤，根据上述3维位置姿势测量结果、上述标识的预先被保存着的位置信息、以及该标识的预先被保存着的几何学信息，从上述已取得的图像中检测、识别标识。
2.根据权利要求1所述的标识识别方法，其特征在于上述几何学信息是关于上述标识的方向性的信息，上述标识识别步骤具有推测位置计算步骤，根据由上述位置姿势信息取得步骤得到的上述摄像装置或者上述现实物体的至少一方的3维位置姿势测量结果、和上述标识的位置信息，求取上述标识在上述摄像装置的摄像面上的推测位置，并且根据上述图像中的上述标识的位置、由上述推测位置计算步骤求得的标识的推测位置、和上述关于标识的方向性的信息，识别在上述图像中检测出的标识与上述标识的对应关系。
3.根据权利要求2所述的标识识别方法，其特征在于上述标识识别步骤，根据在上述图像中检测出的上述标识的方向性，和针对具有与该标识距离最近的上述推测位置的标识而预先记录的关于方向性的信息，进行上述识别。
4.根据权利要求2所述的标识识别方法，其特征在于上述标识，由不具有方向性的基本形状、和对该基本形状赋予方向性的方向性赋予形状的组合构成，上述标识识别步骤使用在上述图像中识别出的上述标识的上述基本形状与上述方向性赋予形状的位置关系，识别该标识的方向。
5.根据权利要求2所述的标识识别方法，其特征在于上述标识识别步骤，包括求取上述图像中的标识在图像中的重心位置的步骤；使用上述重心位置，确定上述标识中的多个代表点位置的步骤；使用上述重心位置的图像信息和上述多个代表点位置的图像信息，判定上述标识的方向的判定步骤。
6.根据权利要求2所述的标识识别方法，其特征在于上述关于标识的方向性的信息，是该标识中的特定的顶点的3维位置信息。
7.一种被配置在现实空间中，作为预定的坐标系中的绝对位置基准而使用的标识，其特征在于具有由不带有方向性的基本形状和赋予该基本形状方向性的1个方向性赋予形状的组合而构成的外观。
8.根据权利要求7所述的标识，其特征在于上述方向性赋予形状具有与上述基本形状不同的图像识别方面的特征，偏靠配置在上述基本形状的内部。
9.根据权利要求7所述的标识，其特征在于上述方向性赋予形状，或者与上述基本形状相接，或者与上述基本形状保持间隔地配置。
10.根据权利要求1所述的标识识别方法，其特征在于上述几何学信息是关于上述标识的面积的信息，上述标识识别步骤具有投影标识计算步骤，根据在上述位置姿势信息取得步骤中得到的上述摄像装置或者上述现实物体的至少一方的3维位置姿势测量结果、和上述关于标识的位置和面积的信息，求取将上述标识投影到上述摄像装置的摄像面上后的投影标识的关于位置和面积的信息，并且根据在上述图像中检测出的上述区域的关于位置和面积的信息，和上述投影标识的关于位置和面积的信息，识别在上述图像中检测出的标识与上述标识的对应关系。
11.根据权利要求10所述的标识识别方法，其特征在于上述标识识别步骤，将在上述图像中检测出的标识中的、与上述投影标识距离短且面积差小的区域，识别为是与上述投影标识对应的标识。
12.根据权利要求10所述的标识识别方法，其特征在于上述区域检测步骤，检测具有某种特定的颜色或者与周围的明度差的连续区域，作为上述标识。
13.根据权利要求10所述的标识识别方法，其特征在于上述关于标识的信息，是上述标识的中心点的3维坐标以及上述关于标识的外周形状的信息。
14.根据权利要求13所述的标识识别方法，其特征在于上述标识是圆形，关于上述外周形状的信息是半径或者直径的大小。
15.根据权利要求13所述的标识识别方法，其特征在于上述标识是正多边形，关于上述外周形状的信息是表示顶点的三维坐标的信息。
16.一种标识识别装置，使用预先保存着的、标识的位置信息和标识的几何学信息，从已取得的图像中检测、识别标识，其特征在于，包括图像取得单元，取得用摄像装置拍摄到的包括具有预定形状的标识的现实空间的图像；位置姿势信息取得单元，取得上述摄像装置或者上述现实物体的至少一方的3维位置姿势的测量结果；标识识别单元，根据上述3维位置姿势测量结果、上述标识的预先被保存着的位置信息、以及该标识的预先被保存着的上述几何学信息，从上述已取得的图像中检测、识别标识。
17.根据权利要求16所述的标识识别装置，其特征在于还具有上述摄像装置，以及上述摄像装置或者上述现实物体的至少一方的3维位置姿势测量装置。
全文摘要
本发明提供一种标识识别方法和装置。在用摄像机拍摄到的图像中检测配置在现实空间中的标识，并求取图像中的位置(S405)。另一方面，根据摄像机的位置姿势信息和标识的位置姿势信息等，将标识投影到摄像机的摄像面上(S403)。然后，根据两者在图像面上的距离和标识的几何学信息、例如方向性，来鉴定对应的标识(S408)。通过这样的方法，能够以简便的方法准确地鉴定标识。
文档编号G06T7/00GK1604122SQ20041008106
公开日2005年4月6日 申请日期2004年9月30日 优先权日2003年9月30日
发明者内山晋二, 佐藤清秀 申请人:佳能株式会社