专利名称：信息处理设备和信息处理方法
信息处理设备和信息处理方法
(本申请是申请日为2008年4月24日、申请号为200810093557.9、发明名称为“信息处理设备和信息处理方法”的申请的分案申请。)技术领域
本发明一般地涉及信息处理设备和信息处理方法，并特别地涉及测量摄像设备的位置和方位的技术。
背景技术：
已大规模进行关于将文字和CG图片重叠在现实空间上并呈现重叠结果的混合真实感的研究。呈现混合真实感的呈现设备可以实现为这样的设备，该设备将根据摄像设备的位置和方位而生成的图像重叠并绘制在由该摄像设备拍摄的图像上，并显示所生成的图像。
为了实现这种技术，需要实时测量在现实空间中定义的基准坐标系和照相机坐标系之间的相对位置和方位。例如，以下将说明这样的情况将虚拟物体重叠在室内或桌上等现实环境中的预定位置处。在这种情况下，将基准坐标系定义在该环境中的合适位置(例如房间的地面或桌面)，并可以测量基准坐标系中的照相机的位置和方位。
为了实现这种测量，一般的做法是使用由照相机连续拍摄的时间系列图像来依次测量照相机的 位置和方位(参见非专利文献1、2和3)。例如，可以通过以下序列来计算基准坐标系中的照相机的位置和方位。
(I)将基准坐标系中的位置(基准坐标)给定的多个标志配置或设置在室内的地板、墙壁、桌面等上。
(2)检测由照相机拍摄的拍摄图像中的标志的图像坐标。
(3)基于检测到的标志的图像坐标和这些标志的基准坐标之间的对应关系来计算照相机的位置和方位。
注意，标志可以是为了测量目的而有意设置的人为的标记，或者可以是在该环境中原本存在的特征(自然特征)等。
为了通过上述序列来计算照相机的位置和方位，作为预备处理，需要预先获取各标志的配置信息。注意，各标志的配置信息表示基准坐标系中的该标志的位置。以下，根据需要将计算标志的配置信息的处理称作标志的校准。
通常，使用测量仪、量角器等来人工进行标志的校准。另外，使用基于由照相机预先拍摄的多个图像来估计标志的配置信息的方法(参见非专利文献4)。此外，已提出了一种在依次执行照相机的位置和方位的测量的同时校准标志的方法(参见非专利文献5)。
在非专利文献5中公开的设备具有在校准未知的标志的同时测量照相机的位置和方位的自动映射模式、以及在各标志的配置信息给定的同时仅测量照相机的位置和方位的跟踪模式。用户根据需要选择性地使用这些模式。
[非专利文献 I]Sato, Uchiyama, and Yamamoto:^UG+B:A RegistrationFramework Using User’s View, Gyroscope, and Birdi s-Eye View^j Transactions of the Virtual Reality Society of Japan，vol. 10，no. 3，pp. 391-400，2005
[非专利文献 2]Sato，Uchiyama，and Tamura:"Registration method in augmented reality'Transactions of the Virtual Reality S ociety of Japan, vol. 8 ，no. 2，pp. 171-180，2003
[非专利文献 3]M. A. Fischler and R. C. Bolles (June 1981) : Random Sample Consensus:A paradigm for model fitting with applications to image analysis and automated cartography, Comm, of the ACM, vol. 24，no. 6，pp. 381-395，1981
[非专利文献 4]Kotake，Uchiyama，and Yamamoto:Marker Calibration Method Utilizing A Priori Knowledge on Marker Arrangement"，Transactions of the Virtual Reality Society of Japan，vol. 10，no. 3，pp. 401-410，2005
[非专利文献 5]Leonid Naimark and Eric Foxlin:Circular data matrix fiducial system and robust image processing for a wearable vision-1nertial self-tracker,Proc. 1st International Symposium on Mixed and Augmented RealitydSMAR 2002)，pp. 27-36，2002
[非专利文献 6]R. Hartley and A. Zissermanj Multiple view geometry in computer vision:Second Edition, Cambridge University Press
在预先测量标志的配置信息时，需要标志从其校准时刻起在当前时刻丝毫不移动。例如，如果仅使用附着在墙壁、地板、天花板等固定结构物体上的标记，则基本上满足这一条件。
然而，当包括其配置有可能变化的标志时，如果原样使用预先测得的配置信息，则当标志的配置发生变化时不能正确地测量照相机的位置和方位。例如，当标记被配置在壁柜的门或带轮的桌子等可活动物体上时，用户需要凭视觉来确认标志的校准时刻的状况在当前时刻处未变化。
另一方面，当使用与照相机的位置和方位测量同时依次更新各标志的配置信息的方法(在非专利文献5中公开)时，在原理上可处理各标志的配置信息的变化。然而，由于视野内不能作为固定标志来处理的全部标志的全部配置信息总是持续更新的，因而计算负荷很重。因此，非专利文献5公开的设备仅当用户判断为需要自动映射模式时才使用该模式。结果，用户必须决定是否需要对标志进行再校准。
S卩，现有技术没有了解是否应该执行标志的再校准的手段。因此，用户必须基于自身的经验知识来决定是否执行再校准。尽管在多数实际情景中仅有一部分标志移动，但并未准备仅对需要再校准的标志进行校准的手段。发明内容、
考虑到上述现有技术的问题而做出本发明。即，本发明的目的是提供一种摄像设备的位置和方位的测量技术，该测量技术不需要由用户基于自身的经验知识来决定各标志的配置信息是否正确以及是否需要进行再校准，并且可以容易地管理和维护。
本发明的另一目的是提供一种仅对需要再校准的标志进行校准的技术。
根据本发明的第一方面，一种信息处理设备，包括
保持单元，用于针对配置在现实空间中的多个标志中的每个标志，保持配置信息和所述配置信息的可靠度；
获取单元，用于从拍摄所述现实空间的摄像设备获取拍摄图像；
检测单元，用于从所述拍摄图像检测标志的图像坐标；
计算单元，用于使用由所述检测单元检测到的所述标志的图像坐标、以及由所述保持单元以与所述标志相关联的方式保持的配置信息，来计算所述摄像设备的位置和方位；
再校准单元，用于对具有表示配置信息不可靠的可靠度的不可靠标志的配置信息进行再校准；以及
更新单元，用于将由所述保持单元以与所述不可靠标志相关联的方式保持的配置信息和该配置信息的可靠度更新为由所述再校准单元再校准后的配置信息和表示该配置信息可靠的可靠度。
根据本发明的第二方面，一种信息处理设备，包括
保持单元，用于针对配置在现实空间中的多个标志中的每个标志，保持配置信息和所述配置信息的可靠度；
获取单元，用于从拍摄所述现实空间的摄像设备获取拍摄图像；
检测单元，用于从所述拍摄图像检测标志的图像坐标；
计算单元，用于使用由所述检测单元检测到的所述标志的图像坐标、以及由所述保持单元以与所述标志相关联的方式保持的配置信息，来计算所述摄像设备的位置和方位；以及
通知单元，用于通知与具有表示配置信息不可靠的可靠度的不可靠标志相关联的信息。
根据本发明的第三方面，一种信息处理设备，包括
保持单元，用于针对配置在现实空间中的多个标志中的每个标志，保持配置信息和所述配置信息的可靠度；
获取单元，用于从拍摄所述现实空间的摄像设备获取拍摄图像；
检测单元，用于从所述拍摄图像检测标志的图像坐标；以及
计算单元，用于使用由所述检测单元检测到的所述标志的图像坐标中具有表示配置信息可靠的可靠度的标志的图像坐标、以及由所述保持单元以与该标志相关联的方式保持的配置信息，来计算所述摄像设备的位置和方位。
根据本发明的第四方面，一种由信息处理设备执行的信息处理方法，所述信息处理设备包括保持单元，所述保持单元用于针对配置在现实空间中的多个标志中的每个标志，保持配置信息和所述配置信息的可靠度，所述信息处理方法包括如下步骤
获取步骤，用于从拍摄所述现实空间的摄像设备获取拍摄图像；
检测步骤，用于从所述拍摄图像检测标志的图像坐标；
计算步骤，用于使用在所述检测步骤中检测到的所述标志的图像坐标、以及由所述保持单元以与所述标志相关联的方式保持的配置信息，来计算所述摄像设备的位置和方位；
再校准步骤，用于对具有表示配置信息不可靠的可靠度的不可靠标志的配置信息进行再校准；以及
更新步骤，将由所述保持单元以与所述不可靠标志相关联的方式保持的配置信息和该配置信息的可靠度更新为在所述再校准步骤中再校准后的配置信息和表示该配置信息可靠的可靠度。
根据本发明的第五方面，一种由信息处理设备执行的信息处理方法，所述信息处理设备包括保持单元，所述保持单元用于针对配置在现实空间中的多个标志中的每个标志，保持配置信息和所述配置信息的可靠度，所述信息处理方法包括如下步骤
获取步骤，用于从拍摄所述现实空间的摄像设备获取拍摄图像；
检测步骤，用于从所述拍摄图像检测标志的图像坐标；
计算步骤，用于使用在所述检测步骤中检测到的所述标志的图像坐标、以及由所述保持单元以与所述标志相关联的方式保持的配置信息，来计算所述摄像设备的位置和方位；以及
通知步骤，用于通知与具有表示配置信息不可靠的可靠度的不可靠标志相关联的信息。
根据本发明的第六方面，一种由信息处理设备执行的信息处理方法，所述信息处理设备包括保持单元，所述保持单元用于针对配置在现实空间中的多个标志中的每个标志，保持配置信息和所述配置信息的可靠度，所述信息处理方法包括如下步骤
获取步骤，用于从拍摄所述现实空间的摄像设备获取拍摄图像；
检测步骤，用于从所述拍摄图像检测标志的图像坐标；以及
计算步骤，用于使用在所述检测步骤中检测到的所述标志的图像坐标中具有表示配置信息可靠的可靠度的标志的图像坐标、以及由所述保持单元以与该标志相关联的方式保持的配置信息，来计算所述摄像设备的位置和方位。
通过以下参照附图对典型实施例所做的说明，本发明的其他特征将变得明显。
图I是示出应用根据本发明的第一实施例的信息处理设备的位置和方位测量设备的功能结构的框图2示出白色矩形标记200的例子；
图3是示出由摄像设备130拍摄的拍摄图像的例子；
图4是示出可应用于位置和方位测量设备100和600的计算机的硬件结构的框图5是示出由位置和方位计算单元120、标志配置信息保持单元140和标志配置信息更新单元160执行的处理的细节的流程图6是示出根据本发明的第二实施例的位置和方位测量设备的功能结构的框图； 以及
图7A 7C示出由通知单元660生成的通知信息的例子。
具体实施方式
以下将参照附图来详细地说明本发明的优选实施例。注意，这些实施例是作为在权利要求书的范围中记载的本发明的优选结构的例子而说明的，并且本发明不限于以下说明的实施例。
第一实施例
根据本实施例的信息处理设备使用由摄像设备拍摄的图像来测量摄像设备的位置和方位。当各标志的配置信息变化时，根据本实施例的信息处理设备检查再校准的必要性，并且如果需要，则执行与再校准相关联的处理。以下说明根据本实施例的信息处理设备。
图1是示出应用根据本实施例的信息处理设备的位置和方位测量设备的功能结构的框图。如图1所示，根据本实施例的位置和方位测量设备100包括图像输入单元150、标志检测 单元110、位置和方位计算单元120、标志配置信息保持单元140和标志配置信息更新单元160。作为要进行位置和方位测量的对象的摄像设备130连接至图像输入单元150。 由根据本实施例的位置和方位测量设备100来测量摄像设备130的位置和方位。
在现实空间中，定义了基准坐标系(由符号W表示)。标志180(180-1 180_9) 被配置在现实空间中的多个位置处。当摄像设备130在摄像设备130的位置和方位可测量的范围内移动时，标志180优选地配置为使得它们中的一些总是被摄像设备130拍摄。在以下的说明中，由符号Qk来表不第k个标志180 (180-k)。注意，k(k=l,2, ...,K)表不标志 180的标识符(标识信息)。K表示配置的标志180的总数,在图1中，K=9o
各标志180可以由通过具有不同颜色的小区域所限定的彩色标记构成，或可以由具有不同纹理特征的自然特征等特征点构成。只要从摄像设备130所拍摄的图像可以检测出图像坐标，并且这些标志相互间可识别，即可使用任意标志作为标志180。可以有意地 (人为地)设置标志180。也可以使用桌角、墙壁图案等原本存在于现实空间中的特征作为标志180。可以使用由具有一定面积的单色多边形区域限定的多边形标记作为标志180。图 2示出白色矩形标记200的例子。在这种情况下，将多边形的顶点用作标志180。
图1示出配置圆形彩色标记180-1 180-9作为标志180的情况。一些标志180-8 和180-9配置在桌170上，其它标志180-1 180-7配置在房间的墙面和地面上。
下面说明摄像设备130以及位置和方位测量设备100。
摄像设备130包括拍摄现实空间的影像的摄像机等，并且由摄像设备130拍摄的各帧的图像(下文称作拍摄图像或现实空间图像)被输入到位置和方位测量设备100的图像输入单元150。在摄像设备130上预先定义照相机坐标系，并且位置和方位测量设备100 测量该照相机坐标系相对于基准坐标系的位置和方位，作为摄像设备130的位置和方位。 注意，照相机坐标系将摄像设备130的视点位置作为原点，将视线方向定义为-Z轴，并将与 Z轴正交且互相正交的2个轴定义为X轴和Y轴。此外，摄像设备130的焦距等照相机内部参数是给定的。
图像输入单元150将从摄像设备130输出的拍摄图像转换成数字数据，并将转换后的拍摄图像的数据输出至随后的标志检测单元110。图3示出由摄像设备130拍摄的拍摄图像的例子。参照图3，附图标记300表示拍摄图像，该拍摄图像包括桌170和标志 180 (180-2 和 180-4 180-9)。
标志检测单元110检测并识别从图像输入单元150接收到的各拍摄图像中包括的标志180。S卩,标志检测单元110检测在拍摄图像中包括的各标志的标识信息(标识符、ID等)和该标志的图像坐标。
通过根据所使用的标志的类型的方法来检测标志180。例如，当标志180由具有不同颜色的彩色标记构成时，从拍摄图像中检测与各标记颜色对应的区域，并将检测到的区域的重心位置用作标志180的图像坐标。当标志180由具有不同纹理特征的特征点构成时，通过使用模板图像的模板匹配来检测标志180的图像坐标。在这种情况下，将各标志的模板图像作为给定信息预先保持在存储器中。
当使用图2所示的矩形标记200时，对拍摄图像进行二值化处理和贴标处理，以检测均由4条直线限定的标记区域，作为标记候选。然后，检查各标记候选的矩形区域中是否包括特定图案，从而消除检测错误。而且，基于矩形区域中的图案来获取矩形标记200的标识符。最后，将矩形区域的4个顶点的坐标作为4个点的标志180的位置输出。
在以下的说明中，将从拍摄图像中检测到的标志180称作“测得标志”。而且，在以下的说明中，将测得标志Qk的图像坐标记作uQk。在这种情况下，k代表测得标志的标识信肩、O
标志检测单元110将各测得标志Qk的标识信息k和图像坐标uQk的集合输出至随后的位置和方位计算单元120和标志配置信息更新单元160。
标志配置信息保持单元140保持各标志Qk的标识信息、配置信息(标志180在基准坐标系中的位置)和可靠度的集合。可靠度将在后面详细说明，并且表示关于该配置信息的可靠度。标志配置信息保持单元140根据该可靠度来检查是否要执行对应的配置信息的再校准。如果标志配置信息保持单元140判断为需要再校准，则将位置和方位测量设备 100的操作模式设置为“配置信息更新模式”。如果标志配置信息保持单元140判断为不需要再校准，则将位置和方位测量设备100的操作模式设置为“位置和方位计算模式”。
注意，在以下的说明中，将标志Qk的配置信息，即标志Qk在基准坐标系中的位置称作基准坐标，并记作XwQk。
注意，如上所述，标志配置信息保持单元140保持各标志Qk的配置信息XwQk。不是全部标志Qk的位置在现实空间中都是固定的。因此，当标志Qk在现实空间中的位置发生变化时，实际的配置信息变得与由标志配置信息保持单元140保持的配置信息不同。例如， 在图3中，当桌170在标志180的测量时刻后进行移动,则由标志配置信息保持单元140保持的标志180-8和180-9的配置信息成为与实际的配置信息不同的值。如以下所说明，位置和方位测量设备100具有可以处理这种状况的结构。
位置和方位计算单元120仅当将位置和方位测量设备100的操作模式设置为“位置和方位计算模式”时才操作。当设置为“位置和方位计算模式”时，位置和方位计算单元 120从标志检测单元110获取从拍摄图像检测到的各标志Qk的标识信息k和图像坐标uQk 的集合。另一方面，位置和方位计算单元120获取保持在标志配置信息保持单元140中以与所获取的各集合中的标识信息k 一起在集合中的标识信息k和配置信息XwQk。即，位置和方位计算单元120从标志检测单元110和标志配置信息保持单元140获取从拍摄图像获取的各标志Qk的图像坐标uQk和配置信息XwQk的集合。
位置和方位计算单元120使用各标志Qk的图像坐标uQk和配置信息XwQk的集合来计算摄像设备130的位置和方位(计算处理)。用于这种计算的技术是公知技术。位置和方位计算单元120将表示计算出的位置和方位的数据输出至外部。9
位置和方位计算单元120在计算摄像设备130的位置和方位的计算处理期间，计算各标志Qk的可靠度。位置和方位计算单元120将计算出的各标志Qk的可靠度的数据输出至标志配置信息保持单元140，以与标识信息k 一起形成集合。
标志配置信息保持单元140执行这样的处理将与从位置和方位计算单元120接收到的标识信息k 一起作为集合所保持的可靠度更新为从位置和方位计算单元120与标识信息k 一起作为集合所输出的可靠度。
以这种方式，当设置为“位置和方位计算模式”时，在标志配置信息保持单元140 中登记各标志Qk的可靠度。即，在标志配置信息保持单元140中，总是登记各标志Qk的最新的可靠度。
在本实施例中，位置和方位计算单元120将针对与从标志检测单元110接收到的全部标识信息k相对应的标志Qk所计算出的可靠度输出至标志配置信息保持单元140。可选地，位置和方位计算单元120也可以仅将等于或小于阈值的可靠度与标识信息k 一起输出至标志配置信息保持单元140。
标志配置信息更新单元160仅当将位置和方位测量设备100的操作模式设置为 “配置信息更新模式”时才操作。当设置为“配置信息更新模式”时，标志配置信息保持单元 140指定其自身所保持的各集合中包括“表示配置信息可靠”的可靠度的集合。然后，标志配置信息保持单元140将指定的各集合中的标识信息k和配置信息XwQk输出至标志配置信息更新单元160。
标志配置信息更新单元160使用从标志配置信息保持单元140接收到的配置信息 xwQk、以及同与该配置信息形成集合的标识信息k 一起在集合中从标志检测单元110接收到的图像坐标uQk，来计算摄像设备130的位置和方位。即，标志配置信息更新单元160使用不需要再校准的、可靠度高的标志(可靠标志)的配置信息和图像坐标来计算摄像设备130 的位置和方位。
此后，标志配置信息保持单元140指定其自身所保持的各集合中包含“表示配置信息不可靠”的可靠度的集合，并将指定的各集合中的标识信息k(=k’ )输出至标志配置信息更新单元160。
标志配置信息更新单元160使用与从标志配置信息保持单元140接收到的标识信息k’ 一起在集合中从标志检测单元110接收到的图像坐标uQk’、以及先前计算出的摄像设备130的位置和方位，来对配置信息XwQk'进行再校准。即，标志配置信息更新单元160对需要再校准的、可靠度低的标志(不可靠标志)的配置信息进行再校准。
标志配置信息更新单元160将不可靠标志的再校准后的配置信息XwQk’和标识信息k’的集合输出至标志配置信息保持单元140。在接收到该集合时，标志配置信息保持单元140将与所接收到的集合中的标识信息k’ 一起保持在集合中的配置信息XwQk'更新为所接收到的集合中的再校准后的配置信息XwQk/。此外，标志配置信息保持单元140将与所接收到的集合中的标识信息k’ 一起保持在集合中的可靠度更新为“表示配置信息可靠”的可靠度。
例如，在图3所示的拍摄图像中，当标志180-8和180-9的可靠度“表示配置信息不可靠”时，对这些标志的配置信息进行再校准，并将所保持的配置信息更新为再校准后的配置信息。
下面，将参照图5的流程图来说明由位置和方位计算单元120、标志配置信息保持单元140和标志配置信息更新单元160执行的处理的细节。
图5是示出由位置和方位计算单元120、标志配置信息保持单元140和标志配置信息更新单元160执行的处理的细节的流程图。注意，图5的流程图示出当将I帧的拍摄图像从摄像设备130通过图像输入单元150输入至位置和方位测量设备100时，由位置和方位计算单元120、标志配置信息保持单元140和标志配置信息更新单元160执行的处理。 因此，图5的流程图表示每当将各帧的拍摄图像从摄像设备130输入至位置和方位测量设备100时执行的处理。
在步骤S5000之前，摄像设备130将拍摄图像通过图像输入单元150输入至标志检测单元110。标志检测单元110检测拍摄图像中包括的各标志Qk的标识信息k和图像坐标uQk的集合。标志检测单元110将检测到的各标志Qk的集合输出至位置和方位计算单元 120和标志配置信息更新单元160。
如果当前设置的位置和方位测量设备100的操作模式是“位置和方位计算模式”， 则处理经过步骤S5000前进至步骤S5010。另一方面，如果当前设置的位置和方位测量设备 100的操作模式不是“位置和方位计算模式”，则处理经过步骤S5000转至步骤S5100。
在步骤S5010中，位置和方位计算单元120获取从标志检测单元110输出的各标志Qk的标识信息k和图像坐标uQk的集合。
在步骤S5020中，位置和方位计算单元120获取保持在标志配置信息保持单元140 中以与在步骤S5010中获取的各集合中的标识信息k 一起包括在集合中的标识信息k和配晉_自X Qkr.1 I=I λι!、ο
在步骤S5030中，位置和方位计算单元120使用各标志Qk的图像坐标uQk和配置信息XwQk的集合来计算摄像设备130的位置和方位。该计算使用公知的鲁棒估计方法，该方法使用η个标志的配置信息(3维坐标)与其图像坐标之间的对应关系，在执行异常值去除的同时计算摄像设备130的位置和方位。例如，使用作为如下方法的RANSAC算法通过重复进行使用多个随机选择的点的位置和方位估计、以及该解的合法性的验证，从而去除异常值(详见非专利文献2)。
一般地，RANSAC等鲁棒估计方法的异常值去除被用来消除标志的检测错误的影响。更具体地，当作为标志检测到与标志不同的区域时，或者当某个标志被错误识别为另一标志时，将这些数据作为异常值去除。另一方面，假设根据本实施例的标志检测单元110正常地执行标志的检测和识别。在这种情况下，当标志的配置信息不同时，将该数据作为异常值去除。
在步骤S5040中，位置和方位计算单元120将表示在步骤S5030中计算出的摄像设备130的位置和方位的数据输出至外部。
在步骤S5050中，位置和方位计算单元120在步骤S5030的处理期间计算各标志 Qk的可靠度。更具体地 ，位置和方位计算单元120将在步骤S5030中判断为异常值的标志 Qk的可靠度设置为“0”，并将未判断为异常值的标志的可靠度设置为“I”。如果可靠度为 “0”，则是“表示配置信息不可靠且需要配置信息的再校准”的可靠度；如果可靠度为“1”， 则是“表示配置信息可靠且不需要再校准”的可靠度。注意，可以基于拍摄图像上的残差的大小来定义可靠度。
位置和方位计算单元120将计算出的各标志Qk的可靠度的数据和标识信息k的集合输出至标志配置信息保持单元140。标志配置信息保持单元140执行这样的处理将与从位置和方位计算单元120接收到的标识信息k 一起保持在集合中的可靠度更新为与标识信息k 一起在集合中从位置和方位计算单元120输出的可靠度。
在步骤S5060中，标志配置信息保持单元140参照所保持的集合内的可靠度，并检查是否对配置信息进行再校准。例如，如果某标志的可靠度即使有I次变为等于或小于阈值，则标志配置信息保持单元140也判断为需要对该标志的配置信息进行再校准。可选地， 标志配置信息保持单元140可以保持以前的帧中的可靠度的历史，并可以根据可靠度的历史来判断是否需要再校准。例如，当某标志的可靠度在预定的时间段内保持等于或小于阈值时，标志配置信息保持单元140判断为要执行该标志的再校准。可选地，标志配置信息保持单元140针对每个标志对可靠度等于或小于阈值的帧数进行计数，并当该计数值超过阈值时判断为需要再校准。
如果标志配置信息保持单元140判断为检测到至少一个需要配置信息的再校准的标志，则在步骤S5070中将位置和方位测量设备100的操作模式设置为“配置信息更新模式”。注意，该判断的准则也可以是检测到预定数量或更多需要再校准的标志。
如果当前设置的位置和方位测量设备100的操作模式是“配置信息更新模式”，则处理经过步骤S5100前进至步骤S5110。另一方面，如果当前设置的位置和方位测量设备 100的操作模式不是“配置信息更新模式”，则处理经过步骤S5100而结束，并且针对下一帧的拍摄图像执行步骤S5000和后续步骤中的处理。
在步骤S5110中，标志配置信息更新单元160获取从标志检测单元110输出的各标志Qk的标识信息k和图像坐标uQk的集合。
在步骤S5120中，标志配置信息保持单元140指定其自身所保持的各集合中包括可靠度“I”的集合。由于标志配置信息保持单元140将指定的集合中的标识信息k和配置信息XwQk输出至标志配置信息更新单元160，因而标志配置信息更新单元160接收从标志配置信息保持单元140输出的集合。
在步骤S5130中，标志配置信息更新单元160使用在步骤S5120中接收到的配置信息XwQk、以及在步骤S5110中接收到的图像坐标uQk中与在步骤S5120中接收到的标识信息k相对应的图像坐标uQk，来计算摄像设备130的位置和方位。由于使用η个标志Qk的配置信息(3维坐标)与其图像坐标之间的对应关系来计算摄像设备130的位置和方位的方法是本领域技术人员所公知的，因而不再给出其说明(例如，参见非专利文献2)。
在步骤S5140中，标志配置信息更新单元160将表示在步骤S5130中计算出的摄像设备130的位置和方位的数据输出至外部。
在步骤S5150中，标志配置信息保持单元140指定其自身所保持的各集合中包括可靠度“O”的集合，并将指定的集合中的标识信息k(=k’)输出至标志配置信息更新单元 160。
标志配置信息更新单元160使用与从标志配置信息保持单元140接收到的标识信息k’ 一起在集合中从标志检测单元110接收到的图像坐标uQk’、以及先前计算出的摄像设备130的位置和方位，来对配置信息XwQk’进行再校准。在该再校准处理中，例如，选择摄像设备130的位置足够不同的2帧的数据，并利用三角测量的原理来计算标志Qk的配置信息。要使用的图像数量可以是3个或更多个，在这种情况下，可以通过最小二乘法来计算解。
在步骤S5160中，标志配置信息更新单元160将在步骤S5150中再校准后的不可靠标志的配置信息XwQk’和不可靠标志的标识信息k’的集合输出至标志配置信息保持单元 140。在接收到该集合时,标志配置信息保持单元140将与所接收到的集合中的标识信息k’ 一起保持在集合中的配置信息XwQk’更新为所接收到的集合中的再校准后的配置信息XwQk’。 此外，标志配置信息保持单元140将与所接收到的集合中的标识信息k’ 一起保持在集合中的可靠度更新为“表示不需要再校准”的可靠度。
在步骤S5170中，标志配置信息保持单元140等待，直到与在步骤S5150中输出至标志配置信息更新单元160的全部标识信息k’相对应的配置信息的再校准完成为止。如果再校准完成，则标志配置信息保持单元140将位置和方位测量设备100的操作模式设置为“位置和方位计算模式”。
此后，该处理结束，并针对下一帧的拍摄图像执行步骤S5000和后续步骤中的处理。
如上所述，根据本实施，可以无需用户介入而仅对配置信息的可靠度低的标志的配置信息进行再校准。通过该处理，可以处理标志的位置发生变化的状况。与持续地计算各标志的配置信息的传统方法相比，能够减轻计算机的处理负荷。
第二实施例
除以下区别以外，根据本实施例的位置和方位测量设备以与第一实施例中相同的方式来使用由摄像设备拍摄的图像，测量该摄像设备的位置和方位。即，当各标志的配置信息发生变化时，根据本实施例的位置和方位测量设备检查再校准的必要性，并且如果需要， 则向用户通知与再校准相关联的信息。以下将说明根据本实施例的位置和方位测量设备。
图6是示出根据本实施例的位置和方位测量设备的功能结构的框图。注意，图6 中的相同附图标记表示与图I所示相同的部分，并且省略对其的重复说明。
如图6所示,位置和方位测量设备600包括图像输入单元150、标志检测单元110、 位置和方位计算单元620、标志配置信息保持单元640和通知单元660。
以下将说明根据本实施例的位置和方位测量设备600与图I所示的位置和方位测量设备100的不同之处，即，位置和方位计算单元620、标志配置信息保持单元640和通知单元 660。
标志配置信息保持单元640保持与图I所示的标志配置信息保持单元140相同种类的信息，并以与在标志配置信息保持单元140与位置和方位计算单元120之间交换数据相同的方式来与位置和方位计算单元620交换数据。注意，标志配置信息保持单元640不设置位置和方位测量设备600的操作模式。
位置和方位计算单元620执行与图I所示的位置和方位计算单元120相同的处理。由于如上所述，不对位置和方位测量设备600设置操作模式，因而，与第一实施例的位置和方位计算单元120不同，位置和方位计算单元620 —直操作。即，位置和方位计算单元 620执行图5的流程图中的步骤S5010 S5050中的处理。
通知单元660将关于可靠度低的标志的信息输出至外部，从而向用户通知该信息。例如，在图3所示的拍摄图像300中，当标志180-8和180-9的配置信息需要再校准时，通知单元660将图7A 7C所示的显示对话框的数据输出至外部的显示装置(未图示)。
图7A 7C示出由通知单元660生成的通知信息的例子。在图7A中，在标志180_8 和180-9的图像坐标附近显示表示需要再校准的消息和标识信息的集合400a和400b。为了实现这样的显示，位置和方位测量设备600执行以下的处理。
标志配置信息保持单元640指定其自身所保持的各集合中包括可靠度“O”的集合，并将指定的集合中的标识信息k(=k’)输出至通知单元660。
通知单元660从标志检测单元110接收从拍摄图像检测到的各标志Qk的标识信息k和图像坐标uQk的集合。通知单元660指定从标志检测单元110接收到的集合中与从标志配置信息保持单元640接收到的标识信息k’ 一起包括在集合中的图像坐#uQk’。通知单元660在图像坐标uQk'附近的坐标位置处显示消息和标识信息k’。
通知单元660可以采用以下的通知方法。即，如图7B所示，通知单元660在拍摄图像上的合适位置处显示表示需要再校准的消息400e，并在标志180-8和180-9的图像坐标附近显示具有适当形状的标记410c和410d，以指定(强调)这些标志180-8和180-9。 为了实现这样的显示，位置和方位测量设备600执行以下的处理。
标志配置信息保持单元640指定其自身所保持的各集合中包括可靠度“O”的集合，并将指定的集合中的标识信息k(=k’)输出至通知单元660。
通知单元660从标志检测单元110接收从拍摄图像检测到的各标志Qk的标识信息k和图像坐标uQk的集合。通知单元660指定从标志检测单元110接收到的集合中与从标志配置信息保持单元640接收到的标识信息k’ 一起包括在集合中的图像坐#uQk’。然后，通知单元660在图像坐标uQk处显示标记。而且，通知单元660在拍摄图像上的合适位置处显示消息400e (从而不隐藏所显示的标记)。
注意，消息的显示位置未必在拍摄图像上。而且，可以任意组合并显示标识信息、 消息和标记。通知模式不限于显示，并且可以通过声音或振动来进行通知。此外，可以组合显示和其它通知模式，或者可以仅采用一种通知模式。
可选地，可以将当前与配置信息需要再校准的标志(不可靠标志)相关联地保持的配置信息投影在拍摄图像上，从而在拍摄图像上向观察者呈现该不可靠标志的图像坐标和投影图像。
可以基于由位置和方位计算单元620计算出的摄像设备130的位置和方位、以及由标志配置信息保持单元640保持的不可靠标志的配置信息XwQk，使用下述观测方程式F， 来计算该投影
=F(M,X^)......⑴
其中，M是表示摄像设备130的位置和方位的4X4坐标变换矩阵。观测方程式F 包括基于M将基准坐标变换成照相机坐标的观察变换、以及将照相机坐标变换成图像坐标的透视变换。以下将使用式⑴计算出的不可靠标志在拍摄图像上的坐标称作投影坐标。
例如，如图7C所示，显示表示标志发生偏移的消息400f，并在不可靠标志180-8和 180-9的配置信息在拍摄图像上的投影位置(投影坐标)处显示X标记420a和420b。可选地，可以在全部标志的配置信息在拍摄图像上的投影位置处显示X标记。可以根据可靠度的值来改变这些X标记的颜色和尺寸。
此外，如图7C所示，可以显示连结不可靠标志的图像坐标UQk和由式⑴计算出的投影坐标uQk*的箭头430a和430b。箭头430a和430b的方向可以从图像坐标指向投影坐标或者相反。
如上所述，根据本实施例，在测量摄像设备130的位置和方位的过程中，位置和方位测量设备可以向用户通知与配置信息的可靠度低的标志相关联的各种信息。通过这样的信息，用户可以判断是执行配置信息的再校准、还是将标志的物理配置返回适当的位置，从而维持位置和方位的精确测量。
夺形例I
上述实施例的鲁棒估计处理可以使用RANSAC算法以外的方法。例如，可以执行通过作为公知技术的M估计来消除异常值的影响的位置和方位估计(例如，参见非专利文献 6的附录A6. 8)。当使用M估计时，由于在计算处理过程中可以计算出对解有贡献的各测得标志的权重，因而可以将该权重用作各标志的可靠度。
夺形例2
在第一实施例中，可以通过其它方法来实现由标志配置信息更新单元160执行的与配置信息的再校准相关联的计算。例如，可以使用如非专利文献5所公开的、使用扩展卡尔曼滤波器来依次更新配置信息的方法。在这种情况下，可以通过摄像设备130的位置和方位以及要进行再校准的各标志180的位置来定义状态向量，并且可以使用检测到的各标志的坐标作为输入来更新这些状态向量。由于在滤波处理期间计算各状态向量的可能性， 因而可以基于该值来检查处理的结束。
变形例3
如矩形标记200的顶点那样，作为标志的性质，多个标志180间的相对位置关系经常是固定的。即使当使用这些标志时，上述实施例也针对各标志180检查是否需要再校准。 然而，例如当使用矩形标记200的顶点时，应当针对各矩阵标记200检查是否需要再校准。 在这种情况下，由于针对各顶点获得可靠度，因而计算4个顶点的可靠度的代表值，并将其用作矩阵标记200的配置信息的可靠度。可靠度的代表值由例如4个顶点的可靠度最小值来定义。然后，基于所获得的可靠度，针对各矩阵标记200检查是否需要再校准。
当判断为需要对矩阵标记200进行再校准时，标志配置信息更新单元160对作为矩形标记200的4个顶点的标志180的全部位置进行更新。注意，通知单元660针对各矩阵标记200而不是各标志180，进行表示再校准的必要性的显示。
注意，通常基于在标志上定义的标志坐标系在基准坐标系中的位置和方位来描述和管理矩阵标记200的配置信息(参见非专利文献4)。在这种情况下，在逐个估计各顶点的3维位置之后，根据标志的尺寸和形状的信息，可以将配置信息变换成基于位置和方位的表达。可选地，作为未知参数可以直接估计位置和方位的参数。
变形例4
可以构成包括第一和第二实施例的功能两者的位置和方位测量设备。作为简单的结构，通知单元660通知再校准的必要性，然后标志配置信息更新单元160执行再校准。
可以通过互动的处理采取更灵活的措施。如第二实施例那样，通知单元660向用户通知再校准的必要性。然后，用户通过Π (用户界面；未示出)输入他/她关于要采取的措施的决定。当用户选择“执行再校准”时，执行第一实施例中的标志配置信息更新单元160的处理，以更新标志的配置信息。当用户选择“排除标志”时，在后续的处理中，将该标志设置为禁止使用(被忽视)。当用户希望恢复标志的物理配置时，他/她可以选择“什么也不做”。可以针对各标志来指定上述处理。
夺形例5
作为标志，除上述标志以外，例如，还可以使用边缘。更具体地，出现在拍摄图像上的桌子的边、角等可以用作标志。注意，使用边缘作为标志，本领域技术人员可以容易适当地修改上述各种实施例。
第三实施例
在上述实施例(包括变形例)中，形成图1所示的位置和方位测量设备100和图6 所示的位置和方位测量设备600的各单元是由硬件来实现的。然而，标志配置信息保持单元140和640可由存储器来实现，图像输入单元150可由I/F(接口)单元来实现，并且其它单元的一些或全部可由计算机程序来实现。在这种情况下，通用PC(个人计算机)的存储器被用作标志配置信息保持单元140和640，并存储计算机程序。当该PC的CPU执行计算机程序时，该PC用作位置和方位测量设备100和600。S卩，PC可应用于位置和方位测量设备100和600。
图4是示出可应用于位置和方位测量设备100和600的计算机的硬件结构的框图。
CPU 1001使用存储在RAM 1002和ROM 1003中的计算机程序和数据来控制整个计算机。这些计算机程序包括用于使CPU 1001执行图1和6所示的单元中的除标志配置信息保持单元140和640以及图像输入单元150以外的其它单元的功能的计算机程序。数据包括在上述各实施例中说明的各种数据(包括给定信息)。因此，CPU 1001使用这些计算机程序和数据来执行处理，从而进行由位置和方位测量设备100和600实现的操作。
RAM 1002包括用于暂时地存储从外部存储装置1007和存储介质驱动器1008载入的计算机程序和数据的区域 。而且，RAM 1002包括由CPU 1001用来执行各种处理的工作区域。S卩，RAM 1002可以根据需要提供各种区域。
ROM 1003 —般存储计算机的引导程序、设置数据等。
键盘1004和鼠标1005是由计算机的操作者操作的输入装置的例子。操作者可以通过操作这些装置，将各种指令输入CPU1001。
显示单元1006包括CRT、液晶显示器等，并可以通过图像、文字等来显示CPU 1001 的处理结果。例如，显示单元1006可以显示在上述实施例中要向操作者通知的各种消息等。当然，显示单元1006可以附加地包括可输出声音的机构。在这种情况下，可以通过声音来向操作者通知CPU 1001的处理结果。
外部存储装置1007用作以硬盘驱动器为代表的大容量信息存储装置。外部存储装置1007保存OS (操作系统)以及上述计算机程序和数据。外部存储装置1007可以保存通过I/F(接口)1009从摄像设备130输出的各帧拍摄图像的数据。注意，从摄像设备130 输出的拍摄图像的数据的一部分可以存储在RAM 1002中。保存在外部存储装置1007中的计算机程序和数据在CPU 1001的控制下根据需要载入RAM 1002，并由CPU 1001执行。
存储介质驱动器1008根据来自CPU 1001的指令，读出存储在⑶_R0M、DVD_R0M等存储介质中的计算机程序和数据，并将它们输出至RAM 1002或外部存储装置1007。
I/F 1009包括以下多个不同的端口。图像输入单元150的功能的一部分由模拟视频端口或IEEE 1394等数字输入输出端口来实现。从摄像设备130输出的各帧拍摄图像的数据通过I/F1009取入RAM 1002。由位置和方位计算单元120和标志配置信息更新单元 160计算出的位置和方位的数据通过以太网(EthernetTM)端口等输出至外部。
上述组件通过总线1010相互连接。
其它实施例
本发明的目的可以通过以下方式来实现。即，将这样的记录介质(或存储介质) 提供给系统或设备该介质记录有可以实现前述实施例的功能的软件的程序代码。当然，该存储介质是计算机可读存储介质。系统或设备的计算机(或CPU或MPU)读出并执行存储在记录介质中的程序代码。在这种情况下，从记录介质读出的程序代码自身实现前述实施例的功能，并且记录该程序代码的记录介质构成本发明。
当计算机执行读出的程序代码时，在计算机上运行的操作系统(O S)等基于该程序代码的指令来进行实际处理操作的一部分或全部。本发明还包括通过该处理来实现前述实施例的功能的情况。
此外，假设从记录介质读出的程序代码被写入插入或连接至计算机的功能扩展卡或功能扩展单元的存储器中。此后，通过由设置在功能扩展卡或功能扩展单元上的CPU等基于该程序代码的指令，执行实际处理的一部分或全部，来实现前述实施例的功能。这种情况也包括在本发明中。
当将本发明应用于记录介质时，该记录介质存储与前述流程图相对应的程序代码。
尽管参照典型实施例说明了本发明，但是应当理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以涵盖所有这样的修改以及等同的结构和功能。
权利要求
1.一种信息处理设备,包括 保持单元，用于针对配置在现实空间中的多个标志中的每个标志，保持配置信息和所述配置信息的可靠度； 获取单元，用于从拍摄所述现实空间的摄像设备获取拍摄图像； 检测单元，用于从所述拍摄图像检测多个标志的图像坐标； 计算单元，用于使用由所述检测单元检测到的多个标志的图像坐标、以及由所述保持单元以与图像坐标被检测到的多个标志中的每个标志相关联的方式保持的配置信息，来计算所述摄像设备的位置和方位，以及计算图像坐标被检测到的多个标志中的每个标志的可靠度；以及 通知单元，用于通知与具有表示配置信息不可靠的可靠度的不可靠标志相关联的信肩、O
2.根据权利要求I所述的信息处理设备，其特征在于，所述通知单元在所述不可靠标志在所述拍摄图像上的图像坐标附近的位置处显示所述不可靠标志的标识信息、表示需要再校准配置信息的消息、以及用于强调所述不可靠标志的标记至少之一。
3.根据权利要求I所述的信息处理设备，其特征在于，还包括 用于计算通过将由所述保持单元以与所述不可靠标志相关联的方式保持的配置信息投影到所述拍摄图像上所获得的图像坐标的单元， 其中，将与所述不可靠标志相关联的信息显示在投影得到的图像坐标处。
4.根据权利要求3所述的信息处理设备，其特征在于，与所述不可靠标志相关联的信息根据关于所述不可靠标志的可靠度而不同。
5.根据权利要求I所述的信息处理设备，其特征在于，还包括 用于从由所述通知单元通知的标志中选择配置信息要进行再校准的不可靠标志的单元；以及 用于对由所述保持单元以与所选择的所述不可靠标志相关联的方式保持的配置信息进行再校准的单元。
6.—种信息处理设备,包括 保持单元，用于针对配置在现实空间中的多个标志中的每个标志，保持配置信息和所述配置信息的可靠度； 获取单元，用于从拍摄所述现实空间的摄像设备获取拍摄图像； 检测单元，用于从所述拍摄图像检测多个标志的图像坐标；以及计算单元，用于使用由所述检测单元检测到的多个标志的图像坐标中各自具有由所述保持单元保持的表示配置信息可靠的可靠度的多个标志的图像坐标、以及由所述保持单元以与该多个标志中的每个标志相关联的方式保持的配置信息，来计算所述摄像设备的位置和方位。
7.一种由信息处理设备执行的信息处理方法，所述信息处理设备包括保持单元，所述保持单元用于针对配置在现实空间中的多个标志中的每个标志，保持配置信息和所述配置信息的可靠度，所述信息处理方法包括如下步骤 获取步骤，用于从拍摄所述现实空间的摄像设备获取拍摄图像； 检测步骤，用于从所述拍摄图像检测多个标志的图像坐标；计算步骤，用于使用在所述检测步骤中检测到的多个标志的图像坐标、以及由所述保持单元以与图像坐标被检测到的多个标志中的每个标志相关联的方式保持的配置信息，来计算所述摄像设备的位置和方位，以及计算图像坐标被检测到的多个标志中的每个标志的可靠度；以及 通知步骤，用于通知与具有表示配置信息不可靠的可靠度的不可靠标志相关联的信肩、O
8.一种由信息处理设备执行的信息处理方法，所述信息处理设备包括保持单元，所述保持单元用于针对配置在现实空间中的多个标志中的每个标志，保持配置信息和所述配置信息的可靠度，所述信息处理方法包括如下步骤 获取步骤，用于从拍摄所述现实空间的摄像设备获取拍摄图像； 检测步骤，用于从所述拍摄图像检测多个标志的图像坐标；以及计算步骤，用于使用在所述检测步骤中检测到的多个标志的图像坐标中各自具有由所述保持单元保持的表示配置信息可靠的可靠度的多个标志的图像坐标、以及由所述保持单元以与该多个标志中的每个标志相关联的方式保持的配置信息，来计算所述摄像设备的位置和方位。
全文摘要
本发明提供一种信息处理设备和信息处理方法。标志检测单元(110)从拍摄图像中检测标志的图像坐标。标志配置信息更新单元(160)使用标志的图像坐标和这些标志各自的配置信息来计算摄像设备的位置和方位。此外，标志配置信息更新单元(160)对具有表示配置信息不可靠的可靠度的不可靠标志的配置信息进行再校准。标志配置信息更新单元(160)将由标志配置信息保持单元(140)与不可靠标志相关联地保持的配置信息更新为再校准后的配置信息和表示配置信息可靠的可靠度。
文档编号G06T7/00GK102982541SQ20121045530
公开日2013年3月20日 申请日期2008年4月24日 优先权日2007年4月25日
发明者佐藤清秀, 内山晋二 申请人:佳能株式会社