信息处理装置及信息处理方法与流程

技术领域

本发明涉及信息处理装置及信息处理方法。

背景技术：

近年来，MR(Mixed Reality，混合现实)技术的研究非常盛行。MR技术是指无缝组合真实空间与计算机生成的虚拟空间的技术。期望将MR技术应用于各种领域，例如在组装操作时叠加显示操作进程及配线状态的组装支援，以及在病人的体表叠加显示病人身体的内部状态的外科手术支援。

为了使用户感觉虚拟物体好像在真实空间中实际存在似的，虚拟物体与真实空间之间的几何一致性是最重要的。MR(Mixed Reality)中的几何一致性包括用于使真实空间的坐标系与虚拟空间的坐标系匹配的一致性以及用于准确地表现真实物体与虚拟物体之间的前后关系的一致性。与前者的一致性有关的问题也被称为MR(Mixed Reality)中的配准问题，并且已经给出了各种研究报告(参见，K.Satoh,S.Uchiyama,and H.Tamura,"Registration Techniques in Mixed Reality,"Transactions of the Virtual Reality Society of Japan,Vol.8,No.2,pp.171-180,2003)。当以观察者的视角拍摄视频的摄像装置与虚拟信息要叠加显示的真实物体之间位置和方位匹配时产生配准问题。在本发明中将解决该配准问题。

作为测量摄像装置的位置和方位的方法，典型地有以下方法(参见，K.Satoh,S.Uchiyama,and H.Tamura,"Registration Techniques in Mixed Reality,"Transactions of the Virtual Reality Society of Japan,Vol.8,No.2,pp.171-180,2003,and K.Satoh,S.Uchiyama,and H.Yamamoto,"A head tracking method using bird's-eye view camera and gyroscope,"Proc.3rd IEEE/ACM Int'l Symp.on Mixed and Augmented Reality(ISMAR 2004),pp.202-211,2004)：

(1)使用由能够同时测量位置和方位二者的传感器获得的测量值的方法，

(2)使用由测量方位的传感器获得的测量值以及从摄像装置拍摄的图像检测的指标(index)的图像信息的方法，

(3)使用从摄像装置拍摄的图像检测的指标的图像信息来校正由能够同时测量位置和方位二者的传感器获得的测量值的方法。通常，磁学或光学传感器用作测量位置和方位的位置方位传感器，而陀螺惯性传感器用作测量方位的方位传感器。

为了在摄像装置上安装方位传感器或位置方位传感器以使用传感器测量值来获得摄像装置或物体的位置或方位，需要预先测量方位传感器或位置方位传感器相对于待测量的摄像装置的位置或方位。以下将获得布置信息(即，传感器相对于待测量物体的位置或方位)称为“传感器校准”。

日本特开第2006-153848号公报公开了传感器校正方法，即在物体上安装指标及位置方位传感器或方位传感器以获得物体上安装的位置方位传感器或方位传感器相对于物体的布置信息，作为校准信息。通过拍摄物体获得图像，输入传感器测量值，以及从图像中检测与指标的图像坐标位置有关的信息，由此使用传感器测量值和与指标的图像坐标位置有关的信息来获得校准信息。以下将使用图像校准传感器所需的、由位置方位传感器或方位传感器获得的测量值以及在图像中检测到的指标的图像信息称为校准输入数据。

为了校准传感器，需要在各种位置和方位获得校准输入数据。另外，由于校准输入数据的精度对传感器校准结果有相当大的影响，所以不仅需要输入由高精度传感器获得的测量值，而且需要从拍摄图像高精度地检测指标。当指标被拍摄成图像中的小物体，或者由于摄像装置高速旋转或移动而在拍摄图像中发生模糊时，指标检测精度降低。因此，当输入并使用在这种情况下获得的传感器校准输入数据进行计算时，校准结果的精度降低。

另外，在日本特开第2008-046687号公报中，为了减少引起传感器校准精度降低的校准输入数据以提高校准精度，在获得校准输入数据时呈现表示目标图像拍摄位置和方位的虚拟三维物体。

然而，如日本特开第2006-153848号公报中，当基于传感器测量值和指标的图像信息来校准传感器时，对于既不了解传感器校准也不具有这方面专门知识的操作者来说很难确定输入数据是否适合这种校准。

这是因为，即使测量值落入位置方位传感器的测量区域内，这些测量值也不总具有均一的测量精度，而且依赖周围环境和测量位置在传感器测量精度方面局部地发生变化。更具体地说，已知磁性位置方位传感器易受到周围磁场的影响，并且依赖磁场应变而不能够获得准确的测量值。另外，光学位置方位传感器具有依赖其镜头变形校正参数和相机参数的精度而局部发生变化的位置或方位测量精度。当这种情况发生时，通常在镜头中心的附近测量精度高，也即，在光学位置方位传感器的测量区域的中心处测量精度高，而在例如测量区域的边界附近测量精度低。因此，为了精确的传感器校准，操作者必须考虑到传感器的特性和周围环境来获得校准输入数据。

另外，还需要在传感器的测量区域内，在各种位置和方位无模糊地将指标拍摄成图像中的足够大物体。尤其是，当传感器测量区域宽时，对于不具有专门知识的操作者来说难以在各种位置和方位获得传感器测量值，同时确定数据是否适合校准。

在日本特开第2008-046687号公报中，能够呈现摄像装置的目标位置和方位以获得校准输入数据。然而，该专利文献没有公开在获得校准输入的位置、考虑到传感器的特性和周围环境来确定校准输入数据是否合适的技术。此外，为了呈现准确的目标位置和方位，需要获得摄像装置的精确位置和方位。然而，由于为了获得摄像装置的精确位置和方位而进行传感器校准，所以在传感器校准之前自然无法获得摄像装置的精确位置和方位。

因此，尽管能够基于近似的校准结果来呈现目标位置和方位，但是难以在实际获得校准输入数据的位置确定输入数据是否适合校准。

技术实现要素：

本发明是考虑到上述问题而做出的，并且提供如下的技术，即使得甚至既不了解传感器校准也不具有这方面专门知识的操作者也能够容易地获得传感器校准输入数据，并且确定校准输入数据是否适合精确校准。

根据本发明的一个方面，提供一种信息处理装置，该信息处理装置包括：图像获得单元，其被配置为获得由摄像装置拍摄的图像；指标检测单元，其被配置为从所述图像中检测指标信息；测量值获得单元，其被配置为获得由位置方位传感器测量的位置和方位中的至少一者的测量值；确定单元，其被配置为基于所述指标信息和所述测量值，确定包括所述指标信息和所述测量值的、所述位置方位传感器的校准数据的适合性；以及呈现单元，其被配置为呈现所述适合性。

根据本发明的一个方面，提供一种信息处理方法，该信息处理方法包括以下步骤：获得由摄像装置拍摄的图像；从所述图像中检测指标信息；获得由位置方位传感器测量的位置和方位中的至少一者的测量值；基于所述指标信息和所述测量值，确定包括所述指标信息和所述测量值的、所述位置方位传感器的校准数据的适合性；以及呈现所述适合性。

根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出第一实施例中的信息处理装置1000的示意性结构的框图；

图2是示出第一实施例中显示校准输入数据的获得推荐等级的处理过程的流程图；

图3是示出第一实施例中计算校准输入数据的获得推荐等级的处理过程的流程图；

图4是示出第一实施例中计算传感器校准信息的处理过程的流程图；

图5是示出第一实施例中显示校准输入数据的获得推荐等级的方法的图；

图6是用于说明第三实施例中对输入数据的状态及指示操作者进行给定操作的文本信息分配校准输入数据的获得推荐等级的图；

图7是示出第一实施例中的信息处理装置1000的硬件结构的框图；

图8是示出第二实施例中的信息处理装置8000的示意性结构的框图；

图9是示出第二实施例中显示校准输入数据的获得推荐等级的处理过程的流程图；

图10是示出第二实施例中计算校准输入数据的获得推荐等级的处理过程的流程图；

图11是示出第二实施例中计算传感器校准信息的处理过程的流程图；

图12是示出第五实施例中对显示再投影误差的区域600分配与校准输入数据的获得推荐等级对应的颜色的图；

图13是示出第五实施例中对摄像装置拍摄的图像的区域700分配与校准输入数据的获得推荐等级对应的颜色的图；

图14是示出第五实施例中对摄像装置拍摄的图像的框800分配与校准输入数据的获得推荐等级对应的颜色的图；

图15是示出第六实施例中附装到安装有位置方位传感器的摄像装置的获得推荐等级显示单元的图；

图16是示出第七实施例中信息处理装置16000的示意性结构的框图；

图17是示出第七实施例中显示校准输入数据的获得推荐等级的处理过程的流程图；以及

图18是示出第七实施例中计算校准输入数据的获得推荐等级的处理过程的流程图。

具体实施方式

以下将参照附图详细描述本发明的示例性实施例。应当注意，除非另外特别指出，否则在这些实施例中给出的组件的相对布置、数字表达式及数值并不限制本发明的范围。

(第一实施例)

根据本实施例的信息处理装置在获得用于计算摄像装置上安装的位置方位传感器相对于摄像装置的布置信息的输入数据时，计算并显示推荐等级。下面将描述根据本实施例的信息处理装置。

图1示出了根据本实施例的信息处理装置1000的示意性结构。信息处理装置1000包括图像输入单元1010、传感器测量值输入单元1020、指标检测单元1030、数据管理单元1040、获得推荐等级计算单元1050、获得推荐等级显示单元1060以及校准信息计算单元1070。此外，信息处理装置1000被连接到摄像装置100和位置方位传感器200。

注意，要被校准的位置方位传感器200安装在摄像装置100上。通过将摄像装置100上的一点定义为原点并且将三个正交轴定义为X轴、Y轴和Z轴来确定摄像装置坐标系。位置方位传感器200在摄像装置坐标系中的位置和方位是未知的。位置方位传感器200在摄像装置坐标系中未知的位置和方位是一组要校准的信息。

在真实空间中布置要由摄像装置100拍摄的一个或多个指标P。通过将真实空间中的一点定义为原点以及将三个正交的轴定义为X轴、Y轴及Z轴来确定的坐标系被称为世界坐标系。设置在世界坐标系中具有已知位置的指标P^k(k＝1,…,K)。期望设置指标P^k，以使得摄像装置100观测至少三个点的信息。

指标P^k可以由例如具有不同颜色的圆形标记形成或者由具有不同特征(例如自然特征)的特征点形成。然而，也可以使用由具有一定面积的四边形区域形成的四边形指标。指标P^k可以采用任何形式，只要其能够用于检测拍摄图像中的图像坐标位置并被唯一标识即可。

图像输入单元1010获得从摄像装置100输出的图像，并将图像输出到指标检测单元1030。

传感器测量值输入单元1020从位置方位传感器200获得位置和方位的测量值，并将这些测量值输出到数据管理单元1040。从位置方位传感器200输出的测量值通常表示位置方位传感器200自身在由传感器独自定义的传感器坐标系中的位置和方位。在这种情况下，传感器测量值输入单元1020将从位置方位传感器200输出的测量值乘以从具有已知值的传感器坐标系到世界坐标系的变换矩阵，以将位置方位传感器200自身在传感器坐标系中的位置和方位变换为世界坐标系中的位置和方位。传感器测量值输入单元1020将表示变换后的方位的旋转矩阵(以下由“RWS”表示)输出到数据管理单元1040。

指标检测单元1030检测由图像输入单元1010获得的图像中的指标P^k的坐标位置。例如，如果各指标P^k由具有不同颜色的标记形成，则从图像中检测与各标记颜色对应的区域，并将其重心位置定义为该指标P^k的检测坐标位置。然而，如果各指标P^k由具有不同纹理特征的特征点形成，则使用作为已知信息预先保持的该指标P^k的模板图像来进行模板匹配，从而检测该指标P^k的位置。如果四边形指标被用作各指标P^k，则对图像进行二值化并赋予标签，以从具有预定面积或更大面积的区域检测由直线形成的指标作为指标候选。此外，确定在候选区域中是否存在特定图案以排除错误检测的候选，并获得各指标的方向和标识符。注意，在本实施例中，假定以此方式检测各自由四个顶点形成的4个四边形指标，并将它们表示为指标P^kn。在这种情况下，n(n＝1,2,3,4)是各检测到的指标P^kn的索引或后缀。

指标检测单元1030将各检测到的指标P^kn的图像坐标位置u^Pkn和标识符kn作为指标检测信息(指标信息)输出到数据管理单元1040。如果指标检测单元1030没有检测到任何指标，则指标检测单元1030将关于该结果的通知作为指标检测信息(指标信息)输出到数据管理单元1040。

获得推荐等级计算单元1050从数据管理单元1040获得指标检测信息和传感器测量值，作为校准输入数据候选。基于获得的校准输入数据候选，获得推荐等级计算单元1050计算获得推荐等级，根据该获得推荐等级确定所获得的校准输入数据是否要被用于计算校准信息。获得推荐等级计算单元1050将计算出的获得推荐等级输出到获得推荐等级显示单元1060及数据管理单元1040。

获得推荐等级显示单元1060向操作者(未示出)显示从获得推荐等级计算单元1050获得的获得推荐等级。操作者(未示出)将安装有位置方位传感器200的摄像装置100移动到具有高获得推荐等级的位置。

数据管理单元1040从获得推荐等级计算单元1050获得获得推荐等级，并将校准输入数据输出到校准信息计算单元1070。

校准信息计算单元1070从数据管理单元1040获得校准输入数据，计算校准信息并输出该校准信息。

将参照图2所示的流程图来说明根据本实施例的信息处理装置1000显示校准输入数据的获得推荐等级的处理的过程。注意，根据该流程图的程序代码被存储在信息处理装置1000的诸如RAM或ROM的存储器(未示出)中，并由CPU(未示出)读出和执行。

在步骤S2010中，图像输入单元1010从摄像装置100获得图像。在步骤S2020中，指标检测单元1030从图像中检测指标P^kn。指标检测单元1030将检测到的指标P^kn的图像坐标位置u^Pkn和标识符kn作为检测信息输出到数据管理单元1040。如果指标检测单元1030没有检测到任何指标，则指标检测单元1030向数据管理单元1040输出表示该结果的标志作为检测信息。

在步骤S2030中，传感器测量值输入单元1020从位置方位传感器200获得方位RWS和位置TWS作为测量值，并将它们输出到数据管理单元1040。

利用上述步骤S2010、S2020和S2030中的处理，数据管理单元1040能够获得传感器测量值和指标检测信息。在步骤S2040中，获得推荐等级计算单元1050计算获得推荐等级。

在这里将描述校准输入数据的获得推荐等级。获得推荐等级是表示作为校准输入数据的输入数据要被用于计算校准信息的适合度的数字数据。如果确定输入数据由于信息不足而不能用于计算校准信息，则将获得推荐等级L设置为L＝1。如果确定输入数据能够用于计算校准信息、但是不适于精确校准，则将获得推荐等级L设置为L＝2。如果确定输入数据能够积极用于精确校准，则将获得推荐等级L设置为L＝3。如果由于例如预先进行了校准或者在相同位置预先获得了输入数据所以输入数据对于传感器校准是不需要的，则将获得推荐等级L设置为L＝0。稍后将参照图3所示的流程图来详细描述计算获得推荐等级的处理。

在步骤S2050中，获得推荐等级显示单元1060向操作者显示步骤S2040中计算出的获得推荐等级。

将参照图5描述如何显示获得推荐等级的示例。作为用于校准计算的PC的附件的液晶显示器(未示出)可以用作获得推荐等级显示单元1060。当将获得推荐等级分类为颜色，例如针对L＝0的淡蓝色、针对L＝1的红色、针对L＝2的黄色以及针对L＝3的蓝色时，在图5所示的区域400中显示与获得推荐等级对应的颜色。注意，可以对各等级分配任意的颜色，只要使得能够在不同等级间相区别即可。作为另选方案，可以对各等级分配不同纹理的图案或不同的明度。可以使用任意方法，只要使得能够在不同等级间相区别即可。操作者移动安装有位置方位传感器200的摄像装置100，从而由对应于L＝3的颜色来表现液晶显示器上显示的获得推荐等级。这使得能够获得适于校准的输入数据。

此外，传感器校准需要安装有位置方位传感器200的摄像装置100的不同位置及方位的输入数据。因此，当测量区域宽时，或者当测量区域依赖于获得输入数据的位置或方位时，在操作者远离液晶显示器的情况下，对于操作者来说从液晶显示器读取传感器测量值是困难的。然而，如在本实施例中，使用不同颜色来显示各获得推荐等级使得即使在操作者移动到其几乎不能读取传感器测量值的位置的情况下也能够容易确定输入数据是否适合校准。因此不论获得校准输入数据的位置为何，均能够容易确定输入数据是否适合校准。

利用上述处理，信息处理装置1000在获得用于计算摄像装置100上安装的位置方位传感器200的布置信息的输入数据时，计算并显示获得推荐等级。因此，甚至是既不了解传感器校准也不具有这方面专门知识的操作者也能够容易获得适于传感器校准的校准输入数据。在上述操作完成时，图2所示的流程图中的一系列处理结束。

以下将参照图3所示的流程图来详细描述步骤S2040中计算获得推荐等级的处理。

在步骤S3010中，获得推荐等级计算单元1050确定由位置方位传感器200获得的测量值是否落入传感器测量区域。也即，获得推荐等级计算单元1050确定这些测量值是否落入保证一定精度的范围内。对于磁性位置方位传感器，传感器测量区域通常是连续的，并且保证一定精度的范围经常根据从传感器发射器到接收传感器的距离来确定。在这种磁性位置方位传感器中，如果由位置方位传感器200获得的测量值落入从传感器发射器到接收传感器的距离内，则确定这些测量值落入传感器测量区域；否则，确定这些测量值落在传感器测量区域之外。另外，在一般光学传感器中，当待测对象落在用作光学传感器的多个照相机的视野之外时，不能测量位置和方位。因此，如果待测对象落在能够测量位置和方位的最小数量的照相机的视野之外，则确定由位置方位传感器200获得的测量值落在传感器测量区域之外。如果确定由位置方位传感器200获得的测量值落在传感器测量区域内(步骤S3010为是)，则处理进行至步骤S3020。另一方面，如果确定由位置方位传感器200获得的测量值落在传感器测量区域之外(步骤S3010为否)，则处理进行至步骤S3030。

在步骤S3020中，获得推荐等级计算单元1050确定是否能够从图像中检测到指标。如果确定能够检测到指标(步骤S3020为是)，则处理进行至步骤S3040。另一方面，如果确定不能检测到指标(步骤S3020为否)，则处理进行至步骤S3030。

在步骤S3030中，获得推荐等级计算单元1050将获得推荐等级L设置为L＝1，以表示输入数据的信息不足。然后处理结束。

在步骤S3040中，获得推荐等级计算单元1050计算图像中检测到的指标的面积以确定该面积是否大于或等于阈值。例如，如果检测到的指标具有四边形形状，则确定指标在图像中的四边形面积大于或等于阈值。如果确定指标的面积大于或等于阈值(步骤S3040中为是)，则处理进行至步骤S3050。另一方面，如果确定指标的面积小于阈值(步骤S3040中为否)，则处理进行至步骤S3070。

在步骤S3050中，获得推荐等级计算单元1050基于检测到的指标，计算摄像装置100的位置和方位。作为计算摄像装置100的位置和方位的方法，可以使用已知方法。例如，如果检测到在平面上设置的四边形指标，则可以通过获得平面对应性(planar homography)来计算摄像装置的位置和方位。另外，如果检测到6个或更多个点，则可以使用DLT(Direct Linear Transformation，直接线性变换)方法。此外，可以通过使用计算出的摄像装置100的位置和方位作为初始值的非线性优化计算来获得摄像装置100的更精确的位置和方位。可以使用任意其他方法基于检测到的指标来获得摄像装置100的位置和方位。

在步骤S3060中，获得推荐等级计算单元1050将步骤S3050中计算出的摄像装置100的位置和方位与数据管理单元1040中作为校准输入数据保持的摄像装置100的位置和方位进行比较。然后获得推荐等级计算单元1050确定是否第一次获得步骤S3050中计算出的摄像装置100的位置和方位。更具体地说，如果摄像装置的位置差小于阈值并且摄像装置的方位差也小于阈值，则确定在几乎相同的位置和方位预先拍摄了图像；否则确定第一次获得步骤S3050中计算出的摄像装置100的位置和方位。如果确定第一次获得步骤S3050中计算出的摄像装置100的位置和方位(步骤S3060中为是)，则处理进行至步骤S3080。另一方面，如果确定已经预先获得了步骤S3050中计算出的摄像装置100的位置和方位(步骤S3060中为否)，则处理进行至步骤S3070。

在步骤S3070中，获得推荐等级计算单元1050将获得推荐等级L设置为L＝2，以表示输入数据具有计算校准信息所需的足够信息但是可能具有大的误差。然后处理结束。

在步骤S3080中，获得推荐等级计算单元1050确定是否已经进行了近似校准计算。如果确定已经进行了近似校准计算(步骤S3080中为是)，则处理进行至步骤S3090。另一方面，如果还没有进行近似校准计算(步骤S3080中为否)，则处理进行至步骤S3120。

在步骤S3090中，获得推荐等级计算单元1050计算再投影误差Δu^Pkn，也即，指标P^kn的检测坐标位置u^Pkn、与基于近似校准计算结果、传感器测量值以及预先获得的指标P^kn的三维位置估算的指标P^kn的坐标位置u'^Pkn之差。

此处将描述计算针对摄像装置100在给定位置和方位拍摄的图像中的一个指标的再投影误差Δu^Pkn的方法。由下式获得再投影误差Δu^Pkn：

令xC^Pkn＝[xC^Pkn,yC^Pkn,zC^Pkn]是摄像装置坐标系中的指标P^kn的位置，f是焦距。则由下式给出指标P^kn的估算坐标位置

令t是表示三维坐标系A相对于三维坐标系B的位置的三元矢量，令R是表示方位的3×3旋转矩阵，则使用下面公式(3)中定义的4×4矩阵MBA，通过齐次坐标系(homogeneous coordinate system)将坐标系A上的位置xA(三维矢量)处的点在坐标系B上的坐标位置xB(三维矢量)表示为公式(4)：

在本实施例中，4×4矩阵MBA被用于表示坐标系A相对于坐标系B的位置和方位的技术中。

令MWS为基于由摄像装置100上安装的位置方位传感器200获得的测量值的、位置方位传感器200在世界坐标系中的位置和方位。此外，在本实施例中，由六元矢量表示位置和方位，如下所述。分别由三元矢量x＝[x y z]^T和ω＝[ξψζ]^T表示位置和方位。虽然可利用由三值表示方位的各种方法，但是在这种情况下方位由具有定义旋转角的大小和定义旋转轴的方向的方向的三元矢量来表现。将位置x和方位ω组合成矢量a＝[x y zξψζ]^T。

由六元矢量aCS＝[xCS yCS zCSξCSψCSζCS]^T来表现代表摄像装置100上安装的位置方位传感器200在摄像装置坐标系中的位置和方位的4×4矩阵MCS。可以使用已知方法进行从MCS到aCS的变换。

令xW^Pkn为预先获得的指标P^kn在世界坐标系中的位置，令MCS是作为已知参数的aCS的函数，则由下式给出指标P^kn在摄像装置坐标系中的位置xC^Pkn：

通过将描述近似校准计算结果的函数aCS设置为初始值并将公式(5)和(2)代入公式(1)能够获得再投影误差。

在步骤S3100中，获得推荐等级计算单元1050确定步骤S3090中计算出的再投影误差是否小于阈值。如果确定再投影误差小于阈值(步骤S3100中为是)，则处理进行至步骤S3110。另一方面，如果确定再投影误差大于或等于阈值(步骤S3100中为否)，则处理进行至步骤S3120。

在步骤S3110中，获得推荐等级计算单元1050将获得推荐等级L设置为L＝0，以表示输入数据中指定的位置和方位不需要被用于传感器校准。然后处理结束。

在步骤S3120中，获得推荐等级计算单元1050将获得推荐等级L设置为L＝3，以表示确定输入数据能积极用于计算传感器校准信息。然后，处理结束。在上述操作完成时，图3所示的流程图中的一系列处理结束。虽然在这种情况下获得了获得推荐等级L＝0至3，但是可以简单确定输入数据是否适于计算校准信息。

下面将参照图4所示的流程图来描述基于获得推荐等级来计算传感器校准信息的处理。

步骤S4010至S4040中的处理分别与图2所示的步骤S2010至S2040中的处理相同，因此不再对其进行描述。步骤S4040中的处理的详情与图3所示的流程图的步骤S2040中的处理类似一样。

在步骤S4050中，数据管理单元1040基于步骤S4040中计算出的获得推荐等级，来确定输入数据是否被用于校准。可以确定具有例如获得推荐等级L＝2或3的输入数据被用于校准。作为另选方案，可以确定具有获得推荐等级L＝3的输入数据被用于校准。如果确定输入数据被用于校准(步骤S4050中为是)，则处理进行至步骤S4060。另一方面，如果确定输入数据不被用于校准(步骤S4050中为否)，则处理返回至步骤S4010。

在步骤S4060中，数据管理单元1040将步骤S3050中获得的摄像装置100的位置和方位、由位置方位传感器200获得的测量值、预先获得的指标的三维位置及指标的检测坐标保持作为校准输入数据。

在步骤S4070中，校准信息计算单元1070确定是否进行校准计算。在本实施例中，当操作者(未示出)经由指示单元(未示出)发出执行校准计算的指令时确定要进行校准计算。如果例如操作者在预定时间段内没有发出指令，则确定不进行校准计算。如果确定进行校准计算(步骤S4070中为是)，则处理进行至步骤S4080。另一方面，如果确定不进行校准计算(步骤S4070中为否)，则处理返回至步骤S4010。

在步骤S4080中，校准信息计算单元1070使用数据管理单元1040中保持的校准输入数据来进行校准计算。校准信息计算单元1070计算摄像装置100上安装的位置方位传感器200的布置信息，作为校准信息；也即，位置方位传感器200在摄像装置坐标系中的位置和方位。作为校准计算方法，可以使用任何已知方法。

在步骤S4090中，校准信息计算单元1070确定操作者(未示出)是否输入了传感器校准结束命令。如果操作者输入了传感器校准结束命令(步骤S4090中为是)，则处理结束。另一方面，如果操作者在预定处理时间内没有输入传感器校准结束命令(步骤S4090中为否)，则处理返回至步骤S4010。

利用上述处理，能够将摄像装置100上安装的位置方位传感器200相对于摄像装置100的布置信息计算为要获得的校准信息。在上述操作完成时，图4所示的流程图中的一系列处理结束。

下面将参照图7来描述本实施例中的信息处理装置1000的硬件结构。图7所示的硬件结构与通常的个人计算机的结构相同。信息处理装置1000包括CPU 701、图像载入设备702、位置方位输入设备703、存储介质704、ROM 705、RAM 706、鼠标707及键盘708。

CPU 701执行例如存储介质704、ROM 705、RAM706或外部存储设备(未示出)中存储的程序，以控制参照图1描述的从图像输入单元1010至校准信息计算单元1070的各单元的操作。注意，数据管理单元1040能够将信息存储在存储介质704上以及从存储介质704中读出信息。

图像载入设备702与图像输入单元1010对应，并将摄像装置100拍摄的图像载入到计算机中。虽然图像载入设备702是例如视频采集卡，但是其可以采用任何形式，只要能将摄像装置100拍摄的图像载入到计算机即可。

位置方位输入设备703与传感器测量值输入单元1020对应，并将由位置方位传感器200获得的测量值载入到计算机中。

鼠标707和键盘708能够接收来自操作者的指令。

注意，从存储介质读出的程序代码本身实现上述实施例的功能，并且存储程序代码的存储介质构成本发明。

本发明还包括当计算机上运行的OS(操作系统)例如基于程序代码的指令执行实际处理的一部分或全部时实现上述实施例的功能的情况。

此外，从存储介质读出的程序代码被写入到插入于计算机中的功能扩展板或连接到计算机的功能扩展单元的存储器中。然后，功能扩展板或功能扩展单元的CPU例如基于程序代码的指令执行实际处理的一部分或全部。

根据本实施例，甚至既不了解传感器校准也不具有这方面专门知识的操作者也能够容易获得传感器校准输入数据，并确定校准输入数据是否适合精确校准。

(第二实施例)

根据第一实施例的信息处理装置1000显示摄像装置100上安装的位置方位传感器200的获得推荐等级。根据第二实施例的信息处理装置在获得针对待拍摄的物体上安装的位置方位传感器的校准输入数据时显示获得推荐等级。以下将描述根据本实施例的信息处理装置。

图8示出根据本实施例的信息处理装置8000的示意性结构。信息处理装置8000包括图像输入单元8010、传感器测量值输入单元8020、指标检测单元8030、数据管理单元8040、获得推荐等级计算单元8050、获得推荐等级显示单元8060以及校准信息计算单元8070。要校准的位置方位传感器200安装在物体300上。

信息处理装置8000连接至摄像装置100和位置方位传感器200(稍后进行描述)。摄像装置100固定在能够拍摄物体300的位置。使用已知方法预先获得摄像装置100在世界坐标系中的位置和方位。另外，通过将物体300上的一点定义为原点并将三个正交的轴定义为X轴、Y轴和Z轴来确定物体坐标系。位置方位传感器200在物体坐标系中的位置和方位是未知的。位置方位传感器200在物体坐标系中的未知的位置和方位用作待校准的信息。在物体300上设置要由摄像装置100拍摄的指标。在这种情况下，在世界坐标系中具有已知位置的指标P^k(k＝1,...,K)被设置在物体300上。期望设置指标P^k，以使得摄像装置100观测至少三个点的信息。

指标以及包括图像输入单元8010、传感器测量值输入单元8020、指标检测单元8030、数据管理单元8040及获得推荐等级显示单元8060的各处理单元的功能与第一实施例中描述的相同，因此不再对其进行描述。

获得推荐等级计算单元8050从数据管理单元8040获得指标检测信息和传感器测量值，作为校准输入数据候选。基于获得的校准输入数据候选，获得推荐等级计算单元8050计算表示用于确定获得的校准输入数据是否要被用于计算校准信息的等级的获得推荐等级。获得推荐等级计算单元8050将计算出的获得推荐等级输出到获得推荐等级显示单元8060和数据管理单元8040。

校准信息计算单元8070从数据管理单元8040接收校准输入数据，计算位置方位传感器200在物体坐标系中的布置信息作为校准信息，并输出该校准信息。

将参照图9所示的流程图，来说明根据本实施例的信息处理装置8000显示校准输入数据的获得推荐等级的处理的过程。

步骤S9010、S9020、S9030及S9050中的处理分别与第一实施例中的步骤S2010、S2020、S2030及S2050中的处理相同，因此不再对其进行描述。在步骤S9040中，获得推荐等级计算单元8050根据图10(稍后进行描述)所示的流程图的处理来计算获得推荐等级。

图10是示出计算获得推荐等级的方法的流程图。步骤S10010至S10040、S10070、S10080及S10100至S10120中的处理与第一实施例中描述的处理相同，因此不再对其进行描述。

在步骤S10050中，获得推荐等级计算单元8050由检测到的指标计算物体300的位置和方位。物体300的位置和方位是相对于摄像装置100来说的。作为计算物体300的位置和方位的方法，如第一实施例中一样，可以使用已知方法。

在步骤S10060中，获得推荐等级计算单元8050将步骤S10050中计算出的物体300的位置和方位与数据管理单元8040中作为校准输入数据保持的物体300的位置和方位进行比较。然后，获得推荐等级计算单元8050确定是否第一次获得步骤S10050中计算出的物体300的位置和方位。更具体地说，如果物体300的位置差小于阈值，并且物体300的方位差也小于阈值，则确定在几乎相同的位置和方位预先拍摄了图像；否则，确定第一次获得步骤S10050中计算出的物体300的位置和方位。如果确定第一次获得步骤S10050中计算出的物体300的位置和方位(步骤S10060中为是)，则处理进行至步骤S10080。另一方面，如果确定已经预先获得了步骤S10050中计算出的物体300的位置和方位(步骤S10060中为否)，则处理进行至步骤S10070。

在步骤S10090中，获得推荐等级计算单元8050计算再投影误差Δu^Pkn；也即，指标P^kn的检测坐标位置u^Pkn、与基于近似校准计算结果、传感器测量值和指标P^kn的三维位置估算的指标P^kn的坐标位置u'^Pkn之差。

这里将描述计算针对摄像装置100在给定位置和方位拍摄的图像中的一个指标的再投影误差Δu^Pkn的方法。通过下式获得再投影误差Δu^Pkn：

令xC^Pkn＝[xC^Pkn,yC^Pkn,zC^Pkn]是指标P^kn在摄像装置坐标系中的位置，令f是焦距，则通过下式给出指标P^kn的估算坐标位置

令MWS是基于物体300上安装的位置方位传感器200获得的测量值的、位置方位传感器200在世界坐标系中的位置和方位。令MWC是使用已知方法获得的、摄像装置100在世界坐标系中的位置和方位。

由六元矢量aOS＝[xOS yOS zOSξOSψOSζOS]^T来表现4×4矩阵MOS，该4×4MOS矩阵表示物体300上安装的位置方位传感器200在物体坐标系中的位置和方位。可以使用已知方法进行从MOS到aOS的变换。

令xO^Pkn是预先获得的、指标P^kn在物体坐标系中的位置，令MOS是作为已知参数的aOS的函数，则通过下式给出指标P^kn在摄像装置坐标系中的位置xC^Pkn：

可以通过将描述近似校准计算结果的函数aOS设置为初始值并将公式(8)和(7)代入公式(6)，来获得再投影误差。

利用上述处理，信息处理装置8000在获得用于计算物体300上安装的位置方位传感器200的布置信息的输入数据时计算并显示获得推荐等级。因此，即使既不了解传感器校准也不具有这方面专门知识的操作者也能够容易地获得适合传感器校准的校准输入数据。

下面将参照图11所示的流程图来描述基于获得推荐等级计算传感器校准信息的处理。

步骤S11010至S11040中的处理分别与图9所示的步骤S9010至S9040中的处理相同，因此不再对其进行描述。步骤S11040中的处理的详情与图10所示的流程图的步骤S9040中的处理类似。

步骤S11050、S11070及S11090中的处理也分别与参照图4描述的步骤S4050、S4070及S4090中的处理相同。

在步骤S11060中，数据管理单元8040将摄像装置100的已知位置和方位、由位置方位传感器200获得的测量值、指标的已知三维位置及指标的检测坐标保持作为校准输入数据。

在步骤S11080中，校准信息计算单元8070使用数据管理单元8040中保持的校准输入数据进行校准计算。校准信息计算单元8070计算物体300上安装的位置方位传感器200的布置信息(也即，位置方位传感器200在物体坐标系中的位置和方位)作为校准信息。作为校准计算方法，可以使用任何已知方法。

利用上述处理，能够容易精确地计算物体300上安装的位置方位传感器200相对于物体300的布置信息。

根据本实施例，即使既不了解传感器校准也不具有这方面专门知识的操作者也能够容易地获得传感器校准输入数据并确定校准输入数据是否适合精确校准。

(第三实施例)

在第一和第二实施例中，对计算出的获得推荐等级分配颜色并显示颜色。然而，也可以在液晶显示器上显示对操作者给出的指令作为针对各获得推荐等级的文本信息。图6例示了如何将获得推荐等级、输入数据的状态信息及指示操作者执行给定操作的信息显示作为文本信息的示例。例如在图6所示的区域500中显示输入数据的状态信息和文本信息。以下将详细描述针对各获得推荐等级要显示的内容。

如果获得推荐等级L＝0，则预先进行校准或者在相同位置预先获得输入数据，所以液晶显示器显示“当前位置和方位不需要输入校准数据。请在位置方位传感器200的测量区域内改变位置方位传感器200的位置或方位”。

如果获得推荐等级L＝1，则由于信息不足输入数据不能被用于计算校准信息，所以液晶显示器显示“计算所需的信息不足。请在位置方位传感器200的测量区域内改变位置方位传感器200的位置或方位，从而拍摄指标”。

如果获得推荐等级L＝2，则确定输入数据具有计算校准信息所需的足够信息但是可能具有大的误差，所以液晶显示器显示“输入数据可能具有大的误差。请在位置方位传感器200的测量区域内改变位置方位传感器200的位置或方位”。

如果获得推荐等级L＝3，则确定输入数据能积极用于校准位置方位传感器200，所以液晶显示器显示“输入数据适于传感器校准。请在使摄像装置或物体静止的同时获得校准输入数据，从而防止待拍摄的图像中的任何模糊”。

注意，各显示内容的前半部分是输入数据的状态信息，各显示内容的后半部分是对操作者的指令信息。

当然液晶显示器上显示的文本不限于上述示例，只要能对与获得推荐等级对应的各内容分配输入数据的状态信息或操作者的指令信息即可。另外，虽然在显示器上显示与获得推荐等级对应的文本信息，但是本发明不限于此，只要能够向操作者呈现获得推荐等级即可。可以向操作者呈现语音信息。当使用语音信息时，例如即使因为位置方位传感器200的测量区域宽，操作者远离作为PC附件的液晶显示器，操作者也能够容易地确认获得推荐等级。此外，可以将颜色和语音组合进行呈现。

如上所述，根据作为指示操作者进行给定操作的信息的获得推荐等级的显示，操作者能够容易地获得适于传感器校准的输入数据。

(第四实施例)

在第一和第二实施例中，基于获得推荐等级确定输入数据是否被用于校准。然而，操作者(未示出)可以基于获得推荐等级显示单元上显示的获得推荐等级来输入获得校准输入数据的命令。

当操作者(未示出)输入数据获得命令时，“数据获得”指令被发送到数据管理单元1040。操作者可以通过操作例如鼠标707或使用键盘708按下分配特定命令的键来输入该命令。作为另选方案，操作者可以经由液晶显示器上显示的GUI输入该命令，或者使用任何其他方法。

(第五实施例)

在第一和第二实施例中，对计算出的获得推荐等级分配颜色并进行显示。然而，本发明不限于图5或图6所示的示例，只要能够对计算出的获得推荐等级分配颜色并进行显示即可。

例如，如图12所示，可以在显示再投影误差的区域600中分配与获得推荐等级对应的颜色并显示。根据这种显示操作，操作者能够知道彼此关联的获得推荐等级和再投影误差。这使得能够容易确定输入数据是否需要用于传感器校准。

另外，图13所示，可以在显示摄像装置100拍摄的图像的区域700中分配与获得推荐等级对应的颜色并进行显示。

此外，如图14所示，可以对摄像装置100拍摄的图像的框800分配与获得推荐等级对应的颜色。

获得推荐等级显示单元可以采用任何方法，只要以使得能够确认输入校准数据时的获得推荐等级的方式分配颜色即可。

(第六实施例)

在第一及第二实施例中，由作为PC的附件的液晶显示器实现获得推荐等级显示单元。然而，获得推荐等级显示单元不限于液晶显示器。可以使用诸如LED或等离子体显示器的任何显示器，只要其能够区别不同的获得推荐等级即可。另外，如图15所示，获得推荐等级显示单元900可以附装到安装有位置方位传感器200的摄像装置100。注意，获得推荐等级显示单元900例如是小型显示器或LED。

此外，对于由摄像装置100拍摄的图像的显示，可以对内置于HMD(头戴式显示器，Head Mounting Display)的摄像装置100拍摄的图像分配对应于获得推荐等级的颜色，并在HMD上显示。

只要显示设备附装到安装有位置方位传感器200的摄像装置100，则即使传感器测量区域宽，操作者也能够从远处位置确认获得推荐等级。

(第七实施例)

根据第一实施例的信息处理装置1000显示摄像装置100上安装的位置方位传感器200的获得推荐等级。另外，根据第二实施例的信息处理装置8000显示物体300上安装的位置方位传感器200的获得推荐等级。

然而，信息处理装置可以在获得用于计算摄像装置上安装的方位传感器相对于摄像装置的方位信息的输入数据时计算并显示获得推荐等级。下面将描述根据本实施例的信息处理装置。

图16示出根据本实施例的信息处理装置16000的示意性结构。信息处理装置16000包括图像输入单元16010、传感器测量值输入单元16020、指标检测单元16030、数据管理单元16040、获得推荐等级计算单元16050、获得推荐等级显示单元16060及校准信息计算单元16070。信息处理装置16000连接到摄像装置100和方位传感器250。

要校准的方位传感器250安装在摄像装置100上。通过将摄像装置100上的一点定义为原点并将三个正交的轴定义为X轴、Y轴和Z轴来确定摄像装置坐标系。方位传感器250在摄像装置坐标系中的方位是未知的。方位传感器250在摄像装置坐标系中的方位是待校准的信息。

指标P以及包括图像输入单元16010、指标检测单元16030及获得推荐等级显示单元16060的各处理单元的功能与第一实施例中描述的相同，因此不再给出其描述。

传感器测量值输入单元16020从方位传感器250获得方位的测量值并将该测量值输出到数据管理单元16040。从方位传感器250输出的测量值通常表示传感器250自身在由传感器独自定义的传感器坐标系中的方位。在这种情况下，传感器坐标系的重心轴与世界坐标系的重心轴一致。传感器测量值输入单元16020将用于方位传感器250的旋转矩阵(以下用“RWS”表示)输出到数据管理单元16040。获得推荐等级计算单元16050从数据管理单元16040获得指标检测信息和传感器测量值作为校准输入数据候选。基于获得的校准输入数据候选，获得推荐等级计算单元16050计算获得推荐等级，根据该获得推荐等级确定获得的校准输入数据是否被用于计算校准信息。获得推荐等级计算单元16050将计算出的获得推荐等级输出到获得推荐等级显示单元16060和数据管理单元16040。

校准信息计算单元16070从数据管理单元16040获得校准输入数据，计算方位传感器250在摄像装置坐标系中的方位信息作为校准信息，并输出校准信息。作为计算校准信息的方法，可以使用任何已知技术。

将参照图17所示的流程图来说明根据本实施例的信息处理装置16000显示校准输入数据的获得推荐等级的处理的过程。

步骤S17010、S17020、S17030和S17050中的处理分别与第一实施例中的步骤S2010、S2020、S2030和S2050中的处理相同，因此不再给出其描述。在步骤S17040中，获得推荐等级计算单元16050根据图18(稍后描述)所示的流程图中的处理来计算获得推荐等级。

图18是示出步骤S17040中计算获得推荐等级的方法的流程图。步骤S18010至S18080以及S18100至S18120中的处理与第一实施例中描述的处理相同，因此不再给出其描述。

在步骤S18090中，获得推荐等级计算单元16050基于近似校准计算结果、由方位传感器250获得的测量值、指标P^kn的检测坐标位置以及预先获得的指标P^kn的三维位置，获得指标P^kn的估算坐标位置u'^Pkn。然后，获得推荐等级计算单元16050仅需要计算再投影误差Δu^Pkn，也即指标P^kn的检测坐标位置u^Pkn与指标P^kn的估算坐标位置u'^Pkn之差，以如第一实施例所述，使用再投影误差获得获得推荐等级。与第一实施例中一样，只要获得推荐等级能够被获得，获得推荐等级显示单元16060就能够显示获得推荐等级。

如上所述，同样当获得方位传感器相对于摄像装置坐标系的方位信息来校准方位传感器时，能够获得并显示获得推荐等级。根据该显示操作，进行传感器校准的操作者能够容易知道校准输入数据的获得推荐等级，从而获得适于校准方位传感器的输入数据。

根据本发明，甚至既不了解传感器校准也不具有这方面专门知识的操作者也能够容易获得传感器校准输入数据，并确定校准输入数据是否适于精确校准。

(其他实施例)

本发明的各方面还可以通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机(或诸如CPU或MPU的装置)、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这种变型、等同结构及功能。