专利名称：图像显示装置和方法、测量装置和方法、识别方法
技术领域：
本发明涉及一种在车辆的前窗部具有显示对该车辆的搭乘者提示的图像的显示装置的图像显示技术，另外，涉及一种用于测量其中具有对现实空间进行摄像的摄像部和对大致的位置姿势进行测量的位置姿势测量部的摄像装置的位置姿势或测量对象的位置姿势的标识(index)的识别技术。
背景技术：
汽车导航系统随着近年来的高功能化和低价格化等而得到普及。随着ITS(智能运输系统)的发展，人们期望汽车导航系统显示器起到除导航信息以外还能提示帮助驾驶者的各种各样信息的终端的作用。
然而，对于现有的汽车导航系统而言，驾驶者为了观看显示器，必须将视线一度转移到车内。因此，在观看显示器期间，仅能通过周边观察来了解道路状况，这样，就存在前方注意力被瞬间中断的问题。
在解决该问题的技术中，有HUD(抬头观察型显示器)技术。HUD是将图像投影并显示到车辆的前窗上的装置。这样，无需从实际场景转移视线即可获得导航信息。
另外，现有的汽车导航系统存在着这样的问题，即必须由驾驶者自身将在显示器提示的导航信息(在大多数场合下，被重叠显示到地图上)与实际场景相互联系起来，存在难以直观地理解的问题。
针对上述问题，在现有技术中，有人曾提出了被称作“场景叠加HUD(On-the-Scene HUD)”的装置。场景叠加HUD将车辆的前窗作为透视显示器，在前窗上提示导航信息，以便于将驾驶者认为必要的导航信息重叠到实际场景上的适当位置而进行观察(例如，参照非专利文献1，J.Fukano，S.Okabayashi，M.SakataAutomotive Head-UpDisplays for Navigation Use，The 14th Intemational Conference onEnhanced Safety of Vehicles，no.94-S2-O-02，PP.306-314，1994.)根据上述非专利文献1，如使用场景叠加HUD，驾驶者可在更短的时间内识别导航信息。然而，关于将导航信息重叠提示到实际场景上的适当位置所用的具体的位置对齐方法，却并未进行描述。
一般而言，在实际场景的预定位置上重叠显示预定信息的技术被称为复合现实感技术。在复合现实感提示装置的一般的构成中，观察者将透明型的HMD(头戴式显示器)安装于头部，从而可以同时观察显示于显示器上的图像和越过显示器观看到的实际场景。此时，为了将预定的图像重叠到实际场景的预定位置，需要测量实际场景中的观察者的视点位置和姿势，来生成与其相随的图像。
观察者的视点位置和姿势的测量可以通过各种方法进行。虽然，一般而言是采用将磁传感器和超声波传感器安装于HMD的方法，但是，由于需要将磁或超声波的发生源设置到实际场景中，所以，就存在着观察者可移动的范围受到限制的问题。另外，这些方法也存在着不能获得足够高的测量精度的问题。
另一方面，作为不受测量范围限制而可以高精度地测量视点位置和姿势的方法，有人提出了这样的方案，即将摄像机安装于HMD，从摄影获得的图像中检测出实际场景中的标识，并据此测量视点位置和姿势。例如，过去通过将从图像中取出的标识的图像坐标用作扩展卡尔曼滤波器的输入，将视点位置和姿势作为状态变量来估计(例如，参照非专利文献2，横小路泰义、菅原嘉彦、吉川恒夫《图像和使用了加速度仪的HMD上的映像的正确的重叠》，『日本虚拟现实学会论文集』，Vol.4，no.4，pp 589-598，1999.)。
然而，通过上述使用了HMD的复合现实感提示装置的位置重合方法不能实现场景重叠HUD的位置重合。这是由于在HMD中将观察者的视点固定于显示器，而在HUD中并不固定观察者(驾驶者)的视点与显示器的相对的位置关系。
在显示器与视点的位置关系不固定的类型的复合现实感提示装置中，例如，过去为了对齐位置，需要测量实际场景中的显示器的面的位置及姿势和观察者相对于显示面的位置(例如，参照专利文献日本特开2000-276613号公报)。
另一方面，关于车辆的位置和方位的测量，在现有的汽车导航系统中利用基于GPS(全球定位系统)和惯性航法的车辆测量装置。
然而，上述专利文献1所述的装置是以将显示部保持于手中使用为前提的装置，显示部的位置和姿势的测量假定利用磁传感器和超声波传感器来进行，而未示出在较广范围内移动的车辆的测量手法。
另外，上述非专利文献2所述的手法由于是用于测量可采取任意位置和姿势的人的头部的手法，所以，解的自由度大，有时会存在输出错误的估计值的问题。
另外，上述非专利文献2所述的手法存在这样的问题，即为了对可能被包含于摄像机的视体的所有标识进行检测处理，即使具有因为被实际场景中的其它物体隐蔽而未能在图像上观察到的标识，有时也进行该标识的检测处理，而成为引起标识错误检测的原因，输出错误的位置和姿势的估计值。
另外，基于GPS和惯性航法的车辆测量装置的精度较低，特别是，在交叉路口的行进方向指示和事前的行车线方向指示的那样的必须实施与实际场景的正确位置对齐的用途中的适用比较困难。
本发明就是鉴于上述问题而作出的，其目的在于提供一种在实际场景上的适当位置重叠并提示车辆的导航信息的技术。
另外，对现实空间进行摄像的摄像机等的摄像部(以下适当地改称摄像机)的位置姿势测量，例如在融合显示现实空间与假想空间的复合现实感系统中是必要的。作为与其相关的现有技术，有这样一种方法，即使用配置于现实空间的位置已知的标记或现实空间的位置已知的特征点(以下将标记和特征点合起来称为标识)，校正用以测定摄像机的位置姿势的位置姿势传感器的测量误差(例如，参照专利文献2日本特开平11-084307号公报、专利文献3日本特开2000-041173号公报、专利文献4日本特愿2000-354230号公报)。
在上述方法的现有技术中，虽然其计算原理、装置、步骤各不相同，但是，根据从用于测量摄像机的位置姿势的6自由度的位置姿势传感器获得的信息、配置于现实空间的位置已知的标识的信息、以及由摄像机捕捉该标识得到的信息，求出摄像机的位置姿势。
在这些方法中，作为求出从图像检测到的标识与配置在现实空间的标识中的哪个标识相对应的一个方法，使用这样的方法，即比较从图像检测到的标识的坐标和根据位置姿势测量值进行投影而获得的在图像面上的标识的坐标，求出距离近的一方所对应的标识。
假想这样的场合，即例如，对如图11所示地存在塔状物体的现实空间，将以上的“用于校正位置姿势传感器的测量误差的标识”配置于该塔状物体的各个方向的侧面。
在该图中，标号5201是对上述现实空间进行摄像的摄像机，标号5202是测量摄像机5201的大致位置姿势的3维位置姿势传感器，标号5203、5204是用于校正3维位置姿势传感器5202的测量误差的标识，标号5205是配置标识5203、5204的塔状物体。另外，假想摄像机5201可在该塔状物体5205的周围移动，存在对塔状物体5205的各侧面进行完全摄像的可能性的场合。
在这样的场合下，如图12所示，存在着从与塔状物体5205的侧面大体垂直的位置进行摄像的场合。在该图中，标号5300是由摄像机5201摄像的图像(摄像画面)，标号5301表示图11中的标识5203拍摄成图像后的标识。标号5302表示根据由3维位置姿势传感器5202测量的摄像机5201的位置姿势，在摄像图像5300的图像面上投影并计算标识5203的3维位置而获得的在摄像图像上的坐标。标号5303表示在摄像图像5300的图像面上投影并计算标识5204的3维位置而获得的在摄像画面上的坐标。
假如3维位置姿势传感器5202的位置姿势测量值没有误差，那么，由标号5302所示的坐标位置和图像5301的坐标位置本来是相同的坐标，但是，实际上，由于在位置姿势测量值中含有误差，所以，不为相同位置。在现有技术中，作为求出从摄像图像检测到的标识(在图12中，为标号5301)与实际配置的标识中的哪个标识对应的方法，利用从图像检测到的标识的坐标值与根据位置姿势测量值计算的该标识在画面上的坐标值之间的距离。为此，在该图12所示例中，和标号5302所示坐标位置与图像5301的坐标位置之间的距离相比而言，由标号5303所示坐标位置与图像5301的坐标位置之间的距离由于受到传感器的影响而变短，所以，判断为标号5301与5303对应的标识。标号5303是被配置于该塔状物体5205的背侧的标识的投影点，所以，意味着错误对应。
因此，本发明的另一目的在于正确识别从图像检测出的标识与被配置于现实空间的标识中的哪个标识对应。
发明内容
为了达到上述目的，例如本发明的图像显示装置具有以下的结构。
即，本发明的图像显示装置具有在车辆的前窗部显示对该车辆的搭乘者提示的图像的显示装置；其特征在于，包括车辆测量单元，测量世界坐标系中的上述车辆的位置和方位；头部测量单元，测量在上述车辆内定义的坐标系中的上述车辆的搭乘者的头部位置；以及控制单元，控制上述显示装置使得在上述前窗部将上述图像显示到与由上述车辆测量单元测量的上述车辆的位置、方位和由上述头部测量单元测量的上述头部的位置对应的位置。
为了达到本发明的目的，本发明的测量装置具有例如以下结构。
即，本发明的测量装置搭载于车辆，对该车辆的世界坐标系的位置、方位进行测量；其特征在于，包括外界摄像单元，对上述车辆的外界进行摄像；位置计算单元，求出包含于由该外界摄像单元所摄像的上述外界的图像的标识在该图像中的位置；以及位置方位测量单元，根据由上述位置计算单元求出的上述标识在上述图像中的位置测量世界坐标系中的上述车辆的位置和方位。
为了达到本发明的目的，本发明的测量装置具有例如以下的结构。
即，本发明的测量装置通过检测由摄影装置所摄影的物体的图像中的标识，进行上述摄影装置或由摄影装置所摄影的上述物体的位置和姿势的测量；其特征在于具有选择不被隐蔽地将要在上述摄影图像上观测到的标识的标识选择单元；根据选择的标识的信息测量上述摄影装置或由摄影装置所摄影的上述物体的位置和姿势。
为了达到本发明的目的，本发明的图像显示方法具有例如以下的结构。
即，本发明提供一种图像显示装置的图像显示方法，所述图像显示装置具有在车辆的前窗部显示对该车辆的搭乘者提示的图像的显示装置；其特征在于，包括以下步骤车辆测量步骤，测量世界坐标系中的上述车辆的位置和方位；头部测量步骤，测量在上述车辆内定义的坐标系中的上述车辆的搭乘者的头部位置；以及控制步骤，控制上述显示装置使得在上述前窗部将上述图像显示到与由上述车辆测量步骤测量的上述车辆的位置、方位和由上述头部测量步骤测量的上述头部的位置对应的位置。
为了达到本发明的目的，本发明的测量方法具有例如以下结构。
即，本发明的测量方法搭载于车辆，对该车辆的世界坐标系的位置、方位进行测量；其特征在于，包括以下步骤外界摄像步骤，使用摄像装置对该车辆的外界进行摄像；位置计算步骤，求出包含于由该外界摄像步骤所摄像的上述外界图像的标识在该图像中的位置；以及位置方位测量步骤，根据由上述位置计算步骤求出的上述标识在上述图像中的位置测量世界坐标系中的上述车辆的位置和方位。
为了达到本发明的目的，本发明的测量方法具有例如以下的结构。
即，本发明的测量方法通过检测由摄影装置所摄影的物体的图像中的标识，进行上述摄影装置或由摄影装置所摄影的上述物体的位置和姿势的测量；其特征在于包括选择不被隐蔽地将要在上述摄影图像上观测到的标识的标识选择步骤；根据选择的标识的信息测量上述摄影装置或由摄影装置所摄影的上述物体的位置和姿势。
为了达到本发明的目的，本发明的信息处理方法具有例如以下的结构。
本发明的信息处理方法包括检测步骤，检测由对配置了标识的现实空间的图像进行摄像的摄像单元获得的摄像图像中的标识位置；和第1计算步骤，在根据测量求出了上述标识在上述现实空间中的位置和上述摄像单元的位置姿势中的至少一者的场合，根据上述标识在上述现实空间中的位置和上述摄像单元的位置姿势求出将上述现实空间中的标识投影到上述摄像图像上的场合的坐标位置；在上述摄像图像中，根据由上述检测步骤检测出的各标识的坐标位置和由上述第1计算步骤计算出的坐标位置进行使相互距离较近的坐标位置的标识相关联的处理；其特征在于包括第2计算步骤，求出使用关注标识的法线向量和上述摄像单元的视轴向量进行计算得到的值；和决定步骤，根据由上述第2计算步骤求出的值所取的范围决定是否进行上述第1计算步骤的求出上述关注标识在上述摄像图像上的坐标位置的处理；在上述决定步骤决定了进行上述第1计算步骤的求出上述关注标识在上述摄像图像上的坐标位置的处理的场合，根据由上述第1计算步骤计算出的上述关注标识的坐标位置和由上述检测步骤检测出的各标识的坐标位置中的任一个进行使距离较近的坐标位置的标识相关联的处理。
为了达到本发明的目的，本发明的信息处理装置具有例如以下的结构。
本发明的信息处理装置包括摄像单元，对配置了标识的现实空间的图像进行摄像；检测单元，检测由摄像单元获得的摄像图像中的标识的位置；以及第1计算单元，在根据测量求出了上述标识在上述现实空间中的位置和上述摄像单元的位置姿势中的至少一者的场合，根据上述标识在上述现实空间中的位置和上述摄像单元的位置姿势求出将上述现实空间中的标识投影到上述摄像图像上的场合的坐标位置；在上述摄像图像中，根据由上述检测单元检测出的各标识的坐标位置和由上述第1计算单元计算出的坐标位置进行使相互距离较近的坐标位置的标识相关联的处理；其特征在于包括第2计算单元，求出使用关注标识的法线向量和上述摄像单元的视轴向量计算的值；和决定单元根据由上述第2计算单元求出的值所取的范围决定是否进行上述第1计算单元的求出上述关注标识在上述摄像图像上的坐标位置的处理；在上述决定单元决定进行上述第1计算单元的求出上述关注标识在上述摄像图像上的坐标位置的处理的场合，根据由上述第1计算单元计算出的上述关注标识的坐标位置和由上述检测单元检测出的各标识的坐标位置中的任一个进行使距离较近的坐标位置的标识相关联的处理。
为了达到本发明的目的，本发明的识别方法具有例如以下的结构。
一种标识的识别方法，用于对现实空间进行摄像的摄像装置的位置姿势测量，其特征在于，包括以下步骤测量上述摄像装置的大致位置姿势的位置姿势测量步骤；上述摄像装置进行包含标识的上述现实空间的摄像的摄像步骤；求出包含在上述摄像步骤得到的现实空间的图像中的标识在上述图像中的坐标的第1图像坐标计算步骤；求出在上述位置姿势测量步骤得到的位置姿势中的、上述摄像装置的摄像画面中的标识的坐标的第2图像坐标计算步骤；根据在上述第1图像坐标计算步骤求出的标识的坐标，在上述第2图像坐标计算步骤求出的标识的坐标，和在上述位置姿势测量步骤得到的上述摄像装置的视轴向量与标识的法线向量之间的关系，进行标识的识别。
为了达到本发明的目的，本发明的识别方法具有例如以下的结构。
即，本发明的标识的识别方法，用于现实空间中的对象物体的位置姿势测量，其特征在于，包括以下步骤测量上述对象物体的大致位置姿势的位置姿势测量步骤；用固定的摄像装置对上述对象物体进行摄像的摄像步骤；求出在上述摄像步骤得到的摄像图像中的标识的坐标的第1图像坐标计算步骤；根据在上述位置姿势测量步骤得到的位置姿势，求出上述摄像装置的摄像画面中的标识的坐标的第2图像坐标计算步骤；根据在上述第1图像坐标计算步骤求出的标识的坐标，在上述第2图像坐标计算步骤求出的标识的坐标，和在上述位置姿势测量步骤得到的上述摄像装置的视轴向量与标识的法线向量之间的关系，进行标识的识别。
为了达到本发明的目的，本发明的识别方法具有例如以下的结构。
即，本发明的标识的识别方法，用于现实空间中的对象物体的位置姿势测量，其特征在于，包括以下步骤测量上述对象物体的大致位置姿势的第1位置姿势测量步骤；测量对上述对象物体进行摄像的摄像装置的大致位置姿势的第2位置姿势测量步骤；用上述摄像装置对上述对象物体进行摄像的摄像步骤；求出在上述摄像步骤得到的摄像图像中的标识的坐标的第1图像坐标计算步骤；根据在上述第1位置姿势测量步骤和上述第2位置姿势测量步骤得到的以上述摄像装置为基准的对象物体的位置姿势，或者以上述对象物体为基准的上述摄像装置的位置姿势，求出上述摄像装置的摄像画面中的标识的坐标的第2图像坐标计算步骤；根据在上述第1图像坐标计算步骤求出的标识的坐标，在上述第2图像坐标计算步骤求出的标识的坐标，和在上述第2位置姿势测量步骤得到的上述摄像装置的视轴向量与上述第1位置姿势测量步骤得到的标识的法线向量之间的关系，进行标识的识别。
本发明的其它特征和优点将在根据附图进行的以下说明中变得明确，在该附图中，对相同或相似的部分采用相同的参照标号。
附图和说明书成为一体并构成其一部分，和本发明的实施例及其描述一起对本发明的原理进行阐释。
图1是表示安装于车辆上的本发明的第1实施方式的图像显示装置的功能构成的框图。
图2是表示虚像171的例的图。
图3是表示由搭乘者132观察到的前窗部的状态的图。
图4是车辆测量单元进行的处理的流程图。
图5是表示用于检测右后轮的回转速度的构成的图。
图6是表示外部标识检测部105的基本构成的框图。
图7是头部测量单元进行的处理的流程图。
图8是作为控制单元的图像生成部150进行的处理的流程图。
图9是表示安装于车辆900的罩部的外部摄影用摄像机100的图。
图10是表示包含了本发明的第18实施方式的信息处理装置的系统的功能构成的框图。
图11是用来说明现有技术的问题点的示意图，表示了配置于现实空间的成为标识的标记以及固定了3维位置姿势测量装置的摄像机的形态。
图12是用来说明现有技术的问题点的示意图，表示了在画面上投影3维位置姿势传感器的测量值的坐标和从图像检测标识的坐标。
图13是本发明第18实施方式的标识识别处理的流程图。
图14是表示包含了本发明第19实施方式的信息处理装置的系统的功能构成的框图。
图15为本发明第19实施方式的系统的示意图。
图16为本发明第19实施方式的标识识别处理的流程图。
图17是表示作为具有本发明第2 1实施方式的二维扩展的图形的标识的一例的图。
图18是表示记录了标识信息数据的文件的内容的图。
图19是表示包含了本发明第22实施方式的信息处理装置的系统的功能构成的框图。
图20是由本发明的第22实施方式的计算机51050进行的、在将合成图像输出到显示部51011之前的处理的流程图。
图21是说明图17的标识的法线向量的计算方法的图。
图22是表示计算机5150的基本构成的框图。
具体实施例方式
下面，参照附图详细说明本发明的优选实施方式。
(第1实施方式)图1是表示安装于车辆的本实施方式的图像显示装置的功能构成的框图。本实施方式的图像显示装置由外部摄影用摄像机100、外部标识检测部105、回转速度仪110、车辆测量部120、搭乘者摄影用摄像机130、头部标识检测部135、头部测量部140、图像生成部150、投影仪160、组合器170构成。
搭乘者132(在本实施方式中，搭乘者即车辆的驾驶者)可通过前窗131看到外界的物体151，并且，还可看到显示于安装在前窗131的组合器170的、表示由图像显示装置进行的后述的处理所生成的导航信息的图像。即，搭乘者132可在将导航信息重叠于上述外界的物体151的状态下观看。
下面说明由外部摄影用摄像机100、外部标识检测部105、回转速度仪110、车辆测量部120构成的车辆测量单元。外部摄影用摄像机100朝着车辆的前方安装于车辆的罩部，对车外的外界的实际场景进行摄影，将摄影获得的图像输出到外部标识检测部105。在图9中示出了安装于车辆900的罩部的外部摄影用摄像机100。外部标识检测部105输入由外部摄影用摄像机100输出的摄影图像，从图像检测出设定于实际场景中的后述的外部标识，将检测出的外部标识的图像的位置(坐标)输出到车辆测量部120。回转速度仪110连接到车辆的右后轮和左后轮，测量各车轮的回转速度，将其测量结果输出到车辆测量部120。车辆测量部120输入由外部标识检测部105输出的外部标识的图像坐标和由回转速度仪110输出的各车轮的回转速度，据此测量世界坐标系的车辆的位置和方位，将其结果输出到图像生成部150。
下面说明由搭乘者摄影用摄像机130、头部标识检测部135、头部测量部140构成的头部测量单元。搭乘者摄影用摄像机130朝着搭乘者132的头部而安装于前窗131上部，对搭乘者132的头部进行摄影，将摄影获得的映像输出到头部标识检测部135。头部标识检测部135输入由搭乘者摄影用摄像机130输出的摄影图像，从图像检测出设定于搭乘者132的头部的后述的头部标识，将检测出的头部的标识的图像的位置(坐标)输出到头部测量部140。头部测量部140输入由头部标识检测部135输出的头部标识的图像坐标，根据它测量在车辆内定义的后述的坐标系中的搭乘者132的头部的位置，将其结果输出到图像生成部150。
下面，说明作为控制单元的图像生成部150。图像生成部150从车辆测量部120输入车辆的位置和方位，并且，从头部测量部140输入搭乘者132的头部的位置，根据这些信息，进行显示图像的生成，以使得表示预定的导航信息的图像重叠到实际场景的预定的位置(在该图的例中，物体151的前面<搭乘者132一侧的面>)而被观察，将其输出到投影仪160。
下面，说明作为投影仪160的显示装置。投影仪160设置于前窗131下部，输入由图像生成部150输出的显示图像，朝组合器170投影。组合器170设置于前窗131上。由投影仪160投影的图像在组合器170上被反射，包含了表示上述导航信息的图像的图像可以作为虚像171被搭乘者132观察到。
图2示出虚像171的例子。在该图的例子中，作为导航信息，显示出箭头200。该图的虚像171未在箭头的图像200以外的区域进行任何显示。图3示出由搭乘者132观察到的前窗部的状态。如该图所示，搭乘者132可通过前窗部观察到外界的物体151，还可观察到重叠于其上的虚像171，即箭头的图像200。
下面，更详细地说明上述车辆测量单元、头部测量单元、控制单元、显示装置。首先，说明以下使用的主要变量。
∑坐标系。例如∑e表示由e定义的坐标系。
x表示x坐标的标量值。例如e1xe2表示坐标系∑e1中的e2的x坐标。
y表示y坐标的标量值。例如e1ye2表示坐标系∑e1中的e2的y坐标。
z表示z坐标的标量值。例如e1ze2表示坐标系∑e1中的e2的z坐标。
r表示位置的3值向量例如e1re2表示坐标系∑e1中的e2的位置。
p表示图像位置的2值向量。例如1pe2表示图像1中的E2的位置。
R表示姿势的3×3矩阵。例如e1Re2表示坐标系∑e1中的e2的姿势。
φ表示由欧拉角描述的姿势的3值向量。
ω表示绕各轴的角速度的3值向量。
b实际场景。∑b表示实际场景坐标系(世界坐标系)。
w车辆10。∑w表示车辆坐标系。
u搭乘者132的头部。∑u表示头部坐标系。
c1外部摄影用摄像机100。坐标系∑c1表示外部摄影用摄像机坐标系。
c2搭乘者摄影用摄像机130。坐标系∑c2表示搭乘者摄影用摄像机坐标系。
d虚像面。坐标系∑d表示虚像面坐标系。
l摄影图像。坐标系∑l表示图像坐标系(2维)。
g导航信息的重叠对象物体(例如外界的物体151)。
q作为导航信息显示的像(例如箭头200)。
ζ表示方位角(x-y平面内的相对y轴的角度)的标量值。bζw表示实际场景中的车辆的方位角。
x′表示x方向的速度成分的标量值。
y′表示y方向的速度成分的标量值。
ζ′表示方位角速度的标量值。
t时间。例如rw(t)表示时间t的车辆的位置。
k表示取样时间的整数。例如tk为第k的处理的时间。
Δt取样时间之间的微小时间(infinitesimal interval)。即tk+1＝tk+Δt。
m外部标识101。mi表示第i个检测出的外部标识。
M在图像l1上检测到的的外部标识的总数。
n头部标识133。ni表示第i个检测出的头部标识。
N在图像l2上检测到的头部标识的总数。
φ′车轮的回转角速度(测量值)。
v表示车辆的速度的标量值。
A从右后轮与左后轮的中间点到两后轮的距离，已知。
B车轮的直径，已知。
a1表示外部摄影用摄像机100的焦点距离的标量值。已知。
a2表示搭乘者摄影用摄像机130的焦点距离的标量值。已知。
yk观测量向量。
y*k观测量向量的估计值。
xk状态量向量。
x*k状态量向量的估计值。
fk(xk)状态方程式。
hk(xk)观测方程式。
Kk卡尔曼增益。
下面，对各坐标系进行如下定义，以此为前提进行说明。即，成为基准的实际场景的坐标系∑b使原点bO处于水平面上的适当位置，在水平面内分别直交的方向为bX和bY轴，将水平面的法线方向为bZ轴。车辆坐标系∑w以车辆上的适当的位置作原点wO，坐在驾驶座时从左朝右的方向为wX轴，从后朝前的方向为wY轴，从下朝上的方向为wZ轴。
头部坐标系∑u以搭乘者132的双眼的中点为原点uO，从左眼朝右眼的方向为uX轴，连接双眼的中点与鼻的方向为uY轴，搭乘者132的正面方向为uZ轴。外部摄影用摄像机坐标系∑c1和搭乘者摄影用摄像机坐标系∑c2分别以朝光轴的前方为cZ轴，从图像的左朝右的方向为cX轴，从图像的上朝下方的方向为cY轴。另外，虚像面坐标系∑d在投影仪投影的虚像面上取原点dO，从右朝左方向为dX轴，从上朝下方向为dY轴，虚像面的法线方向为dZ轴。
(车辆测量单元)图4是车辆测量单元进行的处理的流程图。下面，参照该图说明该处理。车辆测量是根据扩展卡尔曼滤波器的构成进行的。
下面，将扩展卡尔曼滤波器的状态量向量xk(6维)定义为排列时间tk的实际场景坐标系∑b中的车辆的x坐标、y坐标、方位角及其时间微分值的向量。
xk＝[bxw(tk)byw(tk)bζw(tk)bx′w(tk)by′w(tk)bζ′w(tk)]T(1)在步骤S400中，车辆测量部120将时间tk-1的状态量向量xk-1代入到卡尔曼滤波器的状态方程式fk(xk)，计算出时间tk的状态量向量的估计值x*k。状态方程式fk(xk)假定车辆在各取样期间以等速运动时，如下式那样定义。
xk+1*=fk(xk)=xwb(tk)+x′wb(tk)·Δtywb(tk)+y′wb(tk)·Δtζwb(tk)+ζ′wb(tk)·Δtx′wb(tk)y′wb(tk)ζ′wb(tk)---(2)]]>在步骤S410中，回转速度仪110进行右后轮和左后轮的回转速度的测量。车辆测量部120将这些信息作为时间tk的回转角速度 (tk)、 存储。
在步骤S420中，外部标识检测部105检测出从外部摄影用摄像机100输入的输入图像l1上的各外部标识mi的图像坐标l1pmi(i＝1，2，...，M)。在这里，外部标识是存在于外界的各种各样的物体的特征部位中的、作为要使用的标识而预先登录于图像显示装置的部位，例如建筑物的角和广告牌的文字等。关于外部标识和外部标识的检测处理的详细内容将在后面说明。车辆测量部120存储被检测的时间tk的各标识mi的图像坐标l1pmi(tk)。
在步骤S430，车辆测量部120使用在步骤S410和步骤S420中所输入的信息，由下式形成扩展卡尔曼滤波器的观测量向量yk((2M+2)维) 在步骤S440中，车辆测量部120通过将状态量向量的估计值x*k代入到由式(4)定义的扩展卡尔曼滤波器的观测方程式hk(xk)，计算出时间tk的观测量向量的估计值y*k。
其中，式(4)中的vk由下式从xk计算出。
vk＝-sinbζw(tk)bx′w(tk)+cosbζ(tk)by′w(tk) (5)另外，式(4)中的l1p*mi为在输入图像上观测的各标识mi的图像坐标的估计值，由下式计算出。
但，c1xmi、c1ymi、c1zmi是外部摄影用摄像机坐标系∑c1的标识mi的位置，根据下式从xk计算出。
在这里，brmi是实际场景坐标系∑b中的标识mi的位置，wrc1、wRc1是车辆坐标系∑w的外部摄影用摄像机100的位置和姿势，预先被测量。另外，bRw(tk)是实际场景坐标系∑b的车辆的位置，根据bζw(tk)计算。另一方面，brw(tk)是实际场景坐标系∑b中的车辆的位置，根据bxw(tk)和byw(tk)计算。在本实施方式中，假定车辆相对实际场景坐标系∑b的x-y平面的倾斜角(侧滚角和俯仰角)为固定值，预先作为已知的值存储。另外，假定实际场景坐标系∑b中的车辆的z坐标bzw为固定值，预先作为已知的值存储。
在步骤S450中，车辆测量部120根据状态量向量的估计值x*k、观测量向量的估计值y*k、观测量向量yk按下式进行状态向量的更新。
xk=xk*+Kk[yk-yk*]---(8)]]>在这里，卡尔曼增益Kk为根据状态方程式fk(xk)、观测方程式hk(xk)和状态量向量xk-1定义的系数矩阵(6×(2M+2))。卡尔曼增益的计算方法例如公开于西山清最佳滤波(培风馆，2001)，所以，在这里省略详细的说明。
在步骤S460中，车辆测量单元可从更新后的状态量向量xk获得车辆的位置bxw(tk)、byw(tk)、及方位bζw(tk)，输出到作为控制单元的图像生成部150。
在步骤S470中，车辆测量单元进行是否结束处理的判定。在继续处理的场合，将k设为k+1，再次实施步骤S400以后的处理。另外，外部标识检测部105和车辆测量部120例如可由1台公用计算机构成。
下面，使用图5详细说明回转速度仪110。图5是表示检测右后轮的回转速度的构成的图，对左后轮也可由同样的构成检测回转速度。右后轮500R的回转速度的测量由旋转编码器510R和车轮520R进行。车轮520R安装于旋转编码器510R的回转轴，并且，车轮520R被设置为与右后轮500R接触。旋转编码器510R测定车轮520R的回转角速度 作为表示右后轮500R的回转速度的信息将其输出。图中未示出的左后轮500L的测量也由相同的构成来实现，输出图中未示出的车轮520L的回转角速度 下面，根据图6，详细说明外部标识检测部105的处理。图6是表示外部标识检测部105的基本构成的框图。外部标识检测部105由估计坐标计算部600、标识选择部610、图像处理部620构成。标识选择部610由隐蔽判定部630和标识信息保持部640构成。
估计坐标计算部600输入由车辆测量部120计算出的车辆的位置和方位的估计值，使用式(6)和式(7)，对所有外部标识计算出在输入图像l1上的图像坐标的估计值l1p*mi。获得的估计值包含于摄像面的范围的识别符输出到隐蔽判定部630。标识信息保持部640对各标识保持在对用于检测标识的模板图像进行摄影时的车辆的位置和方位。
隐蔽判定部630对于从估计坐标计算部600获得的估计值被包含于摄像面的范围的各标识，进行有无隐蔽的判定。具体地说，在由车辆测量部120计算出的车辆的位置和方位的估计值和在对用于检测由标识信息保持部640保持的关注标识的模板图像进行摄影时的车辆的位置和方位明显偏离的场合，判定该关注标识被隐蔽。由该判定进行未隐蔽的判定的标识的识别符，作为检测处理对象被输出到图像处理部620。
另外，模板图像摄影时的位置和方位与现在的位置和方位的不同的比较例如可根据二地点间的距离进行，也可根据方位角的不同进行。另外，判定的阈值可使用对所有标识通用的阈值，也可对各标识确定不同的阈值。另外，当然，即使不以车辆的位置和方位而是以外部摄影用摄像机100的位置和姿势为基准，也可实现同样的功能。
图像处理部620将由标识选择部610选择的标识作为处理对象，通过对使用了预先登录的各标识的模板图像进行模板匹配(templatematching)，从图像l1检测标识。此时，优选的是，通过使用由估计坐标计算部600计算出的图像坐标的估计值l1p*mi来进行搜索范围的限定。
按照以上的处理顺序，测量实际场景坐标系∑b的车辆的位置bxw、byw和方位bζw。
(头部测量单元)图7为头部测量单元进行的处理的流程图。下面，参照该图说明该处理。头部的测量也与车辆的测量同样地根据扩展卡尔曼滤波器的构成进行。
下面，将状态量向量xk(12维)定义为排列时间tk的车辆坐标系∑w中的搭乘者132头部的位置wru、姿势wφu、速度wr’u、及角速度wωu的向量。
xk=[ruTw(tk)φuTw(tk)r′uTw(tk)ωuTw(tk)]T---(9)]]>在步骤S700中，头部测量部140通过将时间tk-1的状态量向量xk-1代入到状态方程式fk(xk)，计算出时间tk的状态量向量的估计值x*k。状态方程式fk(xk)，当假定在各取样期间各位置和各姿势以等速变化时，可以如下式定义。
xk+1*=fk(xk)=ruw(tk)+r′uw(tk)·Δtφuw(tk)+φ′uw(tk)·Δtr′uw(tk)ωuw(tk)---(12)]]>在这里，φ′为姿势φ的时间微分值，一般知道，可作为姿势φ和角速度ω的函数导出。其详细内容例如公开于Donald B.GenneryVisual tracking of known three-dimensional objects，InternationalJournal of Computer Vision，Vol.7，no.3，pp.243-270，1992，所以，省略其说明。
在步骤S710中，头部标识检测部135使用预先登录的各头部标识的模板图像，检测出在从搭乘者摄影用摄像机130输入的输入图像l2上观察的各头部标识ni的图像坐标l2pni(i＝1，2，...，N)。在这里，头部标识是存在于头部(脸)的眼、鼻、口等和这些的部分区域中的作为要使用的标识预先登录于图像显示装置的标识。头部测量部140将这些信息作为时间tk的各标识ni的图像坐标l2pni(tk)来存储。头部标识检测部135的处理与外部标识检测部105的处理相同，所以，省略详细说明。
在步骤S720中，头部测量部140使用在步骤S700输入的信息，根据下式生成观测量向量yk(2N维)。
在步骤S730中，头部测量部140将状态量向量的估计值x*k代入到由式(12)定义的观测方程式hk(xk)，从而计算出时间tk的观测量向量的估计值y*k。
式中，l2p*ni为在输入图像l2上观测到的各标识ni的图像坐标的估计值，由下式计算出。
但，c2xni、c2yni、c2zni为头部摄影用摄像机坐标系∑c2的标识ni的位置，由下式根据状态量向量xk计算出。
其中，urni为头部坐标系∑u中的头部标识ni的位置，wrc2、wRc2为车辆坐标系∑w的搭乘者摄影用摄像机130的位置和姿势，预先进行测量。另外，wRu(tk)为表示车辆坐标系∑w中的搭乘者132的头部的姿势的矩阵，根据wφu(tk)计算出。
步骤S740中，头部测量部140根据观测量向量yk、状态量向量的估计值x*k、观测量向量的估计值y*k，按照式(8)进行状态向量的更新。卡尔曼增益Kk的计算方法为公知方法，所以，在这里省略详细说明。
步骤S750中，头部测量单元根据更新后的状态量向量xk获得头部的位置wru(tk)，输出到作为控制单元的图像生成部150。
在步骤S760中，头部测量单元判定是否结束处理。在继续进行处理的场合，设k为k+1，再次实施步骤S700以后的处理。另外，头部标识检测部135和头部测量部140例如可由1台公用计算机构成。按照以上的处理顺序，测量车辆坐标系∑w的搭乘者132的头部的位置wru。
(控制单元)图8是由作为控制单元的图像生成部150进行的处理的流程图。下面，参照该图说明该处理。在步骤S800中，图像生成部150输入由车辆测量单元测量的实际场景坐标系∑b的车辆的位置bxw、byw及方位bζw，变换成位置向量brw和姿势矩阵bRw。
在步骤S810中，图像生成部150输入由头部测量单元测量的车辆坐标系∑w中的搭乘者132的头部的位置wru。
在步骤S820中，图像生成部150根据下式计算出虚像面坐标系∑d的重叠对象物体151的位置drg。
rgd=Rd-1w{Rw-1b(rgb-rwb)-rdw}---(15)]]>其中，brg为实际场景坐标系∑b的重叠对象物体151的位置，wrd、wRd为车辆坐标系∑w中的虚像面的位置和姿势，预先进行了测量。
在步骤S830中，图像生成部150按下式计算虚像面坐标系∑d的搭乘者132的头部的位置dru。
rud=Rd-1w(ruw-rdw)---(16)]]>在步骤S840中，图像生成部150根据下式计算出虚像面坐标系∑d中的表示导航信息(箭头200)的图像的显示位置drq。
rqd=zudzud-zgd·rgd-zgdzud-zgd·rud---(17)]]>在步骤S850中，图像生成部150生成显示图像，以使得将表示导航信息(箭头200)的图像显示到虚像面上的位置drq，将该显示图像输出到作为显示装置的投影仪160。
在步骤S860中，投影仪160将生成的显示图像朝组合器170投影。
在步骤S870中，作为控制单元的图像生成部150判断是否结束处理。在继续处理的场合，设k为k+1，再次实施步骤S800以后的处理。图像生成部150例如可由1台公用计算机构成。
按照以上的处理顺序，可以实现这样的显示，即表示导航信息(箭头200)的图像重叠到重叠对象物体151上而被观察。
另外，在本实施方式中，为了求出车辆的位置、方位，直接测量作为重叠对象的外界的物体与车辆的相对位置关系，而不测量使用了GPS的数据，所以，与GPS相比，能够以更高的精度求出车辆的位置、方位。
另外，在本实施方式中，表示导航信息的图像不仅被显示到与车辆的位置姿势对应的位置，而且被显示到与搭乘者的头部位置对应的(前窗部的)位置，所以，即使搭乘者的头部朝前后左右移动，也可以总是向搭乘者在适当的位置提示表示导航信息的图像。
(第2实施方式)在上述实施方式中，在车辆测量部120中，根据式(2)定义状态方程式fk(xk)。式(2)为基于车辆可朝前后左右自由移动的模型的状态方程式，为此，存在由此获得的车辆的位置的估计值与实际差别较大的场合。在本实施方式中，车身导入基于不横向滑动这样的假定的非完全约束，替换成式(2)，设定如下式那样的经改良的状态方程式fk(xk)。
fk(xk)=xwb(tk)+x′wb(tk)·Δtywb(tk)+y′wb(tk)·Δtζwb(tk)+ζ′wb(tk)·Δtx′wb(tk)-vk·ζ′wb(tk)·Δt·cosζwb(tk)y′wb(tk)-vk·ζ′wb(tk)·Δt·sinζwb(tk)ζ′wb(tk)T---(18)]]>
另外，上述式子仅是在状态量向量的估计中考虑非完全约束，状态量向量的维本身不退化。因此，可通过导入适当的系统噪声特性而考虑使车身稍微地进行横向滑动。因此，按照本实施方式的上述方法，与下述场合、即以完全的非完全约束为前提对状态方程式进行定式化的场合、如上述那样完全不考虑非完全约束而将状态方程式定式化的场合相比，都可以更正确地进行车辆的位置和方位的估计。结果，可提高车辆测量部120的车辆位置和方位的测量精度。
(第3实施方式)上述实施方式的回转速度仪110，使用旋转式编码器测量了车轮的回转速度，但回转速度仪110的构成不限于此，如果测量车轮的回转速度的目的相同，则也可由其它的构成实现。例如，作为回转速度仪110，也可按车辆的姿势控制等目的，使用安装于两后轮的脉冲传感器。在本实施方式中，作为式(4)中的B的值，使用后轮500的直径即可，而不是车轮520。
另外，通过以普通的汽车导航系统的惯性航法所采用的车速传感器和陀螺传感器来构成回转速度仪110，也可以获得同样的效果。假设由车速传感器测量的车速为μ，由陀螺传感器测量的车辆的方位角速度为ξ′，则在该场合下，回转速度仪110根据测量的μ和ξ′，按下式导出两后轮的回转速度 和 将其输出到车辆测量部120。
ψ′R=2B(μ+Aξ′),ψ′L=2B(μ-Aξ′)---(19)]]>(第4实施方式)在上述实施方式中，为了求出两车轮的回转速度而使用了回转速度仪110，但利用与由其它传感器测量获得的车辆的速度相关的数据，也可以获得同样的效果。例如，取代回转速度仪110，可以具有基于在一般的汽车导航系统的惯性航法中所采用的驱动轴的回转脉冲测量等的车速传感器和陀螺传感器。此外，也可以根据发动机转速和现在选择的变速器的齿轮比来出。在该场合下，车辆测量部120输入由外部标识检测部105检测出的外部标识的图像坐标l1pmi(tk)、由车速传感器测量的车速μ(tk)和由陀螺传感器测量的车辆的方位角速度ξ′(tk)，根据这些输入数据，测量车辆的位置和方位。在该场合中，通过对观测向量yk和观测方程式hk(xk)进行下式所述的定义，可以按找与上述实施方式相同的顺序来测量车辆的位置和方位。
其中，vk为车辆的速度的估计值，由式(5)从状态量向量xk计算出。
(第5实施方式)另外，也可仅由外部摄影用摄像机100、外部标识检测部105、及车辆测量部120构成上述车辆测量单元。即，在车辆测量部120中，根据从外部标识检测部105输入的外部标识的图像坐标l1pmi(tk)，进行车辆的位置和方位的测量。在该场合下，对观测向量yk和观测方程式hk(xk)进行下式所述的定义，可以按照与上述实施方式相同的顺序来测量车辆的位置和方位。
(第6实施方式)上述实施方式的车辆测量单元具有的外部摄影用摄像机100为1台，但也可具有多台外部摄影用摄像机100。在该场合中，优选的是，外部标识检测部105具有与外部摄影用摄像机100对应的数量。在该场合中，车辆测量部120分别输入由多个外部标识检测部105检测出的外部标识的图像坐标，据此来定义观测向量yk和观测方程式hk(xk)。在观测方程式的导出过程中使用的wRc1、wrc1、及a1的各参数采用与各个被输入的图像坐标对应的外部摄影用摄像机100所固有的值，除此以外，可以按照与上述实施方式相同的顺序求出车辆的位置和姿势。这样，可稳定地检测出更多的标识坐标，所以，可提高车辆的位置和方位的测量精度。
在上述实施方式中，外部摄影用摄像机100朝车辆的前方设置于车辆的罩部，但如果是可以到观测实际场景中的外部标识的位置和方向，则外部摄影用摄像机100的设置位置当然不限于此。即，也可朝车辆的后方或侧方，也可以设置到车辆的挡泥板部和车顶部等。
另外，头部测量单元也同样，可采用具有多个头部摄影用摄像机130的构成，由此可获得提高头部位置的测量精度的效果。另外，头部摄影用摄像机130的设置位置，如果是可以观测到头部标识的位置，则可为任何位置。
(第7实施方式)上述实施方式的头部测量单元，总是进行搭乘者132的头部的位置测量，但也不一定非要连续地进行头部的位置测量。即，头部测量单元仅在预定的时间进行头部的位置测量，将测量的头部位置输出到控制单元。控制单元保持最后从头部测量单元输入的头部位置，使用头部位置生成图像。在这里，预定的时间可以是起动图像显示装置的时间，或者，作为还具有检测搭乘者132搭乘的时间或开始运行的时间的单元的构成，也可使用检测时间。另外，作为还具有输入来自搭乘者的指示的单元的构成，也可在搭乘者发出指示时进行头部测量处理。
(第8实施方式)在上述实施方式中，标识选择部610根据由车辆测量部120计算出的车辆的位置和方位的估计值、以及在对标识的模板图像进行摄影时的车辆的位置和方位来进行隐蔽判定，但也可由此外的构成来进行隐蔽判定。
例如，也可在标识信息保持部640保持关于标识的方向的信息，根据标识的方向和外部摄影用摄像机100的姿势来判定标识的隐蔽。
例如，标识信息保持部640对各标识把表示标识mi的法线方向的法线向量ηmi作为关于标识的方向的信息而予以保持，隐蔽判定部630根据在时间tk-1之前计算出的车辆的姿势来计算外部摄影用摄像机100的姿势，在-c1Z轴与法线向量ηmi所成的角等于或超过预定的阈值时，该标识也可被判定为隐蔽的标识。另外，关于阈值，可使用对所有标识通用的阈值，也可为对各标识不同的阈值。
按照该方法，能简单地判定被配置于壁的内侧的标识等明显可能被隐蔽的标识。作为关于标识的方向的信息，也可使用其它信息。
(第9实施方式)标识选择部610还具有保持实际场景的物体的形状模型的形状模型保持单元；另外，标识信息保持部640对各标识保持标识mi的位置brmi；隐蔽判定部630也可以进行这样的隐蔽判定即根据在时间tk-1之前计算出的车辆的姿势而计算出外部摄影用摄像机100的位置和姿势，据此，从形状模型保持单元保持的实际场景的物体的形状模型和标识信息保持部640保持的标识mi的位置brmi，进行实际场景的标识以外的物体和各标识的前后判定，从而判定标识是否被隐蔽。
(第10实施方式)标识选择部610也可并用上述任一隐蔽判定单元。另外，不一定非要具有标识选择部610，也可对由估计坐标计算部600判断为被包含在摄像面的范围内的所有标识，进行图像处理部620的检测处理。
(第11实施方式)在本实施方式中，标识选择部610还具有优先级判定部，该优先级判定部根据在车辆测量部120进行车辆的位置和方位的测量的处理，仅选择有效的标识。优先级判定部输入由隐蔽判定部630输出的标识的识别符，在从隐蔽判定部630输入的标识的总数(NA)超过图像处理部620可同时检测的标识的总数(NB)(即NA＞NB)时，从NA个标识选择NB个，将其识别符输出到图像处理部620。
选择是这样进行的，即例如，相对于从NA个标识中选择NB个标识的各个组合，生成以xk对观测方程式hk(xk)进行偏微分后的雅可比矩阵(这一般称为图像雅可比行列式)，选择其奇异值分解的结果而得到的条件数最接近1的组合。此时，通过设置使在时间tk-1的处理中由图像处理部620检测出的标识中的最低NC个(NC＜NB)进入到组合中这样的限制，由此可获得这样的效果，即因组合数减少而计算量减轻、除去位置对齐的不连续性。
(第12实施方式)车辆测量单元还具有GPS接收单元，将车辆的大体位置和方位的信息供给车辆测量部120。这样，车辆测量部120，将由GPS接收单元供给的大体位置和方向用做诸如状态量向量xi的初期值，或用作所有标识都未由外部标识检测部105检测到的场合的备份。
(第13实施方式)在上述实施方式中，车辆测量部120由状态方程式fk(xk-1)计算出时间tk的状态量向量的估计值x*k。在本实施方式中，在车辆测量单元中，还具有测量车辆的回转和平移运动的加速度的加速度仪，车辆测量部120根据由加速度仪测量的车辆的回转和平移运动的加速度与fk(xk-1)，计算出状态量向量的估计值x*k。另外，关于测量物体的回转和平移运动的加速的加速度仪的构成方法和将物体的回转和平移运动的加速度的测量值用作表示位置姿势和其时间微分成分的状态量向量的估计的方法，例如，在横小路泰义、菅原嘉彦、吉川恒夫“图像与在使用加速度仪的HMD上的映像的正确的重叠”，日本虚拟现实学会论文集，vol.4，no.4，pp589-598，1999.中进行了说明，所以，省略详细说明。
这样，特别是在车辆状态急剧变化的那样的状况下的估计值x*k的精度提高。即使在这样的状况下，也可获得能够正确显示导航信息的效果。另外，关于头部测量单元，可以采取具有对搭乘者132的头部回转和平移运动的加速度进行测量的加速度仪的构成，在头部测量中也可获得同样的效果。
(第14实施方式)在上述实施方式中，假定实际场景坐标系∑b的车辆的z坐标bzw为固定值。然而，在本实施方式中，测量bzw，动态地对其进行设定，由此实现在车辆的高度发生变化时的正确的信息显示。bzw的值，例如可使用由GPS接收到的高度信息进行设定。同样，在上述实施方式中，假定车辆的倾斜角(倾侧角和俯仰角)一定。在本实施方式中，通过测量车辆的倾斜角并动态地对其进行设定，可实现在车辆的倾斜角发生变化时的正确的信息显示。倾斜角的测量，例如可以使用安装于车辆上的倾斜仪来进行。
(第15实施方式)在上述实施方式中，由投影仪160和组合器170进行在前窗上的图像显示，但不限于此，也可使用其它的任一HUD。例如，通过使用其中采用了公知的全息摄影的HUD，可期望使虚像在对象物体附近成像。
(第16实施方式)在上述实施方式中，作为图像显示装置的一部分，构成了车辆测量单元，但不限于此。可以将上述车辆测量单元用于测量车辆的位置和/或方位的用途之外的其它任何一种用途。
(第17实施方式)在上述各实施方式中说明的标识选择部610，既可以用于在图像上未被隐蔽的标识的选择，也可以用于上述使用目的以外的其他目的。特别是，根据由复合现实感提示装置中的安装有HMD的摄像机进行摄影的图像，对该摄像机的或安装有HMD的人的视点的位置和姿势进行测量，对于这样的使用目的来说，将标识选择部610适用于该标识检测的过程是比较有效的。另外，当然，标识也可以不是由上述实施方式所述的模板匹配(template matching)所检测出的纹理那样的标识，即使是诸如具有特定的颜色和形状的标记的用以确定在图像上的位置的任何一种标识，也可以使用标识选择部610。另外，在对成为在图像上被检测到的标识的候选的图像的特征进行识别处理时，即使是在从现实空间中的标识中选择要对应的标识或者其候选的处理中，标识选择部610也是会发挥效果的。
(第18实施方式)本实施方式以后的实施方式，涉及进一步提高上述实施方式的位置姿势测量的测量精度的技术。
图10是表示包含本实施方式的信息处理装置的系统的功能构成的框图。该系统大体分成对现实空间进行摄像的摄像机5101、摄像机5101的位置姿势进行测量的3维位置姿势传感器5102、作为本实施方式的信息处理装置而发挥作用的计算机5150。
在本实施方式的系统中，在由摄像机5101对包含被配置(该“配置”在这里包括有意地配置的场合、作为自然特征在的非有意配置的场合)于现实空间的标识的现实空间的图像进行摄像时，在从摄像图像检测出的标识的坐标位置和标识根据摄像机5101的位置姿势而位于摄像图像上的坐标位置上，使相同标识的坐标位置相关，从而进行识别从摄像图像检测出的标识和被配置于现实空间的标识中的哪一个对应的处理。
下面，详细说明构成图10所示系统的各个部分。
在摄像机5101上，安装3维位置姿势传感器5102，其安装位置是固定的。3维位置姿势传感器5102测量摄像机5101的3维位置姿势(位置、姿势都为3自由度)，但测量的最终为传感器坐标系的摄像机5101的位置姿势。在这里，例如在3维位置姿势传感器5102为磁传感器时，传感器坐标系是以发生其磁力的振荡器的位置为原点、将分别以通过该原点并相互直交的3轴为x、y、z轴的坐标系。因此，将表示由3维位置姿势传感器5102测量的传感器坐标系的摄像机5101的位置姿势的数据和由摄像机5101摄像的现实空间的图像数据一起输入到后述的计算机5150。
下面，说明构成计算机5150的各个部分。位置姿势测量部5103进行这样的处理，即驱动、控制3维位置姿势传感器5102，使3维位置姿势传感器5102对摄像机5101的传感器坐标系的位置姿势进行测量，将其测量结果(位置姿势值)的数据输出到后级的标识坐标投影计算部5105。
在标识信息数据保持部5104中，预先保存现实空间的各标识的世界坐标系的坐标位置的数据。标识坐标投影计算部5105进行这样的处理，即根据表示由3维位置姿势传感器5102测量的传感器坐标系中的摄像机5101的位置姿势的数据，进行后述的变换处理，将各标识的世界坐标系的坐标位置投影到由摄像机5101摄像的图像(摄像图像)上，求出摄像图像上的各标识的坐标值。
标识检测部5106进行这样的处理，即从由摄像机101摄像、并被输入的摄像图像中，检测被包含在该摄像图像中的标识，求出摄像图像的坐标位置。求出的坐标位置的数据被输出到后段的标识识别部5107。
标识识别部5107，使用从标识坐标投影计算部5105输出的“被投影到摄像图像上的各标识的坐标位置”、从标识检测部5106输出的“从摄像图像检测出的各标识的坐标位置”、由标识信息数据保持部5104保持的“各标识的法线向量”(详细内容在后面说明)、从摄像机5101的世界坐标系的姿势获得的“摄像机5101的视轴向量”(详细内容在后面说明)，求出从摄像图像检测出的标识与实际配置的标识中的哪个标识对应。
在这里，“各标识的法线向量”是各标识所处的面(虽也存在曲面的场合，在该场合为切面的法线向量)的法线向量。因此，标识信息数据保持部5104对各标识将世界坐标系的坐标位置的数据和表示法线向量的成分的数据成组地保存。在这里，法线向量的成分的表现方法没有特别限定，但可将法线向量作为单位向量，以x轴方向成分、y轴方向成分、z轴方向成分表现，也可使用极坐标系的表现方法。
图22是表示计算机5150的基本构成的框图。标号51301为CPU，使用被存储于RAM51302或ROM51303的程序和数据，进行计算机5150的全体控制，同时，进行后述的本实施方式的标识识别处理。
标号51302为RAM，具有存储从外部存储装置51307和存储介质驱动器51308装入的程序和数据的区域，同时，还具有由CPU51301进行各处理而使用的工作区域。
标号51303为ROM，在这里存储引导程序等。
标号51304、51305分别为键盘、鼠标，用于将各指示输入到CPU51301。
标号51306为显示部，由CRT和液晶画面等构成，用于显示图像和文字这样的信息。
标号51307为外部存储装置，是作为硬盘驱动器等的大容量信息存储装置而起作用的装置，可在这里保存使CPU51301执行OS或本实施方式的标识识别处理的程序和数据等。另外，这些程序和数据经由CPU51301的控制，根据需要被读出到RAM51302。
标号51308为存储介质驱动器，进行将存储于CD-ROM和DVD-ROM等的程序和数据读出到外部存储装置51307和RAM51302的处理。另外，在存储介质为CD-R或DVD-RAM等可写入的存储介质的场合，还进行将信息写入到其中的处理。
标号51309为接口(I/F)，用于将图10所示的摄像机5101、3维位置姿势传感器5102连接到计算机5150，由摄像机5101摄像的图像、由3维位置姿势传感器5102测量的摄像机5101在传感器坐标系中的位置姿势的数据通过该接口51309被输入到RAM51302。
标号51310为连接上述各部的总线。
下面，对本实施方式的标识识别处理，使用表示该处理的流程图的图13进行说明。另外，按照该图的流程的程序被存储于外部存储装置51307和存储介质，经由CPU51301的控制而被读出到RAM51302(在被存储于存储介质时，控制存储介质驱动器51308，从该存储介质读出)，由CPU51301对其进行实施，从而由本实施方式的信息处理装置实施后述的处理。因此，在以下说明中出现的位置姿势测量部5103、标识坐标投影计算部5105、标识检测部5106、标识识别部5107，在本实施方式中分别通过程序来实现，但当然也可经由硬件来实现。
在步骤S5401中，控制3维位置姿势传感器5102，使其测量摄像机5101的传感器坐标系的位置姿势，将该测量结果的数据作为信号输入到标识坐标投影计算部5105。然后，在步骤S5402中，标识坐标投影计算部5105使用由步骤S5401获得的摄像机5101在传感器坐标系中的位置姿势的数据，求出取景变换矩阵。
取景变换为下述，即以摄像机5101的视点位置为原点、摄像面为x-y平面、视轴为朝z轴负向的向量的3维坐标系作为摄像机坐标系，以现实空间中的1点为原点、从该原点相互直交的3个轴为x轴、y轴、z轴的坐标系为世界坐标系，在该条件下，进行该2个坐标系间的坐标变换。因此，取景变换矩阵是用于进行该2个坐标系间的坐标变换的矩阵。所以，如果事先求出该取景变换矩阵，则可以将处于世界坐标系上的坐标值变换成摄像机坐标系的坐标值。另外，换言之，该取景变换矩阵表示世界坐标系中的摄像机5101的位置姿势。在这里，传感器坐标系处于固定在世界坐标系中的关系，所以，可以比较容易地从传感器坐标系上的位置姿势求出世界坐标系上的位置姿势。为此，可以从在传感器坐标系获得的摄像机的位置姿势生成取景变换矩阵。
然后，在步骤S5403中，标识坐标投影计算部5105利用在步骤S5402中求出的取景变换矩阵，将被预先保持于标识信息数据保持部5104的世界坐标系的各标识的位置变换为在摄像机坐标系中的位置。并且，通过进行摄像机的透视投影变换计算来计算在摄像图像面的投影坐标。即，在步骤S5403中，根据标识在世界坐标系中的位置和基于求出的取景变换矩阵的摄像机5101的位置姿势的关系，求出各标识位于摄像图像上的坐标位置。
另外，摄像机的透视投影变换是根据摄像机5101的焦点距离和主点(投影中心)位置被唯一地确定，该摄像机5101的焦点距离和主点(投影中心)位置被预先测定，作为数据而存储于外部存储装置51307和存储介质，根据需要被读出到RAM51302。
如上所述，将标识投影到摄像图像上而求出投影后的坐标位置的处理是公知技术，所以，省略进一步的详细说明。
并且，在步骤S5404中，标识坐标投影计算部5105根据从位置姿势测量部5103获得的摄像机5101的姿势测量值，计算出摄像机5101的视轴向量。摄像机5101的视轴向量为摄像机坐标系的Z轴负方向，换言之，世界坐标系中的摄像机5101的姿势成分为摄像机5101的视轴向量的成分。因此，通过使用取景变换矩阵求出世界坐标系中的摄像机5101的位置姿势，可以比较容易地获得摄像机5101的姿势测量值。另外，可以用x轴方向成分、y轴方向成分、z轴方向成分，将该视轴向量作为单位向量来表达，也可以采用极坐标系的表达方法。
另外，在进行步骤S5401、S5402、S5403、S5404的工序的另一方面，在步骤S5405中，由摄像机5101对现实空间的图像进行摄像，输出到后段的标识检测部5106。在步骤S5406中，标识检测部5106检测出包含于该摄像图像中的标识，进行求出所检测到的坐标位置的处理。对于摄像图像中的标识的坐标位置的检测处理，存在着这样的方法，例如，对标识配特定色，在摄像图像中检测该特定颜色的封闭区域，并以检测出的封闭区域的重心位置作为标识的坐标位置的方法，和预先对现实空间摄影，把成为标识的区域准备成模板，并进行模板匹配的方法等等。在本实施方式中，如果是可以检测出摄像图像中的标识的坐标位置，则可以适用任何一种方法。
在以上的步骤中，可求出·在将标识投影到摄像图像的场合，该摄像图像上的标识的坐标位置·从摄像图像检测到的标识的坐标位置·摄像机5101的视轴向量在本实施方式中，最终要进行的就是标识的识别。换言之，就是要判别从摄像图像检测出的标识和被配置在现实空间的标识中的哪一个对应(标识识别处理)。
作为该方法，在过去，如上所述，就是利用根据摄像机在世界坐标系中的位置姿势而投影到摄像图像的标识的坐标位置和从摄像图像中检测出的标识的坐标位置之间的距离来判定各个标识是否为对应的标识的。在该方法中，如上所述，存在着在图12所示的条件下作出错误判定的问题。
因此，在本实施方式中，在步骤S5407中，在投影到摄像图像的标识在摄像图像上的标识的坐标位置和从摄像图像中检测出的标识的坐标位置之外，还利用由标识信息数据保持部5104所保持的“各标识的法线向量的数据”和在步骤S5404中获得的摄像机5101的视轴向量来进行标识的判别。
首先，进行选择处理，选择投影到摄像图像的标识中的成为标识识别处理的对象的标识。这是通过判定摄像机5101是否取得了标识的大体正面而进行的处理。下面进一步详细地说明该处理。
首先，判定关注标识的法线向量与摄像机5101的视轴向量所成的角度是否等于或超过预定值。然后，在该角度等于或超过预定值时，为了表示该关注标识是“作为在后面进行的标识识别处理的对象被使用的标识”，把对该关注标识设置的标志的值设定1。另一方面，在该角度非等于或超过预定值时，为了表示该关注标识是“非作为在后面进行的标识识别处理的对象被使用的标识”，把对该关注标识设置的标志的值设定0。
例如，摄像机5101从正面捕捉标识，在与摄像机5101正对的场合下，该标识的法线向量与摄像机5101的视轴向量所成的角度接近180度(在完全相向的场合，为180度)；当标识存在于图12所示的塔状物体的内侧时，标识的法线向量表示接近摄像机5101的视轴向量的方向，2个向量所成的角变小。
即，通过利用该2个向量所成的角是否等于或大于90度，可判定是标识的表面一侧朝着摄像机5101，还是内面一侧朝着摄像机5101。并且，即使是在标识的表面朝着摄像机5101的场合，如果标识的法线向量与摄像机5101的视轴向量接近于垂直，标识也未必会作为图像而被正常地被捕捉。所以，可以使所成角的判定基准比90度大(90度+α(α≥0))，使得相关操作仅对不仅标识的表面一侧朝着摄像机5101，而且更加正对的姿势的标识来进行。
这样，通过从上述标识识别处理中除去因物体的影子等原因而导致的不能从摄像机5101观看到的识识，可抑制错误的相关的发生。
这样，对于投影到摄像图像的所有的标识，进行上述角度计算以及进行计算的角度与预定值的比较处理，把比较结果反映到对各标识设置的标志的值，从而可以获得“作为在后面进行的标识识别处理的对象使用的标识”。
然后，通过上述处理，仅将被看成“作为标识识别处理的对象使用的标识”的标识(即标志的值为1的标识)投影到摄像图像上，比较该投影坐标位置和从摄像图像上检测出的标识的坐标位置，进行使最接近的坐标位置的标识相关的处理。这样，在使最接近的坐标位置相关时，由于各标识肯定是可看到的位置的标识，所以，可以抑制错误的相关的发生。
在此，在本实施方式中，根据标识的法线向量与摄像机5101的视轴向量的所成角度是否等于或大于预定值，来判定是否从上述标识识别处理中排除该标识。但也可以进行下述的判定。
以cosθ代替关注标识的法线向量和摄像机5101的视轴向量(设各向量分别为x、y，并将各向量的大小归一化为1)的所成角度θ。该cosθ可以作为cosθ＝x·y(x·y表示向量x与向量y的内积)来求出。当求出的cosθ的值例如为-1≤cosθ≤A(＜0)时，即2个向量所成的角度θ至少等于或大于(A＝0)90度，因此，如cosθ在该范围内，只要将该关注标识适用于上述标识识别处理即可。即使这样使用cosθ，也可以判断是否从上述标识识别处理中排除关注标识。
另外，在本实施方式中，在进行标识识别处理时，首先进行了确定对各标识的标志的值的处理。但不限于此。当关注标识被确定为“作为在后面进行的标识识别处理的对象使用的标识”时，可以依次进行诸如以该关注标识的投影位置和其它若干个“从摄像图像检测出的标识的坐标位置”进行距离的比较处理那样的距离比较处理。
(第19实施方式)在第18实施方式中，假定了这样的情形，即3维位置姿势传感器5102配置在摄像机5101中，在摄像机5101动态地移动的状况下，对固定于现实空间的标识进行摄像。但是，在本实施方式中，摄像机5101被固定，使其中配置有3维位置姿势传感器5102及标识的物体移动。另外，关于本实施方式，除下述说明的部分以外，其内容与第1实施方式相同。
图15为本实施方式的系统的示意图。标号5601是对现实空间进行摄像的摄像机，与第18实施方式的摄像机5101相同。不同的地方在于，其在世界坐标系中的位置姿势被固定。标号5600是固定并安装了3维位置姿势传感器5602、标识5603、5604的物体，总是用3维位置姿势传感器5602对其位置姿势进行测量。
图14是表示包括本实施方式的信息处理装置的系统的功能构成的框图。该系统大体分成对现实空间进行摄像的摄像机5501、测量物体5600的位置姿势的3维位置姿势传感器5502、作为本实施方式的信息处理装置而起作用的计算机5550。
摄像机5501与第18实施方式的摄像机5101相同，进行对现实空间的图像进行摄像然后输出到后段的标识检测部5506的动作。如上述那样，摄像机5501的世界坐标系的位置姿势固定，所以，预先测定被固定的位置姿势的数据，并将其保持在标识信息数据保持部5504。另外，摄像机5501在世界坐标系中的位置姿势固定，其含义是上述取景变换矩阵可以预先求出，因此，预先将其求出，将求出的结果保持于标识信息数据保持部5104。
3维位置姿势传感器5502，如上所述，由于被固定安装在物体5600上，是对物体5600的3维位置姿势(位置、姿势均为3自由度)进行测量。但是，和第1实施方式相同，其所测量的是“传感器坐标系中的”物体5600的位置姿势。因此，表示由3维位置姿势传感器5502测量的传感器坐标系的物体5600的位置姿势的数据和由摄像机5501摄像的现实空间的图像数据一起，被输入到后述的计算机5550。
下面，说明构成计算机5550的各部分。位置姿势测量部5503进行这样的处理，即驱动和控制3维位置姿势传感器5502，使3维位置姿势传感器5502对物体5600在传感器坐标系中的位置姿势进行测量，将其测量结果(位置姿势值)的数据输出到后段的标识坐标投影计算部5505。
在标识信息数据保持部5104中，预先保存现实空间的各标识在物体坐标系(将以物体5600中的1点为原点、从该原点直交的3个轴为x轴、y轴、z轴的坐标系作为物体坐标系)中的坐标位置的数据、摄像机5501在世界坐标系中的位置姿势的数据、取景变换矩阵的数据。标识坐标投影计算部5105进行这样的处理，即根据这些数据进行后述的变换处理，将各标识在世界坐标系中的坐标位置投影到由摄像机5501摄像的图像(摄像图像)上，求出摄像图像上的各标识的坐标值。
标识检测部5506进行与第18实施方式的标识检测部5106相同的处理，由摄像机5501进行摄像，从输入的摄像图像检测出被包含于该摄像图像的标识，求出摄像图像的坐标位置。求出的坐标位置的数据输出到后段的标识识别部5507。
标识识别部5507使用从标识坐标投影计算部5505输出的“投影到摄像图像上的各标识的坐标位置”、从标识检测部5506输出的“从摄像图像检测出的各标识的坐标位置”、通过后述的变换处理对由标识信息数据保持部5504所保持的标识的法线向量的数据进行变换后获得的“具有世界坐标系的成分的各标识的法线向量的数据”(详细内容在后面说明)、从标识信息数据保持部5104保持的摄像机5501在世界坐标系中的姿势获得的“摄像机5501的视轴向量”，求出从摄像图像检测出的标识与实际配置的标识中的哪个标识对应。
以上为本实施方式的信息处理装置的功能构成，基本构成与第18实施方式相同，即，与图22所示的基本构成相同。
下面，用表示相同处理的流程的图16来说明本实施方式的标识识别处理。另外，基于该图的流程的程序存储于外部存储装置51307或存储介质中，经由CPU51301的控制而被读出到RAM51032(在存储于存储介质的场合下，控制存储介质驱动器51308，从该存储介质读出)，CPU51301执行该程序，由此，本实施方式的信息处理装置实施后述的处理。因此，在以下说明中出现的位置姿势测量部5503、标识坐标投影计算部5505、标识检测部5506、标识识别部5507在本实施方式中分别由程序来实现，当然，也可由硬件来实现。
在步骤S5701中，控制3维位置姿势传感器5502，测量物体5600在传感器坐标系中的位置姿势，将其测量结果的数据作为信号输入到标识坐标投影计算部5505。然后，在步骤S5702中，标识坐标投影计算部5505使用在步骤S5701中获得的物体5600的传感器坐标系的位置姿势的数据，求出造型变换矩阵。
造型变换的含义为世界坐标系以现实空间中的1点为原点、从该原点相互直交的3个轴为x轴、y轴、z轴；物体坐标系以物体5600中的1点为原点、从该原点相互直交的3个轴为x轴、y轴、z轴，在此情形下，世界坐标系与物体坐标系之间的坐标变换。因此，造型变换矩阵是用于进行该2个坐标系间的坐标变换的矩阵。因此，如求出该造型变换矩阵，则可将物体坐标系的坐标值变换成位于世界坐标系上的坐标值。
然后，在步骤S5703中，标识坐标投影计算部5105，通过在步骤S5702中求出的造型变换矩阵，把预先保持于标识信息数据保持部5104的物体坐标系中的各标识的位置变换为世界坐标系的位置，并通过进行由标识信息数据保持部5104保持的取景变换矩阵的取景变换和摄像机的透视投影变换计算，来计算在摄像图像面的投影坐标。即，在步骤S5703中，根据摄像机5501、物体5600的位置姿势，求出各标识在摄像图像上的坐标位置。
另外，摄像机的透视投影变换，是根据摄像机5501的焦点距离和主点(投影中心)位置被唯一地确定的，预先测定该摄像机5501的焦点距离和主点(投影中心)位置，将其作为数据存储于外部存储装置51307和存储介质，根据需要被读出到RAM51302。
这样，将标识投影到摄像图像上而求出投影后的坐标位置的处理为公知技术，所以，省略进一步的详细说明。
另外，在步骤S5704中，标识坐标投影计算部5505，使用在步骤S5702中求出的造型变换矩阵，把由标识信息数据保持部5104保持的具有物体坐标系中的成分的各标识的法线向量变换成具有世界坐标系中的成分的法线向量。
另外，进行步骤S5701、S5 702、S5703、S5704的工序，另一方面，在步骤S5705中，由摄像机5501对现实空间的图像进行摄像，输出到后段的标识检测部5506。在步骤S5706中，标识检测部5506进行检测被包含于该摄像图像中的标识的处理。对于摄像图像中的标识的坐标位置的检测处理，进行与第18实施方式相同的处理。
在以上的步骤中，可求出·在将标识投影到摄像图像时，该摄像图像上的标识的坐标位置·从摄像图像检测到的标识的坐标位置·具有世界坐标系中的成分的各标识的法线向量。另外，对于摄像机5101的视轴向量，由于摄像机5501在世界坐标系中的位置姿势是固定的，所以，可以比较容易地从该姿势成分获得。因此，由于可获得该4个信息，所以，以后可进行与第18实施方式同样的处理。
根据以上说明，在本实施方式中，即使是摄像机被固定、移动其中配置有3维位置姿势传感器和标识的物体，也可进行标识识别处理。
(第20实施方式)第18实施方式假定了这样的情形，即3维位置姿势传感器配置于摄像机，在摄像机动态地移动的状况下，对固定于现实空间的标识进行摄像。第19实施方式假定了这样的情形，即移动固定了摄像机并配置有3维位置姿势传感器和标识的物体。也可以是将其组合，分别在摄像机和对象物体上都固定3维位置姿势传感器，将标识配置到物体上。即，摄像机动态地移动，而且，物体也移动。
该实施方式只要根据第19实施方式进行以下变更即可。即，作为在第19实施方式的步骤S5703中进行的处理，摄像机的取景变换矩阵为已知的。但只要根据固定于摄像机的3维位置姿势传感器的测量值，按照第18实施方式所述来求出该取景变换即可。
(第21实施方式)在第18～第20实施方式中，都明示地将标识的法线向量记录于标识信息数据保持部，进行利用该法线向量的处理。然而，根据所利用的标识的种类的不同，法线向量不一定非要明示地记录。
例如，如图17所示，当利用在黑正方形的内部存在白正方形那样的标识时，如果事先记录标识的顶点的坐标位置(世界坐标系中的坐标位置，或者如果是可变换成世界坐标系中的坐标位置、则也可为其它坐标系中的坐标位置)，则即使不直接记录对该标识的法线向量，也可计算法线向量。
上述采用以下即可利用4顶点构成的平面的法线(为直线，方向不定)是包含了标识的法线向量的直线这一状况，如图21所示那样，利用4顶点的排列，来决定在该直线上的方向。作为具体的计算方法，有计算从图21中的顶点1到顶点2的向量和从顶点2到顶点3的向量的外积向量的方法。即，所利用的标识是具有面扩展的图像的图形时，不一定非要明示地记录法线向量。这样，可以从非顶点信息等的明示的法线信息的信息，来计算法线向量，利用获得的法线向量，进行标识的识别。
另外，当然，通过预先记录标识的位置姿势而不是标识的法线向量，可以从标识的姿势信息来计算法线向量。
(第22实施方式)表示了充分利用图18实施方式所示标识的识别结果的摄像机的位置姿势估计方法的优选实施方式。
图19是表示包含本实施方式的信息处理装置的系统的功能构成的框图。具有该图所示功能构成的系统进行这样的处理，即如上所述，使用在第18实施方式中说明的、进行在摄像图像上使相同标识相关的处理的结果，来校正HMD的位置姿势。另外，该图所示系统大体分成HMD51000和作为本实施方式的信息处理装置而起作用的计算机51050。
HMD51000由3维位置姿势传感器51002、摄像机51001、显示部51011构成，它们是一体地安装于HMD主体51000的被称之为图像透明型(video see-through)HMD。关于3维位置姿势传感器51002、摄像机51001，基本上是与第18实施方式的3维位置姿势传感器5102、摄像机5101相同。显示部51011表示从后述的计算机51050的图像合成部51010输出的图像。
下面，说明构成计算机51050的各部分。位置姿势测量部51003、标识信息数据保持部51004、标识坐标投影计算部51005、标识检测部51006、标识识别部51007分别进行和第18实施方式的(图10所示的)位置姿势测量部5103、标识信息数据保持部5104、标识坐标投影计算部5105、标识检测部5106、标识识别部5107相同的处理，所以，省略其说明。
位置姿势校正部51008，根据在标识识别部51007形成对应关系的2个标识(一个从摄像图像检测出，另一个投影到摄像图像上)的坐标位置间的距离，来进行基于由3维位置姿势传感器51002测量的结果对HMD51000的位置姿势的测量值实施校正的处理。
图像生成部51009，将由位置姿势校正部51008校正后的位置姿势用作视点的位置姿势，生成从该视点观看的假想空间的图像。图像合成部51010进行合成摄像机51001的摄像图像和图像生成部51009生成的假想空间的图像的处理。其合成结果被输出到HMD51000的显示部51011，并在该处被显示。
另外，关于本实施方式的计算机51050的基本构成，也与第18实施方式相同(即图22所示的基本构成)。
下面，使用表示相同处理的流程的图20，对由本实施方式的计算机51050实施的、合成图像被输出到显示部51011之前的处理进行说明。另外，由该图的流程所决定的程序被存储于外部存储装置51307和存储介质，通过CPU51301的控制而被读出到RAM51302(在存储于存储介质的场合，控制存储介质驱动器51308，从该存储介质读出)，由CPU51301对其进行实施，从而由本实施方式的信息处理装置实施后述的处理。因此，在以下说明中出现的位置姿势测量部51003、标识坐标投影计算部51005、标识检测部51006、标识识别部51007、位置姿势校正部51008、图像生成部51009、图像合成部51010，在本实施方式中是分别由程序来实现的，但是，当然也可以由硬件来实现。
在步骤S51101中，先将标识数据读入标识信息数据保持部51004。这是例如从将图18所示的文本数据作为文件保存的存储装置中读入的处理。图18的5901表现标识的种类，在该例中表示带色的点状的标识，意味着在5902记录其坐标值、在5903记录其法线向量、在5904记录其颜色。如该数据所示，标识信息数据保持部51004将该法线向量与标识的坐标值一起作为信息保持。
接着，在步骤S51102中，进行上述图13所示的步骤S5401～步骤S5407的处理，进行使分别对应的标识相关的处理。
在步骤S51103中，位置姿势校正部51008，根据在步骤S51102中形成对应关系的各标识间的距离(在步骤S5403获得的投影坐标值与由步骤S5406获得的检测坐标值之间的距离)，进行在步骤S5402获得的取景变换的校正。
关于该取景变换的校正方法，可使用由牛顿法等的反复运算使误差最小的方法，也可以是仅校正回转变换以使得标识间的误差最小的方法。
在步骤S51103中，校正取景变换矩阵，换言之，校正世界坐标系中的摄像机5101的位置姿势的数据。校正取景变换矩阵使得上述的相同标识的在步骤S5403获得的投影坐标值和在步骤S5406获得的检测坐标值之间的距离最小的方法是公知的技术，所以，省略这里的说明。
然后，在步骤S51104中，将由摄像机5101摄像的现实空间的图像送到图像合成部51010。然后，在步骤S51105中，图像生成部51009使用由步骤S51103校正的取景变换矩阵，如上述，生成假想空间的图像，将其送到图像合成部51010。由于先将现实空间的图像送到图像合成部51010，所以，后送到的假想空间的图像重叠于其上，结果，在图像合成部51010上就生成了现实空间的图像与假想空间的图像的合成图像。因此，图像合成部51010将该合成图像输出到HMD51000的显示部51011。显示部51011显示该合成图像。
在这里，上述步骤S51104～步骤S51106的处理，作为有效地利用所获得的摄像机的取景变换的例子表示了将假想空间或假想物体融合于现实空间时的工序的处理，也可以把摄像机的取景变换用做其它用途。当然，如果要求出取景变换，通过计算其逆变换，可容易地变换成世界坐标系中的摄像机的位置姿势，所以，当然也可用做使用摄像机的位置姿势的用途。
此后，在步骤S51107中进行结束的判定，在未结束的场合，使处理返回到步骤S51102，以后，反复进行步骤S51102～步骤S51106的处理。
(第23实施方式)第22实施方式是将第18实施方式的标识识别方法用于摄像机的位置姿势估计方法的场合的实施方式。当然，通过利用第19实施方式的标识识别方法或第20实施方式的标识识别方法，也能够以与第22实施方式相同的工序来实现相同的目的。
(其它实施方式)本发明的目的当然也可这样来实现，即将记录了实现上述实施方式的功能的软件的程序代码的记录介质(或存储介质)供给系统或装置，由该系统或装置的计算机(或CPU、MPU)读出并执行被存储于记录介质的程序代码。在该场合下，从记录介质读出的程序代码自身实现了上述实施方式的功能，记录了该程序代码的记录介质构成了本发明。
另外，当然还包含这样的情况，即通过执行由计算机读出的程序代码，不仅实现了上述实施方式的功能，而且根据该程序代码的指示，由在计算机上运行的操作系统(OS)等进行实际的处理的一部分或全部，通过该处理来实现上述实施方式的功能。
另外，当然还包含这样的情况，即从记录介质读出的程序代码被写入到插入计算机的功能扩展卡或与计算机连接的功能扩展组件所具有的存储器后，根据该程序代码的指示，由该功能扩展卡或功能扩展组件所具有的CPU等进行实际的处理的一部分或全部，通过该处理来实现上述的实施方式的功能。
在将本发明适用于上述记录介质的情形下，与前面说明的流程对应的程序代码被收纳在该记录介质中。
如上所述，根据本发明，可以实现这样一种图像显示装置，即准确地测量车辆的位置及方位和搭乘者的头部位置，在实际场景的适当位置上重叠车辆的导航系统信息进行提示。
并且，如上所述，根据本发明的结构，可以正确地识别从图像检测出的标识与现实空间内所配置的标识中的哪一个标识相对应。
由于在不脱离本发明精神和范围的前提下可获得本发明的许多明显不同的实施方式，所以，应该明白，本发明不限于特定的实施方式，而仅由权利要求所限定。
权利要求
1.一种图像显示装置，具有在车辆的前窗部显示对该车辆的搭乘者提示的图像的显示装置；其特征在于，包括车辆测量单元，测量世界坐标系中的上述车辆的位置和方位；头部测量单元，测量在上述车辆内定义的坐标系中的上述车辆的搭乘者的头部位置；以及控制单元，控制上述显示装置使得在上述前窗部将上述图像显示到与由上述车辆测量单元测量的上述车辆的位置、方位和由上述头部测量单元测量的上述头部的位置对应的位置。
2.根据权利要求1所述的图像显示装置，其特征在于上述车辆测量单元还具有对上述车辆的外界进行摄像的外界摄像单元。
3.根据权利要求2所述的图像显示装置，其特征在于上述车辆测量单元求出包含于由上述外界摄像单元所摄像的上述外界的图像的标识在该图像中的位置，根据求出的位置测量世界坐标系中的上述车辆的位置和方位。
4.根据权利要求2所述的图像显示装置，其特征在于上述车辆测量单元还具有对上述车辆的后面的左右车轮的回转速度进行测量的回转速度测量单元；上述车辆测量单元求出包含于由上述外界摄像单元所摄像的上述外界图像的标识在该图像中的位置，根据该求出的位置和由上述回转速度测量单元测量的回转速度测量世界坐标系中的上述车辆的位置和方位。
5.根据权利要求1所述的图像显示装置，其特征在于上述头部测量单元还具有对上述车辆的搭乘者的头部进行摄像的头部摄像单元；求出包含于由上述头部摄像单元所摄像的上述搭乘者的头部的图像的标识在该图像中的位置，根据求出的位置测量在上述车辆内定义的坐标系中的上述车辆的搭乘者的头部位置。
6.根据权利要求1所述的图像显示装置，其特征在于上述图像是表示导航信息的图像。
7.根据权利要求1所述的图像显示装置，其特征在于上述车辆测量单元使用非完全约束测量上述车辆的位置和方位。
8.一种测量装置，搭载于车辆，对该车辆的世界坐标系的位置、方位进行测量；其特征在于，包括外界摄像单元，对上述车辆的外界进行摄像；位置计算单元，求出包含于由该外界摄像单元所摄像的上述外界的图像的标识在该图像中的位置；以及位置方位测量单元，根据由上述位置计算单元求出的上述标识在上述图像中的位置测量世界坐标系中的上述车辆的位置和方位。
9.根据权利要求8所述的测量装置，其特征在于还具有测量上述车辆后面的左右车轮的回转速度的回转速度测量单元；上述位置方位测量单元还使用由该回转速度测量单元测量的回转速度测量世界坐标系中的上述车辆的位置和方位。
10.一种测量装置，通过检测由摄影装置所摄影的物体的图像中的标识，进行上述摄影装置或由摄影装置所摄影的上述物体的位置和姿势的测量；其特征在于具有选择不被隐蔽地将要在上述摄影图像上观测到的标识的标识选择单元；根据选择的标识的信息测量上述摄影装置或由摄影装置所摄影的上述物体的位置和姿势。
11.根据权利要求10所述的测量装置，其特征在于上述标识选择单元还具有保持与上述标识分别相关的信息的标识信息保持单元，和根据上述标识信息保持单元保持的与上述标识分别相关的信息判定上述各标识有无隐蔽的隐蔽判定单元；选择判定为未被隐蔽的标识。
12.根据权利要求11所述的测量装置，其特征在于在上述标识信息保持单元至少保持对用于检测各标识的模板进行摄影时的上述摄影装置或上述物体的位置姿势信息；上述隐蔽判定单元通过比较上述标识信息保持单元保持的上述摄影装置或上述物体的位置姿势信息与上述摄像装置或上述物体的位置姿势的估计值来判定隐蔽的有无。
13.根据权利要求11所述的测量装置，其特征在于在上述标识信息保持单元至少保持关于上述各标识的方向的信息；上述隐蔽判定单元通过比较上述标识信息保持单元保持的关于上述标识的各方向的信息和上述摄像装置的方向的估计值来判定隐蔽的有无。
14.根据权利要求11所述的测量装置，其特征在于在上述标识信息保持单元至少保持上述各标识的位置；上述隐蔽判定单元根据上述各标识的位置、上述摄像装置的位置姿势的估计值、现实空间的形状信息来判定隐蔽的有无。
15.一种图像显示装置的图像显示方法，所述图像显示装置具有在车辆的前窗部显示对该车辆的搭乘者提示的图像的显示装置；其特征在于，包括以下步骤车辆测量步骤，测量世界坐标系中的上述车辆的位置和方位；头部测量步骤，测量在上述车辆内定义的坐标系中的上述车辆的搭乘者的头部位置；以及控制步骤，控制上述显示装置使得在上述前窗部将上述图像显示到与由上述车辆测量步骤测量的上述车辆的位置、方位和由上述头部测量步骤测量的上述头部的位置对应的位置。
16.一种测量方法，搭载于车辆，对该车辆的世界坐标系的位置、方位进行测量；其特征在于，包括以下步骤外界摄像步骤，使用摄像装置对该车辆的外界进行摄像；位置计算步骤，求出包含于由该外界摄像步骤所摄像的上述外界图像的标识在该图像中的位置；以及位置方位测量步骤，根据由上述位置计算步骤求出的上述标识在上述图像中的位置测量世界坐标系中的上述车辆的位置和方位。
17.一种测量方法，通过检测由摄影装置所摄影的物体的图像中的标识，进行上述摄影装置或由摄影装置所摄影的上述物体的位置和姿势的测量；其特征在于包括选择不被隐蔽地将要在上述摄影图像上观测到的标识的标识选择步骤；根据选择的标识的信息测量上述摄影装置或由摄影装置所摄影的上述物体的位置和姿势。
18.根据权利要求17所述的测量方法，其特征在于上述标识选择步骤还具有在存储器保持与上述标识分别相关的信息的标识信息保持步骤，和根据上述存储器保持的与上述标识分别相关的信息判定上述各标识有无隐蔽的隐蔽判定步骤；选择已判定未被隐蔽的标识。
19.根据权利要求18所述的测量方法，其特征在于在上述存储器至少保持关于上述各标识的方向的信息；在上述隐蔽判定步骤中，通过比较上述存储器保持的关于上述各标识的方向的信息和上述摄像装置的方向的估计值判定隐蔽的有无。
20.一种程序，其特征在于将计算机作为权利要求1所述的图像显示装置发挥功能。
21.一种程序，其特征在于使计算机作为权利要求8所述的测量装置发挥功能。
22.一种程序，其特征在于使计算机实施权利要求15所述的图像显示方法。
23.一种程序，其特征在于使计算机实施权利要求16所述的测量方法。
24.一种可由计算机读取的存储介质，其特征在于存储权利要求20所述的程序。
25.一种信息处理方法，包括检测步骤，检测由对配置了标识的现实空间的图像进行摄像的摄像单元获得的摄像图像中的标识位置；和第1计算步骤，在根据测量求出了上述标识在上述现实空间中的位置和上述摄像单元的位置姿势中的至少一者的场合，根据上述标识在上述现实空间中的位置和上述摄像单元的位置姿势求出将上述现实空间中的标识投影到上述摄像图像上的场合的坐标位置；在上述摄像图像中，根据由上述检测步骤检测出的各标识的坐标位置和由上述第1计算步骤计算出的坐标位置进行使相互距离较近的坐标位置的标识相关联的处理；其特征在于包括第2计算步骤，求出使用关注标识的法线向量和上述摄像单元的视轴向量进行计算得到的值；和决定步骤，根据由上述第2计算步骤求出的值所取的范围决定是否进行上述第1计算步骤的求出上述关注标识在上述摄像图像上的坐标位置的处理；在上述决定步骤决定了进行上述第1计算步骤的求出上述关注标识在上述摄像图像上的坐标位置的处理的场合，根据由上述第1计算步骤计算出的上述关注标识的坐标位置和由上述检测步骤检测出的各标识的坐标位置中的任一个进行使距离较近的坐标位置的标识相关联的处理。
26.根据权利要求25所述的信息处理方法，其特征在于在上述第2计算步骤中，求出上述关注标识的法线向量与上述摄像单元的视轴向量所成角度，或基于该角度的值。
27.根据权利要求26所述的信息处理方法，其特征在于在上述决定步骤中，当上述角度为90度+α(α≥0)时，决定进行上述第1计算步骤的求出上述关注标识在上述摄像图像上的坐标位置的处理。
28.根据权利要求25所述的信息处理方法，其特征在于还包括修正步骤，使用相关联的各标识的在上述第1计算步骤所计算的坐标位置与由上述检测步骤检测出的坐标位置之间的距离，修正上述摄像单元的位置姿势；假想空间图像生成步骤，使用由上述修正步骤修正后的位置姿势生成假想空间的图像；以及合成步骤，合成由上述假想空间图像生成步骤获得的假想空间的图像和由上述摄像单元获得的摄像图像并输出。
29.一种信息处理装置，包括摄像单元，对配置了标识的现实空间的图像进行摄像；检测单元，检测由摄像单元获得的摄像图像中的标识的位置；以及第1计算单元，在根据测量求出了上述标识在上述现实空间中的位置和上述摄像单元的位置姿势中的至少一者的场合，根据上述标识在上述现实空间中的位置和上述摄像单元的位置姿势求出将上述现实空间中的标识投影到上述摄像图像上的场合的坐标位置；在上述摄像图像中，根据由上述检测单元检测出的各标识的坐标位置和由上述第1计算单元计算出的坐标位置进行使相互距离较近的坐标位置的标识相关联的处理；其特征在于包括第2计算单元，求出使用关注标识的法线向量和上述摄像单元的视轴向量计算的值；和决定单元根据由上述第2计算单元求出的值所取的范围决定是否进行上述第1计算单元的求出上述关注标识在上述摄像图像上的坐标位置的处理；在上述决定单元决定进行上述第1计算单元的求出上述关注标识在上述摄像图像上的坐标位置的处理的场合，根据由上述第1计算单元计算出的上述关注标识的坐标位置和由上述检测单元检测出的各标识的坐标位置中的任一个进行使距离较近的坐标位置的标识相关联的处理。
30.一种程序，其特征在于使计算机实施权利要求25所述的信息处理方法。
31.一种可由计算出读取的存储介质，其特征在于存储权利要求30所述的程序。
32.一种标识的识别方法，用于对现实空间进行摄像的摄像装置的位置姿势测量，其特征在于，包括以下步骤测量上述摄像装置的大致位置姿势的位置姿势测量步骤；上述摄像装置进行包含标识的上述现实空间的摄像的摄像步骤；求出包含在上述摄像步骤得到的现实空间的图像中的标识在上述图像中的坐标的第1图像坐标计算步骤；求出在上述位置姿势测量步骤得到的位置姿势中的、上述摄像装置的摄像画面中的标识的坐标的第2图像坐标计算步骤；根据在上述第1图像坐标计算步骤求出的标识的坐标，在上述第2图像坐标计算步骤求出的标识的坐标，和在上述位置姿势测量步骤得到的上述摄像装置的视轴向量与标识的法线向量之间的关系，进行标识的识别。
33.一种标识的识别方法，用于现实空间中的对象物体的位置姿势测量，其特征在于，包括以下步骤测量上述对象物体的大致位置姿势的位置姿势测量步骤；用固定的摄像装置对上述对象物体进行摄像的摄像步骤；求出在上述摄像步骤得到的摄像图像中的标识的坐标的第1图像坐标计算步骤；根据在上述位置姿势测量步骤得到的位置姿势，求出上述摄像装置的摄像画面中的标识的坐标的第2图像坐标计算步骤；根据在上述第1图像坐标计算步骤求出的标识的坐标，在上述第2图像坐标计算步骤求出的标识的坐标，和在上述位置姿势测量步骤得到的上述摄像装置的视轴向量与标识的法线向量之间的关系，进行标识的识别。
34.一种标识的识别方法，用于现实空间中的对象物体的位置姿势测量，其特征在于，包括以下步骤测量上述对象物体的大致位置姿势的第1位置姿势测量步骤；测量对上述对象物体进行摄像的摄像装置的大致位置姿势的第2位置姿势测量步骤；用上述摄像装置对上述对象物体进行摄像的摄像步骤；求出在上述摄像步骤得到的摄像图像中的标识的坐标的第1图像坐标计算步骤；根据在上述第1位置姿势测量步骤和上述第2位置姿势测量步骤得到的以上述摄像装置为基准的对象物体的位置姿势，或者以上述对象物体为基准的上述摄像装置的位置姿势，求出上述摄像装置的摄像画面中的标识的坐标的第2图像坐标计算步骤；根据在上述第1图像坐标计算步骤求出的标识的坐标，在上述第2图像坐标计算步骤求出的标识的坐标，和在上述第2位置姿势测量步骤得到的上述摄像装置的视轴向量与上述第1位置姿势测量步骤得到的标识的法线向量之间的关系，进行标识的识别。
全文摘要
提供一种图像显示装置和方法、测量装置和方法、信息处理方法和装置、识别方法。外部标识检测部105输入由摄像机100摄影的图像，检测设定于实际场景的外部标识。回转速度仪110测量车辆的两后轮的回速度。车辆测量部120根据外部标识的图像坐标和车辆的两后轮的回转速度测量车辆的位置和方位。头部标识检测部135输入摄像机130摄影获得的图像，检测设定于搭乘者132的头部的头部标识。头部测量部140根据头部标识的图像坐标测量头部的位置。图像生成部150根据车辆的位置、方位和头部的位置在实际场景的预定位置重叠预定的导航信息生成显示图像使得能够观察，由投影仪160投影。
文档编号G02B27/01GK1495411SQ0315693
公开日2004年5月12日 申请日期2003年9月15日 优先权日2002年9月13日
发明者横小路泰义, 二, 内山晋二, 佐藤清秀, 秀, 亮, 卫藤大亮, 中津留智泰, 智泰, 吉川恒夫, 夫 申请人:佳能株式会社