专利名称：导航装置的制作方法
技术领域：
本发明涉及导航系统，特别是涉及使用便携式终端为步行者进行路径诱导的系统。
背景技术：
已经存在一种三维地图显示的导航技术，其为了实现直观易懂的导航系统，将从任意视点眺望三维地图时得到的投影图显示在显示画面上。这样的技术，被例如特开2003-232639号公报所公开。在实现三维地图显示的导航装置的情况下，根据视点位置，所应关注的地图构成物隐藏在其他地图构成物中而未被显示。因此，存在如下问题现在地或目的地，或者现在地和目的地之间的连接路径等用户想知道的信息没有在显示画面上被显示。在上述公报中，根据由公报所公开的技术，其目的为提供一种地图显示装置和导航装置，其实现三维地图显示，能够在显示画面上显示位于被地图构成物隐藏的位置的信息。
另外，存在一种被称作复合现实感(Mixed Reality)的技术，其作为实现直观易懂的导航系统的其他方法，将实拍图像和用于导航的CG图像叠加而显示。
另外，特开平11-108684号公报中所公开的技术，是通过安装在汽车鼻端的摄像机对行进方向的景色摄像，并通过图像合成部对该背景图像叠加导航信息要素而显示。由此，其目的为仅根据图形的显示，驾驶员能够更感性地掌握汽车的当前位置和行进路线等。
本发明的目的为提供直观易懂的导航系统。若作为导航的例子，针对步行者考虑，则为了给步行者提供直观易懂的导航，一般认为可以容易地直观地得到步行者所可能见到的现实世界的图像和导航图像的对应关系较好。因此，在本发明中，有必要，不仅能够单纯地访问地理信息数据库，而且检测终端(显示屏)的姿势，显示终端无论处于何种姿势，以及在终端的显示屏上显示与步行者会看到的现实世界一致的导航图像。
另外，为了进行更直观的向导，不仅生成与现实世界一致的CG，还要通过摄像机取得现实世界的影像(实拍图像)，并在该实拍图像上叠加用于路径等的导航的CG图像而显示。此时，附设有摄像机的便携式终端，因为由步行者手持而进行操作，为了正确地叠加实拍图像和CG图像，摄像机姿势和显示屏姿势的检测变得重要。因此，在特开2003-232639号公报所公开的技术中，将显示画面全部以CG图像显示，而不需要检测摄像机姿势。另外，在将特开平11-108684号公报的技术适用于便携式导航终端的情况下，由于进行位置检测时不进行摄像机姿势的检测，因此，存在附设摄像机的携带型终端所拍摄的实拍图像和CG图像之间出现偏差的问题。
另一方面，根据以往周知的扩展现实感技术，对地理信息数据库的利用也未必充分，在所谓的导航领域中，将扩展现实感技术充分地利用起来有一定难度。
专利文献1特开2003-232639号公报；专利文献2特开平11-108684号公报。
发明内容
在本发明中，其目的在于在使用便携式信息终端的导航系统中，访问地理信息数据库，检测便携式信息终端的姿势，利用这些信息而生成CG图像，其用于与终端使用者实际看到的风景相一致的向导。另外，其目的在于在附设有摄像机的便携式信息终端中，通过访问地理信息数据库，检测便携式信息终端和摄像机的姿势、将实拍图像和用于向导的CG图像正确地叠加而显示，而实现直观易懂的导航。
本发明中，为了解决课题，除了以往的位置检测模块，还具备姿势检测模块、地理信息数据库访问模块，与使用者所见到的现实世界相一致的路径向导的CG生成模块。另外，还具备摄像机以及摄像机的姿势检测模块，实现了使用者所面向的现实世界、摄像机所拍摄着的输入图像、以及CG图像之间的正确叠加。
按照本发明，在便携式的附设摄像机的信息机器终端中，实现由摄像机所拍摄的实拍图像和CG图像之间的自然叠加的同时，通过灵活运用地理信息数据库，可以实现直观易懂的导航系统。
图1表示使用本发明的导航装置的框图。
图2表示使用本发明的导航装置的外观图。
图3表示终端的姿势检测模块的一例。
图4表示显示对象量和姿势的关系的图。
图5表示因姿势变化引起的显示变化的例子。
图6表示将显示对象量叠加在地图上而显示时的显示画面的例子。
图7表示使画面移动的情况下的显示例。
图8表示利用通信线路而取得显示对象的信息时的框图。
图9表示三维地取得公共汽车的位置而显示的显示例。
图10表示附设摄相机的便携式终端的图。
图11表示摄相机的朝向可以变更的附设摄像机的便携式终端的图。
图12表示使用本发明的导航系统的框图。
图13表示进行导航的路径的地图。
图14表示导航路径显示例。
图15表示步行者行进时的显示例。
图16表示步行者继续行进，并将终端朝向左边时的显示例。
图17表示使用本发明的便携式终端的硬件的结构例。
图18表示在导航系统中使用风景CG图像时的框图。
图中10201-显示对象量检测模块，10202-提示用形状姿势生成模块，10203-显示图像生成模块，10204-姿势检测模块，10205-视线向量计算模块，11301-发话文本生成模块，11302-发话声音生成模块，17001-地理信息数据库，17003-位置检测模块，27004-摄像机视线向量计算模块，27005-摄像机图像输入模块，27006-显示图像合成模块，27007-摄像机旋转角取得模块，27008-路径搜索模块，27009-描绘用地理/路径数据生成模块。
具体实施例方式
参照附图，说明使用本发明的导航系统的实施方式。
〔第一实施例〕图1是表示使用本发明的导航装置的整体结构的图。本导航装置由以下模块构成视线向量计算模块10205，其通过姿势检测模块10204检测终端的姿势，并基于该检测量而计算与设于导航装置的显示屏垂直的视线向量；显示对象量检测模块10201；提示用形状姿势生成模块10202，其求取用于显示所述显示对象量检测模块10201的检测量的显示对象的提示用形状及姿势；显示图像生成模块10203，其使用由提示用形状姿势生成模块10202所生成的形状、由视线向量计算模块10205计算所得的视线向量对显示对象进行显示。
接下来，利用作为使用本发明的导航装置的终端的外观图的图2、终端的姿势检测模块的动作例的图3、以及表示显示对象量和视线的关系的图的图4，说明图1的工作。作为例子，说明在使终端的姿势做种种变化的情况下，将在本实施方式中作为显示对象量而表示磁北的向量(表示与水平面平行的磁北的向量，例如像10007那样的指南针所指示的向量)，进行如下方式的显示，即将安装于终端10005的显示用画面(显示屏)10003作为观察窗，而将指南针10007可视化。
虽然本实施方式的终端10005示出了应用程序工作的移动电话机的外观，但只要是如PDA或附设显示画面的手表等，可显示形状的显示屏10003和应用程序工作的终端，怎样的方式均可。
在终端10005中，内置检测姿势的姿势检测模块10204。使用该姿势检测模块10204，检测显示屏的姿势。用图3说明姿势检测的一例。姿势检测模块10204被做成为备有加速度传感器和磁传感器并设置于显示屏10003上。重力向量10304由诸如三轴加速度传感器求得。重力加速度若在静止状态是1G，成为与水平面10303垂直的分量。由于显示屏10003倾斜，因此从各加速度传感器输出与重力向量10304和各个加速度传感器所成的角成比例的输出量。因此，根据各传感器的分量值，能够求得显示屏10003所受到的重力向量10304。即，该重力向量的分量，表示显示屏10003的倾斜度。
接下来，为确定显示屏10003所面向的方向而利用地磁向量。地磁向量10302，向着磁北向量(10306)的方向并以俯视角(10305)面向水平面10303。地磁向量10302可以用三轴的磁传感器观测。
因而，由于通过使用刚才的重力向量10304和地磁向量10302能够检测出显示屏10003的倾斜度和所面向的绝对方位，因此能够检测出显示屏10003的绝对姿势(倾斜度和方位)。若显示屏10003的姿势能够检测出，则能够求出与该显示屏垂直的视线向量10002。该运算使用垂直于显示屏的视线向量计算模块10205进行。
接下来，说明显示对象量检测模块10201。由于本实施例中采用作为显示对象量的磁北向量为例，因此在显示对象量检测模块10201中使用磁传感器的输出。该磁传感器的输出，可以直接利用检测显示屏10003的姿势的磁传感器的输出。在图3中，磁北向量10306，可以通过将地磁向量10302投影到水平面10303，而求得。该投影计算，通过求取显示对象的提示用形状及其姿势的提示用形状姿势生成模块10202进行。这里所说的提示用形状，是指容易明白地显示磁北向量的指示方向的形状，在图2中将圆锥10008设成该形状。另外，所谓提示用形状的姿势是磁北向量的方向，可以通过上述投影方法而求得。显然，作为提示用形状也可以使用圆锥以外的诸如箭头或人的指示状手指等。在显示屏上将这些提示形状坐标变换为与地磁向量10302相同的方向。
利用图4说明，基于视线向量10002和显示对象量10008的姿势而在显示屏10003中显示的方法。具有配置显示对象量10008等时的世界坐标系10401，以及将显示对象量10008等显示时的显示屏坐标系10004。视点位置存在于，显示屏坐标系10004中的，垂直于显示屏的，通过原点的视线向量10002上。注视点置为世界坐标系10401中显示对象量10008的位置。因此，通过对显示对象量10008的位置，从对应于显示屏坐标系10004的视点位置进行透视变换，而求得显示对象量10008的显示屏10003的提示用形状。通过变化显示屏10003的姿势，显示对象量10008的提示用形状的显示发生变化。
图5表示其显示的一例和视点的位置。视线10506处于相对于显示屏10003的垂直方向向东的状态。此时，显示对象量10008以指向左的方式而被显示。北表示相对于显示屏10003位于左侧。视线10505，垂直于显示屏10003而发出，是朝向大致北的北东方向的状态。此时，显示对象量10008稍微朝向左侧，北表示相对于显示屏10003稍微偏左的方向。视线10504，是将显示屏10003放置得平行于(正上方观察)地面而俯视的状态。此时表示从正上方观察时的北的方向。这样，由于即使各种姿势，也能够直接可视化显示对象量10008(地磁向量10302)，因此能够直观地理解显示对象量10008的指示方向。
另外，在本实施方式中，虽然说明了作为显示对象量10008而描绘地磁向量10302的例子，但是也可以作为显示对象量10008而表示水平面10303的倾斜，也可以表示地磁向量10302。此外，作为表现该位置的场的状态的模块，本实施方式也适用。
接下来关于使用地理信息数据库17001和终端的位置检测模块17003、以当前位置为基准对地理信息和显示对象量10008进行显示的方法进行说明。图1的终端的位置检测模块17003，利用GPS或无线LAN的基站信息、移动电话的基站信息、安装于地面或墙壁、物体上的RFID的信息等，而检测位置。这里，检测的位置信息，也可以是以经度、纬度、高度表示的地理坐标值，或以X、Y、Z表示的三维正交坐标系。关于高度，也可以是椭圆体高、标高、楼层的层数等的值。在高度的检测中，也可以将高度计与位置检测模块一起使用等。仅仅使用图1所示的结构只是检测了显示对象量10008时的状态，但是通过位置检测模块17003而检测位置信息，即可以判断终端存在于地理上的何处的位置。
在地理信息数据库17001中存储着道路数据、建筑物数据、以及关于店铺的位置和营业时间等地理信息的各种数据。描绘用地理数据生成模块17002，将这些数据变换为可视化的形状数据。若基于位置检测模块17003的信息，通过描绘用地理数据生成模块17002将周围的地理信息变换为形状数据而描绘，则能够如图6所示，将终端位置10703定为中心，将显示屏10003的上端定为北，而描绘出周围的地理信息10702。另外，通过图2所说明的方法，可以叠加地显示将显示对象量(该例中为磁北向量)三维地可视化后的形状10701。表示该磁北向量的形状10701，是根据显示屏10003的倾斜，从观察窗观察的可视化后的图像，具有如下特征，其通过三维地可视化终端位置10703的信息和磁北向量10701的状况，能够直观地理解终端的位置和磁北向量的状况。
另外，虽然与地理信息10702相对应的显示方向是固定的(上方为北)，但是通过由视线向量计算模块10205检测与显示屏10003相垂直的视线方向，可以以终端位置10703为中心旋转而显示地图，以使得与显示屏10003垂直的视线方向所朝向的方位为上。此时，由于能够描绘将自己所朝向的方向设为上时的地理信息，因此能够提示可更直观地理解的地理信息。
图7(a)是在与图13的水平面10303相同的位置配置地理信息的图像而描绘的例子。水平面的状态，利用由视线向量计算模块10205计算视线向量10002时所计算出的与显示屏10003相对的水平面的位置关系，而检测。通过在该水平面上叠加由描绘用地理数据生成模块17002所生成的描绘用地理数据，能够在画面上生成从显示屏10003观察时所见到的地理信息(同现实世界等同)。图7(a)是表现垂直于显示屏10003而观察的状态的画面。通过将地理信息10801用远近法描绘，能够感觉到是在往里走。图7(b)是将图7(a)的荧光屏10003向右方向旋转的例子。与旋转相对应，水平面的位置也变化，地理信息10801被描绘为与现实世界的水平面相平行。图7(c)是进一步旋转显示屏10003而达到完全横过来时的状态。即使在该状态，地理信息10801也以与现实世界的水平面相同的位置关系而被描绘。
另外，在旋转视点方向的情况(例如，将观察方位从北向西变换时)下，由于水平面也绕显示屏10003的旋转轴而旋转，因此即使变换方位，和现实世界的对应关系也不会脱节。另外，由于即使在将显示屏置于和地面平行而进行观察地面方向的动作的情况下水平面也随之而变，因此也能够生成，如图6的描绘图像10702那样从正上方观察的地理信息的图像。因此，无论将显示屏10003向哪个方向旋转，由于能够提供与现实世界相对应而取得的地理信息，因而能够提供直观的易于理解的地理信息。
另外，在通过姿势检测模块，检测到垂直于显示屏的向量与重力向量所成的角，在某一角度以下(例如10度以下)的情况下，也可以显示如图6所示的二维地图，而在不是这种情况下，显示如图7的三维地图。此时，为了描绘如图6的地图，可以将终端检测模块的视点的高度做得比实际高(例如高100m等)，在垂直于显示屏的视线向量计算模块中，将视线向量做得与重力向量一致。
为了在作为信息提供手段的图像信息以外并用声音，或者单独利用声音而提示，使用发话文本生成模块11301、发话声音生成模块11302。发话文本生成模块11301，将由提示用形状姿势生成模块10202和视线向量计算模块10205导出的显示屏和显示对象量的关系(将图6中的显示对象量三维地可视化后的形状10701)，变换为发话文本。例如，在显示屏以如图6的姿势，而显示对象量如10701那样朝向的情况下，生成〔画面的左上方的向里走的方向指向北〕之类的发话文本，利用发话声音生成模块11302，将所生成的发话文本变换为声音信号，并通过扬声器或耳机作为声音而输出。
另外，根据不是显示对象量的显示屏10003的姿势，通过地理信息数据库17001以及其与视线向量之间的关系，能够将此处所显示的地理信息，由发话文本生成模块11301生成发话文本。例如，在如图6所显示的图像被显示的情况下，如“位于右边的楼房是○△大楼。左边的楼房是□×大楼”的发话文本由发话文本生成模块11301生成，并使用发话声音生成模块11302以声音输出。另外，虽然在上述实施方式中，以垂直于荧光屏的视线向量为基准，也可以将指向终端的特定方向的向量，例如若是移动电话机可将天线的指示方向，作为基准方向而发出声音。此时，可将天线指示方向的楼房名称或山的名称等，在不看画面的情况下而只有声音进行向导。
至此，虽然以在终端中内置姿势检测模块10204和显示对象检测模块10201为前提进行了说明，但也可以做成以附属部件形式安装在外部的方式。此时，通过定义显示屏的姿势与附属部件的姿势或安装位置关系，能够实现同样的结构。
接下来，利用图8说明，终端自身未能检测到显示对象(目标对象物)而利用通信线路取得显示目标对象的信息的实施方式。在本实施例的变形中，目标对象物形状姿势生成模块11401、通信模块11402、11403、目标对象物位置姿势检测模块11404，与检测模块10201等同，是检测目标物的位置和姿势、状态的传感器。通过通信模块11402、11403，将使用该传感器检测目标物的位置信息(包含高度)或姿势等所得到的信息，发送到目标对象物形状姿势生成模块11401。在目标对象物形状姿势生成模块11401中，进行用以将由目标对象物位置姿势检测模块11404所检测的量图形显示的变换，并考虑终端(显示屏10003)的姿势，以显示图像生成模块10203的显示图像的生成方法进行描绘。
在采用例如作为目标对象物的线路公共汽车的情况下，在目标对象物位置姿势检测模块11404中检测公共汽车的当前位置。公共汽车的当前位置可以利用GPS等检测出。通过通信模块11403、11402，将该当前位置信息发送到终端10005。由于终端10005的位置能够由终端的位置检测模块17003检测，显示屏的位置能够由视线向量计算模块10205检测，因此若将终端的显示屏10003朝向公共汽车行驶的方向，则能够三维地掌握图9所示的公共汽车的当前位置11501。在11502，基于公共汽车的ID信息等，而显示着行驶目的地。由于在检测着显示屏10003的姿势，因此无论终端处于何种姿势，一旦进入到该显示屏的视野内，就能够掌握公共汽车的位置和方向。虽然在图9中将公共汽车作为目标对象物而进行了显示，但对于将等待公共汽车的人作为目标对象物而描绘的情况下，也能够以同样的方法实现。藉此可以直观地掌握等待的人当前处于何方，何种程度地远离。
(第二实施例)在第一实施例中，进行了，将导航终端的使用者所看到的现实世界通过CG而生成路径的向导。在本实施方式中，将导航终端的使用者所看到的现实世界，通过附属于终端的摄像机而摄影，并将其与路径向导的CG叠加，而进行路径诱导。
图10是表示作为附有摄像机的便携式终端的例子的移动电话机的图。在移动电话机20105中，摄像机20009内置或连接，所拍摄的图像在显示屏10003上显示。摄像机的摄像方向的向量(视线向量)20010和垂直于显示屏的向量20011的关系预先确定。在移动电话机20105中，检测姿势的姿势检测模块10204被内置。使用该姿势检测模块10204，检测显示屏的位置。虽然在图10中，摄像机做成被安装于显示屏上部的器件，但摄像机的摄像方向，朝向与观察显示屏的终端使用者的视线相同的方向。
作为摄像机的安装方法的另一例，考虑到了摄像机的朝向能够变更。在图11中示出了这种结构例。图11是将摄像机做成可旋转地安装的例子。在该图中，摄像机20009被设置于终端的可折叠铰链部分，形成为以折叠部为轴旋转角可变。这里，摄像机的旋转角20014，定义为将图11的垂直于显示屏向量20011看作基准的摄像机视线向量20012的旋转角θ。这里，所谓摄像机的视线向量表示平行于摄像机的镜头的光轴方向，而朝向透镜的整个面的向量。本终端可以测量该θ，在终端使用者用手旋转摄像机的情况下，显示屏和摄像机的视线向量的关系也能够测量。
接下来，用图12说明关于导航系统的动作。在图12的系统中，除了第一实施例的图1的系统，还备有摄像机视线向量计算模块27004、摄像机图像输入模块27005、显示图像合成模块27006、摄像机旋转角取得模块27007、路径搜索模块27008。另外，备有描绘用地理/路径数据生成模块27009，代替图1的描绘用地理/数据生成模块17002。
摄像机旋转角取得模块27007，取得便携式终端上的摄像机的旋转角，将该信息传送到摄像机视线向量计算模块27004。这里摄像机的旋转角是指将图11的向量20011看作基准的摄像机视线向量20012的旋转角θ20014。在如图10的摄像机和便携式终端的姿势的关系一定的情况下，摄像机旋转角取得模块27007设成连续输出0度旋转角。摄像机视线向量计算模块27004，接收摄像机的旋转角信息，并将摄像机的视场角和镜头的变形的信息，作为数据库存储在摄像机视线向量计算模块27004中，将投影CG时的必要的视场角和镜头的变形等摄像机参数，输出到显示图像生成模块10203中。
摄像机图像输入模块27005，连续取得来自附属于便携式终端的摄像机的图像，并且连续地(streamingly)输出到显示图像合成模块27006中。显示图像合成模块27006，接收来自显示图像生成模块10203的用于导航的CG图像，进行将CG图像叠加在由摄像机图像输入模块27005所接收的来自摄像机的输入图像上的处理，并在便携式终端的显示屏上显示。
在路径搜索模块27008中，存储步行者预先设定的出发地点、目的地、经由地、交通工具(公共汽车、电车、飞机、轮船等)信息，另外，基于这些信息，通过在地理信息数据库17001中进行访问，而进行步行者的诱导路径的搜索，所搜索的结果存储在路径搜索模块27008中。另外，路径搜索模块27008，根据描绘用地理/路径数据生成模块27009的需要，将预先搜索的向导路径作为三维坐标的数据列而输出。
描绘用地理/路径数据生成模块27009，将地理信息数据库17001中存储的道路数据、建筑物数据、店铺的位置数据等地理信息可视化，并基于路径搜索模块27008所输出的三维坐标的数据列，将向导路径作为三维的CG而显示。另外，此时受理来自摄像机视线向量计算模块27004的摄像机的视场角或镜头的变形等摄像机参数信息，并基于该参数信息生成与摄像机图像一致的CG图像。另外，在显示对象提示用形状姿势生成模块27010中，也受理来自摄像机视线向量计算模块27004的摄像机的视场角或镜头的变形等摄像机参数信息，并基于该参数信息生成与摄像机图像一致的显示对象量的CG图像。
图13表示使用本发明的导航系统的路径向导的例子的地图。在地理信息数据库17001中，除了道路(车道)20412、20426，人行道20405、20413、20424之类的道路数据外，存储有过街天桥20407、斑马线20411、立交桥20418、铁路20401、车站20402、成为路标的建筑物20414、20421等设施信息或地形的三维形状信息(以沿着纬度和经度等间隔的网格而被分割的区域的高度信息或路侧的高度信息等)以及交通标志的设置信息(设置位置和标志类别或显示内容)。向导路径20423表示由路径搜索模块27008搜索所得的步行者的诱导路径。另外，视点20425、20494、20495分别表示图14、图15、图16的视点位置和终端的方向(视线的方向)。于是，视点20425的视野，由所看到的范围的左端20408、所看到的范围的右端20417、表示视野的最远方的位置的圆弧20420所表示。
图14是本实施例的用于路径诱导的路径显示画面。图13的视点20425所示出的路径诱导位于开始的地点，步行者站于当前的人行道，手中拿着移动电话机20105。在移动电话机的显示装置中，由摄像机图像输入模块27005所输入的由移动电话机的摄像机正在拍摄的风景图像被显示。若步行者的手移动，则显示模块中所显示的风景图像也随着该移动而移动。本实施例中，图像的更新周期做成100毫秒。若使用图10所示的附有摄像机的移动电话机20105，通过使用相对于显示屏朝向相反方向的摄像机，则能够在显示屏上显示出，与当前使用者在显示屏上所看到的现实世界相同的图像。
在图14所示的路径显示画面中，进行使用本发明的导航系统的路径显示。在移动电话机20105的主显示屏中20511中，显示所谓的由移动电话机20105的摄像机所拍摄的图像人行道20107、车道20426、交通标志20102、立交桥20418等设施信息、山20104和建筑工地20110、树林20101。通过显示图像合成模块27006，在来自拍摄中的摄像机的图像的上部合成并显示，日期及时刻显示20301、至目的地的预定到达时间20501、至经由地点的预定地点时间20502。另外，通过显示图像合成模块27006，在由摄像机正在拍摄的图像上叠加并描绘表示向导路径(诱导路径)20423的箭头、表示不在视野的建筑物20414的轮廓的显示、表示交叉点20508的显示、表示斑马线20411的虚线20512。另外，对于向导路径20423，成为视野范围外的部分、以及通过基于地形的三维形状信息从视点位置观察的成为阴面的范围的部分，均用虚线描绘。
在表示向导路径20423的箭头的描绘中，箭头前端的间隔表示一定的步行距离，本实施例中假定为一分钟。进入视野中的向导路径20423的一部分用三根实线表现。向导路径20423，随着步行者的位置由近而远，较窄地显示该三根实线的间隔，而表示向里走。这是通过显示图像生成模块10203的显示变换处理(透视变换处理)而进行的。表示交叉点的显示20508，以线图表示在视野外某T字路口的向导路径20423的诱导交叉点轮廓。另外，虚线20512表示设置于位于视野外的诱导交叉点的斑马线20411的存在，表示根据向导路径20423在T字路左转。另外，向导路径20423上的哪个交叉点成为诱导交叉点，在由路径搜索模块27008搜索向导路径时决定。从图14所显示着的视野，由步行者观察，将移动电话机朝向左方向的情况下，在显示屏所显示着的摄像机的图像随移动电话机的朝向的变化而运动变化。与此同时，重叠于摄像机图像而被描绘的路径的CG图像同样变化。
图15、图16表示根据图14所示画面的诱导，步行者向更远地点的路径行进时的导航系统的显示。图15是表示在图13的视点20494的位置的视野中所见到的路径的CG图像的画面。图16是表示居于视点20495的位置，与图15相比，由步行者观察，将移动电话机向左转的视野中所见到的路径的CG图像的画面。在图15中，对于在视点20425的视野中由周围地形所隐藏的以波浪线描绘的向导路径20423被以实线描绘。存在于视点20425的视野外的斑马线20411和建筑20414的虚线显示消失，仅有摄像机的图像。
另外在图16中，在视点20495中由周围地形隐藏的过街天桥20407的一部分由CG图像通过虚线20803所补充。同样，向导路径20423由周围地形隐藏的部分也由虚线描绘。但是，对于被树木或树林等植物20806所隐藏的部分，由于根据地形的三维形状信息不能判定向导路径存在于阴面，结果被用实线描绘。另外，对于不是诱导交叉点的与道路地面等的交叉点，仅描绘表示其存在的简单的线图20808。因此，对于作为向导路径的目的地的车站20402，重叠描绘用于强调其存在的标记20802。
图17表示使用本发明的导航系统(移动电话机)的硬件结构的图。移动电话机20105如下构成相互连接在系统总线20902的只读存储器(ROM)20901、随机访问存储器(RAM)20903、中央运算处理电路(CPU)20904、图像输入电路20905、压力传感器20918所连接的模拟数字变换电路(A/D)20912和数字模拟变换电路(D/A)20913、以及由加速度传感器20914、方位传感器20915、角速度传感器20916、全球定位系统信号接收器(GPS)20917等传感器所连接的串行接口(SCI1)20910和与外部机器通信的串行接口(SCI2)20911、通信模块20919及其所连接的天线20920。
CPU20904控制导航系统全体的动作，在ROM20901中存储对于导航系统的动作必要的基本的程序。进一步追加必要的程序，可根据需要通过通信模块20919，而下载到RAM20903。另外，在RAM20903中，也存储执行时需要的暂时数据。另外，来自加速度传感器20914、方位传感器20915、角速度传感器20916、GPS20917的信息，经由串行接口20910而由CPU20904处理。压力传感器20918的信息，经由模拟数字变换电路20912而由CPU20904处理。另外，根据来自数字模拟变换电路20913的输出到压力传感器20918的模拟信号，决定压力传感器的补偿值以及放大率。藉此，能够以较少的离散的量化数，对较宽的范围高精度地采样。
便携式终端静止时，通过由加速度传感器20914检测重力加速度，能够得到关于便携式终端的倾斜的信息。该加速度传感器做成三轴传感器。另外，通过由加速度传感器20914测算移动电话机的上下运动的频率数，能够概算正拿着该移动电话机的人的步行速度。通过将由方位传感器20915得到的信息和由加速度传感器20914得到的信息组合，能够得到终端的摄像机所朝向的方位信息。通过将方位传感器和加速度传感器的信息组合，能够校正方位的紊乱。通过GPS20917，能够得到绝对的纬度经度信息。
以上，在本实施例的说明中，说明了实拍图像与作为主体的路径CG图像的叠加。然而，也可以用风景CG图像以替代实拍图像。此时，通过在第一实施例中附加路径向导功能，可以用全部CG进行的路径向导。
图18表示将路径CG图像叠加在风景CG图像时系统的结构例。风景CG生成处理22901，接收来自GIS信息21001、位置检测处理21003、姿势检测处理21004的信息，而生成实际上由摄像机所见到的风景的三维CG。三维CG的视点位置以及视线方向，与上述的说明同样地被求得。
另外，通过选择器23001，将风景图像在实拍图像和三维CG之间进行切换，在来自图像输入处理21006的实拍图像和来自风景CG生成处理22901的CG之间进行切换，做成在图像叠加处理21008中传送图像数据的结构。作为风景图像通过做成容易在实拍图像和CG之间切换，可以区别地使用在希望减轻计算机或网络负荷的情况下使用实拍图像；另外，在夜间或雨、雾天等实拍图像不太好看的情况下使用CG。
通过将本发明用于便携式终端，通过组合实拍图像和CG图像而进行直观易懂的向导显示，能够实现易于使用的路径向导系统。
权利要求
1.一种终端装置，包括位置检测模块和显示模块，其特征在于，所述终端装置包括地理信息存储模块，其存储地形的三维形状信息；姿势检测模块，其检测所述终端装置的姿势；以及图像生成模块，其基于由所述姿势检测模块所求得的姿势信息，求得与终端所具有的所述显示模块垂直的方向的向量信息，根据由所述位置检测模块所求得的当前位置和由所述向量信息所确定的视线的信息以及所述地理信息存储模块的三维形状信息，生成该视点的三维地形图像；在使所述终端装置的姿势变化的情况下，随着该姿势变化而更新所述显示模块上的三维地形图像。
2.一种终端装置，包括用于输入图像的摄像机、位置检测模块和显示模块，其特征在于，所述终端装置包括地理信息存储模块，其存储地形的三维形状信息；姿势检测模块，其检测所述终端装置的姿势；图像生成模块，其基于由所述姿势检测模块所求得的姿势信息，求得与终端所具有的所述显示模块垂直的方向的向量信息，根据由所述位置检测模块所求得的当前位置和由所述向量信息所确定的视线的信息以及所述地理信息存储模块的三维形状信息，生成该视点的三维地形图像；以及图像合成模块，其将所述三维地形图像叠加在来自所述摄像机的图像上；在使所述终端装置的姿势变化的情况下，随着该姿势变化，将叠加在来自所述摄像机的图像上的三维地形图像更新。
3.根据权利要求2所述的终端装置，其特征在于，包括变更量检测模块，其检测相对于与所述显示模块垂直的方向的向量的摄像机的光轴方向的变更量；在所述图像生成模块中生成三维地形图像时，以所述检测得到的变化量校正所述视线的信息；即使在变更所述摄像机的安装方向或位置的情况下，也做成使所述显示模块的显示中来自所述摄像机的图像与叠加在该图像上的三维地形图像一致。
4.一种导航装置，包括用于图像输入的摄像机、位置检测模块、路径搜索模块和显示模块，其特征在于，所述导航装置包括地理信息存储模块，其存储地形的三维形状信息；姿势检测模块，其检测所述导航装置的姿势；图像生成模块，其基于由所述姿势检测模块所求得的姿势信息，求得与终端所具有的所述显示模块垂直的方向的向量信息，根据由所述位置检测模块所求得的当前位置和由所述向量信息所确定的视线的信息以及所述地理信息存储模块的三维形状信息，生成该视点的由所述路径搜索模块所求得的诱导路径以及诱导信息的三维形状图像；以及图像合成模块，其将所述诱导路径及诱导信息的三维形状图像叠加在来自所述摄像机的图像上；在导航装置的姿势或当前位置变化的情况下，随着该变化，将叠加在来自所述摄像机的图像上的三维形状图像更新。
5.根据权利要求4所述的导航装置，其特征在于，包括变更量检测模块，其检测相对于与所述显示模块垂直的方向的向量的摄像机的光轴方向的变更量；在所述图像生成模块中生成三维形状图像时，以所述检测的变化量校正所述视线的信息；即使在变更所述摄像机的安装方向或位置的情况下，也做成使所述显示模块的显示中来自所述摄像机的图像与叠加在该图像上的三维形状图像一致。
6.根据权利要求4所述的导航装置，其特征在于，在所述摄像机所涉及的图像摄影范围内，对于存在信息被注册在地理信息数据库中的建筑物的情况，强调显示该建筑物。
全文摘要
本发明公开一种导航装置，其除了由GPS构成的位置检测模块外，还具备加速度传感器或磁传感器等的姿势检测模块、以及地理信息数据库，进一步具备摄像机和摄像机的姿势检测模块。备有CG生成模块，其基于来自位置检测模块和姿势检测模块的信号，根据地理信息数据库的信息，生成与利用者将摄像机所朝向着的现实世界相一致的路径向导的CG图像，实现由摄像机所拍摄着的输入图像和所生成的CG图像之间的正确叠加。因此，在便携式的附带摄像机的信息机器终端中，组合由摄像机所拍摄的实拍图像和CG图像，可以实现直观易懂的导航系统。从而克服以往的导航技术中存在的由附带摄像机的终端所拍摄的实拍图像和CG图像之间不一致的问题。
文档编号G01C21/26GK1755326SQ20051010994
公开日2006年4月5日 申请日期2005年9月20日 优先权日2004年10月1日
发明者高桥宜孝, 鹈沼宗利, 堀江武, 大津文隆 申请人:株式会社日立制造作