专利名称：信息处理设备和信息处理方法
技术领域：
本发明涉及一种信息处理设备、信息处理方法和信息处理系统。具体地，本发明涉及一种基于真实景象进行导航的信息处理设备、信息处理方法和信息处理系统。
背景技术：
近些年来，导航技术正在变得越来越受到用户的欢迎，并且开发出了大量的基于导航技术的应用。现有的导航设备都是获得导航设备(用户)的当前位置，并且在二维地图或三维地图上，基于导航设备的当前位置、目的地位置以及基于这两个位置搜索到的路线来对用户进行引导。然而，现有的导航设备仍然存在一些缺陷。例如，二维地图不够直观，也就是用户很难将二维地图中的文字信息与现实中的对象(如，建筑、公园等)联系起来。此外，虽然三维地图相对于二维地图来说更加直观且较容易进行识别，但是三维地图需要大量的地理信息数据库以及模型，因此其占用了大量的存储空间，并且三维地图在制作和更新时都比较费力。
发明内容
针对现有技术中的上述问题，本发明一种基于虚拟现实技术的导航设备和方法， 其中关于导航的信息可以直接叠加在摄像头拍摄的实时图像上，例如可以将原本在电子地图上渲染的路线叠加在摄像头拍摄的预览画面中的真实道路上，从而给用户以非常直观和生动的感受。根据本发明的一方面，提出一种信息处理设备，包括图像采集单元，配置来采集图像；定位单元，配置来获得信息处理设备的当前位置数据；方向传感器，配置来确定信息处理设备的朝向数据；导航单元，配置来获得目的地位置数据以及地图数据，并且基于当前位置数据、目的地位置数据以及地图数据来计算路线；处理单元，配置来基于朝向数据和路线产生导航信息，将导航信息与图像叠加以产生叠加图像，并且将叠加图像发送到显示设备以显示所述叠加图像。此外，根据本发明的另一方面，提供一种应用于信息处理设备的信息处理方法，包括采集图像；获得信息处理设备的当前位置数据；获得信息处理设备的朝向数据；获得目的地位置数据以及地图数据，并且基于当前位置数据、目的地位置数据以及地图数据计算路线；基于所述朝向数据和所述路线产生导航信息，将所述导航信息与所述图像叠加以产生叠加图像，并且显示所述叠加图像。此外，根据本发明的另一方面，提供一种信息处理设备，包括图像采集单元，配置来采集图像；定位单元，配置来获得信息处理设备的当前位置数据；方向传感器，配置来确定信息处理设备的朝向数据；通信单元，配置来将当前位置数据以及目的地位置数据传送到外部服务器，并且从外部服务器接收路线信息，其中外部服务器存储地图数据，路线信息是外部服务器基于当前位置数据、目的地位置数据以及地图数据计算的；处理单元，配置来基于朝向数据和路线信息产生导航信息，将导航信息与图像叠加以产生叠加图像，并且将叠加图像发送到显示单元以显示叠加图像。根据本发明的上述实施例，通过定位单元，方向传感器和倾斜传感器等获取信息处理设备的当前位置，方向和观测角度，通过服务器或在本地计算路径并产生关于导航的信息，并且将关于导航的信息叠加在图像采集单元拍摄的真实景象上。基于上述配置，通过将关于导航的信息与图像采集单元拍摄的真实画面组合，可以向用户提供直观和生动的导航。
图1是根据本发明第一实施例的信息处理设备的结构的示意方框图；图2是图解根据本发明第二实施例的信息处理设备的结构的示意方框图；图3是图解图1所示的图像处理设备执行的步骤的流程图；图4是图解图2所示的图像处理设备执行的步骤的流程图；图5是根据本发明第三实施例的信息处理设备的示意方框图；图6是根据本发明第四实施例的信息处理系统的示意方框图。
具体实施例方式下面，将参照附图详细描述根据本发明的各个实施例。这里，需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。图1是根据本发明第一实施例的信息处理设备100的结构的示意方框图。如图1所示，根据本发明实施例的信息处理设备100可以是诸如手机或笔记本之类的终端装置，并且可以包括定位单元101、方向传感器102、摄像头单元103、导航单元104 和处理单元105。根据本发明的一个实施例，定位单元101连接到导航单元104和处理单元 105，方向传感器102连接到处理单元105，摄像头单元103连接到处理单元105，而导航单元104与处理单元105相连。根据本发明的示例性实施例，定位单元101可以由任意的GPS(全球定位系统)模块实现，该定位单元101可以基于来自GPS卫星的信号来确定信息处理设备100的当前位置，并且产生与信息处理设备100的当前位置有关的数据(如，经纬度以及海拔信息)。此外，在信息处理设备100(如，手机)支持移动通信功能的情况下，定位单元101还可以由基于基站信号来确定信息处理设备100的当前位置(也就是基站定位)的模块实现。方向传感器102可以由包括地磁传感器、陀螺仪或光学方向传感器之类的任意方向传感器实现，并且可以用作信息处理设备100的电子罗盘。该方向传感器102能够产生反映信息处理设备100的朝向的数据，也就是，信息处理设备100朝向哪个方向的数据。摄像头单元103可以由包括镜头组件以及CMOS感光元件或CXD感光元件的任意摄像头组件实现，并且摄像头单元103可以通过拍摄对象来采集(产生)与拍摄对象对应的图像数据。导航单元104可以由能够基于预定的程序执行对应的功能的任意的处理器、微处理器、DSP等实现，或者可以由内置了导航软件的专用导航芯片实现。在这种情况下，导航单元104可以获得由用户通过输入/输出单元(未示出)输入的目的地位置数据或在本地存储的历史目的地位置数据。此外，导航单元104还可以获得在本地的地图数据库(未示出)中存储的地图数据或通过通信模块(未示出)获得存储在信息处理设备100之外的地图数据，并且基于当前位置数据、目的地位置数据以及地图数据来计算路线。处理单元105可以由能够基于预定的程序执行对应的功能的任意的处理器、微处理器、DSP等实现。根据本发明的实施例，处理单元105可以基于朝向数据将与导航信息叠加在摄像头单元103采集的图像数据中以产生叠加图像。处理单元105还可以将所产生的叠加图像发送到信息处理设备100的显示单元(未示出)或与信息处理设备100连接的外部显示设备以显示所述叠加图像。这里，需要注意的是，本发明不限于此。显然，导航单元 104和处理单元105可以由一个处理器、微处理器或DSP等实现。该处理器、微处理器或DSP 可以基于不同的应用程序执行导航单元104和处理单元105的功能。下面将具体描述根据本发明实施例的信息处理设备100执行导航处理时执行的操作。在用户利用根据本发明实施例的信息处理设备100进行基于真实景象的导航时， 诸如GPS模块之类的定位单元101基于来自GPS卫星的信号，确定信息处理设备100的当前位置，并且产生与信息处理设备100的当前位置有关的数据(在下面称为当前位置数据)。 在产生了信息处理设备100的当前位置数据之后，定位单元101将该当前位置数据发送到导航单元104。同时，方向传感器102产生反映信息处理设备100的朝向的数据(下面称为朝向数据)，也就是，指示信息处理设备100面向哪个方向的角度数据，并且将所产生的朝向数据发送到处理单元105。摄像头单元103通过拍摄诸如信息处理设备100的周围的道路或建筑之类的拍摄对象来实时地产生与拍摄对象对应的图像数据。然后，摄像头单元103将所产生的图像数据发送到处理单元105。在要利用根据本发明实施例的信息处理设备100进行导航时，导航单元104首先获得由用户通过信息处理设备100的输入/输出单元(未示出)输入的目的地位置数据。此外，在用户利用之前使用过的目的地位置作为本次导航的目的地地址的情况下，无需用户输入目的地地址，导航单元104还可以从信息处理设备100的存储器(未示出)中读取历史目的地地址作为本次导航的目的地地址。此外，导航单元104接收由定位单元 101发送的当前位置数据。在获得了当前位置数据和目的地位置数据之后，导航单元104 基于在(例如)存储器中存储的地图数据或通过通信模块(未示出)从外部设备获得的地图数据，使用当前位置数据、目的地位置数据计算路线。这里，需要注意的是，可以导航单元104基于任意可用的导航软件或算法来进行路径计算处理。例如，导航单元104可以基于诸如Dijkstra算法、最佳优先搜索算法(Best-First-Search)、广度优先搜索算法 (Breadth-First-Search)、深度优先搜索算法(D^th-FirstIearch)和A*算法之类的算法来实现路线计算。由于路线计算对于本领域技术人员来说是熟知的，因此这里省略了关于路线计算的详细描述。然后，导航单元104将与路线有关的信息发送到处理单元105。例如，与路线有关的信息可以包括(但不限于)构成计算出的路线的各点的坐标、关于指示路径周围的参照物的坐标或指示前进方向的信息等等。下面，将描述将导航信息与摄像头103所拍摄的图像叠加的操作。由于摄像头单元103通常位于信息处理设备100的背面或正面(在这里，将信息处理设备100的主显示屏定义为正面)，并且该摄像头单元103在信息处理设备100上的位置是固定的，因此摄像头单元103的拍摄方向与信息处理设备100的朝向相同或相差180 度。因此，在确定信息处理设备100的朝向的情况下，显然可以容易地确定摄像头单元103 的拍摄方向。此外，例如，在作为车载GPS设备时，信息处理设备100与地面垂直，也就是，摄像头单元103的光轴与地面平行。在这种情况下，由于摄像头单元103的光轴与地面平行，因此，不需要考虑摄像头单元103的拍摄姿态，也就是，不需要考虑摄像头单元的俯仰角对实际拍摄图像的影响，就可以确定摄像头单元103的拍摄范围。根据本发明的示例性实施例， 处理单元105接收由方向传感器102发送的朝向数据。如上所述，在得到朝向数据之后，处理单元105可以获得关于该摄像头单元103的拍摄方向的信息。因此，处理单元105可以很容易确定摄像头单元103向哪个方向(如，向东、向西等)进行拍摄。具体地，在处理单元105从方向传感器102获得朝向数据之后，处理单元105基于该朝向数据获得摄像头单元103的拍摄方向，从而基于拍摄方向确定该拍摄方向与计算出的路线的前进方向之间的相对位置关系，从而产生指示用户应该向哪个方向前进的导航信息(如，向前、向后、向左转、向右转等)，并且(例如)导航信息叠加在摄像头单元103所拍摄的图像上，并且将所述叠加图像发送到信息处理设备100的显示单元(未示出)或与信息处理设备100连接的外部显示设备来向用户指示前进方向。这里，例如，可以在摄像头单元103拍摄的图像的中间位置或其它任意位置上叠加该导航信息。此外，根据本发明的另一个实施例，信息处理设备100还可以将导航信息叠加在摄像头103拍摄的图像的合适位置(如，与计算出的路线对应的道路)上。具体地，例如，除了将当前位置数据发送到导航单元104之外，定位单元105还将当前位置数据发送到处理单元105。如上所述，在处理单元105从方向传感器102获得朝向数据之后，处理单元105可以基于该朝向数据获得摄像头单元103的拍摄方向。因此，处理单元105可以很容易确定摄像头单元103向哪个方向(如，向东、向西等)进行拍摄。此外，由于摄像头单元103的镜头通常为定焦镜头(焦距固定)，而焦距表示镜头的视角(镜头可拍摄的角度)，因此处理单元105很容易基于朝向数据确定摄像头单元103拍摄的景物的范围。此外，在处理单元105获得了当前位置数据之后，处理单元105基于该当前位置数据、朝向数据和所述地图数据来获得所述信息处理设备100(摄像头10 与周围的道路之间的相对位置关系。这里，相对位置关系表示信息处理设备100与周围道路之间的距离以及相对角度。具体地，例如，处理单元105可以从地图数据中获得信息处理设备100周围的道路上的多个点的坐标。此外，在导航单元104发送的与路线有关的信息中包括构成所计算出的路线的各点的坐标数据的情况下，处理单元105还可以不参考地图数据而直接使用与所计算出的路线对应的道路上的多个点的坐标数据。处理单元105可以基于信息处理设备100的当前位置数据与周围道路上多个点的坐标数据之间的差值来计算周围道路的各部分与信息处理设备100之间的距离。处理单元105可以基于信息处理设备100的朝向数据、当前位置数据以及周围道路上多个点的坐标数据(如，经纬度数据)来计算二者之间的水平相对夹角(偏转角)，从而计算出周围道路的各部分与信息处理设备100(摄像头单元10 水平相对角度。此外，类似地，处理单元 105基于信息处理设备100的当前位置数据以及周围道路上多个点的坐标数据(即，海拔信息)来计算二者之间的高度差，并且基于之前获得的距离以及高度差来计算出周围道路的各部分与信息处理设备100(摄像头单元10 垂直相对角度。这里，需要注意的是，信息处理设备100与周围道路之间的相对角度(也就是，二者之间的水平相对角度和垂直相对角度)与摄像头单元103的光轴与周围道路之间的相对角度对应(即，相同或相差180度)，而摄像头单元103的光轴和周围道路之间的相对角度与周围道路在摄像头单元103的成像表面上的成像位置和光轴之间的夹角相同。因此，通过确定周围道路在摄像头单元103的成像表面的位置与摄像头单元103的光轴之间的相对角度，处理单元105显然可以确定周围道路在摄像头单元103拍摄的图像中的横向位置以及纵向位置。在这种情况下，处理单元105基于信息处理设备100与周围道路之间的相对位置关系、以及摄像头单元103的拍摄方向(或范围)很容易确定与计算出的路线对应的道路是否存在于摄像头单元103拍摄的图像中，并且如果该道路存在于摄像头单元103拍摄的图像中，则处理单元105可以基于信息处理设备100与周围道路之间的相对位置关系(对应于周围道路与光轴水平夹角和垂直夹角)以及朝向数据确定该道路在所拍摄的图像中的位置。因此，处理单元105可以基于所确定的位置将导航信息叠加在与计算出的路线对应的道路上。如上所述，处理单元105根据信息处理设备100与周围道路之间的相对位置关系、 以及采集朝向将导航信息(如，关于指示前进方向的箭头图标)叠加在图像中与所述路线对应的道路上。此外，根据本发明的另一实施例，如果处理单元105确定与路线对应的道路存在于摄像头单元103拍摄的图像中，则除了叠加导航信息之外，处理单元105还对所确定的道路进行渲染以突出显示与路线对应的道路。此外，如果与路线对应的道路未存在于摄像头单元103拍摄的图像内的情况下，处理单元105可以将诸如向左或向右转箭头之类的指示前进方向的信息叠加在该图像上。此外，根据本发明的另一实施例，处理单元105可以仅计算与路线对应的道路(而不是周围道路)在摄像头单元103拍摄的图像中的横向位置以及纵向位置，并且将导航信息叠加到图像中与所述路线对应的道路上。通过这样做，处理单元105的运算量相对较少， 因此减轻了处理单元105的负担，并且可以采用相对性能较低的处理单元105以进一步减少成本。通过上述配置，在用户使用信息处理设备100进行导航时，在用户浏览实际拍摄的画面的同时，也可以观察到叠加的虚拟路径或叠加的指示箭头等，因此用户体验更加直观和生动。此外，由于信息处理设备100基于在获取各传感器的数据以及地图数据的基础上对实际拍摄的图像进行处理，因此信息处理设备100不需要大量的数据来在电子地图中存储道路周围的参照物的三维模型，因此节约了大量存储空间，并减少了系统资源的消耗。在上面描述了摄像头单元103的光轴与地面平行(例如，信息处理设备作为车载导航设备)的情况。然而，在用户手持信息处理设备200进行导航的情况下，由于用户手持的方式，摄像头单元103的光轴有可能处于水平或倾斜状态，也就是，摄像头单元103的光轴存在俯仰角。在这种情况下，由于摄像头单元103实际拍摄的画面发生变化，因此，如果仅基于当前位置数据、朝向数据以及地图数据来确定信息处理设备与周围道路之间的相对位置关系，则可能出现信息处理设备100的匹配精度的下降的问题。下面将描述根据本发明第二实施例的信息处理设备的结构和操作。图2是图解根据本发明第二实施例的信息处理设备200的结构的示意方框图。图2所示的信息处理设备200与图1的信息处理设备100之间的区别在于，信息处理设备200进一步包括倾斜传感器201。由于图2所示的信息处理设备200的其他部件与图1的信息处理设备100的其他部件具有相同或类似的结构和功能，因此这里省略了针对它们的结构和操作的重复描述。如图2所示，倾斜传感器201与处理单元105连接，并且可以由诸如重力加速度计之类的姿态传感器实现。该倾斜传感器201可以检测信息处理设备200的姿态，也就是关于信息处理设备200是否水平、竖直放置或倾斜的信息，并且可以将与信息处理设备200的姿态有关的信息(下面称为姿态数据)发送到处理单元105。具体地，在操作中，处理单元105接收由方向传感器102发送的朝向数据以及倾斜传感器201发送的姿态数据。在得到朝向数据和姿态数据之后，处理单元105可以获得关于该摄像头单元103的拍摄方向和拍摄姿态(即，俯仰角)的信息。由于摄像头单元103的焦距通常为定焦，因此基于上述信息，可以很容易获得摄像头单元103拍摄的区域的范围。例如，处理单元105可以基于拍摄方向和拍摄姿态确定摄像头单元103向哪个方向，以哪个角度(如，向上或向下5度)进行拍摄，也就是很容易确定摄像头单元103拍摄景物的范围。此外，在处理单元105获得了当前位置数据之后，处理单元105基于该当前位置数据、朝向数据、姿态数据和所述地图数据来获得所述信息处理设备100(摄像头10 与周围的道路之间的相对位置关系。与针对本发明的第一实施例的描述类似，处理单元105基于信息处理设备100的当前位置数据、朝向数据和地图数据计算周围道路的各部分与信息处理设备200之间的距离、周围道路的各部分与信息处理设备200之间的相对角度(水平相对角度和垂直相对角度)。在这种情况下，周围道路的各部分与信息处理设备200之间的相对水平角度对应于摄像单元103的光轴与周围道路各部分之间的相对水平角度。然而，在信息处理设备200 的姿态导致摄像单元103的光轴与地面不平行的情况下，通过信息处理设备200的当前位置数据和地图数据(如，经纬度和海拔信息)获得的信息处理设备200与周围道路之间的垂直相对角度与摄像头单元103的光轴和周围道路之间的实际垂直夹角不对应。因此，需要考虑信息处理设备200的姿态来计算摄像头单元103的光轴和周围道路之间的实际垂直夹角。具体地，处理单元105从倾斜传感器201获得的信息处理设备200的姿态数据 (如，俯仰角)，该姿态数据对应于摄像头单元103的光轴的俯仰角。在这种情况下，通过利用俯仰角来调整处理单元105计算出的信息处理设备200与周围道路之间的垂直相对角度来计算摄像头单元103的光轴和周围道路之间的实际垂直夹角。通过确定周围道路在摄像头单元103的成像表面的位置与摄像头单元103的光轴之间的相对角度(水平相对角度以及实际的垂直相对角度)，处理单元105可以确定周围道路在摄像头单元103拍摄的图像中的横向位置以及纵向位置。在这种情况下，处理单元105可以基于信息处理设备100与周围道路之间的相对位置关系、拍摄方向和拍摄姿态确定与计算出路线对应的道路是否存在于摄像头单元103 拍摄的图像中，并且如果该道路存在于摄像头单元103拍摄的图像中，则处理单元105很容易确定该道路在所拍摄的图像中的位置。因此，处理单元105可以基于所确定的位置将导航信息叠加在与计算出的路线对应的道路上。通过在信息处理设备中添加倾斜传感器，可以通过考虑测量信息处理设备的姿态 (俯仰角)来更精确地计算信息处理设备的摄像头单元的光轴与周围道路之间的相对位置关系，从而能够精确地确定周围道路在摄像头单元所拍摄的图像上的位置。下面，将描述根据本发明实施例的信息处理设备执行的信息处理方法的各个步
马聚ο图3是图解图1所示的图像处理设备100执行的步骤的流程图。在步骤S301，获得信息处理设备100的当前位置数据。具体地，定位单元101测量并产生与信息处理设备100的当前位置数据，并将其发送到导航单元104。在步骤S302，确定所述信息处理设备的朝向数据。具体地，方向传感器102产生信息处理设备100的朝向数据，并将所产生的朝向数据发送到处理单元105。在步骤S303，拍摄图像。具体地，摄像头单元103通过拍摄信息处理设备100的周围的对象来实时地产生与对象对应的图像数据，并且将所产生的图像数据发送到处理单元 105。在步骤S304，基于所述当前位置数据、目的地位置数据以及地图数据来计算路线。 具体地，导航单元104获得由用户输入或存储在本地的目的地位置数据，并且接收由定位单元101发送的当前位置数据。导航单元104基于本地存储的地图数据或从外部设备获得的地图数据，利用当前位置数据、目的地位置数据计算路线，并且产生与路线有关的信息。在步骤S305，基于朝向数据和路线产生导航信息，将导航信息与拍摄图像叠加以产生叠加图像，并且显示叠加图像。具体地，处理单元105接收朝向数据，以基于朝向数据确定该摄像头单元103的拍摄方向。然后，处理单元105根据拍摄方向以及路线产生导航信息(如，指示向左或向右转的箭头)，并且将该导航信息与摄像头单元103拍摄的图像叠加以产生叠加图像。然后，处理单元105将叠加图像发送到信息处理设备100的显示单元或与信息处理设备100连接的外部显示设备来显示该叠加图像。在上面以顺序方式描述了图1所示的信息处理设备100执行的操作，然而，本发明不限于此，只要能够得到所期望的结果，可以以与上述描述顺序不同的顺序(如，交换其中一些步骤的顺序)执行上述处理。此外，还可以以并行的方式执行其中的一些步骤。此外，图1所示的信息处理设备100还可以将导航信息叠加在摄像头单元103拍摄的图像中的合适位置上。例如，步骤S305还可以进一步包括基于当前位置数据、朝向数据以及地图数据确定导航信息的叠加位置。具体地，处理单元105基于该当前位置数据、朝向数据和地图数据来获得信息处理设备100与周围道路之间的相对位置关系(距离以及相对角度)。基于信息处理设备100与周围道路之间的相对位置关系以及拍摄方向，处理单元105将导航信息叠加在所拍摄的图像中的合适位置上(如，与路线对应的道路上)。下面，将描述根据本发明另一实施例的信息处理设备执行的信息处理方法。图4是图解图2所示的图像处理设备200执行的步骤的流程图。由于图4中的步骤S401 S403以及S405与图3所示的步骤S301 S304相同， 因此这里省略了对上述步骤的重复描述。在步骤S404，确定所述信息处理设备的姿态数据。具体地，倾斜传感器201检测信息处理设备200的姿态，并且将与信息处理设备200的姿态数据发送到处理单元105。在步骤S406，基于朝向数据和路线产生导航信息。具体地，处理单元105接收朝向数据，以基于朝向数据确定该摄像头单元103的拍摄方向。然后，处理单元105根据拍摄方向以及路线产生导航信息(如，指示向左或向右转的箭头)。在步骤S407，基于当前位置数据、姿态数据、朝向数据和地图数据确定导航信息的叠加位置。具体地，处理单元105基于朝向数据以及姿态数据来确定摄像头单元103的拍摄方向和拍摄姿态(俯仰角)。然后，处理单元105基于当前位置数据、朝向数据、姿态数据和地图数据来获得所述信息处理设备200与周围的道路之间的相对位置关系。基于信息处理设备200与周围道路之间的相对位置关系、以及拍摄方向以及拍摄姿态，处理单元105将导航对应信息叠加在所拍摄的图像中的合适位置上(如，与路线对应的道路上)。在上面以顺序方式描述了图2所示的信息处理设备200执行的操作，然而，本发明不限于此，只要能够得到所期望的结果，可以以与上述描述顺序不同的顺序(如，交换其中一些步骤的顺序)执行上述处理。此外，还可以以并行的方式执行其中的一些步骤。在上面已经描述了本发明的各个实施例，但是本发明不限于此。下面将描述根据本发明第三实施例的信息处理设备的结构和功能。图5是根据本发明第三实施例的信息处理设备500的示意方框图。图5所示的信息处理设备500与图1的信息处理设备100之间的区别在于，信息处理设备500进一步包括图像识别单元501。由于图5所示的信息处理设备500的其他部件与图1的信息处理设备100的其他部件具有相同或类似的结构和功能，因此这里省略了针对它们的结构和操作的重复描述。如图5所示，图像识别单元105与摄像头单元103连接，并且可以接收摄像头单元 103拍摄的图像。图像识别单元105可以采用任意的图像识别算法来识别摄像头单元103 拍摄的图像中的特定对象。例如，图像识别算法包括(但不限于)边缘检测、角点检测、污点检测、脊检测等等。在本实施例中，图像识别单元105可以基于上述图像识别算法中的任意一种来识别图像中的条状物(对应于)或具有曲率的条状物(如，道路的拐弯等)。然后，图像识别单元105将包括是否存在特定对象(如，道路)以及特定对象在图像中的位置等的图像识别结果发送到处理单元105。如参照图1在根据本发明第一实施例中描述的那样，处理单元105基于朝向数据确定摄像头单元103拍摄方向，并且基于该当前位置数据、朝向数据和所述地图数据来获得所述信息处理设备500与周围的道路之间的相对位置关系。然后，在处理单元105根据信息处理设备100与周围对象之间的相对位置关系、以及拍摄方向将导航信息叠加在摄像头单元103拍摄的图像中的合适位置上(如，与路线对应的道路上)。此外，处理单元105还根据图像识别结果(如，识别出的道路在图像中的位置)来校正(微调)导航信息在该图像中的叠加位置，从而能够将导航信息准确地叠加在所拍摄的图像中的合适位置上(如，与路线对应的道路上)。由于定位单元101获得的当前位置数据(经纬度以及海拔信息)通常存在误差。 因此，在处理单元105确定信息处理设备500的周围道路在摄像头单元103拍摄的图像中的位置时可能会存在偏差。因此，通过图像识别的结果(如，道路在图像中的位置)来对处理单元105确定的叠加位置进行校正，可以更精确地将导航信息准确地叠加在所拍摄的图像中的合适位置上，从而提高了真实景象导航的精确度。在上面描述了在信息处理设备中进行路径计算处理以及将与路径导航有关的信息与所拍摄的真实景象进行叠加的处理的情况，然而，本发明不限于此，可以在例如后台服务器中执行由信息处理设备执行的部分处理。下面，将描述根据本发明第四实施例的信息处理系统。图6是根据本发明第四实施例的信息处理系统的示意方框图。如图6所示，信息处理系统600中的信息处理设备601可以包括定位单元101、方向传感器102、摄像头单元103和处理单元105和通信单元603，而服务器602包括导航单元104和通信单元604。由于定位单元101、方向传感器102、摄像头单元103、导航单元104 和处理单元105的结构和功能基本上与图1所示的对应组成部分相同，因此，这里省略了针对它们的详细描述。如图6所示，信息处理设备601通过通信单元603与服务器602连接，并且可以利用通信单元603向服务器602发送或从服务器602接收数据。服务器602可以通过通信单元604向信息处理设备601发送或从信息处理设备601接收数据。这里，通信单元603和通信单元604可以是基于任意的有线和无线连接的通信模块。例如，通信单元603和604 可以是基于蓝牙、红外线、WIFI、2G或3G通信的通信模块。在利用图6所示的信息处理系统600进行真实景象导航时，处理单元105通过通信单元603将从定位单元101接收的当前位置信息发送到服务器602。此外，服务器602中的导航单元104通过通信单元604从信息处理设备601接收目的地位置数据或存储在本地的历史目的地数据，并且基于本地存储的地图数据使用当前位置数据、目的地位置数据计算路线，并且基于信息处理设备601的请求，通过通信单元604 将与路线有关的信息发送到信息处理设备601。然后，信息处理设备601中的处理单元105基于朝向数据和路线产生导航信息，并且将导航信息与摄像头单元103拍摄的图像叠加。此外，处理单元105还可以基于当前位置数据、朝向数据和地图数据确定导航信息在摄像头单元103拍摄的图像中的叠加位置。通过上述配置，由服务器602完成路线计算部分的运算，因此大大降低了信息处理设备601的负担，因此，可以通过采用成本较低的元件来实现信息处理设备601，从而进一步节约了成本。此外，根据本发明的另一个实施例，还可以将图5所示的图像识别单元设置在服务器中，其中信息处理设备可以将摄像头单元拍摄的图像通过通信单元发送到服务器，然后服务器可以利用图像识别单元识别摄像头单元拍摄的图像中的特定对象，并且将识别结果通过通信单元发送到信息处理设备以减轻信息处理设备的负担。
在上述实施例中，处理单元可以在每次摄像头单元产生图像(每一帧图像)时，基于朝向数据和路线产生导航信息，并且将导航信息叠加在摄像头单元拍摄的图像上。此外， 根据本发明的另一实施例，处理单元可以基于预设的刷新参数来进行图像的计算，例如，处理单元可以以每三帧图像的定时，将导航信息叠加在图像上以降低整体的运算量以及信息处理设备的负担。在上述实施例中，摄像头单元的镜头为定焦镜头。但是本发明不限于此，根据本发明的另一个实施例，摄像头的镜头可以为变焦镜头。在这种情况下，当进行变焦时，信息处理设备的处理单元可以获得变焦镜头的当前焦距，并且根据当前的焦距以及信息处理设备的朝向数据来确定摄像头单元的拍摄方向以及拍摄范围。在上面已经描述了本发明的多个实施例，然而，需要注意的是，本发明的实施例可以采用整体硬件实施、整体软件实施或包含硬件和软件组合的方式实现。例如，在一些实施例中，可以通过在计算机系统中安装软件的方式来实施本发明的实施例，其包含(但不限于)固件、内置软件、微码等。此外，本发明采用可以由计算机或任何命令执行系统使用来执行根据本发明实施例的处理方法的计算机程序产品的形式，所述计算机程序产品存储在计算机可读介质中。计算机可读介质的实例包括半导体或固态存储器、磁带、可卸载计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬盘和光盘等。如上所述，已经在上面具体地描述了本发明的各个实施例，但是本发明不限于此。 本领域的技术人员应该理解，可以根据设计要求或其它因素进行各种修改、组合、子组合或者替换，而它们在所附权利要求及其等效物的范围内。
权利要求
1.一种信息处理设备，包括 图像采集单元，配置来采集图像；定位单元，配置来获得所述信息处理设备的当前位置数据； 方向传感器，配置来确定所述信息处理设备的朝向数据；导航单元，配置来获得目的地位置数据以及地图数据，并且基于所述当前位置数据、所述目的地位置数据以及所述地图数据来计算路线；处理单元，配置来基于所述朝向数据和所述路线产生导航信息，将所述导航信息与所述图像叠加以产生叠加图像，并且将所述叠加图像发送到显示设备以显示所述叠加图像。
2.如权利要求1所述的信息处理设备，其中所述处理单元进一步基于所述当前位置数据、朝向数据以及地图数据确定所述导航信息的叠加位置，其中所述处理单元基于所述当前位置数据和所述朝向数据确定所述图像采集单元的采集位置和采集朝向，所述处理单元基于所述当前位置信息、所述朝向数据和所述地图数据来获得所述信息处理设备与所述信息处理设备周围的道路之间的相对位置关系；以及所述处理单元基于所述信息处理设备与所述道路之间的相对位置关系、以及所述采集朝向将所述导航图像叠加在所述图像中与所述路线对应的道路上。
3.如权利要求2所述的信息处理设备，其中所述处理单元在将所述导航信息与所述图像进行叠加时，对所述图像中与所述路线对应的道路进行渲染。
4.如权利要求2所述的信息处理设备，进一步包括图像识别单元，配置来接收所述图像采集单元采集的图像，对所述图像中的道路进行识别以获得识别结果，其中所述识别结果包括所述道路在所述图像中的位置信息，并且将所述识别结果发送到所述处理单元，其中所述处理单元基于所述识别结果校正所述导航信息在所述图像中的叠加位置。
5.如权利要求1所述的信息处理设备，进一步包括倾斜传感器，配置来确定所述信息处理设备的姿态数据，其中所述处理单元进一步基于所述当前位置数据、所述姿态数据、所述朝向数据和所述地图数据确定所述导航信息的叠加位置。
6.如权利要求5所述的信息处理设备，其中所述处理单元基于所述当前位置数据、所述姿态数据和所述朝向数据确定所述图像采集单元的采集位置、采集姿态以及采集朝向；所述处理单元基于所述当前位置信息、所述姿态数据、所述朝向数据和所述地图数据来获得所述信息处理设备与所述信息处理设备周围的道路之间的相对位置关系；以及所述处理单元基于所述信息处理设备与所述道路之间的相对位置关系、以及所述采集姿态和采集角度将所述导航信息叠加在所述图像中与所述路线对应的道路上。
7.一种应用于信息处理设备的信息处理方法，包括 采集图像；获得所述信息处理设备的当前位置数据； 获得所述信息处理设备的朝向数据；获得目的地位置数据以及地图数据，并且基于所述当前位置数据、所述目的地位置数据以及地图数据计算路线；基于所述朝向数据和所述路线产生导航信息，将所述导航信息与所述图像叠加以产生叠加图像，并且显示所述叠加图像。
8.如权利要求7所述的信息处理方法，其中产生叠加图像的步骤进一步包括 基于所述当前位置数据和所述朝向数据确定所采集的图像的采集位置和采集朝向，基于所述当前位置信息、所述朝向数据和所述地图数据来获得所述信息处理设备与其周围的道路之间的相对位置关系；以及基于所述信息处理设备与所述道路之间的相对位置关系、以及所述采集朝向将所述导航信息叠加在所述图像中与所述路线对应的道路上。
9.如权利要求8所述的信息处理方法，进一步包括在将所述导航信息与所述图像叠加时，对与所述图像中与所述路线对应的道路进行渲^fe ο
10.如权利要求8所述的信息处理方法，其中产生叠加图像的步骤进一步包括对所述图像中的道路进行识别以获得识别结果，其中所述识别结果包括所述道路在所述图像中的位置信息；以及基于所述识别结果校正所述导航信息在所述图像中的叠加位置。
11.如权利要求7所述的信息处理方法，进一步包括 确定所述信息处理设备的姿态数据，其中基于所述当前位置数据、所述姿态数据、所述朝向数据和所述地图数据确定所述导航信息的叠加位置。
12.如权利要求11所述的信息处理方法，其中产生叠加图像的步骤进一步包括基于所述当前位置数据、所述姿态数据和所述朝向数据确定采集位置、采集姿态以及采集朝向；基于所述位置信息、所述姿态数据、所述朝向数据和所述地图数据来获得所述信息处理设备与周围的道路之间的相对位置关系；以及基于所述信息处理设备与所述道路之间的相对位置关系、以及所述采集姿态和采集朝向来将所述导航信息叠加在所述图像中与所述路线对应的道路上。
13.一种信息处理设备，包括 图像采集单元，配置来采集图像；定位单元，配置来获得所述信息处理设备的当前位置数据； 方向传感器，配置来确定所述信息处理设备的朝向数据；通信单元，配置来将所述当前位置数据以及目的地位置数据传送到外部服务器，并且从所述外部服务器接收路线信息，其中所述外部服务器存储所述地图数据，所述路线信息是所述外部服务器基于所述当前位置数据、所述目的地位置数据以及所述地图数据计算的；处理单元，配置来基于所述朝向数据和所述路线信息产生导航信息，将所述导航信息与所述图像叠加以产生叠加图像，并且将所述叠加图像发送到显示单元以显示所述叠加图像。
全文摘要
一种信息处理设备、信息处理方法和信息处理系统，所述信息处理设备包括图像采集单元，配置来采集图像；定位单元，配置来获得信息处理设备的当前位置数据；方向传感器，配置来确定信息处理设备的朝向数据；导航单元，配置来获得目的地位置数据以及地图数据，并且基于当前位置数据、目的地位置数据以及地图数据来计算路线；处理单元，配置来基于朝向数据和路线产生导航信息，将导航信息与所述图像叠加以产生叠加图像，并且将叠加图像发送到显示设备以显示叠加图像。所述特定位置随用户位置，方向和应用可以实时变化。
文档编号G01C21/32GK102338639SQ20101023899
公开日2012年2月1日 申请日期2010年7月26日 优先权日2010年7月26日
发明者周一舟, 马文超 申请人:联想(北京)有限公司