专利名称：用于增强导航的方法和系统的制作方法
技术领域：
本公开的领域一般涉及导航装置，尤其涉及用于增强导航的方法和系统。
背景技术：
在标准和极端两种状况的导航中存在增加情形认知(situational awareness)的持续需求，包括实时显示周围环境的信息。增强现实(augmented reality)是用于物理真实世界环境的现场(live)的直接或间接的视图的术语。环境元素通过计算机产生的感觉输入(例如声音或图像)被增强。 在增强现实系统中，当前的现实感知被增强。由这样的系统所提供的增强通常是实时的并且在带有环境元素的语义背景中。一个常见的例子是在体育赛事期间电视上运动成绩的更新。通过添加计算机视觉和/或对象识别，关于用户的周围真实世界的信息成为交互式的和可使用的。
发明内容
在一方面，提供了一种导航装置，其包括处理装置；存储器，其通信地耦合到所述处理装置，所述存储器包括地图学导航地图数据的数据库；第一传感器，其可操作来向所述处理装置提供位置数据；显示器，其操作地耦合到所述处理装置；以及至少一个图像采集装置，其可操作地耦合到所述处理装置。所述处理装置被编程为当在第一操作模式中时， 使所述显示器显示一部分地图学导航地图数据，所显示的部分是基于由所述处理装置接收的位置数据。所述处理装置还被配置为当在第二操作模式中时，使所述显示器显示由所述至少一个图像采集装置采集的图像。图像被一个或多个符号覆盖，所述一个或多个符号指示地图学导航地图数据的数据库中的感兴趣的一个或多个点，基于由所述处理装置接收的位置数据，所述一个或多个符号与采集的图像相关联。另一方面，提供了一种用于导航装置的增强导航方法。方法包括确定导航装置是处于地图显示模式还是采集图像显示模式，以及如果确定导航装置处于地图显示模式，则所述方法包括确定导航装置的位置，以及显示与确定的位置关联的一部分地图学地图。如果确定导航装置处于采集图像显示模式，则所述方法包括确定导航装置的位置，显示采集的图像，将采集的图像与一部分地图学地图相关联，该部分地图学地图与确定的位置关联， 以及在采集的图像上显示感兴趣的点的覆盖图，感兴趣的点存储在地图学地图数据中，覆盖图被相关联为相对于采集的图像处于正确的位置。再一方面，提供一种导航装置，其包括处理装置；存储器，其通信地耦合到处理装置，所述存储器包括地图学导航地图数据的数据库；GPS接收器，其可操作来向所述处理装置提供位置数据；显示器，其可操作地耦合到所述处理装置；至少一个图像采集装置，其可操作地耦合到所述处理装置；以及传感器，其可操作用于确定所述导航装置的方位。其中在第一确定的方位中，所述处理装置被编程为使所述显示器显示一部分地图学导航地图数据，该部分地图学导航地图数据是基于由所述处理装置接收的位置数据，以及其中在第一确定的方位中，所述处理装置被编程为使所述显示器显示由所述至少一个图像采集装置采集的图像，所述图像由与所述地图学导航地图数据相关的一个或多个符号所覆盖。所述导航装置还包括至少一个陀螺仪，其中至少一个图像采集装置可操作来向所述处理装置提供与所述至少一个图像采集装置关联的镜头的视角和焦距；陀螺仪可操作来确定至少一个图像采集装置的镜头指向哪一个方向，所述处理装置使用接收的陀螺仪数据计算出方向信息；以及所述处理装置可以被编程为将所述视角、焦距以及方向信息与所述数据库中的所述地图数据相关联，从而通过计算显示器上每个符号相对于采集图像的边缘的位置，对显示器上每个符号分配坐标。导航装置还包括通信接口，其通信地耦合到所述处理装置，所述通信接口可操作用于接收与远离所述导航装置部署的另一个导航装置相关的数据。所述处理装置可以被编程为使用从所述至少一个陀螺仪接收的数据来在显示地图学导航地图数据与显示由所述至少一个图像采集装置采集的图像之间切换所述导航装置。所述导航装置还包括用户输入接口，所述接口可操作用于选择在所述显示器上显示的覆盖符号，所述处理装置被编程为覆盖与所述符号表示的感兴趣的点相关的附加数据。所述导航装置其中所述至少一个图像采集装置包括数字照相机、摄像机、红外线照相机以及低光夜视照相机中的至少一个，其中的一个或多个可以远离所述导航装置。已经讨论的特征、功能以及优势可以在各种实施例中独立地实现或与其它实施例结合，参照接下来的说明和附图可以看出实施例的进一步细节。
图I是增强现实导航系统的方框图。图2是在图I的导航装置的显示器上所呈现的地图学地图的图示。图3是由图像采集装置采集的并在图I的导航装置的显示器上显示的图像的图
/Jn ο图4是图解说明由图I的导航装置的至少一个实施例使用的方法的流程图。
具体实施例方式所描述的实施例涉及导航装置和方法，其中当在第一操作模式或默认位置(在此称为地图学(cartographic)或地图显示模式)时，导航装置作为常规的地图学导航工具进行操作，以及当在第二操作模式或非默认位置(在此称为采集图像显示模式或现场模式 (因为与装置关联的显示器正显示由图像采集装置所采集的“现场”图像))时，导航装置作为增强现实装置进行操作。在一个预期的实施例中，默认位置视为水平的，因为显示器被水平定向，而非默认位置视为垂直的，因为显示器被垂直定向。因此，虽然在此使用“水平方位”、“垂直方位”以及相似术语，但是应将它们视为非限制的例子。进一步地，虽然有时在此针对海上导航描述实施例，但是实施例不是这样有限的，并能够被解释为包括陆地和/ 或空中导航的实施例。现在转向图1，根据说明性实施例描绘了增强现实导航装置10的方框图。导航装置10包括处理器12，其通信地耦合到存储器14、用户输入接口 16以及显示器18。进一步地，方位传感器20 (例如陀螺仪)通信地耦合到处理器12，使得处理器12基于在其上运行的程序能够确定导航装置10的方位。在一个具体的实施例中，方位传感器20包括指南针和两个陀螺仪。另外，GPS传感器22通信地耦合到处理器12，使得处理器基于在其上运行的程序能够确定导航装置10的位置。在某些实施例中，显示器18远离导航装置10。在一个实施例中，图像采集装置30位于导航装置10的内部。在其它实施例中，图像采集装置30远离导航装置10。在一个例子中，图像采集装置30是安装在船舶或轮船的船头附近的照相机。在另一个实施例中，图像采集装置30可以安装在船上的其它地方，例如，在桅杆或其它结构上。在各种实施例中，图像采集装置30是数字照相机、摄像机、红外照相机、低光夜视照相机或任何其它实时采集装置中的一个或多个。在海上应用中，图像采集装置30可以安装在船舶或轮船的船身上。在一个实施例中，提供通信接口 32，使得导航装置10的处理器12可以接收来源于一个或多个外部系统的数据。类似地，通信接口 32允许数据从导航装置10经由处理器12 传输至外部系统，例如另一个导航系统10，如下进一步描述的。在实施例中，存储器14包括与地图相关的数据库40，该地图的一部分作为地图学地图100显示在显示器18上，如图 2所示。在操作中，导航装置10利用例如数据库40的海上导航数据并产生地图100，以便在显示器18上显示。波音公司的子公司Bppesen是这种海上导航数据的供应商，并且海上导航数据有时被称为J印pesen海上导航数据。地图100是航海地图的一个例子，其图解说明港口 102，该港口具有从海岸线108向外延伸进入水110中的第一码头104和第二码头106。地图100还指示超过港口区域102的深水区域112。在地图100中需要注意的是在码头104和106各自的末端附近的导航标志120和122。图3是由图像采集装置30采集的图像150的图示。在一个实施例中，当方位传感器20感测到导航装置10的方位变化时，导航装置10从显示地图100切换至显示图像150。 在一个操作性例子中，当导航装置10被水平定向时(例如在课桌或桌子上)显示地图100， 所显示的地图100对应于由GPS传感器22所确定的导航装置10的位置。当导航装置被垂直定向时(例如，用于定向内部图像采集装置30的镜头从而采集图像)显示通过镜头采集的图像。在其它实施例中，利用用户输入、开关或远程控制来从显示地图改变至显示所采集的图像。当图像采集装置30远离导航装置10时，这类实施例尤其有用。特别地，当导航装置10(在现场模式中)被垂直定向时，运行在导航装置10的处理装置12上的软件应用程序利用以上所提及的在数据库40内的海上导航数据，并且使用数据库数据在所显示的图像150上产生实时的覆盖图(overlay)，所显示的图像150是通过图像采集装置30采集的。如图3所示，覆盖图提供针对各种服务的位置的指示以及与导航相关的指示。特别针对图3，覆盖图包括警察局指示符160、加油站指示符162、教堂指示符 164、机械指示符166、饭店指示符168以及钓鱼包船(fishing charter)指示符170。在图3中的覆盖图应该被理解仅仅为例子。由于相关数据并入地图数据库40中， 所以可以包括指示许多不同类型的地标、服务等的许多其它覆盖图，包括与离岸项目相关的覆盖图。导航需要注意的是固定的导航标志指示符180和182 (与导航标志120和122 相关联)。同样，指示符180和182仅仅是例子。如图3所示的，实时覆盖图可以包括真实的数据190，例如港口 /码头名字、港口相关信息和服务、海上救助(naval-aids)以及任何其它以地理为参考的对象、与导航和相关活动有关的感兴趣的点和地方标志。另外，其它与导航相关的真实数据可以包括在这类覆盖图中，包括但不限于深度指示符、暗礁和任何已知的在周围地区内的遇难船。
通过用户选择，可以获得关于指示符的附加信息192。例如，在弹出类型窗口 194 中提供了关于固定导航标志指示符180的附加信息192。具体地，弹出窗口 194包括导航标志120的操作参数。在一个实施例中，因为所采集的图像150是实时的，所以随着所采集的图像由于正在利用导航装置10的平台的移动而在显示器18上“移动”，更新指示符的位置。为了在图像150上提供覆盖图，导航装置10被编程来将采集的图像与存储在数据库40中的地图数据相关联。具体地，数据库40包括关于通过使用指示符而被高亮显示的地标的信息。具体地，当图像采集装置30正记录输入流(在此有时称为现场视图)时，图像采集装置30还能够向处理器12提供与图像采集装置30关联的镜头的视角和焦距，从而完成以上所述的地图数据库40和采集的图像之间的相关联。在实施例中，之前提及的指南针和陀螺仪被配置为确定图像采集装置的镜头指向哪一个方向。将来自图像采集装置、GPS 数据以及陀螺仪数据的信息与存储在导航装置10中的地图数据结合，通过计算显示器18 上每一个元素(覆盖图)相对采集图像的边缘的位置，允许对显示器18上每一个元素正确地分配坐标。瞬息数据(例如由实时传感器捕获的瞬息数据(例如，天气、风))可以包括在显示器18上所显示的图像中。例如，可以提供关于其它船/人操作(例如出港)的相关和/ 或个人信息。在实施例中，实时提供这种来自放置在其它船上的传感器并经由通信接口 32 接收到的信息。这种信息的例子包括但不限于关于轮船(也装备有导航装置10)停泊的附近位置的天气信息。在另一个例子中，在赛船会环境中，导航装置10可以接收与竞赛船相关的速度和路线信息，或来自同一轮船的照相机的现场拍摄。熟悉导航的技术人员将理解， 存在许多将对船员有用的信息交换。本领域技术人员还将理解，在此所描述的系统和方法可以应用于各种商业平台， 包括但不限于智能电话、个人导航装置、移动计算平台以及任何与实时摄像机连接的其它计算装置，包括但不限于航海图表绘图仪和导航系统。得到的装置是固定或移动带有外部或嵌入的摄像机的地图学图表绘图仪或导航系统。这种装置提供可能对用户有价值的信息以及增加在标准状况和在极端状况中导航时的情形认知，将信息层显示在周围环境的实时图像上。图4是图解说明由导航装置10的至少一个实施例使用的方法的流程图200。在加电后，在202，导航装置10确定其处于地图显示模式还是处于采集图像显示模式。如以上所述，显示模式的确定是基于由方位传感器20或开关的用户输入或其它用户输入(例如远程控制)确定的导航装置10的方位之一。在204，如果确定导航装置10处于地图显示模式，则感测并计算导航装置10的当前位置，并在导航装置的显示器上显示存储在数据库中的接近当前位置的一部分地图。在206，如果确定导航装置10处于采集图像显示模式，则感测并计算导航装置10 的当前位置并在显示器上显示采集的图像。进一步地，将采集的图像与数据库中的地图数据相关联，并且在采集的图像上覆盖存储在组成地图数据库的数据内的至少一个感兴趣的点，感兴趣的点被覆盖为使得它们相对于采集的图像正确定位。为说明和描述的目的，已经描述了不同的有利的实施例，并且无意对公开形式的实施例穷尽或限制。许多变化和改变对本领域技术人员是显而易见的。进一步地，不同的有利的实施例可以提供与其它有利的实施例相比不同的优势。选择并描述所选的一个或多个实施例是为了更好地解释实施例的原理、实际应用，并且使本领域技术人员能够理解，具有各种变化的各种实施例的公开适于所考虑的特定用途。该书面的描述使用例子公开各种实施例(包括最佳实施例)，使本领域技术人员能够实施这些实施例，包括制造和使用任何装置或系统并执行任何所包括的方法。可授权范围由权利要求限定，并且可以包括本领域技术人员想到的其它例子。如果这类其它例子具有并非不同于权利要求的文字语言的结构元件，或如果它们包括与权利要求的文字语言非实质差异的等效结构元件，则它们视为在权利要求的范围内。
权利要求
1.一种导航装置，包括处理装置；存储器，其通信地耦合到所述处理装置上，所述存储器包括地图学导航地图数据的数据库；第一传感器，其可操作来向所述处理装置提供位置数据；显示器，其可操作地耦合到所述处理装置；以及至少一个图像采集装置，其可操作地耦合到所述处理装置，所述处理装置被编程为当在第一操作模式中时，使所述显示器显示一部分所述地图学导航地图数据，所显示的一部分是基于由所述处理装置接收的位置数据，并且所述处理装置被配置为当在第二操作模式中时，使所述显示器显示由所述至少一个图像采集装置所采集的图像，所述图像被一个或多个符号覆盖，所述一个或多个符号指示所述地图学导航地图数据的数据库中的感兴趣的一个或多个点，基于由所述处理装置接收的位置数据，所述一个或多个符号与采集的图像相关联。
2.如权利要求I所述的导航装置，还包括第二传感器，由所述第二传感器感测的所述导航装置的方位可操作来用于在所述第一操作模式和所述第二操作模式之间切换所述导航装置。
3.如权利要求2所述的导航装置，其中所述第二传感器包括陀螺仪。
4.如权利要求2所述的导航装置，其中通过所述第二传感器感测所述导航装置处于水平位置而启动所述第一操作模式，以及通过所述第二传感器感测所述导航装置处于垂直位置而启动所述第二操作模式。
5.如权利要求I所述的导航装置，其中所述显示器和所述至少一个图像采集装置中的至少一个远离所述导航装置。
6.如权利要求I所述的导航装置，还包括开关，所述开关可操作用于将所述处理装置从第一操作模式切换到第二操作模式。
7.如权利要求I所述的导航装置，还包括用户输入接口，所述接口可操作用于选择在所述显示器上显示的感兴趣的覆盖点，所述处理装置被编程为覆盖与在所述显示器上选择的感兴趣的点相关的附加数据。
8.如权利要求I所述的导航装置，其中所述至少一个图像采集装置包括数字照相机、 摄像机、红外线照相机以及低光夜视照相机中的至少一个。
9.如权利要求I所述的导航装置，其中所述至少一个图像采集装置可操作来向所述处理装置提供与所述至少一个图像采集装置关联的镜头的视角和焦距；所述传感器可操作来确定所述至少一个图像采集装置的镜头指向哪一个方向，并向所述处理装置提供方向信息；以及所述处理装置被编程为将所述视角、焦距以及方向信息与所述数据库中的地图数据相关联，从而通过计算所述显示器上每一个符号相对于采集图像的边缘的位置来对所述显示器上每一个符号分配坐标。
10.如权利要求I所述的导航装置，还包括通信接口，其通信地耦合到所述处理装置， 所述通信接口可操作用于接收与远离所述导航装置部署的另一个所述导航装置关联的传感器信息。
11.一种用于导航装置的增强导航方法，包括确定所述导航装置是处于地图显示模式还是采集图像显示模式；如果确定所述导航装置处于地图显示模式，则确定所述导航装置的位置，以及显示与确定的位置关联的一部分地图学地图；以及如果确定所述导航装置处于采集图像显示模式，则确定所述导航装置的位置，显示采集的图像，将所述采集的图像与一部分地图学地图相关联，该部分地图学地图与确定的位置关联，以及在所述采集的图像上显示感兴趣的点的覆盖图，所述感兴趣的点存储在地图学地图数据中，将所述覆盖图相关联为相对于所述采集的图像处于正确的位置。
12.如权利要求11所述的增强导航方法，其中确定所述导航装置是处于地图显示模式还是采集图像显示模式包括接收来自所述导航装置中的方位传感器的数据；以及基于接收的数据将所述导航装置置于所述地图显示模式或所述采集图像显示模式。
13.如权利要求11所述的增强导航方法，其中确定所述导航装置是处于地图显示模式还是采集图像显示模式包括接收所述导航装置中的外部输入；以及基于接收的输入将所述导航装置置于所述地图显示模式或所述采集图像显示模式。
14.如权利要求11所述的增强导航方法，其中确定所述导航装置的位置包括接收来自所述导航装置中的GPS的位置数据。
15.如权利要求11所述的增强导航方法，还包括使用用户接口来选择所述覆盖图中的一个；以及覆盖与所选的感兴趣的点相关的附加数据。
全文摘要
本发明涉及用于增强导航的方法和系统。本发明描述了一种导航装置，其包括处理装置；存储器，其通信地耦合到处理装置上，存储器包括地图学导航地图数据的数据库；第一传感器，其可操作来向处理装置提供位置数据；显示器，其可操作地耦合到处理装置；以及图像采集装置，其可操作地耦合到处理装置。处理装置被编程为当在第一操作模式中时，使显示器显示一部分地图学导航地图数据，所显示的一部分是基于由处理装置接收的位置数据。处理装置还被配置为当在第二操作模式中时，使显示器显示由图像采集装置采集的图像，所述图像被一个或多个符号覆盖，一个或多个符号指示地图学导航地图数据的数据库中的感兴趣的一个或多个点，基于由处理装置接收的位置数据，一个或多个符号与采集的图像相关联。
文档编号G01C21/30GK102589542SQ20111043461
公开日2012年7月18日 申请日期2011年12月15日 优先权日2010年12月15日
发明者F·阿尔塔穆拉, S·科特西 申请人:波音公司