用于提供导航信息的方法、移动终端和服务器的制造方法
【专利摘要】提供了一种用于提供导航信息的方法、移动终端和服务器。所述方法包括：产生由相机捕捉的预览图像和移动终端的位置信息；将预览图像和位置信息发送到服务器；从服务器接收基于预览图像和位置信息产生的路线指引信息；向用户显示路线指引信息。
【专利说明】用于提供导航信息的方法、移动终端和服务器
【技术领域】
[0001]本发明涉及一种用于提供导航信息的方法。更具体地说，本发明涉及一种用于通过使用增强现实(AR)技术向移动终端提供导航信息的方法。
【背景技术】
[0002]导航接收器接收导航网络内的由导航发送器(例如，卫星，也被已知为航空器)发送的信号。之后，处理接收到的信号以显示位置。导航接收器可以是专用装置，或可以是包括导航功能和其他功能的装置，诸如用于蜂窝无线系统的移动手持终端。
[0003]全球定位系统(GPS)和全球导航卫星系统(GL0NASS或Glonass)是通常可提供位置信息以及速度和时间信息的卫星导航系统的示例。其他卫星导航系统包括欧洲伽利略系统、印度区域导航卫星系统(IRNSS)和北斗(Compass&Beidou)卫星导航系统。一般来说，这些系统被称为全球导航卫星系统(GNSS)。
[0004]此外，已知非卫星导航系统。伪卫星导航系统是卫星导航系统的路基替代。还已知其他地面导航系统(诸如远距离导航(LORAN))以及蜂窝无线网络接入节点被用作导航发送器的系统和W1-Fi网络接入点被用作导航发送器的其他系统。
[0005]AR导航暗示帮助用户容易并自然地识别用户希望行驶的路线，以识别兴趣点(POI)并产生匹配由相机捕捉到的预览图像或街景图像的路线。
[0006]然而，当将现有技术的导航方法不作任何改变地应用于AR导航时，路线指引对象不会准确地匹配预览图像，而是好像漂浮在道路上。因此，产生的问题是:可能会出现在复杂的闹市区中将用户指引到不正确的道路上的情况。
[0007]因此，需要一种用于在移动终端上向用户提供稳定且有效的AR导航的设备和方法。例如，当在移动终端上向用户提供AR导航时，需要一种使用与街景混合的相机预览的系统。
[0008]以上信息仅被呈现为用于帮助对本公开的理解的背景知识。对于以上信息中的任何是否可被应用为针对本发明的现有技术，没有做出决定，也没有做出论断。
【发明内容】
[0009]本发明的多个方面在于至少解决上述问题和/或缺点并至少提供下述优点。因此，本发明的一方面在于向用户提供一种使用与街景混合的相机预览的AR导航系统，从而使用户能够在移动终端上体验稳定且有效的AR导航的使用。
[0010]根据本发明的一方面，提供了一种用于向移动终端提供导航信息的方法。所述方法包括:产生由相机捕捉的预览图像和移动终端的位置信息；将预览图像和位置信息发送到服务器；从服务器接收基于预览图像和位置信息产生的路线指引信息；向用户显示路线指引信息。
[0011]根据本发明的另一方面，提供了一种通过服务器提供导航信息的方法。所述方法包括:从移动终端接收由移动终端捕捉的预览图像和移动终端的位置信息；将预览图像与预存储的街景图像进行匹配；基于与匹配的街景图像相关的位置和方向信息产生路线指引信息；将路线指引信息发送到移动终端。
[0012]根据本发明的另一方面，提供了一种用于导航的移动终端。所述移动终端包括:相机，捕捉预览图像；传感器单元，产生移动终端的位置信息；通信单元，将预览图像和位置信息发送到服务器；控制器，控制通信单元从服务器接收基于预览图像和位置信息产生的路线指引信息，并控制显示单元向用户显示路线指引信息。
[0013]根据本发明的另一方面，提供了一种向移动终端提供导航信息的服务器。所述服务器包括:通信单元，从移动终端接收由移动终端捕捉的预览图像和移动终端的位置信息；存储器，存储街景图像；控制器，从街景图像中搜索与预览图像匹配的街景图像，基于与匹配的街景图像相关的位置和方向信息产生路线指引信息，并控制通信单元将路线指引信息发送到移动终端。
[0014]从下面结合附图公开本发明示例性实施例的详细描述中，本发明的其它方面、优点和显著特点将对于本领域技术人员而言变得清楚。
【专利附图】
【附图说明】
[0015]从下面结合附图的描述，本发明的特定示例性实施例的以上和其他方面、特点和优点将更加清楚，其中:
[0016]图1是示出根据本发明示例性实施例的导航系统的配置的框图；
[0017]图2示意地示出根据本发明示例性实施例的移动终端的外观配置；
[0018]图3是示出根据本发明第一示例性实施例的指引路线的方法的信号流示图；
[0019]图4是用于解释根据本发明第一示例性实施例的指引路线的方法的示图；
[0020]图5是示出根据本发明第二示例性实施例的指引路线的方法的信号流示图；
[0021]图6是用于解释根据本发明第二示例性实施例的指引路线的方法的示图；
[0022]图7是示出根据本发明第三示例性实施例的指引路线的方法的信号流示图；
[0023]图8是示出根据本发明第四示例性实施例的指引路线的方法的信号流示图。
[0024]贯穿附图，相同标号将被理解为表示相同部件、组件和结构。
【具体实施方式】
[0025]提供以下参照附图的描述以帮助对由权利要求及其等同物限定的本发明的示例性实施例的全面理解。描述包括用于帮助该理解的各种特定细节，但是这些细节应被视为仅仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可以对这里描述的实施例进行各种改变和修改。此外，为了清楚和简洁，可省略对公知功能和结构的描述。
[0026]在下面的描述和权利要求中使用的术语和词语不限于字面意思，而是仅被发明人使用以实现对本发明的清晰和一致的理解。因此，本领域的技术人员应清楚，以下对本发明的示例性实施例的描述仅被提供用于说明目的，而不是为了限制由权利要求及其等同物限定的本发明的目的。
[0027]应理解，除非上下文另外清楚地指出，否则单数形式包括复数参考。因此，例如，对“组件表面”的参考包括对一个或多个这样的表面的参考。[0028]虽然在此可使用包括顺序编号(诸如第一和第二)的术语来描述各个元件，但是这些元件不应被这些术语限制。仅使用这些术语来区分一个元件与其他元件。例如，在不脱离本发明的权利的范围的情况下，第一元件可被命名为第二元件，类似地，第二元件可被命名为第一元件。如这里所使用，术语“和/或”包括一个或多个相关列出的项目的任何和所
有组合。
[0029]将理解，当元件被称为被“连接”或“连结”到另一元件时，该元件可被直接连接或连结到该另一元件，或者可存在中间元件。相反，将理解，当元件被称为被“直接连接”或“直接连结”到另一元件时，不存在中间元件。
[0030]在此使用的术语仅被用于描述本发明的特定示例性实施例，而不意图限制本发明。如这里所使用，除非上下文另外清楚地指出，否则单数形式意图还包括复数形式。在本说明书中，应理解，术语“包含”、“包括”或“具有”意图指示在说明书中公开的特征、数量、步骤、操作、元件、部件、或其组合的存在，并不意图排除可以存在或可以添加一个或多个其他特征、数量、步骤、操作、元件、部件、或其组合的可能性。
[0031]除非另外定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域的普通技术人员通常理解的相同的意思。诸如在通用字典中定义的术语应被解释为具有与其在现有技术的上下文中的意思相一致的意思，并且除非在此明确定义，否则将不被解释为理想化或过于正式的意义。
[0032]图1是示出根据本发明示例性实施例的导航系统的配置的框图。
[0033]参照图1，导航系统包括移动终端100和服务器200。
[0034]移动终端100包括用户接口 110、第一存储器120、传感器单元130、相机140、第一通信单元150、显示单元160和第一控制器170。
[0035]移动终端100可与外部装置通信，或可执行与外部装置相关联的任务。例如，移动终端100可通过网络将由相机140捕捉的图像和/或由传感器单元130检测到的位置信息发送到服务器200。网络不限于该配置，因此可包括局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、互联网、小区域网络(SAN)等中的至少一个。
[0036]移动终端100可以是具有导航功能的光学装置，并且可以是智能电话、移动电话、导航装置、视频游戏平台、显示装置、用于车辆的头部单元(head unit)、膝上型计算机、平板个人计算机(PC)、个人媒体播放器(PMP )、个人数字助理(PDA)、手持电子书、MP3播放器、数字相机、便携式游戏平台等。移动终端100可被实现为具有无线通信功能的便携式通信终端。
[0037]作为用于接收用户输入或向用户通知信息的装置的用户接口 110可包括多个按钮、麦克风、扬声器、振动电机、连接器、键区等。用户接口 110的示例不限于该配置。因此，可向用户接口 110提供光标控制(诸如鼠标、跟踪球、操纵杆或光标方向键)，用于向第一控制器170发送信息/从第一控制器170接收信息，并用于控制显示单元160的屏幕上的光标的移动。
[0038]可在移动终端100的前表面、侧表面或后表面上形成按钮，按钮可包括电源/锁定按钮(未示出)、音量按钮(未示出)、菜单按钮、主屏按钮、返回按钮、搜索按钮等。
[0039]根据第一控制器170的控制，麦克风接收语音或声音作为输入，并产生电信号。
[0040]根据第一控制器170的控制,扬声器可将与各种信号(例如,无线信号、广播信号、数字音频文件、数字运动图像文件和拍摄)对应的声音输出到移动终端100的外部。扬声器可输出与移动终端100执行的功能对应的声音。可将一个扬声器或多个扬声器布置在移动终端100的合适位置或多个合适位置。
[0041]根据第一控制器170的控制，振动电机可将电信号转换为机械振动。例如，当振动模式下的移动终端100从另一装置(未示出)接收到语音呼叫时，移动终端100的振动电机操作。可在移动终端100中安装一个振动电机或多个振动电机。振动电机可响应于触摸触摸屏的用户的触摸动作以及在触摸屏上的触摸的连续移动而操作。
[0042]连接器可用作用于将移动终端100连接到服务器、外部装置或电源(未示出)的接口。根据第一控制器170的控制，通过连接到连接器的有线电缆，可将存储在移动终端100的第一存储器120中的数据发送到外部装置或者可从外部装置接收数据。通过连接到连接器的有线电缆，可通过电源供电或可对电池充电。
[0043]键区可从用户接收键输入以控制移动终端100。键区包括安装在移动终端100上的物理键区或在显示单元(例如，触摸屏)上显示的虚拟键区。
[0044]传感器单元130包括用于检测移动终端100的状态(例如，位置、方位、方向、移动等)的至少一个传感器。例如，传感器单元130可包括用于检测用户是否接近移动终端100的接近传感器、用于检测移动终端100的运动(例如，移动终端100的旋转、加速、减速、振动、方向、方位等)的运动/方位/方向传感器。此外，运动/方位/方向传感器可包括加速传感器、重力传感器、地磁传感器、陀螺仪传感器、震动传感器、全球定位系统(GPS)传感器、指南针传感器等。传感器单元130可检测移动终端100的状态，可产生与检测对应的信号，并可将产生的信号发送到第一控制器170。例如，GPS传感器从地球轨道中的多个GPS卫星(未示出)中的每个接收无线电波，并可通过使用从每个GPS卫星(未示出)到移动终端100的到达时间(TOA)来计算移动终端100的位置。指南针传感器计算移动终端100的姿态(attitude)、方位或方向。
[0045]提供第一通信单元150以与服务器或外部装置直接连接，或经由网络与服务器或外部装置连接。第一通信单元150可以是有线或无线通信单元。第一通信单元150有线地或无线地发送来自第一控制器170、第一存储器120、相机140等的数据。另一方面，第一通信单元150通过线缆从外部通信线接收数据，或者无线地接收在空中传输的数据，并将接收的数据传送到第一控制器170，或者将接收的数据存储在第一存储器120中。
[0046]根据移动终端100的性能，第一通信单元150可包括移动通信模块、无线LAN模块和短距离通信模块中的至少一个。第一通信单元150不限于该配置。因此，第一通信单元150的示例可包括集成服务数字网络(ISDN)卡、调制解调器、LAN卡、红外端口、蓝牙端口、Zigbee端口、无线端口等。
[0047]根据第一控制器170的控制，移动通信模块允许移动终端100通过使用至少一根天线(未示出)通过移动通信连接到外部装置。移动通信模块与具有输入到移动终端100中的电话号码或网址的移动电话(未示出)、智能电话(未示出)、平板PC或另一装置(未示出)之间发送和接收用于交换数据或用于单向发送或接收数据的无线信号，诸如语音呼叫、视频呼叫、短消息服务(SMS)或多媒体消息服务(MMS)。
[0048]根据第一控制器170的控制，无线LAN模块可在安装了无线接入点(AP)(未示出)的地方连接到互联网。无线LAN模块支持电气与电子工程师协会(IEEE)的无线局域网(LAN)标准(IEEE802.llx)。根据第一控制器170的控制，短距离通信模块使移动终端100能够与成像装置(未示出)执行短距离无线通信。短距离通信方案可包括蓝牙、红外数据协会(IrDA)等。
[0049]相机140可包括透镜系统、驱动单元和图像传感器。相机140还可包括闪光灯。相机140将通过透镜系统输入(或捕捉)的光信号转换为电图像信号或图像数据，并输出电图像信号或图像数据。用户可通过相机140捕捉运动图像或静止图像。换言之，相机140形成对象的光图像，并将形成的光图像检测为电信号。
[0050]透镜系统通过使从外部入射的光会聚来形成对象的图像。透镜系统包括至少一个透镜，并且透镜可以是凸透镜、非球面透镜等。透镜系统相对于穿过透镜系统的中心的光轴具有对称性，并且光轴被定义为中轴。图像传感器将由通过透镜系统入射的外部光形成的光图像检测为电图像信号。
[0051]图像传感器包括布置在MXN矩阵的结构中的多个像素，像素可包括光电二极管和至少一个晶体管。像素累积由入射光产生的电荷(即，曝光处理)，根据累积的电荷的电压表示入射光的照度(即，用于输出图像数据的处理)。在处理静止图像或包括在运动图像文件中的一个图像的情况下，由从像素输出的一组电压(即，像素值)形成从图像传感器输出的图像数据，图像数据表示一个图像(即，静止图像)。此外，图像包括MXN个像素。图像传感器可以是电荷耦合器件(CXD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器
坐寸ο
[0052]驱动单元根据第一控制器170的控制驱动图像传感器。根据从第一控制器170接收到的控制信号，驱动单元曝光图像传感器的所有像素或仅曝光所有像素中的兴趣区域，并使得从像素输出的图像数据输出到第一控制器170。
[0053]第一控制器170逐帧处理从相机单元140接收到的图像或存储在第一存储器120中的图像，并输出被转换为满足显示单元160的屏幕的特征(例如，尺寸、图像质量、分辨率等)的图像中贞。
[0054]显示单元160在其屏幕上显示从第一控制器170输入的图像。显示单元160可通过液晶显示器(IXD)等来实现。显示单元160可被配置为触摸屏。触摸屏根据第一控制器170的控制显示图像。当用户输入装置(例如，手指或触控笔)触摸触摸屏的表面时，触摸屏根据第一控制器170的控制产生键触摸中断，并将包括输入坐标和输入状态的用户输入信息输出到第一控制器170。
[0055]触摸屏可向用户提供与各种服务(例如，电话呼叫、数据传输、广播和静止图像/运动图像的捕捉)相应的图形用户界面。触摸屏可将与输入到图形用户界面的至少一个触摸相应的用户输入信息发送到第一控制器170。触摸屏可通过用户的肢体(例如，包括拇指的手指)或用于实现触摸的输入装置(例如，触控笔)接收至少一个触摸来作为输入。此外，触摸屏可接收针对至少一个触摸的一个触摸的连续移动来作为输入。触摸屏可将与输入触摸的连续移动相应的用户输入信息发送到第一控制器170。
[0056]根据本发明的示例性实施例，触摸不限于在触摸屏上的用户的肢体或用于实现触摸的输入装置的触摸，而可包括非接触触摸(例如，用户的肢体或用于实现触摸的输入装置与触摸屏之间的可检测距离小于或等于预定义的距离，诸如，1mm)。触摸屏可采用触摸屏技术，诸如电阻技术、电容技术、红外技术、声波技术等。[0057]第一存储器120可存储:用于各种功能(诸如导航功能、视频呼叫功能和游戏功能)的应用；与图像、用户信息、文档、指纹信息/数据、以及将指纹映射到用于提供与应用相关的图形用户界面(GUI)的功能的表相关的数据库；背景图像(例如，菜单屏幕图像和待机屏幕图像)或用于驱动移动终端100的操作程序；由相机捕捉的图像等。第一存储器120是可由机器(例如，计算机)读取的介质或机器可读介质。术语“机器可读介质”可被定义为向机器提供数据以使机器能够执行特定功能的介质。机器可读介质可以是存储介质。第一存储器120可包括非易失性介质和易失性介质。所有这些介质必须是可由物理设备检测的类型，其中，所述物理设备使由介质传送的指令被读取到机器中。第一存储器120可以是非暂时性计算机可读存储介质。
[0058]机器可读介质不限于该配置。因此，机器可读介质包括软盘、柔性盘、硬盘、磁带、致密只读存储器(⑶-ROM)、光盘、穿孔卡、纸制磁带、随机存取存储器(RAM)、可编程只读存储器(PROM)、可擦除PROM (EPROM)、闪速EPROM等中的至少一个。
[0059]第一控制器170根据用户输入信息执行应用，应用执行根据用户输入信息的程序操作。在这种情况下，用户输入包括通过键区、触摸屏等的输入和/或基于相机的输入。第一控制器170可包括用于信息交换的总线和连接到总线以处理信息的处理器。第一控制器170还可包括连接到总线以存储处理器所需的信息的随机存取存储器(RAM)。RAM可被用于存储处理器所需的临时信息。移动终端100还可包括连接到总线以存储处理器所需的静态信息的ROM。作为中央处理单元(CPU)的第一控制器170控制移动终端100的整体操作，并用于执行根据本发明示例性实施例的指弓I路线的方法。
[0060]图2示意地示出根据本发明示例性实施例的移动终端的外观配置。
[0061]参照图2，移动终端100包括布置在移动终端100的前表面上的显示单元160、布置在显示单元160的上部或布置在前表面的上部的扬声器111和相机140、布置在显示单元160的下部的主屏按钮114。音量按钮112可被布置在移动终端100的一个侧表面上，电源按钮113可被布置在移动终端100的另一个侧表面上。
[0062]移动终端100的第一存储器120存储导航应用162和语音识别应用163。移动终端100在显示单元160的屏幕161上以可执行图标的形式显示应用(例如，导航应用、备忘录应用等)，诸如导航应用162和语音识别应用163。当用户根据触摸命令或语音命令执行导航应用162时，移动终端100与服务器200通信，并且在预览模式的情况下操作相机140。
[0063]移动终端100的第一控制器170包括:视图选择器180,用于选择使用由相机140捕捉的图像作为实时地图的预览模式和使用从服务器200接收到的街景图像作为地图的街景模式中的一个模式。此外，移动终端100的第一控制器170包括:虚拟对象合成器190，用于在预览图像或街景图像上显示路线指引信息。
[0064]服务器200包括第二通信单元210、第二存储器220和第二控制器240。
[0065]第二通信单元210与移动终端100执行有线或无线通信。
[0066]第二存储器200包括街景全景数据库(在下文称为数据库)230，数据库230包括多个不同的位置和映射的街景图像。数据库230是地图数据库，并存储通过使用由相机捕捉的城市或街道的实际图像而产生的三维(3D)实际图像地图。术语“3D实际图像地图”表示通过在使用车辆或飞机捕捉实际街道之后使用捕捉的实际图像来实现的3D地图。在3D实际图像地图的情况下，通过安装在车辆上的立体相机捕捉城市或街道，因此不仅可获得包括在捕捉的图像中的每个对象的三维坐标(例如，X轴、y轴和Z轴坐标)，还可获得与用于捕捉城市或街道的立体相机和每个对象之间的距离相应的深度信息。另一方面，可通过使用飞机捕捉宽范围的多个二维(2D)图像、通过提取捕捉的图像中的两个相邻2D图像重叠的区域中的深度信息、并通过3D映射执行3D建模来实现3D实际图像地图。此外，包括在3D实际图像地图中的每个对象具有多条3D信息和多条深度信息。例如，表示每个对象的多个像素中的每个像素可具有3D信息和深度信息。因此，3D实际图像地图不仅可用于区分特定建筑物的位置，还可用于区分特定建筑物的轮廓(诸如特定建筑物的前表面、后表面和侧表面)与其他建筑物的轮廓。此外，3D实际图像地图可用于区分特定建筑物的楼层。相反，在现有的2D地图中，仅使用GPS信息，因此现有2D地图仅提供关于特定建筑物的位置信息。在这方面，现有2D地图与3D实际图像地图的不同在于，现有2D地图不能具体地区分特定建筑物的前表面和后表面，或者现有2D地图不能具体地区分建筑物的楼层。
[0067]第二控制器240包括位置测量单元250。位置测量单元250将从移动终端100接收到的预览图像与存储在数据库230中的每个街景图像进行匹配，并产生与匹配的街景图像相应的路线指引信息。换言之，第二控制器240从存储在数据库230中的街景图像中搜索与预览图像匹配的街景图像。此时，位置测量单元250可通过使用从移动终端100接收到的位置信息提高匹配速度和精度。数据库230存储与每个街景图像相应的包括位置、姿态(或方位、或方向)等的街景信息以及街景图像。
[0068]第二存储器220可存储包括使移动终端100执行用于指引路线的预设方法的指令的程序、程序的更新信息等。第二控制器240可执行用于自动地或根据移动终端100的请求将相关程序发送到移动终端100的控制操作。
[0069]图3是示出根据本发明第一示例性实施例的指引路线的方法的信号流示图。
[0070]参照图3，本发明的第一示例性实施例描述导航应用在预览模式下操作的示例。
[0071]在步骤310，移动终端100的第一控制器170通过使用相机140产生预览信息(例如，预览图像)，并通过使用传感器单元130产生位置信息。位置信息可包括一些或所有传感器值，诸如由GPS传感器提供的GPS位置、由指南针传感器提供的方位(或姿态、或方向)以及由陀螺仪传感器提供的角速度。
[0072]在步骤320，第一控制器170通过使用第一通信单元150将预览信息和位置信息发送到服务器200。
[0073]在步骤330，第二控制器240将从移动终端100接收到的预览信息与存储在数据库230中的街景信息(例如，街景图像)进行匹配，并产生与匹配的街景信息相应的路线指引信息。路线指引信息包括匹配的街景信息的部分(例如，位置和方位信息)、表示关于兴趣点的信息的兴趣点(POI)信息和路线信息(诸如距离、方向、位置等)中的一些或全部。
[0074]在步骤340，服务器200通过使用第二通信单元210将路线指引信息发送到移动终端100。例如，服务器200可通过使用消息与移动终端100通信。在步骤340，服务器200可在路线指引信息中包括指示匹配是否成功的标识符，并可将包括标识符的路线指引信息发送到移动终端100。
[0075]在步骤350，第一控制器170执行预览指引模式。具体地说，第一控制器170基于路线指引信息产生至少一个虚拟对象，将虚拟对象与预览图像进行合成，并通过使用显示单元160向用户显示与预览图像合成的虚拟对象。虚拟对象包括第一路线指引对象(诸如箭头)、表示距离和位置的第二路线指引对象、POI对象等中的至少一个。此时，可二维地或三维地(即，透视地)显示每个对象。第一控制器170可通过使用包括在路线指引信息中的位置和/或方位信息真实且准确地表现第一路线指引对象和POI对象。当仅通过使用由移动终端100测量的位置信息(GPS位置和方位)来产生第一路线指引对象时，第一路线指引对象不能准确地匹配预览图像，而是好像漂浮在道路上。因此，产生的问题是:可能会出现在复杂的闹市区中将用户指引到不正确的道路上的情况。路线指引信息包括在车辆在实际道路上行驶时捕捉的街景图像的位置和方位信息。因此，当使用位置和方位信息时，第一路线指引对象可准确地匹配预览图像。类似地，POI对象可准确地匹配地面上的自然特征。第一控制器170可使虚拟对象透明或不透明地覆盖预览图像。根据下面的层结构来描述该配置。第一控制器170可在预览图像层上布置3D层，所述3D层具有透明或不透明的虚拟对象与透明背景。
[0076]图4是用于解释根据本发明第一示例性实施例的指引路线的方法的示图。
[0077]参照图4，示出安装在车辆前窗的移动终端。
[0078]如图4中所示，移动终端100的显示单元160显示相机140当前正在捕捉的预览图像430，并还在预览图像430上显示路线指引信息。路线指引信息被显示为与预览图像430中的道路重叠的方式，并被显示为与第一路线指引对象440和预览图像430的上部重叠的方式，其中，第一路线指引对象440显示行进路线作为图像。此外，路线指引信息包括预览图像430中的第二路线指引对象450和POI对象460，其中，第二路线指引对象450指示到交叉路口的距离以及在交叉路口处的行进方向，POI对象460表示诸如地面上的自然特征(诸如建筑物、道路、森林等)的层的数量和名字的详细信息。根据本发明的示例性实施例，POI对象460可通过文字、图像等来显示。
[0079]如图4中所示，通过车辆前窗410，示出包括森林和森林中的道路的周围环境420，移动终端100的显示单元160还相同地(或基本相同地)显示被相机140的视角限制的周围环境的部分。
[0080]图5是示出根据本发明第二示例性实施例的指引路线的方法的信号流示图。
[0081]参照图5，本发明的第二示例性实施例描述导航应用在街景模式下操作的示例。
[0082]在步骤510，移动终端100的第一控制器170通过使用传感器单元130产生位置信息。位置信息可包括一些或全部传感器值(诸如由GPS传感器提供的GPS位置、由指南针传感器提供的方位(或姿态、或方向)、由陀螺仪传感器提供的角速度等)。
[0083]在步骤520，第一控制器170将位置信息发送到服务器200。移动终端100可通过使用第一通信单元150发送位置信息。
[0084]在步骤530，第二控制器240将从移动终端100接收到的位置信息与存储在数据库230中的街景信息(例如，街景图像)进行匹配，并产生与匹配的街景信息相应的路线指引信息。路线指引信息包括匹配的街景信息的部分(例如，街景图像和方位信息)、表示关于POI的信息的POI信息和路线信息(诸如距离、方向、位置等)中的一些或全部。
[0085]在步骤540，服务器200通过使用第二通信单元210将路线指引信息发送到移动终端100。作为示例，服务器200可通过使用消息与移动终端100通信。在步骤540，服务器200可在消息中包括与路线指引信息一起的指示匹配是否成功的标识符，并可将包括与路线指引信息一起的标识符的消息发送到移动终端100。[0086]在步骤550，第一控制器170执行街景指引模式。具体地说，第一控制器170基于路线指引信息产生至少一个虚拟对象，将虚拟对象与街景图像进行合成，并通过使用显示单元160向用户显示与街景图像合成的虚拟对象。虚拟对象包括第一路线指引对象(诸如箭头)、表示距离和位置的第二路线指引对象、POI对象中的至少一个。此时，可二维地或三维地(即，透视地)显示每个对象。第一控制器170可使虚拟对象透明或不透明地覆盖街景图像。根据下面的层结构来描述该配置。第一控制器170可在街景图像层上布置3D层，所述3D层具有透明或不透明的虚拟对象与透明背景。
[0087]图6是用于解释根据本发明第二示例性实施例的指引路线的方法的示图。
[0088]参照图6，在执行导航应用之前，移动终端100的显示单元160显示预存储在服务器200中的街景图像630和在街景图像630上显示的路线指引信息两者。路线指引信息被显示为与街景图像630中的道路重叠的方式，并被显示为与第一路线指引对象640和街景图像630的上部重叠的方式，其中，第一路线指引对象640显示行进路线作为图像。此外，路线指引信息包括预览图像中的第二路线指引对象650和POI对象660，其中，第二路线指弓I对象650指示到交叉路口的距离以及在交叉路口处的行进方向，POI对象660表示诸如地面上的自然特征(诸如建筑物、道路、森林等)的层的数量和名字的详细信息。POI对象660可通过文字、图像等来显示。
[0089]当移动终端100被安装在车辆前窗上时，在通过车辆前窗看到的周围环境和由移动终端100的显示单元160显示的街景图像630中，在地面上的固定的自然特征彼此一致，但是运动对象(诸如车辆和云朵)可能表现地彼此不同。
[0090]图7是示出根据本发明第三示例性实施例的指引路线的方法的信号流示图。
[0091]参照图7，步骤710至步骤740与已经参照图3描述的步骤310至步骤340相同，因此下面将不再描述。
[0092]在步骤750，移动终端100的第一控制器170分析从服务器200接收到的路线指引信息，并确定路线指引模式。例如，第一控制器170可识别包括在路线指引信息中的指示匹配是否成功的标识符，或可识别街景图像是否包括在路线指引信息中。当匹配成功时或者当路线指引信息中不包括街景图像时，第一控制器在步骤760执行预览指引模式。当匹配失败时或者当路线指引信息中包括街景图像时，第一控制器在步骤770执行街景指引模式。当建立数据库230的时间点与从移动终端100接收预览图像的时间点不同时，当背光捕捉预览图像时，当在夜间捕捉预览图像时，当多个障碍物阻挡相机140的视野时等，会发生匹配的失败。
[0093]图8是示出根据本发明第四示例性实施例的指引路线的方法的信号流示图。
[0094]参照图8，步骤810至步骤850与参照图3描述的步骤310至步骤350相同，因此在下面将不再描述。
[0095]在步骤860，移动终端100的第一控制器170识别是否发生视图改变事件。当用户通过使用用户接口或显示单元输入视图改变命令时，或者当满足存储在第一存储器120中的预设条件时，发生视图改变事件。参照图4，例如，用户在预览模式正被执行的状态下在显示单元160的屏幕上触摸可选位置、预设区域或设置的按钮，并允许移动终端100从预览模式改变为街景模式。
[0096]由于预览图像是由相机140当前捕捉的图像，因此不可能在预览模式下预先搜索路线。在这种情况下，例如，用户在显示单元160的屏幕161上向下拖动他/她的手指，并允许移动终端100改变为启用街景的预览。此外，在人多拥挤的区域中，用户可能期望没有人的环境。在这种情况下，用户允许移动终端改变为街景。
[0097]预设条件可包括:由传感器单元130提供的卫星信号的强度小于预设阈值的情况，用户进入卫星信号的盲区(诸如隧道和干扰区域)的情况等。
[0098]当没有发生视图改变事件时，第一控制器170在步骤850执行预览指引模式。
[0099]当发生视图改变事件时，第一控制器170在步骤870执行街景指引模式。
[0100]根据本发明的第四示例性实施例，已经描述了移动终端100从预览指引模式改变为街景指引模式的示例的情况。相反，根据视图改变事件的发生，移动终端100可从街景指引模式改变为预览指引模式。
[0101]此外，根据本发明的第一至第四示例性实施例，已经描述了指引车辆的路线的示例的情况。然而，如上所述的用于指引路线的方法还可应用于用户步行的情况等。
[0102]此外，根据本发明的第一至第四示例性实施例，已经描述了移动终端100从服务器200接收路线指引信息的示例的情况。然而，当移动终端100的第一存储器120包括街景数据库时，可由移动终端100产生路线指引信息。例如，参照图3，移动终端100可执行由服务器200执行的步骤330。
[0103]根据本发明的第一至第四示例性实施例，与街景混合的相机预览被用于AR导航，从而可稳定地处理基于预览的定位失败的情况。此外，向用户提供预览功能，或者提供AR体验与在人多拥挤的区域中具有高得多的可视度的图像一起，从而可根据用户接口提供高的使用体验。
[0104]将理解，可以以硬件、软件或硬件和软件的组合的形式来实现本发明的示例性实施例。不论软件是否可被删除或重写，任何这样的软件可被存储在易失性或非易失性存储装置(诸如只读存储器(ROM))中，或被存储在存储器(诸如随机存取存储器(RAM)、存储器芯片、存储器装置或存储器集成电路)中，或被存储在可进行光记录或磁记录并同时可由机器(例如，计算机)读取的存储介质(诸如致密盘(CD )、数字多功能盘(DVD )、磁盘或磁带)中。将理解，可包括在移动终端中的存储器是适合存储包括用于实现本发明示例性实施例的指令的程序的机器可读存储介质的示例。因此，本发明的示例性实施例包括这样的程序以及存储了该程序的非易失性机器可读存储介质，其中，所述程序包括用于实现在本说明书的任何权利要求中要求的设备或方法的代码。此外，该程序可通过任何介质(诸如通过有线或无线连接传输的通信信号)被电传送，并且本发明适当地包括该程序的等同物。
[0105]虽然已经参照本发明的特定示例性实施例示出和描述了本发明，但是本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的范围的情况下，可以对其进行形式和细节上的各种改变。
【权利要求】
1.一种用于向移动终端提供导航信息的方法，所述方法包括:产生由相机捕捉的预览图像和移动终端的位置信息；将预览图像和位置信息发送到服务器；从服务器接收基于预览图像和位置信息产生的路线指引信息；向用户显示路线指引信息。
2.如权利要求1所述的方法，其中，显示路线指引信息的步骤包括:基于路线指引信息产生至少一个虚拟对象；将所述至少一个虚拟对象与预览图像进行合成；向用户显示与预览图像合成的所述至少一个虚拟对象。
3.如权利要求1所述的方法，其中，显示路线指引信息的步骤包括:基于路线指引信息产生至少一个虚拟对象；将所述至少一个虚拟对象与街景图像进行合成；向用户显示与街景图像合成的所述至少一个虚拟对象。
4.如权利要求1所述的方法，还包括:分析从服务器接收的路线指引信息； 从多个路线指引模式中确定路线指引模式。
5.如权利要求4所述的方法，还包括:确定是否发生视图改变事件；当发生视图改变事件时，将确定的路线指引模式改变为另一路线指引模式。
6.一种通过服务器提供导航信息的方法，所述方法包括:从移动终端接收由移动终端捕捉的预览图像和移动终端的位置信息；将预览图像与预存储的街景图像进行匹配；基于与匹配的街景图像相关的位置和方向信息产生路线指引信息；将路线指引信息发送到移动终端。
7.如权利要求6所述的方法，其中，路线指引信息包括:与匹配的街景图像相关的位置和方向信息；与关于兴趣点的信息对应的兴趣点(POI)信息；路线信息。
8.如权利要求6所述的方法，其中，路线指引信息包括:位置和方向信息；街景图像。
9.如权利要求6所述的方法，其中，路线指引信息还包括指示匹配是否成功的标识符。
10.如权利要求6所述的方法，还包括:当匹配失败时，产生包括位置和方向信息的路线指引信息和街景图像；将当匹配失败时产生的路线指引信息发送到移动终端。
11.一种用于导航的移动终端，所述移动终端包括:相机，捕捉预览图像；传感器单元，产生移动终端的位置信息；通信单元，将预览图像和位置信息发送到服务器；控制器，控制通信单元从服务器接收基于预览图像和位置信息产生的路线指引信息，并控制显示单元向用户显示路线指引信息。
12.如权利要求11所述的移动终端，其中，控制器基于路线指引信息产生至少一个虚拟对象，将所述至少一个虚拟对象与预览图像进行合成，并向用户显示与预览图像合成的所述至少一个虚拟对象。
13.如权利要求11所述的移动终端，其中，控制器基于路线指引信息产生至少一个虚拟对象，将所述至少一个虚拟对象与街景图像进行合成，并向用户显示与街景图像合成的所述至少一个虚拟对象。
14.如权利要求11所述的移动终端，其中，控制器分析从服务器接收到的路线指引信息，并从多个路线指引模式中确定路线指引模式。
15.如权利要求14所述的移动终端，其中，控制器确定是否发生视图改变事件，当发生视图改变事件时，将确定的路线指引模式改变为另一路线指引模式。
16.一种向移动终端提供导航信息的服务器，所述服务器包括: 通信单元，从移动终端接收由移动终端捕捉的预览图像和移动终端的位置信息； 存储器，存储街景图像； 控制器，从街景图像中搜 索与预览图像匹配的街景图像，基于与匹配的街景图像相关的位置和方向信息产生路线指引信息，控制通信单元将路线指引信息发送到移动终端。
17.如权利要求16所述的服务器，其中，路线指引信息包括: 与匹配的街景图像相关的位置和方向信息； 与关于兴趣点的信息对应的兴趣点(POI)信息； 路线信息。
18.如权利要求16所述的服务器，其中，当匹配失败时，控制器产生包括位置和方向信息的路线指引信息和街景图像，并控制通信单元将产生的路线指引信息发送到移动终端。
【文档编号】G01C21/00GK103471580SQ201310223545
【公开日】2013年12月25日 申请日期:2013年6月6日 优先权日:2012年6月6日
【发明者】郑址洪, 曹圭星, 白盛焕, 曹益焕, 孙泰焕 申请人:三星电子株式会社