专利名称：一种基于增强现实技术的智能导航方法和设备的制作方法
技术领域：
本发明涉及导航领域，更具体的涉及一种基于增强现实技术的智能导航方法和设备。
背景技术：
目前广泛使用的导航装置中都预先设置地图，以及GPS接收机，通过GPS接收机接收到GPS信息确定用户当前地理位置，然后根据用户指定的目的地以及所述当前地理位置，在预先设置的地图上规划出一条到达目的地的导航路线，通过显示装置显示导航提示 fn息ο现有的导航地图基本都是采用二维电子地图，对于某些用户来讲，二维电子地图与实景差别较大，用户在关注电子地图的同时可能会忽略实际路况特征，对于汽车用户而言，长时间不看路况发生危险的可能性会增大，不利于行车安全。现有部分三维导航地图，是通过预先采集各个街道、路口的三维立体图像，在导航时，将预先采集到的图像显示在显示屏幕上，看起来比二维导航图像更加直观，但这种导航图像的缺点在于，需要事先采集地图上所有街道的立体三维图，这样形成的电子地图需要很大的存储空间进行存储，并且事先采集到的图像与实际导航过程中的路面情况可能有较大差别，无法进行实时更新，给用户带来不便。因此，急需一种能够实时提示各种路况特征的实景导航方法和设备，真正实现基于现实路况进行导航的目的。
发明内容
为实现上述目的，本发明提供一种基于增强现实技术的智能导航方法，通过图像采集装置实时采集路况图像，对采集到的图像进行处理，结合导航路线，根据实际情况实时发出导航提示信息。由于所述导航提示信息是在判断了当前路况的情况下做出的，因而更加贴合实际，符合人们的需求。本发明提供的基于增强现实技术的智能导航方法包括实时采集用户行进过程中用户前方的道路信息；识别所述道路信息中的各种路况特征；基于所述路况特征和预先确定的导航路线来生成导航提示信息。所述导航方法还包括接收GPS定位信息，确定用户当前位置；根据用户指定的目的地以及所述用户当前位置，确定导航路线。本发明提供的导航方法，通过实时采集行驶路线正前方的道路信息，并对所述道路信息进行分析处理，根据处理结果结合导航路线发出导航提示信息。可以在显示所述道路信息的同时在显示装置上叠加显示所述导航提示信息；并且/或者以语音的形式向用户提供所述导航提示信息。
所述道路信息为图像，通过对采集到的图像进行分析判断，可以进行危险预警，这是一般的导航方法所不能达到的功能。在行驶过程中，路况是很复杂的，通过识别行驶路线前方的行人、非机动车或者小动物，及时提醒用户做出反应，可降低发生危险的可能性。本发明提供的导航方法中，根据实时采集到的图像中识别用户所在的车道，当导航路线中发现需要进行转弯时，判断用户是否在转弯车道上，如果不在则提醒用户及时并入转弯车道，以免多走冤枉路，提高了导航精准度。综上，本发明提供的导航方法，在判断了当前路况的基础上结合导航路线发出导航提示信息，更加贴近现实，便于使用。本发明还提供一种基于增强现实技术的智能导航设备，所述导航设备包括图像采集装置，实时采集用户行进过程中用户前方的道路信息；数据处理装置，接收来自图像采集装置的道路信息，识别所述道路信息中的各种路况特征；并基于所述路况特征和预先确定的导航路线来生成导航提示信息。其中，所述导航提示信息为语音提示信息或者图像提示信息。所述导航设备还可以包括下列装置中的一种或者几种GPS接收装置，其实时接收GPS定位信息，确定用户当前位置；路线确定装置，其根据用户指定的目的地以及所述用户当前位置，确定车辆行驶的导航路线；显示装置，用于显示所述道路信息，其中所述道路信息上叠加所述导航提示信息；存储装置，用于存储所采集的路况特征，所存储的格式为图片或者视频。本发明所述的路况特征包括信号灯特征、车道特征、行人特征、前方机动车特征、 非机动车特征中的一种或者几种。其中，信号灯特征包括前方信号灯显示的颜色，车道特征包括车道上的诸如车道线、表示转弯、掉头的标记，行人或非机动车特征包括车道内出现的行人或非机动车，前方机动车特征包括前方机动车的距离和速度变化。本发明所述的导航提示信息包括机动车转弯信息、机动车并线信息、危险警告信息、目的地距离信息、道路名称信息、设备状态信息中的一种或者几种。利用上述导航设备，可以实现实时街景导航功能，并且所述导航设备操作简单，便于用户使用。
图1为本发明实施例提供的导航方法流程图；图2为本发明实施例提供的导航设备示意图；图3为本发明另一实施例提供的导航设备示意图；图4-1至图4-5为本发明提供的导航设备显示装置的屏幕显示示意图。
具体实施例方式下面结合附图对本发明的具体实施例进行说明。图1所示为本发明提供的基于增强现实技术的智能导航方法的流程图，所述导航方法包括以下步骤
101、由用户输入目的地。具体的，用户可以通过导航设备输入目的地，也可以选择通过网络连接到网络侧服务中心设置目的地。所述网络可以为无线通讯网络或者互联网。 例如，用户通过拨打网络侧呼叫中心，通过网络侧呼叫中心来远程设置目的地。当用户通过导航设备输入目的地时，可以通过输入文字信息来输入目的地，也可以通过语音信息来输入目的地。102、接收GPS卫星信号，确定用户所处的地理学经纬度坐标信息；根据所述坐标信息确定用户当前位置。103、根据步骤101中所述目的地以及步骤102中所述当前位置，确定导航路线。具体的，导航设备中预设了电子地图时，可以由导航设备根据所述目的地和所述当前位置来规划导航路线。还可以由网络侧服务中心规划导航路线，并将导航路线通过所述网络传回导航设备。导航设备也可以不包括电子地图，此时由网络侧服务中心规划导航路线，并将导航路线传回导航设备。104、采集当前道路信息。优选采集当前行驶路线正前方的路况图像，更进一步的， 采集用户在驾驶座位上看到的行驶路线正前方的视野范围内的图像。当然，还可以通过红外探头采集当前行驶路线正前方的红外图像，然后对所述红外图像进行分析处理。105、识别所述路况图像中的路况特征。通过对采集到的当前路况图像进数据分析处理，获取所需信息。具体的，所述路况特征可以包括车道状况、行人状况、前方机动车行驶状况、前方信号灯状况等；还可以包括所述路况图像中的导航附加信息，例如所述当前位置附近的标志性建筑物、地铁站、餐饮娱乐服务点等。识别所述路况图像中的各种路况特征的方法有很多种，可以根据具体的路况特征选择不同的图像识别算法。下面将以前方信号灯状况为示例来说明本发明对各种道路特征的识别。首先根据实际需要将所述当前路况图像转换成所需格式的数字图像。例如，识别信号灯时需要HSV格式的数字图像，而所述当前路况图像为RGB格式或者YUV格式，则将所述RGB格式或者YUV格式的图像转换成HSV格式的图像。其次，对所述HSV格式的数字图像进行处理，获得H、S、V三个分量。然后，筛选出满足限制条件的像素点。所述限制条件即经过测试的经验值，这里对 H、S、V三个分量都有限制，能够在不同的环境下最大限度的筛选出信号灯的像素点，优选限制条件如下红灯限制条件为S> 0. 3，V > 0. 6，15 > H > = 0 和 360 > H > 340。绿灯限制条件为S> 0. 3，V > 0. 6，180 > H > = 130。根据筛选出来的像素点在所述数字图像中位置，获得一幅二值图像，其中所述筛选出来的像素点对应的位置像素值为1，其余位置像素值为0 ；当然也可以所述筛选出来的像素点对应的位置像素值为0，其余位置像素值为1。所述筛选出来的像素点位置为信号灯和一些干扰源。对所述二值图像进行一些图像预处理，去除明显的干扰源。然后设置感兴趣的区域，即红绿灯可能存在的区域。在实际处理过程中，红绿灯一般位于所述图像的右上方区域，因此将感兴趣的区域设置为图像的右上方的部分区域。在所述二值图像的感兴趣区域进行查找，找到具有合适轮廓的像素区域；
对查找到的像素区域进行进一步判断，排除干扰源。例如，在实际处理过程中，因为汽车尾灯在HSV空间中的属性和信号灯的大致相同，因而根据前述的红灯限制条件筛选时容易将汽车尾灯也筛选进来。进过观察，红色信号灯相对于其他红灯相对孤立，即周围再无其他红色，而汽车尾灯常常是有多个红色块组成，根据该特点可以将干扰源过滤掉，获得所需的信号灯信息。如根据前述红灯筛选条件获得的二值图像中找到的信号灯，则判断是红灯，如根据绿灯筛选条件获得的二值图像找到的信号灯，则判断是绿灯。上述识别信号灯的过程仅为一种实施方式，还可以根据其他特征来识别图像中是否有信号灯以及所述信号灯是红灯还是绿灯。106、根据所述路况特征，结合导航路线，发出导航提示信息。还可以根据用户需求提供导航附加信息。所述导航提示信息和/或导航附加信息可以是语音提示和/或图像提
7J\ ο具体的，所述导航提示信息包括机动车转弯信息、机动车并线信息、危险警告信息、目的地距离信息、道路名称信息、设备状态信息中的一种或者几种。例如，通过识别当前路况图像，发现用户按照目前既定速度和方向继续前行将会与前方行人相撞，则发出危险警告信息，提示用户注意前方行人，避免发生危险。通过识别当前路况图像，发现前方机动车行驶速度突然减慢，与用户之间的距离小于安全距离时，发出危险警告信息，提示用户注意前方机动车，适当减速，避免发生危险。根据导航路线，前方需要转弯时，通过识别当前路况图像，判断用户是否在转弯车道上，如果不是，则发出左/右并线信息，提醒用户变换车道到合适的转向车道上。具体的，所述导航附加信息可以包括用户所在当前位置附近的餐饮娱乐场所、地铁站、火车站、飞机场、购物场所、其他标志性建筑等。其中，步骤101、102并无先后顺序，其顺序可调；步骤104与步骤101、102亦无先后顺序，其顺序可以是并列进行的；步骤103和步骤105也可以是并列进行的。更进一步的，所述导航方法还包括将导航提示信息和/或导航附加信息叠加在所述当前路况图像上，并在显示装置中显示叠加了导航提示信息和/或导航附加信息的所述当前路况图像。例如，利用箭头来指示转向、左/右并线等提示信息；利用红色圆圈将行人所在位置标识出来，提示用户注意。在所述当前路况图像上能够找到地铁站时，在地铁站所在位置显示明显的地铁站标识。将行驶路程中采集到的图像进行存储。可以选择存储为一张张的图片，也可以选择存储成视频格式，优选采用视频格式来存储行驶过程中采集到的图像，方便用户记录自己走过的路线。同时，在存储的图像或者视频上叠加当前的时空信息，所述当前的时空信息为地理学经纬度坐标以及当前时间。另外，还可以提供其他附加服务，例如通过无线通讯网络或者互联网将采集的路况图像或者存储的视频传送给其他人。如图2所示为本发明提供的基于增强显示技术的智能导航设备示意图，其中导航设备包括GPS接收机201，实时接收来自卫星205的GPS定位信息，根据所述定位信息确定当前地理位置；
图像采集装置203，实时采集用户行进过程中用户前方的当前路况图像，并将采集到的图像传输给数据处理装置202。所述图像采集装置203可以为摄像头或者红外摄像头等；数据处理装置202，其内部预设电子地图，根据用户指定的目的地，以及所述当前地理位置，规划出合适的导航路线。数据处理装置202接收所述当前路况图像，对所述当前路况图像进行识别，根据识别的结果，结合导航路线，发出导航提示信息。具体的，识别当前路况图像中可能出现的危险状况，对用户进行提示。当根据导航路线进行判断，发现前方需要转向时，根据当前路况图像识别出用户所在车道，判断是否需要变换车道，并发出相应提示。数据处理装置202还可以根据用户需求，结合所述电子地图，识别所述当前地理位置附近的标志性建筑物、购物场所、餐饮娱乐场所、停车场、地铁站、火车站等导航附加信肩、ο数据处理装置202将导航提示信息叠加到所述当前路况图像上，在显示装置204 上进行显示。还可以根据用户需求，将其识别到的导航附加信息叠加到当前路况图像上，并在显示装置204上进行显示。显示装置204，其显示叠加了导航提示信息的当前路况图像，并可根据用户需求， 显示数据处理装置202识别到的导航附加信息。在上述实施例的一种变型中，可以用一个语音装置替代所述显示装置204，通过该语音装置将所述导航提示信息传达给用户。图3为本发明提供的另一种基于增强现实技术的智能导航设备示意图，所述导航设备包括通信装置306、图像采集装置303、数据处理装置302以及显示装置304。导航设备及网络侧服务中心301各部分的作用如下通信装置306，实时接收来自卫星系统305的GPS定位信息，根据所述定位信息确定当前地理位置。通信装置306还用于与网络侧服务中心301进行通信，并且将网络侧服务中心301传回的信息传送到数据处理装置302。网络侧服务中心301，根据通信装置306的请求，返回其所需信息。具体的，当用户通过通信装置306向网络侧服务中心301发送请求，请求设置目的地以及规划导航路线，则网络侧服务中心301根据通信装置306所处的当前地理位置以及用户设置的目的地，规划出合理的导航路线，并将此导航路线发送给通信装置306。导航设备与网络侧服务中心301之间可以通过无线通讯网络传输信息，也可以通过互联网传输信息，优选采用无线通讯网络传输信息。图像采集装置303，实时采集当前道路信息，优选采集用户行进方向正前方的路况图像，并将所采集到的图像传输给数据处理装置302以及显示装置304;具体的，可利用安装在汽车前方的摄像头来采集图像，或者利用导航设备内置的摄像头来采集图像。数据处理装置302，接收所述当前路况图像，对所述当前路况图像进行识别，根据识别的结果，结合导航路线，发出导航提示信息。具体的识别当前路况图像中的危险特征， 发出导航提示信息，对用户进行提示；具体的，通过识别当前路况图像，发现用户按照目前既定速度和方向继续前行将会与某个行人相撞，则发出危险警告信息，提示用户注意前方行人，避免发生危险。通过识别当前路况图像，发现前方机动车行驶速度突然减慢，与用户之间的距离小于安全距离时，发出危险警告信息，提示用户注意前方机动车，适当减速，避免发生危险。根据导航路线，前方需要转弯时，通过识别当前路况图像，判断用户是否在转弯车道上，如果不是，则发出左/右并线提示，提醒用户变换到合适的转向车道上。数据处理装置302还可以根据用户需求，结合所述电子地图，识别所述当前地理位置附近的标志性建筑物、购物场所、餐饮娱乐场所、停车场等导航附加信息。数据处理装置302将导航提示信息叠加到所述当前路况图像上，在显示装置304 上进行显示。还可以根据用户需求，将其识别到的导航附加信息叠加到当前路况图像上，并在显示装置304上进行显示。显示装置304，将图像采集装置303采集到的当前路况图像进行显示，并在所述当前路况图像上叠加显示由数据处理装置302产生的导航提示信息。对于图3所示的实例，还可以有不同变型。在一种变型中，数据处理装置302还具有存储功能，将行驶过程中拍摄的图像进行存储，存储格式为图片或者视频，方便用户实时记录行驶过程，由于存储的图片或视频叠加有时空信息，也可以将所存储的图片或者视频作为呈堂证供使用。在另一种变型中，导航设备还包括存储装置，所述存储装置将行驶过程中拍摄的图像进行存储，存储格式为图片或者视频。图4-1至图4-5所示为本发明提供的基于增强现实技术的智能导航设备显示装置的屏幕显示示意图，屏幕上显示的是由导航设备图像采集装置采集到的当前路况图像，在所述路况图像上叠加了的导航提示信息以及导航附加信息。所述导航提示信息包括行驶方向信息，如图4-1中所示的转向箭头；危险警告信息，例如图4-2，图4-3和图4-4中所示的机动车提示信息、行人提示信息以及非机动车提示信息；红绿灯信息，例如图4-5中所示，提醒用户注意红灯，及时刹车；当前位置信息，如图4中所示的“车公庄大街”，告知用户其当前所处位置；所述导航附加信息可以根据用户需求包括下列信息中的一种或者几种标志性建筑，比如附近的地铁站、百货商场等；行驶速度信息，以更加醒目的方式显示当前行驶速度，更便于用户查看当前车速；当前位置到目的地的距离，如图4中所示的“ 1. 9公里”；已经行驶的距离，是指从开始使用导航设备进行导航，到当前位置已经走过的路程距离，如图4所示的“620米”；预期还需行驶的时间，是指从当前位置到达目的地还需耗费的时间长度，如图4 中所示的“00:05小时”；剩余电量信息，如图4右上角所示的“100%”，表示导航设备剩余电量百分比。对于图4所示的实施例，可以有不同的变型，可以仅显示所述导航提示信息和/或导航附加信息中的一种或者几种组合。本发明提供的导航方法和设备，与现有技术相比，至少具有如下优点1、实时采集当前行驶路线正前方的图像，使得司机用户在关注导航设备上的图像时，也能够实时观察到行驶路线正前方的路况，减少发生危险的可能性。
8
2、相比现有技术中的实景导航采用预先拍摄的图像存储在导航设备中，存储量较大而且不易实时更新，本发明采用实时采集当前路况图像，一方面节约了存储空间，另一方面实时采集的图像更加贴近现实。3、本发明基于实时采集到的当前路况图像，结合导航路线，发出导航提示信息，相比现有技术仅能提供转弯、直行等提示，本发明提供更加丰富的导航提示信息，不但能够对行车路线进行导航，还能基于当前路况为用户实时提供安全行车信息，更加智能化和人性化。
权利要求
1.一种基于增强现实技术的智能导航方法，包括实时采集用户行进过程中用户前方的道路信息；识别所述道路信息中的各种路况特征；基于所述路况特征和预先确定的导航路线生成导航提示信息。
2.根据权利要求1所述的智能导航方法，还包括接收GPS定位信息，确定用户当前位置；根据用户指定的目的地以及所述用户当前位置，预先确定所述导航路线。
3.根据权利要求1或2所述的智能导航方法，所述导航提示信息为语音提示信息和/ 或图像提示信息。
4.根据权利要求1或2所述的智能导航方法，所述路况特征包括信号灯状况、车道状况、行人状况、前方机动车状况、非机动车状况中的一种或者几种。
5.根据权利要求1或2所述的智能导航方法，所述导航提示信息包括机动车转弯信息、 机动车并线信息、危险警告信息、目的地距离信息、道路名称信息、设备状态信息中的一种或者几种。
6.根据权利要求1至5之任一所述的智能导航方法，还包括存储所述道路信息。
7.一种基于增强现实技术的智能导航设备，包括图像采集装置，实时采集用户行进过程中用户前方的道路信息；数据处理装置，接收来自图像采集装置的道路信息，识别所述道路信息中的各种路况特征；并基于所述路况特征和预先确定的导航路线来生成导航提示信息。
8.根据权利要求7所述的智能导航设备，还包括GPS接收装置，其实时接收GPS定位信息，确定用户当前位置；路线确定装置，其根据用户指定的目的地以及所述用户当前位置，预先确定所述导航路线。
9.根据权利要求7或8所述的智能导航设备，其中所述导航提示信息为语音提示信息和/或图像提示信息。
10.根据权利要求7或8所述的智能导航设备，还包括存储装置，用于存储所采集的道路信息，所存储的格式为图片或者视频。
11.根据权利要求7或8所述的智能导航设备，其中所述路况特征包括信号灯状况、车道状况、行人状况、前方机动车状况、非机动车状况中的一种或者几种。
12.根据权利要求7或8所述的智能导航设备，其中所述导航提示信息包括机动车转弯信息、机动车并线信息、危险警告信息、目的地距离信息、道路名称信息、设备状态信息中的一种或者几种。
全文摘要
本发明公开了一种基于增强现实技术的智能导航方法和设备，通过图像采集装置实时采集路况图像，对采集到的图像进行处理，提取各种路况特征，并结合预先确定的导航路线，根据实际情况实时发出导航提示信息。由于所述导航提示信息是在判断了当前路况的情况下做出的，因而更加贴合实际，符合人们的需求。
文档编号G01C21/26GK102519475SQ201110412868
公开日2012年6月27日 申请日期2011年12月12日 优先权日2011年12月12日
发明者杨志远 申请人:杨志远