专利名称：一种基于ar增强现实技术的车载实景安全导航方法
技术领域：
本发明涉及无线导航领域，特别涉及一种基于AR增强现实技术的车载实景安全导航方法，通过车载前置摄像头为用户提示车道线、障碍物以及与目标障碍物的距离并在实时图像上进行导航信息的叠加，在为用户导航的基础上又为用户提供一个安全的行驶路径。
背景技术：
目前，许多汽车前部都设有摄像头，摄像头对车前景进行图像采集显示在车内屏幕上，但并不能对图像进行识别，只是提供给驾驶员一个实时的图像信息，而GPS导航仪又只能根据虚拟的地图通过卫星定位，在虚拟地图上给出汽车在虚拟地图上的位置，而且虽然目前许多高档车都设有接近传感器为司机在停车时提供一个安全提醒，但如何在动态的行进中对路中的标志线和前方汽车距离进行判定引导驾驶员安全驾驶，目前还没有一个切实的方案，因此如何利用车载摄像头以及GPS导航系统，将实时的街景与导航信息结合实现一种实时的全方位导航，为车主提供更好的服务是我们追寻的目标。
发明内容
本发明的目的是针对上述问题提出的一种基于AR增强现实技术的车载实景安全导航方法，通过车载前置摄像头对目标进行检测、识别与跟踪，为用户提示车道线、障碍物以及与目标障碍物的距离并在实时图像上进行导航信息的叠加，为用户提供丰富的视觉服务和交互环境，为用户车行驶指明一个安全的行驶路线。为了实现上述目的，本发明一种基于AR增强现实技术的车载实景安全导航方法，包括在车头设置的摄像头和与之连接的车载机，其中，所述车载机中包括卫星导航系统和建有对物体特征进行识别特征数据库，还包括物体与本车之间相互关系的报警阈值表，所述方法执行的步骤包括:
a.采集车前实时图像，对实时图像中的物体进行提取特征物处理，通过与识别特征数据库比较，确定物体的种类；
b.对确定物体赋予识别特征，把附有识别特征的物体图像与实时图像进行叠加形成第一显示图像；
c.从卫星导航地图中提取实时导航地图信息；
d.将实时导航地图信息与第一显示图像进行叠加形成一个带有导航信息第二图像，并将第二图像显示在车载机屏幕上；
e.当图像中附有识别特征的某一物体触动报警阀值，通过警示图像或声音，提示驾驶人员行驶在一个最佳的安全路线上。进一步的优化是:所述步骤a进一步包括，采集车前实时图像，用CVBS信号输出图像到数字图像处理模块；数字图像处理模块把CVBS信号处理成数字信号，并以720*576图像的中心点为中心截取一个400*480的图像传送给CPU处理；CPU把图像处理模块传送的图像分为两路，一路作为用于显示的实时图像，另一路用于提取特征物处理。进一步的优化是:根据权利要求1所述的一种基于AR增强现实技术的车载实景安全导航方法，其特征在于，所述步骤b进一步包括，所述确定物体为多个时，优先保留汽车正前方的一个确定物体。进一步的优化是:所述提取特征物处理的步骤是:对实时图像进行提取灰阶图像处理，对提取的灰阶图像进行提取特征物，通过图像识别算法对取特征物进行图像的分类运算得出分类结果，把分类结果与识别特征数据库比较，确定物体的种类。进一步的优化是:所述灰阶图像处理过程是:摄像头采集的CVBS模拟信号传送到数字图像处理模块，数字图像处理模块把CVBS信号转换成R、G、B的数字信号，通过公式gray=0.30*R+0.59*G+0.11*B计算出每一个像素的灰阶。进一步的优化是:步骤d中所述第二图像的形成过程是:先在实时导航地图中规划出导航路径，并把导航路径提取出来放到CPU中的Iayerl图层，此导航路径带有经纬度信息；提取导航路径两侧的标志性POI点放到CPU中的layer2图层，POI点带有经纬度信息；将第一显示图像放到CPU中的layer3图层，通过CPU中的GPU图像处理算法，把Iayerl与Iayerf进行叠加计算后放到layer4图层；叠加后摄像头采集的信息在导航路径上带有了经纬度位置信息，根据经纬度信息，把layer2层中的POI点叠加到layer4层中；CPU把layer4图层中的最终叠加的结果送车载机屏幕上显示。进一步的优化是:所述物体包括路交通道路中的线路标志、路牌信号标志、汽车、建筑物与人。本发明对现有技术的贡献是:实现了地图导航软件与AR现实增强技术结合的全新的导航方法，真正实现“所见即所得”便捷找到目的地，而此发明的实景导航可以使目的地与实景相结合，在实景上标识出目的地，更方便用户。可
以实时的进行前车距离显示、车道线偏离提示辅助安全驾驶。下面结合实施例和附图对本发明做一详细描述。
图1为本发明方法处理关系框 图2为本发明方法图层处理关系框 图3为现实的实时图像示意图。
具体实施例方式一种基于AR增强现实技术的车载实景安全导航方法实施例，增强现实(Augmented Reality,简称AR),也叫混合现实,是指透过影像处理技术将虚拟3D和现实影像融合，使真实的环境和虚拟世界实时地叠加到了同一个画面或空间同时存在。参见图1、图2和图3，所述方法的系统包括在车头设置的摄像头和与之连接的车载机，其中，所述车载机中包括卫星导航系统和建有对物体特征进行识别特征数据库，还包括物体与本车之间相互关系的报警阈值表，所述方法执行的步骤包括:
a.采集车前实时图像，对实时图像中的物体进行提取特征物处理，通过与识别特征数据库比较，确定物体的种类； b.对确定物体赋予识别特征，把附有识别特征的物体图像与实时图像进行叠加形成第一显示图像；
C.从卫星导航地图中提取实时导航地图信息；
d.将实时导航地图信息与第一显示图像进行叠加形成一个带有导航信息第二图像，并将第二图像显示在车载机屏幕上；
e.当图像中附有识别特征的某一物体触动报警阀值，通过警示图像或声音，提示驾驶人员行驶在一个最佳的安全路线上。实施例中，进一步的优化是:所述步骤a进一步包括，采集车前实时图像，用CVBS信号输出图像到数字图像处理模块；数字图像处理模块把CVBS信号处理成数字信号，并以720*576图像的中心点为中心截取一个400*480的图像传送给CPU处理；CPU把图像处理模块传送的图像分为两路，一路作为用于显示的实时图像，另一路用于提取特征物处理。实施例中，进一步的优化是:根据权利要求1所述的一种基于AR增强现实技术的车载实景安全导航方法，其特征在于，所述步骤b进一步包括，所述确定物体为多个时，优先保留汽车正前方的一个确定物体。实施例中，进一步的优化是:所述提取特征物处理的步骤是:对实时图像进行提取灰阶图像处理，对提取的灰阶图像进行提取特征物，通过图像识别算法对取特征物进行图像的分类运算得出分类结果，把分类结果与识别特征数据库比较，确定物体的种类。实施例中，进一步的优化是:所述灰阶图像处理过程是:摄像头采集的CVBS模拟信号传送到数字图像处理模块，数字图像处理模块把CVBS信号转换成R、G、B的数字信号，通过公式gray=0.30*R+0.59*G+0.11*B计算出每一个像素的灰阶。实施例中，进一步的优化是:步骤d中所述第二图像的形成过程是:先在实时导航地图中规划出导航路径，并把导航路径提取出来放到CPU中的Iayerl图层，此导航路径带有经纬度信息；提取导航路径两侧的标志性POI点(兴趣点)放到CPU中的layer2图层，POI点带有经纬度信息；将第一显示图像放到CPU中的layer3图层，通过CPU中的GPU图像处理算法，把Iayerl与layer3进行叠加计算后放到layer4图层；叠加后摄像头采集的信息在导航路径上带有了经纬度位置信息，根据经纬度置信信息，把layer2层中的POI点叠加到layer4层中；CPU把layer4图层中的最终叠加的结果送车载机屏幕上显示。实施例中，进一步的优化是:所述物体包括路交通道路中的线路标志、路牌信号标志、汽车、建筑物与人。实施例中，从摄像头输入的为CVBS信号为PAL制式信号，标准的分辨率为720*576，显示IXD分辨率为800*480，一半用于显示导航地图，一半用于显示实景图像，因此只能由400*480的分辨率来显示摄像头采集到的信号，如果直接把摄像头输入信号在400*480分辨率下显示会出现图像变形的现象，因此我们以720*576图像的中心点为中心截取一个400*480的图像输出到显示IXD能满足图像实景显示要求。实施例中，图像识别的过程可以分为几个步骤:
1、在数据库中建立原型匹配模型(识别特征)，即抽取某些图形的相似性，把一个图像的几个特征参数采集下来建立模型，比如前方车辆，我们采集车辆后车牌信息，包括长、宽、颜色、数字等，前方车辆是否左右对称信息，车轮信息，车轮是否左右对称、车轮的宽度、颜色，车轮之间的轴距等信息范围，并建立一个汽车的数学模型，特征为左右对称、有一个长、宽、高固定的车牌区域、车轮左右对称、两个轮子之间的距离范围，其他需要识别的如车道线、红绿灯、人等按相同的方法提取几个特征参数建立数学模型。对各种需要识别的物体进行建模，如汽车、红绿灯、车道线、交通特征、人和动物，建模必须覆盖尽可能多的类别、个体。2、对图像的分类处理，从CVBS采集到的图像信息很多，需要从图像中分离出我们需要识别的物体，如车、红绿灯、车道线、人。这个过程运算量非常大，首先我们需要把分辨率为400*480的图像进行分区，分为3个面积相等的区域，每个区域我们先判断这个区域内是否需要进行图像识别，主要方法是灰阶图像的判断，如某区域内像素没有灰阶变化，或变化非常小，那我们可以判定此区域不需要进行进一步图像识别，可能摄像头拍的是天空或者路面。经过筛选后，可能有2个区域需要进行图像识别，首先根据灰阶变化提取该区域内图像的轮廓线，根据轮廓线与数学模型进行对比运算确认，这个过程中会用到图像识别的很多方法，如二值法、纹理特征分析法、图像滤波算法、图像增强算法等。举个列子，如前面有一辆车，通过摄像头采集到了车辆的信息，图像识别软件如何判断摄像头拍的是车呢？首先我们对图像灰阶处理后，通过灰阶的变化标识需要识别的物体的轮廓，然后通过二值法使图像变得简单，然后物体通过判断数学模型中的特征参数是否符合模型中的标准来定位是那种物体。上述实施例，通过摄像头的图像采集，并通过图像识别算法进行前车的识别、车道线的识别、交通标志的识别、人或动物的识别，从而在车载屏幕上显示与前车的距离，当距离过近超过安全距离时发出声光报警；当汽车偏离车道时进行报警；通过交通标志的识别判断红绿灯、限行及禁行标志的识别，从而提醒驾驶员安全驾驶；人或动物的识别，通过对移动的人或动物机型建模，并识别人或动物的运动方向和运动轨迹，为驾驶员提供避让或并线的信息。图像采集后，通过与地图POI及导航路径的结合，在实时图像上进行导航路径的叠加，可以更清晰、直观的表现出转弯等信息。把地图信息中的POI点、道路信息等直接标注在实时采集的图像上，并与实际的建筑或道路信息相对应以便驾驶员更为方便的找到需要的目的地。
权利要求
1.一种基于AR增强现实技术的车载实景安全导航方法，包括在车头设置的摄像头和与之连接的车载机，其特征在于，所述车载机中包括卫星导航系统和建有对物体特征进行比对的识别特征数据库，还包括物体与本车之间相互关系的报警阈值表，所述方法执行的步骤包括: a.采集车前实时图像，对实时图像中的物体进行提取特征物处理，通过与识别特征数据库比较，确定物体的种类； b.对确定物体赋予识别特征，把附有识别特征的物体图像与实时图像进行叠加形成第一显示图像； c.从卫星导航地图中提取实时导航地图信息； d.将实时导航地图信息与第一显示图像进行叠加形成一个带有导航信息第二图像，并将第二图像显示在车载机屏幕上； e.当图像中附有识别特征的某一物体触动报警阀值，通过警示图像或声音，提示驾驶人员行驶在一个最佳的安全路线上。
2.根据权利要求1所述的一种基于AR增强现实技术的车载实景安全导航方法，其特征在于，所述步骤a进一步包括，采集车前实时图像，用CVBS信号输出图像到数字图像处理模块；数字图像处理模块把CVBS信号处理成数字信号，并以720*576图像的中心点为中心截取一个400*480的图像传送给CPU处理；CPU把图像处理模块传送的图像分为两路，一路作为用于显示的实时图像，另一路用于提取特征物处理。
3.根据权利要求1所述的一种基于AR增强现实技术的车载实景安全导航方法，其特征在于，根据权利要求1所述的一种基于AR增强现实技术的车载实景安全导航方法，其特征在于，所述步骤b进一步包括，所述确定物体为多个时，优先保留汽车正前方的一个确定物体。`
4.根据权利要求1或2所述的一种基于AR增强现实技术的车载实景安全导航方法，其特征在于，所述提取特征物处理的步骤是:对实时图像进行提取灰阶图像处理，对提取的灰阶图像进行提取特征物，通过图像识别算法对取特征物进行图像的分类运算得出分类结果，把分类结果与识别特征数据库比较，确定物体的种类。
5.根据权利要求4所述的一种基于AR增强现实技术的车载实景安全导航方法，其特征在于，所述灰阶图像处理过程是:摄像头采集的CVBS模拟信号传送到数字图像处理模块，数字图像处理模块把CVBS信号转换成R、G、B的数字信号，通过公式gray=0.30*R+0.59*G+0.11*B计算出每一个像素的灰阶。
6.根据权利要求1所述的一种基于AR增强现实技术的车载实景安全导航方法，其特征在于，步骤d中所述第二图像的形成过程是:先在实时导航地图中规划出导航路径，并把导航路径提取出来放到CPU中的Iayerl图层，此导航路径带有经纬度信息；提取导航路径两侧的标志性POI点放到CPU中的layer2图层，POI点带有经纬度信息；将第一显示图像放到CPU中的layer3图层,通过CPU中的GPU图像处理算法,把Iayerl与layer3进行叠加计算后放到layer4图层；叠加后摄像头采集的信息在导航路径上带有了经纬度位置信息，根据经纬度信息，把layer2层中的POI点叠加到layer4层中；CPU把layer4图层中的最终叠加的结果送车载机屏幕上显示。
7.根据权利要求1所述的一种基于AR增强现实技术的车载实景安全导航方法，其特征在于，所述物体包括路交通道路`中的线路标志、路牌信号标志、汽车、建筑物与人。
全文摘要
本发明涉及一种基于AR增强现实技术的车载实景安全导航方法，包括采集车前实时图像，对实时图像进行提取特征物处理，把附有识别特征的物体图像与实时图像进行叠加；从卫星导航地图中提取实时导航地图信息进行叠加形成一个带有导航信息第二图像；当图像中附有识别特征的某一物体触动报警阀值，通过警示图像或声音，提示驾驶人员行驶在一个最佳的安全路线上。本发明对现有技术的贡献是实现了地图导航软件与AR现实增强技术结合的全新的导航方法，真正实现“所见即所得”便捷找到目的地，而此发明的实景导航可以使目的地与实景相结合，在实景上标识出目的地，更方便用户。可以实时的进行前车距离显示、车道线偏离提示辅助安全驾驶。
文档编号B60R1/00GK103105174SQ20131003403
公开日2013年5月15日 申请日期2013年1月29日 优先权日2013年1月29日
发明者吕童群 申请人:四川长虹佳华信息产品有限责任公司