一种基于路标检测的低成本车辆定位方法与流程

1.本发明属于计算机视觉领域，特别涉及一种基于路标检测的低成本车辆定位方法。


背景技术：

2.对路标的检测和追踪主要是基于计算机视觉深度学习目的标识别和数字文字检测技术，具有低侵入性、高精度等优势，现已成为识别研究的主流方法。目标识别与数字文字检测涉及图像处理、图像分割、计算机视觉、数字识别、文字识别以及认知心理学等多个学科，并在工业检测、智能机器人、人机交互、公共安全、智能交通、自动驾驶以及军事侦察等领域均有广泛的应用。
3.对车辆定位和追踪主要是靠卫星定位的，俗称gps系统主要由空间部分、地面监控系统和用户接收部分组成的。这种传统的定位方法是有前置要求的就是需要卫星，而来自卫星的无线电信号由于各种原因时常会出现失真的现象，这些失真会导致定位精度的下降，比如遇到恶劣环境、在地库和隧道等情况。同时因为定位的视角是俯视的，导致在立体环境下会出现道路不准确的情况，比如立体交通、双层桥梁、隧道分岔和平行小道等。现在主要的解决方式普遍都是增加卫星数量和增强信号强度，这些都是有效的解决办法但是成本太高了。
4.换个检测视角可以有效的解决立体空间造成的问题而使用卷积神经网络深度学习的方法可以解决路标检测精度与速度的问题，其中卷积神经网络最大的优势是自动提取特征这是其他方法做不到的而且待训练参数相对不那么多的神经网络，这是其他学习方法做不到的。使用yolov4算法可以让系统可以在室外不同的天气条件下进行基于路标检测的车辆定位并以进一步的提高识别物体的精度和速度。
5.背景技术存在的主要问题是：在立体复杂交通场景下，车辆定位会出现定位导航偏差的问题，分辨不了车辆是在上下或左右道路上行驶。
6.解决以上问题及缺陷的难度为：导致这种问题的主要原因是信号的强度和传输的延迟，但是在信号强度和传输上技术突破难度是非常高的，导致直到现在还没有很好的办法一次性解决这个问题。
7.解决以上问题及缺陷的意义为：换一种角度来解决问题在一定程度上缓解问题和从问题根本上去除现有的问题，因为基于目标检测的定位是不需要传输数据到卫星的所以也用不到高强度的信号。


技术实现要素：

8.本发明提供了一种基于路标检测的低成本车辆定位方法，可以有效的提升车辆定位的精度，解决了基于卫星信号的车辆定位在特定环境会出现失真的问题，有效拓展了目标识别应用的环境，具备在立体交通、室相邻道路等情况下进行路标检测和车辆定位的能力，主要解决在立体交通和相邻道路的区分，提高车辆定位精度；同时实现可以以更低成本
的方式进行车辆定位。
9.本发明的技术方案如下：
10.本发明提供的基于路标检测的低成本车辆定位方法，包括以下步骤：s1.数据采样：加装摄像头或者调用已有的摄像头，再连接服务器并传输实时的画面；s2.模型训练：在服务器上创建两个识别模型训练任务：路标识别模型训练和文字识别模型训练，使用两个开源的数据集进行训练；s3.路标识别：把服务器接收到的实时画面输入路标识别模型中得到画面中的路标位置，文字识别模型再对位置进行文字识别得到路标内容信息；s4.车辆定位：根据得到的路标内容信息比对数据库得到相对的路标位置，再结合几何计算得到更加精准的车辆定位；以及s5.定位实际应用：使用输出的车辆位置信息运用到的应用中。
11.优选的，在上述基于路标检测的低成本车辆定位方法中，在步骤s1中，在要进行定位的车辆前方加装摄像头或者调用已有的摄像头，可以在车内或车外但视野要宽广清晰同时要可以看到路边的路标，设置位置，再连接服务器并传输实时的画面。
12.优选的，在上述基于路标检测的低成本车辆定位方法中，在步骤s2中，路标识别模型训练用yolov4算法进行路标检测和跟踪；文字识别模型训练，用tesseract算法进行文字识别。
13.优选的，在上述基于路标检测的低成本车辆定位方法中，在步骤s2中，训练采用两个开源的数据集dair-v2x数据集和whitemud drive高速公路数据集。
14.优选的，在上述基于路标检测的低成本车辆定位方法中，在步骤s3中，把第s1上传的实时的画面输入到两个模型当中，路标识别模型先得到画面中路标的位置信息，然后文字识别模型位置信息聚焦放大再去掉多余的画面，再在路标上提取内容信息，得到路标内容信息。
15.优选的，在上述基于路标检测的低成本车辆定位方法中，在步骤s4中，路标内容信息包括编号、地名、距离、方向和高速名称。
16.优选的，在上述基于路标检测的低成本车辆定位方法中，在步骤s5中，根据得到的车辆位置信息记录车辆移动路径，传输车辆位置信息到指定的应用程序上进行实际运用。
17.根据本发明的技术方案，产生的有益效果是:
18.本发明的基于路标检测的低成本车辆定位方法，采用卷积神经网络检测识别跟踪路标和车辆定位的方法，可以有效的提高扩展实际运用场景，同时可以有效的解决传统车辆定位出现的信号失真的情况，主要针对立体交通和相邻道路的情况，也提高了目标识别和路标检测精度和速度。为常规的解决办法，增加卫星增强信号，以外提供了另一种方法，一种低成本的车辆定位方法，本发明还为传统rgb摄像器械提供了一种拓展应用手段，可以单独使用但为了更高精度建议配合传统定位方法配合使用。
19.为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：
附图说明
20.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
21.图1是本发明的基于路标检测的低成本车辆定位方法的流程图；
22.图2是本发明的retinanet和yolov4的精度、召回和速度对比图；
23.图3是本发明的路标识别部分的识别结果图；
24.图4是本发明的文字识别部分的识别结果图。
具体实施方式
25.为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。
26.本发明方法深度学习技术，对摄像头中的画面进行路标检测和追踪，因为在主干道和高速路上的路标都是有编号顺序所以可以靠它来定位车辆。具体地，利用摄像头对车辆行驶前方进行数据采集并上传到服务器中。然后利用深度学习的卷积递归神经网络模型进行实时的识别技术对数据集进行处理、训练和运用，最后实现车辆定位的功能。
27.本发明的原理是：利用卷积神经网络自动提取特征的特点对目标识别和路标检测进行高精准特征反馈。使用并提取摄像头记录的视频数据用于数据采集部分同时上传至服务器，在服务器上在将采集到的数据输入到一个已经经过训练的卷积递归神经网络中进行重复过滤机制，输出检测到的路标的位置和路标特征的强度，根据提取出的特征进行追踪。在检测出路标之后，根据标记处进行文字识别，再根据路标上的编号、地名、距离和车辆时间、速度等信息经行车辆定位。每个路标都有独立的号码编号，基于此进行大致定位，再结合车辆的平均行驶速度等信息进一步进行精准定位。
28.本发明总共包含三个部分：数据采集、训练检测、车辆定位，其中：
29.训练检测包括模型的训练以及路标检测和文字检测，训练运算等服务都是托管在服务器上的。服务器会实时进行路标检车和文字识别，在根据文字信息确定车辆的位置。当服务器接收到图像时，会创建对应当前车辆的任务，把接收到的画面输入训练后的模型中从而得到路标上的内容。模型训练分为两部分路标识别和文字识别，使用yolov4算法进行路标检测和跟踪，使用tesseract算法进行文字识别。训练采用两个开源的数据集dair-v2x数据集和whitemud drive高速公路数据集。
30.本发明的基于路标检测的低成本车辆定位方法，如图1所示，包括以下步骤：
31.s1.数据采样：加装摄像头或者调用已有的摄像头，再连接服务器并传输实时的画面。在该步骤中，在要进行定位的车辆前方加装摄像头或者调用已有的摄像头，可以在车内或车外但视野要宽广清晰同时要可以看到路边的路标，设置位置如行车记录仪，再连接服务器并传输实时的画面。
32.s2.模型训练：在服务器上创建两个识别模型训练任务：路标识别模型训练和文字识别模型训练，使用两个开源的数据集进行训练。具体地，路标识别模型训练用yolov4算法进行路标检测和跟踪；文字识别模型训练，用tesseract算法进行文字识别，训练采用两个开源的数据集dair-v2x数据集和whitemud drive高速公路数据集。在该步骤中，通过对两种算法retinanet和yolov4的精度、召回和速度进行对比，其对比结果如图2和表1所示，最终选择yolov4算法进行路标检测和跟踪。
33.表1 retinanet和yolov4的精度、召回和速度对比数据
[0034] 召回率(％)精度率(％)时间(ms)retinanet96.5999.3990
yolov499.6397.1629
[0035]
s3.路标识别：把服务器接收到的实时画面输入路标识别模型中得到画面中的路标位置，文字识别模型再对位置进行文字识别得到路标内容信息。把第s1上传的实时画面输入到两个模型当中，第一个先得到画面中路标的位置信息，如图3所示，第二个根据位置信息聚焦放大在去掉多余的画面，再在路标上提取内容信息，得到路标内容信息，如图4所示。
[0036]
s4.车辆定位：根据得到的路标内容信息(即，路标信息)比对数据库得到相对的路标位置，再结合几何计算得到更加精准的车辆定位。服务器上存储有预先从相关部门预先准备好的路标位置信息，因为每个路标都有独立的识别编号所以确认了路标位置就等于确认了车辆的位置，同时因为摄像头只能保证不是很远距离内的图像清晰度，即在路标半径100m以内的距离内(在此距离内能拍摄到路标)。再根据一些参数如速度、时间、距离、高度和几何公式的计算得到更加准确的位置信息。使用s3识别到的路标内容信息如编号、地名、距离、方向、高速名称和服务器上预先准备好的路标信息进行比对搜索，从而得到路标的位置。
[0037]
s5.定位实际应用：使用输出的车辆位置信息运用到的应用中，比如说导航或者其他需要用到定位的应用。根据得到的车辆位置信息记录车辆移动路径，可以传输车辆位置信息到指定的应用程序上进行实际运用。
[0038]
本发明方法可以配合使用两种定位技术(基于路标检测的车辆定位和传统的基于卫星信号)进行车辆定位，这样可以以双视角进行定位从而解决绝大部分定位失真的情况，以更高的精度和速度定位车辆。也可以单独使用基于路标的车辆定位方法，只要道路上有单数编号识别的路标就可以实现一种低成本的自动检测自动定位的应用。此外，本发明提出利用卷积神经网络实现实时路标检测，在更具路标进行车辆的定位的模式，解决了传统基于卫星信号的车辆定位会出现信号失真的情况，拓展了目标检测的运用场景；同时相对于其他解决信号失真的方法成本有了大幅度的下降。
[0039]
以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。